JP6330987B2 - 画像処理装置、画像処理方法、及び記憶媒体 - Google Patents

Description

本発明は、魚眼画像に対して正規化処理を実行するための、画像処理装置、画像処理方法、及びこれらを実現するためのプログラムを記憶する記憶媒体に関する。

魚眼カメラは、１８０°を超える広視野角を一つの画像として撮像及び取得できる特徴を備えており、その特徴から、監視、地図生成、自動車のリアビューモニタなどの産業分野で利用されている。

一方、魚眼カメラは、撮像画像に大きな光学歪を生じることが知られている。このため、魚眼カメラでは、画像上の歩行者など特定の物体を検出するようなタスクにおいては、検出が困難となることがある。

例えば、物体の検出方法として、機械学習による統計的識別器を用いた検出方法が一般的に知られているが、これらは歩行者の形状パタンなどの特徴の類似性に基づく判別方法である。従って、光学歪により画像上の位置によって同一物体の形状が大きく変形する魚眼画像に、通常のカメラ（ピンホールモデル、透視投影モデルに近似できる光学系）によって取得された画像を前提に設計された統計的識別を適用することは困難である。

また、魚眼画像の光学歪を補正して対象を見やすく提示する方法が提案されている。この方法では、魚眼画像を、球体面に投影された仮想画像の平面への写像としてモデル化し、一部を切り出して透視投影モデルで撮像された画像に近似した補正画像（「透視投影補正画像」と呼ぶ）に変換する。

但し、透視投影補正画像では、実空間における直線が直線として復元され、中心部では良い透視投影カメラ画像の近似となるが、周辺部に向かうにしたがって射影歪により対象物が不自然に拡大された画像となる。また、透視投影補正画像では、光軸を０°として任意の方向に向かって９０°を超える視点の画像は原理的に投影できない。このため、透視投影補正画像は、射影歪の少ない中心部の画像のみを必要とする用途にしか用いることができない。

このような問題を解消するため、例えば、特許文献１及び特許文献２は、魚眼カメラ画像に写る人物などの歪みを補正する技術を開示している。

具体的には、特許文献１は画像変換装置を開示している。特許文献１に開示された画像変換装置は、魚眼画像を仮想球体面上にモデル化し、これを円柱座標系に投影して湾曲正則画像を生成することで、歪みを補正している。なお、円柱座標系では、水平方向は球体面の接線方向に設定され、垂直方向を球対面の軸方向に設定されている。

また、特許文献２は、特許文献１に開示された画像変換装置を用いた画像提示装置を開示している。特許文献２に開示された画像処理装置は、特許文献１に開示された湾曲正則画像を用いて、魚眼画像の中心視野から水平方向の視野範囲において複数の人物画像を補正している。

特許第４６２９１３１号公報 特許第５５６９３２９号公報

ところで、現実の魚眼カメラを備えたシステムでは、カメラ光軸は、必ずしも対象物の接地する平面と平行又は直角などの位置関係にない。このため、対象物である歩行者などの画像を正規化するためには、対象物の接地する平面（対象水平面）に平行な方向ベクトルとカメラの光軸ベクトルとの差分を補正する必要がある。

しかしながら、上記特許文献１及び２に開示された装置では、このような方向ベクトルと光軸ベクトルとの差分を補正することは行なわれていないため、実際の魚眼画像から歪みを取り除くことが困難である。

加えて、上記特許文献１及び２に開示された装置は、魚眼画像上の画素を、対応する仮想球体面上の座標において単純な数式で記述している。即ち、これらの装置は、魚眼光学系が理想的なモデルに従うことを前提として、魚眼画像上の画素の仮想球体面への対応付けを定式化している。

しかしながら、一般的な魚眼光学系は、設計モデルが非公開である場合があることに加え、撮像素子と光軸とのずれ、レンズ自体の歪等により、必ずしもモデル通りの光学的性質を持たないことがある。言い換えると、一般的な魚眼光学系では、理想的なモデルが成立しない場合がある。特に、この傾向は、車載用の後方又は側面の視認用に用いられる安価な魚眼カメラなどにおいて顕著である。この結果、上記特許文献１及び２に開示された装置では、上述の方向ベクトルと光軸ベクトルとの差分の補正が必要ない場合であっても、魚眼画像から歪みを取り除くことが困難な場合がある。

本発明の目的は、上記問題を解消し、魚眼光学系に影響されることなく、且つ、魚眼カメラの光軸と対象物の接地する平面との位置関係が一定条件を満たさない場合であっても、魚眼画像における歪みを正規化し得る、画像処理装置、画像処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における画像処理装置は、対象物が写った魚眼画像を取得する、魚眼画像取得手段と、前記対象物の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記対象物を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する、視点補償ベクトル取得手段と、前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの正規化画像を生成する、画像生成手段と、を備えていることを特徴とする。

また、上記目的を達成するため、本発明の一側面における画像処理方法は、対象物が写った魚眼画像を取得し、前記対象物の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記対象物を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する、視点補償ベクトル取得を行い、前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの正規化画像を生成する、画像生成を行う、ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面における記憶媒体は、コンピュータに、対象物が写った魚眼画像を取得する魚眼画像取得処理と、前記対象物の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記対象物を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する視点補償ベクトル取得処理と、前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの正規化画像を生成する画像生成処理と、を実行させるプログラムを記憶する。上記記憶媒体に格納されたプログラムも、本発明の一側面である。

以上のように本発明によれば、魚眼光学系に影響されることなく、且つ、魚眼カメラの光軸と対象物の接地する平面との位置関係が一定条件を満たさない場合であっても、魚眼画像における歪みを正規化することができる。

図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における画像処理装置１０の具体的構成を示すブロック図である。 図３は、本発明の実施の形態で用いられる撮像装置の座標系の定義を示す図である。 図４は、Roll-Pitch-Yaw表現を用いて表現される視点補償ベクトルを説明するための図である。 図５は、本発明の実施の形態において行なわれる２視点間の座標変換を説明するための図である。 図６は、本発明の実施の形態で用いられる元の視点での座標系と平行化視点座標系とを説明するための図である。 図７は、本発明の実施の形態において対象となる魚眼画像（I_F）の一例を模式的に示した図である。 図８は、本発明の実施の形態で定義される平行化視点座標系の一例を示す図である。 図９は、平行化視点が異なる２つの透視投影補正画像と、これら透視投影補正画像から得られる正規化パノラマ画像とを示している。 図１０は、本発明の実施形態における画像処理装置の動作を示すフロー図である。 図１１は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図１〜図１１を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本実施の形態における画像処理装置の概略構成について説明する。図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。

図１に示すように、本実施の形態における画像処理装置１０は、魚眼画像取得部１１と、視点補償ベクトル取得部１２と、画像生成部１３とを備えている。このうち、魚眼画像取得部１１は、対象物が写った魚眼画像を取得する。

視点補償ベクトル取得部１２は、視点補償ベクトルを取得する。視点補償ベクトルは、対象物の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、魚眼画像を、対象物を接地面に平行な方向から撮影して得られる画像に変換するための、ベクトルである。

画像生成部１３は、先ず、視点補償ベクトルを用いて変換された魚眼画像に対して、その水平方向に沿って、対象物の接地面に平行な視点を複数設定する。続いて、画像生成部１３は、設定された視点毎に、変換後の魚眼画像に対して、各視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行なう。そして、画像生成部１３は、歪み補正後の魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの正規化画像を生成する。

このように本実施の形態では、視点補償ベクトルによる変換が行なわれるので、魚眼カメラの光軸と対象物の接地する平面との位置関係が一定条件を満たさない場合であっても、魚眼画像における歪みを正規化することができる。

また、本実施の形態では、複数の座標系毎に歪み補正が行なわれ、視点を変えて補正された画像が得られる。そして、得られた補正後の各画像の垂直方向の要素が連結されて最終的な正規化画像となる。このため、本実施の形態では、魚眼光学系の設計モデルが非公開である場合であっても、歪みの除去が可能となり、歪みの除去が魚眼光学系に影響されることがない。

続いて、図２〜図９を用いて、本実施の形態における画像処理装置１０の具体的構成について説明する。図２は、本発明の実施の形態における画像処理装置１０の具体的構成を示すブロック図である。

まず、図２について説明する前に、本実施の形態で用いる用語について説明する。本実施の形態では、魚眼画像の正規化（歪みの除去）において、視点は水平面に設定され、更に、この水平面の基準となる平面（対象平面：target plane）が定められる。対象平面としては、正規化を行いたい対象（Target）である縦長の対象物が接地している平面（接地面）が選択される。そして、正規化の対象が、例えば歩行者であるならば、対象平面としては、道路面、床面などが挙げられる。また、対象平面は、垂直の壁面、又は傾斜のある路面に定義されていても良く、必ずしも現実の水平面と一致していなくても良い。

また、以降では、対象平面が路面であり、正規化の対象（魚眼画像の被写体）が歩行者である場合について、説明を行うが、本発明の適用範囲は、これらの制約によって限定されることはない。

図２に示すように、本実施の形態における画像処理装置１０は、画像出力装置２０、センサ装置３０、及び端末装置４０に接続されており、これらと共に、画像処理システム１を構成している。

画像出力装置２０は、画像情報を、画像処理装置１０に向けて出力する装置である。図２の例では、画像出力装置２０として、撮像装置が用いられている。撮像装置は、リアルタイムで画像を撮像する装置であり、撮影対象の画像を連続的に出力する。撮像装置の具体例として、例えば、ＮＴＳＣ（National Television Standards Committee）形式、ＰＡＬ（Phase Alternating Line）形式、または各種デジタル画像を出力するカムコーダ等が挙げられる。

但し、本実施の形態では、画像出力装置２０は、画像情報として、魚眼画像の画像データを出力する。従って、撮像装置に用いられる光学系としては、魚眼レンズ系が挙げられる。撮像装置としては、魚眼レンズと撮像素子とを備えた魚眼カメラが挙げられる。

また、画像出力装置２０は、撮像装置以外の装置、例えば、画像キャプチャ装置であっても良い。画像キャプチャ装置は、記憶媒体に保存された画像情報を読み出し、読み出した画像情報を、ＮＴＳＣ形式、ＰＡＬ形式、又は、その他の電子制御装置が読み取ることのできる画像形式に変換して出力する。この場合、画像出力装置２０は、画像処理装置１０を構築するコンピュータで動作するソフトウェアプログラムとして実現することもできる。なお、画像処理装置１０を構築するコンピュータについては後述する。コンピュータは、画像出力装置２０から送られてくる画像情報に応じて、所定のプログラムに基づく画像処理を実行する。

センサ装置３０は、例えば、角度センサを備えており、撮像装置の光軸ベクトルと、被写体となっている対象物の接地面に平行なベクトルと、の相対ベクトルを計測するための情報を出力する。出力される情報としては、撮像装置における、光軸回りのロール角、光軸のピッチ角、光軸のヨー角が挙げられる（後述の図３参照）。

対象物の接地面（対象平面）を水平面（地面）と想定する場合には、センサ装置３０は、撮像装置の光軸が水平方向に平行であり、且つ、撮像装置の傾きがゼロ（撮像素子の水平方向が水平面と平行の状態）であるときの値（例えば後述の角度センサの情報）を初期値として、得られた角度センサの情報と初期値との差分を出力する。

一方、対象物の接地面が水平面（地面）ではない場合は、センサ装置３０は、予め測定された対象物の接地面の水平面に対する角度を考慮して、上述の、得られた角度センサの情報と初期値との差分を出力する。また、センサ装置３０とは別に、対象物の接地面の角度を測定するセンサ装置（角度センサ）が設置されていても良く、このとき、センサ装置３０は、自身のセンサデータと、別のセンサ装置のセンサデータとの差分を出力する。

また、画像出力装置２０が、上述した画像キャプチャ装置である場合には、予め角度センサの情報も作成され、角度センサの情報は、角度センサの情報を画像と同期して記憶する記憶デバイスから提供される。なお、この場合の角度センサの情報とは、読み出しの対象となる画像情報を出力した撮像装置における、光軸回りのロール角、光軸のピッチ角、光軸のヨー角が挙げられる。

また、本実施の形態では、センサ装置３０を用いる代わりに、相対ベクトルを算出するソフトウェアが用いられていても良い。この場合は、ソフトウェアによって、例えば、画像中の基準オブジェクトの位置及び形状から、対象物の接地面に対する差分ベクトルが推定される。なお、撮像装置の光軸ベクトルと対象物の接地面との相対関係が、撮像中に変化しないことが想定できる場合には、このソフトウェアの代わりに、予め測定された上記相対関係を規定するデータが用いられても良い。

端末装置４０は、その画面上に、ユーザインタフェースを提供する。ユーザインタフェースは、ユーザによる画像処理装置１０の操作、画像処理装置１０の内部状態及び出力のモニタリングに利用される。また、端末装置４０は、その画面上に、画像出力装置２０から入力された魚眼画像、画像処理装置１０による画像処理後の変換画像、及び変換画像を用いた各種画像処理結果、等を提示することもできる。

更に、端末装置４０は、その入力デバイスを介して、ユーザから画像処理装置１０への指令、例えば、処理の開始、処理の終了、パラメータの指定、画面上に提示される情報の選択等を受け付け、受け付けた指令を画像処理装置１０に入力する。入力デバイスとしては、例えば、スイッチボード、キーボード、マウス、タッチパネル等が挙げられる。

但し、本実施の形態においては、画像処理システム１は、端末装置４０を備えていない態様であってもよい。また、画像処理システム１は、画像処理装置１０が出力した情報を入力として利用する装置を備えていても良い。また、そのような装置は、画像処理装置１０を構築するコンピュータで動作するソフトウェアプログラムとして実現することもできる。また、そのような装置の例としては、画像処理装置１０によって生成される変換画像を入力とする、各種画像処理装置、画像認識装置などが考えられる。

また、図２に示すように、画像処理装置１０は、上述した、魚眼画像取得部１１、視点補償ベクトル取得部１２、及び画像生成部１３に加えて、視点補償ベクトル生成部１４を備えている。各部は概略つぎのように動作する。

魚眼画像取得部１１は、本実施の形態では、画像出力装置２０から画像処理装置１０へと出力された画像情報、具体的には、魚眼画像の画像データを取得する。また、画像取得部１１は、画像データを取得すると、画像データに対して、必要な画像領域の切り出し処理、解像度及びサイズの調整処理、ＮＴＳＣ形式画像からの奇数（又は偶数）フィールドの抽出処理、画質改善処理といった、画像形式についての調整処理を実行することもできる。

視点補償ベクトル取得部１２は、本実施の形態では、視点補償ベクトル生成部１４から視点補償ベクトルを取得する。視点補償ベクトル生成部１４は、撮像装置の光軸ベクトルと対象平面に平行なベクトルとの相対ベクトルを、視点補償ベクトルとして生成する。この相対ベクトルは、２つの座標系間の回転を表現するベクトルである。

回転の表現手法としては、一般に、Ｑｕａｔｅｒｎｉｏｎ、オイラー角表現、Roll-Pitch-Yaw角表現などが挙げられ、本実施の形態では、いずれの表現手法が採用されていてもよい。例として、以降では、Roll-Pitch-Yaw角表現を用いて説明する。

図３を用いて、撮像装置の座標と回転軸とについて説明する。図３は、本発明の実施の形態で用いられる撮像装置の座標系の定義を示す図である。まず、本実施の形態において、相対ベクトルは、少なくとも、ロール（ｒｏｌｌ）角、およびピッチ（ｐｉｔｃｈ）角からなる２次元の数値を含んでいる。ロール角及びピッチ角は、カメラの光軸を含む水平面（ｘ−ｚ平面）と対象平面とを一致させるために必要な回転角度である。

本実施の形態では、ヨー（ｙａｗ）角としては、魚眼画像の水平視野角の範囲に含まれる任意の角度が指定される。ヨー角は、最終的に生成される画像の（水平方向の）中心視点を定めるものである。よって、元の魚眼画像の水平視野角を最大限利用するためには、ヨー角としては、現実の撮像装置（カメラ）の光軸におけるヨー角がそのまま用いられていることが好ましい。

図４を用いて、視点補償ベクトルの表現形式について説明する。図４は、Roll-Pitch-Yaw表現を用いて表現される視点補償ベクトルを説明するための図である。ロール角とピッチ角は、図４を参照すると次のように定義される。なお、視点補償ベクトルを構成するロール角及びピッチ角を、特に「相対ロール角」及び「相対ピッチ角」と表記する。

すなわち、図４に示すように、撮像装置の座標において、ｘ−ｚ平面から、対象平面とロール角の一致したｘ’−ｚ平面へのｚ軸回りの回転角度は、相対ロール角α_０と定義される。また、ｘ’−ｚ平面から、対象平面と平行な平面へのｘ’軸回りの回転角度は、相対ピッチ角β_０と定義される。

そして、任意のヨー角γ_０が与えられたとすると、視点補償ベクトルＶは、例えば、下記の数１で表される。なお、任意のヨー角γ_０がカメラ光軸によって規定される場合には、下記の数１において、γ_０＝０が成立する。

視点補償ベクトルＶを用いれば、２視点間の座標変換を行うことが出来る。図５は、本発明の実施の形態において行なわれる２視点間の座標変換を説明するための図である。図５を参照すると、一般に、物理空間上のある点に対する座標変換は、座標系１から座標系２に対する外部パラメータ行列Ｋを用いて、下記の数２で記述できる。

ただし、ｐチルダ^（ｉ）は、座標系ｉにおける位置座標の同次表現である。同次表現は、下記の数３によって表される。

また、上記数２におけるＫは、一般に回転行列Ｒ、および並進ベクトルｔを用いて、下記の数４で記述される。

回転行列Ｒは、Roll-Pitch-Yaw表現においては、定義におけるロール角α、ピッチ角β、ヨー角γを用いて、下記の数５で記述される。

ここで、上記数１で規定された視点補償ベクトルＶによって変換された視点を「平行化中心視点（central horizontalized viewpoint）」と表記し、視点が存在する座標系を「平行化中心視点座標系」と表記することとする。

また、対象平面に平行であり、且つ、平行化中心視点から任意のヨー角γだけ回転させて得られた視点の集合を「平行化視点（horizontalized viewpoints）」と表記し、それぞれの視点における座標系を「平行化視点座標系」と表記することとする。図６は、本発明の実施の形態で用いられる元の視点での座標系と平行化視点座標系とを説明するための図である。

平行化視点座標系は、任意のγ、及び視点補償ベクトルの（α_０,β_０）による座標変換から得られている。平行化視点座標への座標変換は、上記数４及び数５において（α,β）＝（α_０，β_０）とした外部パラメータ行列Ｋ^ｈｒｚ（γ）を用いて、下記の数６によって記述できる。

但し、元の視点（original viewpoint）での座標系の座標と、平行化視点座標系における座標とは、それぞれ下記の数７及び数８とする。

また、平行化中心視点は、元の視点との間で原点を共有するとすれば、Ｋ^ｈｒｚ（γ）において並進ベクトルｔは、ｔ=(０，０，０)^Ｔとおくことができる。

以上のように、視点補償ベクトルVが与えられると、元の視点での座標系から、平行化視点座標系への座標変換Ｋ^ｈｒｚ（γ）を定義することができる。本実施の形態では、視点補償ベクトル生成部１４は、平行化変換行列（horizontal transform matrix）Ｋ^ｈｒｚ（γ）を生成し、これを視点補償ベクトル取得部に与える。

画像生成部１３は、本実施の形態では、生成される正規化画像の水平方向の全画素数に応じて、視点を設定する。また、画像生成部１３は、視点毎に、歪み補正を行なった後に、補正後の魚眼画像を垂直方向に切り出して、各視点からの視線が入射するスライス画像を抽出する。そして、画像生成部１３は、抽出したスライス画像それぞれを、予め定めた順序で、水平方向に配置して、１つの正規化画像を生成する。

具体的には、画像生成部１３は、まず、魚眼画像取得部１１で取得された魚眼画像に対し、視点補償ベクトルＶを用いて、平行化視点の集合を設定する。次いで、画像生成部１３は、水平方向の視野範囲を任意に分割し、各平行化視点の集合（平行化視点列）のそれぞれの平行化視点座標系において、透視投影近似による歪補正を実行する。そして、画像生成部１３は、各視点の中心を通る垂直方向の画像要素を、平行化視点列の順序で水平方向に並べ、これらを連結することで、一枚の合成画像を生成する。以下、画像生成部１３による処理について詳細に説明する。

透視投影近似による歪み補正：
ここで、透視投影近似による歪み補正について具体的に説明する。透視投影近似による歪補正（透視投影補正）は、一般にカメラモデル、及びカメラモデルにおける校正済みの内部パラメータが既知であれば、以下の方法で求めることが出来る。なお、透視投影近似による歪み補正は、既存の技術で実現できるものであるが、参考として以下で簡単に説明する。

一般のカメラ座標系における実空間上の点ｐ＝(ｘ，ｙ，ｚ)^Ｔと、魚眼画像上の点との関係式は以下の数９〜数１１によってモデル化できる。但し、数９におけるρ’は数１２によって表される。

また、上記数９及び数１１における（ｕ’，ｖ’）は、ａｆｆｉｎｅ歪のない理想的な魚眼画像の座標（中心を原点とする）を示している。数１２における（ｕ”，ｖ”）は、実際の魚眼画像の座標（左上を原点とする）を示し、（ｕ_０”，ｖ_０”）は、実際の魚眼画像の中心座標を示している。更に、数１１における２×２の正方向行列は、ａｆｆｉｎｅ変換行列である。

そして、上記数１０の係数を４次までに近似して得られるパラメータは、魚眼レンズの歪特性、及び魚眼レンズの光軸と撮像素子との位置関係のずれ、等から決まるカメラの内部パラメータである。なお、当該パラメータを下記の数１３に示す。

そして、上記数１３に示すパラメータは、下記の参考文献１に開示されているキャリブレーション手法によって予め求めることができる。

［参考文献］
Davide Scaramuzza、 Agostino Martinelli and Roland Siegwart、 “A Toolbox for Easily Calibrating Omnidirectional Cameras”、 IROS、 2006。

ここで、座標系のｚ軸に垂直な画像平面（ｚ＝ｚ_ｄ）を設定すると、画像平面（ｚ＝ｚ_ｄ）上で定義される画像の座標（ｕ_ｄ，ｖ_ｄ）に対して、上記数９〜数１１の関係式を用いることで、対応する魚眼画像の座標（ｕ”，ｖ”）を求めることが出来る。従って、画像の座標（ｕ_ｄ，ｖ_ｄ）に対応する魚眼画像の座標（ｕ”，ｖ”）の画素値を参照して、画像の座標（ｕ_ｄ，ｖ_ｄ）における画素値を魚眼画像の座標（ｕ”，ｖ”）の画素値に置き換えることで、透視投影近似による歪み補正後の画像（「透視投影補正画像」と表記する。）を生成することができる。

なお、魚眼画像座標の画素値は、モノクロ画像であれば１チャンネルの輝度値、カラー画像ではＲＧＢ３チャンネルの輝度値である。そして、ｚ＝ｚ_ｄの値は投影面と焦点からの距離を表し、これが透視投影補正画像のスケールを決定するパラメータである。

透視投影近似による歪み補正の効果：
視点補償ベクトルによって平行化変換行列が与えられるため、任意の平行化視点における透視投影画像平面を定義できる。その結果、画像生成部１３は、平行化視点毎に、それぞれの視点における透視投影補正画像を上記の方法を用いて生成することになる。

透視投影補正画像では、直線性が復元される一方で、周辺部に向かうにしたがって射影歪により被写体のスケール歪が大きくなることが知られている。従って、画像生成部１３０は、視点毎に、生成された透視投影補正画像の中心列のみを抽出し、これら中心列を水平方向に連結する。これにより、水平方向のスケール歪が抑制され、且つ、垂直方向の直線性が保たれた、連続した一枚画像が生成される。これによって、元の魚眼画像に撮像された対象平面上に存在する縦長の立体物が全て一貫したスケールを持ち、且つ、形状歪の少ない、一枚の正規化画像が合成される。

＜画像生成部による具体的処理＞
ここで、画像生成部１３による処理の具体例について以下に説明する。元の魚眼画像（Ｉ_Ｆ）から各平行化視点座標系で生成される透視投影補正画像（Ｉ_Ｐ）において、その中心を通る画像列を「正規化スライス画像（Ｉ_Ｓ）」と表記する。また、最終的な出力画像を「正規化パノラマ画像（Ｉ_Ｈ）」、と表記する。本実施の形態では、正規化パノラマ画像を生成するまでの一連の機能が画像生成部１３の機能である。

まず、画像生成部１３において、最終的に出力される画像のサイズ（幅、高さ）＝（W_０、Ｈ_０）が定義される。次に、画像生成部１３は、正規化パノラマ画像の合成に用いる平行化視点列を定義する。視点のロール角及びピッチ角は、視点補償ベクトルベクトルＶによって決定されているので、ここではヨー角φ_iの組Φを定義すればよい。以下では、ヨー角がφ_iである平行化視点を、平行化視点φ_iとも表記することもある。Φは、画像の横ピクセル数と同数の系列とし、下記の数１４で表される。

Φは、元の魚眼画像の水平視野範囲内で任意に設定できる。Φの上限と下限とが、正規化パノラマ画像で描画される水平視野範囲（FOV_H）を決定する。例えば、水平視野範囲がＦＯＶ＿Ｈ=１８５°を確保するとき、平行化視点列の範囲は、下記の数１５に示す範囲となる。

一般に魚眼画像は実空間上の球体面モデルに投影された点群の一方向への写像としてモデル化される。このとき球体中心は光学中心と一致すると仮定できる。各平行化視点座標系の原点は光学中心と一致させているため、Φは、下記数１６に示すように、等分解能で定義できる。但し、下記数１６において、ｉ＝０，・・・，Ｗ_０−１である。

また、各平行化視点座標系（数１７）上の点は、平行化変換行列Ｋ^ｈｒｚ（γ）を用いて、元のカメラ座標系の点ｍチルダが「(ｘ，ｙ，ｚ，１)^Ｔ」と表されることから、下記の数１８で求められる。

上述したように、平行化視点座標系（数１７）のｚ軸（数１９）に垂直な画像平面（数２０）を設定すると、この画像平面（数２０）上で定義される画像座標（数２１）において、元の魚眼画像上の画素（ｕ”，ｖ”）への対応が求められる。魚眼画像上の画素の点が、画像座標（数２１）上へ投影された画像が透視投影補正画像である。また、数２０の定数は、投影面と焦点からの距離を表し、これが透視投影補正画像のスケールを決定するパラメータである。

透視投影補正画像（Ｉ_Ｐ）の中心を通る垂直方向の画像列が、正規化スライス画像（Ｉ_Ｓ）である。正規化スライス画像（Ｉ_Ｓ）は、透視投影補正画像（Ｉ_Ｐ）を透視投影画像平面に投影する際に、投影画像の横サイズを１ピクセルに設定する条件で生成される、透視投影補正画像（Ｉ_Ｐ）の特別なバリエーションである。なお、正規化スライス画像（Ｉ_Ｓ）を生成するためにより大きな横サイズをもつ別の透視投影補正画像（Ｉ_Ｐ）を生成した上で切り出しを行う必要はない。

各平行化視点座標系（数１７）において、正規化スライス画像（数２２）を生成するときのスケールパラメータ（数２３）は、通常、各平行化視点座標系において、同じ値で定義され、最終的な正規化パノラマ画像における縦横のアスペクト比を考慮して設定する必要がある。スケールパラメータは、直接値を定義するだけでなく、後述するようにその他のパラメータから間接的に定義することもできる。

本実施の形態では、各平行化視点座標系（数１７）における正規化スライス画像（数２２）を、左から平行化視点のヨー角φ_iの系列Φの順に並べて得られた合成画像を、正規化パノラマ画像（Ｉ_Ｈ）とする。正規化パノラマ画像（Ｉ_Ｈ）の各要素は、下記の数２４で定義される。但し、数２４において、かっこ内は画像座標を示している。また、ｉ＝０，１，・・・Ｗ_０−１、ｊ＝０，１，・・・Ｈ_０−１である。

ここで、図７〜図９を用いて、魚眼画像の一例とそれに対する画像生成処理について説明する。図７は、本発明の実施の形態において対象となる魚眼画像（Ｉ_Ｆ）の一例を模式的に示した図である。図７の例では、魚眼画像には、地面を対象平面として、下向きの視点で撮影された人物（Ｐｅｒｓｏｎ Ａ、Ｐｅｒｓｏｎ Ｂ、Ｐｅｒｓｏｎ Ｃ）が写っている。

図７に示す魚眼画像に対して画像処理装置１０による処理が実行される。これにより、図８に示すように、各平行化視点座標系（数１７）において、透視投影画像平面が定義される。図８は、本発明の実施の形態において定義される平行化視点座標系の一例を示す図である。また、透視投影画像平面における座標は、上記数２１によって表される。そして、この透視投影画像平面上に、正規化スライス画像（Ｉ_Ｓ）を含む任意の画像サイズの透視投影補正画像（Ｉ_Ｐ：数２５）が生成される。

図９は、平行化視点が異なる２つの透視投影補正画像と、これら透視投影補正画像から得られる正規化パノラマ画像とを示している。

具体的には、図９の左図には、平行化視点（数２６）で生成される、透視投影補正画像（数２７）及び正規化スライス画像（数２８）が示されている。また、図９の中央図には、平行化視点（数２９）で生成される、透視投影補正画像（数３０）、及び正規化スライス画像（数３１）が例示されている．

また、図９の右図には、定義された平行視点列（数３２）における全ての正規化スライス画像によって生成された正規化パノラマ画像（Ｉ_Ｈ）の一例が示されている。図９に示したように、正規化スライス画像（上記数２８）及び（上記数３１）を含むすべての正規化スライス画像を要素として、正規化パノラマ画像（Ｉ_Ｈ）が合成される。

スケールパラメータの間接的決定処理：
また、画像生成部１３は、視点毎の透視投影近似による歪み補正において、平行化視点座標系における投影平面の原点に対する距離を、生成される正規化パノラマ画像における、サイズ、水平方向における視野角の範囲、及びアスペクト比に基づいて決定する。

つまり、透視投影補正画像及び正規化スライス画像を生成する際の画像スケールは、上述したように各座標における投影面の距離｜ｚ_ｄ｜によって決まる。しかし、実用上はこれを直接指定するよりも、正規化パノラマ画像の視野範囲及び画像サイズなどの拘束条件を満たすように間接的に決定した方が便利な場合がある。

ここでは、画像のサイズ、水平方向における視野角の範囲、画像のアスペクト比を指定してスケールを求める方法を示す。ここで、正規化パノラマ画像のサイズ（幅、高さ）を、（Ｗ_０，Ｈ_０）とし、正規化パノラマ画像に投影する水平方向の視野角の大きさをＡ_Ｘ、垂直方向の視野角の大きさをＡ_ｙとする。また、正規化パノラマ画像における縦／横の（角度／ピクセル）比を下記の数３３とする。ただし、上記数３３において、Ａ_ｙの上限値を１８０度とする（数３４）。

また、スケール｜ｚ_ｄ｜は、次のステップ（ａ）及び（ｂ）によって決定される。

ステップ（ａ）：
（Ｗ_０，Ｈ_０，Ａ_Ｘ，μ）を拘束条件として、下記の数３５及び数３６を用いて、（｜ｚ_ｄ｜，Ａ_ｙ）を決定する。

ステップ（ｂ）：
以下の数３７が成立するときに、下記の数３８〜数４０を用いた再計算により、（Ａ_Ｘ，Ａ_ｙ，｜ｚ_ｄ｜）を下記の数４１で置き換える。

ＬＵＴ処理による高速化：
本実施の形態では、視点補償ベクトル取得部１２は、視点補償ベクトルとして、対象物を接地面に平行な方向から撮影して得られる画像上の座標と、魚眼画像上の座標と、の対応付けを記述したテーブルを取得することができる。

具体的には、本実施の形態では、予め定められた固定の視点補償ベクトルが用いられる場合は、視点補償ベクトル生成部１４は、正規化パノラマ画像上の座標（ｕ_Ｈ，ｖ_Ｈ）から対応する元の魚眼画像上の座標（ｕ”，ｖ”）への対応付けを記述した参照テーブルを予め生成する。この場合、入力画像系列に対する実際の正規化パノラマ画像の生成処理は、参照テーブルを参照しながら、正規化パノラマ画像を生成する、テーブル参照（ＬＵＴ： Look-Up-Table）処理に置き換えられる。

例えば、オフラインで参照テーブルを生成し、オンラインの画像入力系列に対して、順次正規化パノラマ画像を生成する処理をＬＵＴ処理で実行することにより、魚眼画像から正規化パノラマ画像の生成を高速に処理することが出来る。この態様では、処理クロックの低いプロセッサ上への実装を必要とする用途に好適な画像処理システムを構築できる。

具体的な参照テーブルの生成方法としては、概略下記のような方法が考えられる。まず、元の魚眼画像のサイズ（Ｗ_ｉｎ，Ｈ_ｉｎ）の幅と高さを持つ、2チャンネルの行列（インデックスマップと呼ぶ）を用意する。そして、１つ目のチャンネルの行列であるＸインデックスマップ（Ｘ_ｉｎｄ）の各列には、対応する（ｕ”）の座標値を与え、２つめのチャンネルの行列であるＹインデックスマップ（Ｙ_ｉｎｄ）の各行には対応する（ｖ”）の座標値を与える。

すなわち、インデックスマップを、下記の数４２及び数４３で定義する。但し、数４４が条件となる。

そして、画像生成部１３が、（Ｘ_ｉｎｄ）及び（Ｙ_ｉｎｄ）それぞれを入力として、正規化パノラマ画像の生成を実行すると、視点補償ベクトル生成部１４は、それぞれの正規化パノラマ画像から、ＬＵＴマップ（Ｘ_ＬＵＴ）及び（Ｙ_ＬＵＴ）を生成する。ＬＵＴマップにおいては、（Ｘ_ＬＵＴ）及び（Ｙ_ＬＵＴ）の各座標（ｕ_Ｈ，ｖ_Ｈ）には、それぞれ対応する元の魚眼画像座標（ｕ”）及び（ｖ”）の値が格納されている。よって、（ｕ_Ｈ，ｖ_Ｈ）の各座標と魚眼画像上の座標（ｕ”，ｖ”）との一対一の対応関係が得られることになる。

また、このようにして作成されたＬＵＴマップは、例えば、１対１の対応関係（数４５）を一行ずつ列挙したテキストファイル形式等によって、参照テーブルファイルとして保存することができる。

ＬＵＴ処理では、画像生成部１３は、まず、予め生成された参照テーブルファイルを読み込む。そして、画像生成部１３は、参照テーブルに記述された正規化パノラマ画像上の座標（ｕ_Ｈ，ｖ_Ｈ）と、取得された元の魚眼画像における座標（ｕ”，ｖ”）とを対応付ける情報に従って、逐次、正規化パノラマ画像座標に対応する魚眼画像上の画素値を参照し、正規化パノラマ画像を生成する。

［装置動作］
次に、本実施の形態における画像処理装置１０の動作について図１０を用いて説明する。図１０は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図９を参酌する。また、本実施の形態では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。

図１０に示すように、まず、魚眼画像取得部１１は、画像出力装置２０から魚眼画像を取得する（ステップＳ１）。次に、視点補償ベクトル取得部１２は、視点補償ベクトルを取得する（ステップＳ２）。

次に、画像生成部１３は、ステップＳ１で取得された魚眼画像と、ステップＳ２で取得された視点補償ベクトルとを用いて、正規化パノラマ画像を生成する（ステップＳ３）。

具体的には、画像生成部１３は、まず、魚眼画像に対し、視点補償ベクトルを用いて、平行化視点の集合を設定する。次いで、画像生成部１３は、水平方向の視野範囲を任意に分割し、各平行化視点それぞれの平行化視点座標系において、透視投影近似による歪補正を実行する。そして、画像生成部１３は、各視点の中心を通る垂直方向の画像要素を、平行化視点列の順序で水平方向に並べ、並べられた画像要素を連結することで、一枚の正規化パノラマ画像を生成する。

以上、ステップＳ１〜Ｓ３の実行により、一枚の正規化パノラマ画像が生成される。また、本実施の形態では、ステップＳ１〜Ｓ３は、設定された間隔で繰り返し実行されるので、正規化パノラマ画像は連続して出力される。

［実施の形態における効果］
以上のように、本実施の形態では、魚眼カメラと接地平面との位置関係が補償され、その上で、魚眼画像中の歩行者の画像の形状歪が補正され、歩行者の画像は、通常のカメラ画像と同様に見えるように正規化される。また、正規化によって得られた画像は、全水平視野の範囲での平行化視点毎に得られた透視投影補正画像の正規化スライス画像を連結して得られている。このため、本実施の形態によれば、歪み補正の精度が撮像装置の光学系から影響を受けることもない。また、魚眼カメラの光軸と対象物の接地平面との位置関係が一定条件を満たさない場合であっても、魚眼画像における歪みが精度良く除去される。

そして、この結果、本実施の形態によれば、魚眼カメラを用いた監視システム、車載のリアビューモニタシステムにおいて、歩行者の視認が容易な画像をユーザに提示することが出来る。また、本実施の形態における処理を前処理として用いれば、既存の通常カメラ画像を想定して設計及び学習されたパタン認識技術を適用した歩行者検知が適用可能となる。

更に、本実施の形態では、上述したように、視点補償ベクトルを用いた画像変換処理において、変換テーブルを参照するLUT形式を採用することもできる。この場合は、高速処理が可能となり、車載プロセッサ等といった、低消費電力と実時間処理とが求められる用途に好適である。

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図１０に示すステップＳ１〜Ｓ３を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置１０と画像処理方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、魚眼画像取得部１１、視点補償ベクトル取得部１２、画像生成部１３、及び視点補償ベクトル生成部１４として機能し、処理を行なう。また、コンピュータとしては、パーソナルコンピュータといった汎用のコンピュータだけでなく、自動車、家電、作業用機器等に搭載されるコンピュータも挙げられる。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、魚眼画像取得部１１、視点補償ベクトル取得部１２、画像生成部１３、及び視点補償ベクトル生成部１４のいずれかとして機能しても良い。

［物理構成］
ここで、本実施の形態におけるプログラムを実行することによって、画像処理装置１０を実現するコンピュータについて図１１を用いて説明する。図１１は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

図１１に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記憶媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記憶媒体１２０との間のデータ伝送を仲介し、記憶媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記憶媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記憶媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital、登録商標）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。

また、本実施の形態における画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

ここで、本明細書中に使われている主な記号を以下にまとめる。

集合のある要素に対するインデックス：ｉ，ｊ，・・・
カメラ座標系における回転角度（ｒｏｌｌ、ｐｉｔｃｈ、ｙａｗ）：α，β，γ
回転行列：Ｒ
並進ベクトル：ｔ
一般的な座標変換におけるカメラ外部パラメータ行列：Ｋ
任意のヨー角γに対する平行化変換行列：Ｋ^ｈｒｚ（γ）
元のカメラ座標系の点：ｍチルダ＝(ｘ，ｙ，ｚ，１)^Ｔ
元の魚眼画像：Ｉ_Ｆ
元の魚眼画像の座標：（ｕ”，ｖ”）
正規化パノラマ画像：Ｉ_Ｈ
正規化パノラマ画像の出力サイズ（幅、高さ）：(Ｗ_０，Ｈ_０)
平行化視点におけるヨー角の系列：Φ={φ_ｉ}
ある平行化視点φ_ｉに対する平行化視点座標系：（数４６）
ある平行化視点φ_ｉに対する透視投影画像平面座標：（数４７）
ある平行化視点φ_ｉに対する透視投影補正画像：（数４８）
ある平行化視点に対する正規化スライス画像：（数４９）
スケールパラメータ：（数５０）

上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１５）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
対象物が写った魚眼画像を取得する、魚眼画像取得手段と、
前記対象物の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記対象物を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する、視点補償ベクトル取得手段と、
前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの正規化画像を生成する、画像生成手段と、
を備えていることを特徴とする画像処理装置。

（付記２）
前記画像生成手段が、
生成される前記正規化画像の水平方向の全画素数に応じて、前記視点を設定し、
更に、前記視点毎に、歪み補正を行なった後に、補正後の前記魚眼画像を垂直方向に切り出して、当該視点からの視線が入射するスライス画像を抽出し、
抽出した前記スライス画像それぞれを、予め定めた順序で、水平方向に配置して、１つの正規化画像を生成する、
付記１に記載の画像処理装置。

（付記３）
前記画像生成手段が、
視点毎の透視投影近似による歪み補正において、前記座標系における投影平面の原点に対する距離を、
生成される前記正規化画像のサイズ、前記正規化画像の水平方向における視野角の範囲、及び前記正規化画像のアスペクト比に基づいて決定する、
付記１または２に記載の画像処理装置。

（付記４）
前記視点補償ベクトル取得手段が、前記視点補償ベクトルとして、前記対象物を前記接地面に平行な方向から撮影して得られる画像上の座標と、前記魚眼画像上の座標と、の対応付けを記述したテーブルを取得する、
付記１から３のいずれか１項に記載の画像処理装置。

（付記５）
前記撮像装置に取り付けられた角度センサから、前記撮像装置の光軸回りのロール角及び光軸のピッチ角を取得し、取得した前記ロール角及び前記ピッチ角に基づいて、前記視点補償ベクトルを生成する、視点補償ベクトル生成手段を更に備えている、
付記１から４のいずれか１項に記載の画像処理装置。

（付記６）
対象物が写った魚眼画像を取得し、
前記対象物の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記対象物を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する、視点補償ベクトル取得を行い
前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの正規化画像を生成する、画像生成を行う
ことを特徴とする画像処理方法。

（付記７）
前記画像生成において、
生成される前記正規化画像の水平方向の全画素数に応じて、前記視点を設定し、
更に、前記視点毎に、歪み補正を行なった後に、補正後の前記魚眼画像を垂直方向に切り出して、当該視点からの視線が入射するスライス画像を抽出し、
抽出した前記スライス画像それぞれを、予め定めた順序で、水平方向に配置して、１つの正規化画像を生成する、
付記６に記載の画像処理方法。

（付記８）
前記画像生成において、
視点毎の透視投影近似による歪み補正において、前記座標系における投影平面の原点に対する距離を、
生成される前記正規化画像のサイズ、前記正規化画像の水平方向における視野角の範囲、及び前記正規化画像のアスペクト比に基づいて決定する、
付記６または７に記載の画像処理方法。

（付記９）
前記視点補償ベクトル取得において、前記視点補償ベクトルとして、前記対象物を前記接地面に平行な方向から撮影して得られる画像上の座標と、前記魚眼画像上の座標と、の対応付けを記述したテーブルを取得する、
付記６から８のいずれか１項に記載の画像処理方法。

（付記１０）
更に、前記撮像装置に取り付けられた角度センサから、前記撮像装置の光軸回りのロール角及び光軸のピッチ角を取得し、取得した前記ロール角及び前記ピッチ角に基づいて、前記視点補償ベクトルを算出する、
付記６から９のいずれか１項に記載の画像処理方法。

（付記１１）
コンピュータに、
対象物が写った魚眼画像を取得する魚眼画像取得処理と、
前記対象物の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記対象物を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する視点補償ベクトル取得処理と、
前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの正規化画像を生成する画像生成処理と、
を実行させるプログラムを記憶する記憶媒体。

（付記１２）
前記画像生成処理は、
生成される前記正規化画像の水平方向の全画素数に応じて、前記視点を設定し、
更に、前記視点毎に、歪み補正を行なった後に、補正後の前記魚眼画像を垂直方向に切り出して、当該視点からの視線が入射するスライス画像を抽出し、
抽出した前記スライス画像それぞれを、予め定めた順序で、水平方向に配置して、１つの正規化画像を生成する、
付記１１に記載の記憶媒体。

（付記１３）
前記画像生成処理は、
視点毎の透視投影近似による歪み補正において、前記座標系における投影平面の原点に対する距離を、
生成される前記正規化画像のサイズ、前記正規化画像の水平方向における視野角の範囲、及び前記正規化画像のアスペクト比に基づいて決定する、
付記１１または１２に記載の記憶媒体。

（付記１４）
前記視点補償ベクトル取得処理は、前記視点補償ベクトルとして、前記対象物を前記接地面に平行な方向から撮影して得られる画像上の座標と、前記魚眼画像上の座標と、の対応付けを記述したテーブルを取得する、
付記１１から１３のいずれか１項に記載の記憶媒体。

（付記１５）
前記プログラムは、コンピュータに、
前記撮像装置に取り付けられた角度センサから、前記撮像装置の光軸回りのロール角及び光軸のピッチ角を取得し、取得した前記ロール角及び前記ピッチ角に基づいて、前記視点補償ベクトルを算出する視点補償ベクトル生成処理を更に実行させる、
付記１１から１４のいずれか１項に記載の記憶媒体。

以上、実施形態参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１６年６月１７日に出願された日本出願特願２０１６−１２０９８４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように本発明によれば、魚眼光学系に影響されることなく、且つ、魚眼カメラの光軸と対象物の接地する平面との位置関係が一定条件を満たさない場合であっても、魚眼画像における歪みを正規化することができる。本発明は、魚眼カメラが用いられる種々の分野に有用である。

１ 画像処理システム
１０ 画像処理装置
１１ 魚眼画像取得部
１２ 視点補償ベクトル取得部
１３ 画像生成部
１４ 視点補償ベクトル生成部
２０ 画像出力装置
３０ センサ装置
４０ 端末装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記憶媒体
１２１ バス

Claims (10)

1. 対象物が写った魚眼画像を取得する、魚眼画像取得手段と、
   前記対象物の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記対象物を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する、視点補償ベクトル取得手段と、
   前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
   設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
   補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの正規化画像を生成する、画像生成手段と、
   を備えていることを特徴とする画像処理装置。
2. 前記画像生成手段が、
   生成される前記正規化画像の水平方向の全画素数に応じて、前記視点を設定し、
   更に、前記視点毎に、歪み補正を行なった後に、補正後の前記魚眼画像を垂直方向に切り出して、当該視点からの視線が入射するスライス画像を抽出し、
   抽出した前記スライス画像それぞれを、予め定めた順序で、水平方向に配置して、１つの正規化画像を生成する、
   請求項１に記載の画像処理装置。
3. 前記画像生成手段が、
   視点毎の透視投影近似による歪み補正において、前記座標系における投影平面の原点に対する距離を、
   生成される前記正規化画像のサイズ、前記正規化画像の水平方向における視野角の範囲、及び前記正規化画像のアスペクト比に基づいて決定する、
   請求項１または２に記載の画像処理装置。
4. 前記視点補償ベクトル取得手段が、前記視点補償ベクトルとして、前記対象物を前記接地面に平行な方向から撮影して得られる画像上の座標と、前記魚眼画像上の座標と、の対応付けを記述したテーブルを取得する、
   請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記撮像装置に取り付けられた角度センサから、前記撮像装置の光軸回りのロール角及び光軸のピッチ角を取得し、取得した前記ロール角及び前記ピッチ角に基づいて、前記視点補償ベクトルを生成する、視点補償ベクトル生成手段を更に備えている、
   請求項１から４のいずれか１項に記載の画像処理装置。
6. 対象物が写った魚眼画像を取得し、
   前記対象物の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記対象物を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する、視点補償ベクトル取得を行い、
   前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
   設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
   補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの正規化画像を生成する、画像生成を行う、
   ことを特徴とする画像処理方法。
7. 前記画像生成において、
   生成される前記正規化画像の水平方向の全画素数に応じて、前記視点を設定し、
   更に、前記視点毎に、歪み補正を行なった後に、補正後の前記魚眼画像を垂直方向に切り出して、当該視点からの視線が入射するスライス画像を抽出し、
   抽出した前記スライス画像それぞれを、予め定めた順序で、水平方向に配置して、１つの正規化画像を生成する、
   請求項６に記載の画像処理方法。
8. 前記画像生成において、
   視点毎の透視投影近似による歪み補正において、前記座標系における投影平面の原点に対する距離を、
   生成される前記正規化画像のサイズ、前記正規化画像の水平方向における視野角の範囲、及び前記正規化画像のアスペクト比に基づいて決定する、
   請求項６または７に記載の画像処理方法。
9. 前記視点補償ベクトル取得において、前記視点補償ベクトルとして、前記対象物を前記接地面に平行な方向から撮影して得られる画像上の座標と、前記魚眼画像上の座標と、の対応付けを記述したテーブルを取得する、
   請求項６から８のいずれか１項に記載の画像処理方法。
10. コンピュータに、
    対象物が写った魚眼画像を取得する魚眼画像取得処理と、
    前記対象物の接地面に平行な面を基準とした、撮像装置の光軸回りのロール角及び光軸のピッチ角に基づいて、前記魚眼画像を、前記対象物を前記接地面に平行な方向から撮影して得られる画像に変換するための、視点補償ベクトルを取得する視点補償ベクトル取得処理と、
    前記視点補償ベクトルを用いて変換された前記魚眼画像に対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
    設定された前記視点毎に、変換後の前記魚眼画像に対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
    補正後の前記魚眼画像それぞれから抽出された垂直方向の画像要素を用いて、１つの正規化画像を生成する画像生成処理と、
    を実行させるプログラム。

Images