JP4679293B2

JP4679293B2 - 車載パノラマカメラシステム

Info

Publication number: JP4679293B2
Application number: JP2005229370A
Authority: JP
Inventors: 晴雄畑中; 浩蚊野
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2005-08-08
Filing date: 2005-08-08
Publication date: 2011-04-27
Anticipated expiration: 2025-08-08
Also published as: JP2007049276A

Description

この発明は、車載パノラマカメラシステムに関する。

安全運転を支援するため、１または複数の車載カメラで水平方向に広視野な領域を撮影し、その映像を車内のモニタに表示する車載パノラマカメラシステムが実用化されつつある。現在、提案されている車載パノラマカメラシステムには、通常のカメラを複数台使用するものと、広視野のカメラを１台使用するものとがある。

（１）通常のカメラを複数台使用する車載パノラマカメラシステム
通常のカメラでは視野角が小さいので、複数台のカメラをその視野の一部が重なるように、水平方向に視線を変えて設置し、得られた複数の画像を合成して表示する。このとき、複数の画像のつなぎ目がわからないように各画像を幾何変換することで、より視認性の高い水平パノラマ画像が得られる。

（２）広視野のカメラを１台使用する車載パノラマカメラシステム
この種の車載パノラマカメラシステムでは、超広角レンズ、魚眼レンズまたは全方位センサを用いて、一度に広視野な画像を得る。ただし、撮影画像はレンズ歪みの影響が大きいため、レンズ歪みを補正し、補正後の画像の一部分を切り取ってモニタに表示する。

広視野のカメラを１台使用する車載パノラマカメラシステムは、通常のカメラを複数台使用する車載パノラマカメラシステムと比較すると、画像中心から離れるほど解像度が低くなるという問題はあるが、つなぎ目は発生しないという利点がある。

ところで、複数の画像を合成してパノラマ画像を生成する方法には、各撮影画像を平面上に投影して貼り合わせる方法の他、各撮影画像を円筒面上に投影して貼り合わせる方法がある。

前者によって生成されたパノラマ画像では、遠近感が出るため、画像と実際の方向感覚との一致度は高いが、視野が広くなるほどパノラマ画像の歪みは大きくなり、中央付近の領域は視認不可能なほど小さくなる。さらに、１８０度以上の視野は原理的に表示不可能である。後者によって生成されたパノラマ画像では、遠近感が出ないため、パノラマ画像の水平位置と、実際の方向との対応付けが直観的にわかりづらいという問題がある。
合成ものと、広視野のカメラを１台使用するものとがある。
特許第３１５４６７６号公報特許第３２９７０４０号公報特開２００４−４６５７３号公報

この発明は、実際の方向を認識しやすくかつ広視野においても比較的歪みが小さいパノラマ画像が得られる車載パノラマカメラシステムを提供することを目的とする。

請求項１に記載の発明は、車両に搭載されており、投影中心を共有しかつ隣どうしのカメラの撮像領域の一部が重なり合うように配置された複数のカメラであって、それらのカメラ全体の撮像範囲が車両の前方または後方を中心とする所定水平角度範囲となるように配置されている複数のカメラ、上記投影中心を通る垂直軸を中心軸とする円筒面を投影面として、各カメラの撮像画像を円筒面投影画像に変換する円筒面投影変換手段、円筒面投影変換手段によって得られた各円筒面投影画像を接合することにより、円筒面パノラマ画像を生成する接合手段、上記投影中心を通る垂直軸を中心軸とする楕円筒面であって短軸方向が車両の前後方向と一致している楕円筒面を投影面として、接合手段によって得られた円筒面パノラマ画像を楕円筒面投影画像に変換することにより、楕円筒面パノラマ画像を生成する楕円筒面投影変換手段、ならびに楕円筒面投影変換手段によって得られた楕円筒面パノラマ画像を表示する表示手段を備えていることを特徴とする。

請求項２に記載の発明は、車両に搭載されており、投影中心を共有しかつ隣どうしのカメラの撮像領域の一部が重なり合うように配置された複数のカメラであって、それらのカメラ全体の撮像範囲が車両の前方または後方を中心とする所定水平角度範囲となるように配置されている複数のカメラ、上記投影中心を通る垂直軸を中心軸とする円筒面を投影面として、各カメラの撮像画像を円筒面投影画像に変換する円筒面投影変換手段、円筒面投影変換手段によって得られた各円筒面投影画像を接合することにより、円筒面パノラマ画像を生成する接合手段、上記投影中心を通る垂直軸を中心軸とする楕円筒面であって短軸方向が車両の前後方向と一致している楕円筒面を投影面として、接合手段によって得られた円筒面パノラマ画像を楕円筒面投影画像に変換することにより、楕円筒面パノラマ画像を生成する楕円筒面投影変換手段、楕円筒面投影変換手段によって得られた楕円筒面パノラマ画像における車両のコーナ位置に対応する位置に、車両のコーナ位置を示す画像を付加するコーナ位置指標付加手段、ならびにコーナ位置指標付加手段によって車両のコーナ位置を示す画像が付加された楕円筒面パノラマ画像を表示する表示手段を備えていることを特徴とする。

請求項３に記載の発明は、請求項１乃至２に記載の発明において、円筒面投影変換手段は、隣合う円筒面投影画像の重なり部を抽出する第１手段、隣合う円筒面投影画像の重なり部の対応点を求める第２手段、および隣合う円筒面投影画像の重なり部の対応点に基づいて、隣合う円筒面投影画像間の幾何変換係数を算出する手段および隣合う円筒面投影画像の幾何変換係数に基づいて隣合う円筒面投影画像を接合する第３手段を備えていることを特徴とする。

この発明によれば、実際の方向を認識しやすくかつ広視野においても比較的歪みが小さいパノラマ画像が得られるようになる。

以下、図面を参照して、この発明の実施例について説明する。

〔１〕カメラの配置についての説明

図１は、車両に設けられた３台のカメラを示している。
車両１００の前部に、３台のカメラ１、２、３が設けられている。カメラ２は車両の幅中央に前方向きに配されている。カメラ１はカメラ２の左側に前方斜め左向きに配されている。カメラ３はカメラ２の右側に前方斜め右向きに配置されている。各カメラ１、２、３は、投影中心を共有し、かつ隣どうしのカメラの撮影領域の一部が重なり合うように配置されている。

〔２〕車載パノラマカメラシステムの構成についての説明

図２は、車載パノラマカメラシステムの構成を示している。
車載パノラマカメラシステムは、車両１００に設けられた３台のカメラ１、２、３と、車両内に設けられかつカメラ１、２、３によって撮影された画像からパノラマ画像を生成するパノラマ画像生成部４と、車両内に設けられかつパノラマ画像生成部４によって生成されたパノラマ画像を表示するモニタ５とを備えている。

各カメラ１、２、３としては、ＣＣＤカメラが用いられる。パノラマ画像生成部４としては、例えば、マイクロコンピュータが用いられる。モニタ５としては、例えば、ナビケーションシステムのモニタが用いられる。

〔３〕パノラマ画像生成処理についての説明

図３は、パノラマ画像生成部４によるパノラマ画像生成処理手順を示している。
まず、各カメラ１、２、３の撮像画像を読み込む（ステップＳ１）。次に、読み込んだ各撮像画像を円筒面に投影するための処理（円筒面投影変換処理）を行なう（ステップＳ２）。つまり、各撮像画像の座標を円筒面投影座標に変換する。次に、円筒面に投影された各画像を接合するための処理（画像接合処理）を行なう（ステップＳ３）。これにより、円筒面パノラマ画像が得られる。次に、円筒面パノラマ画像を、楕円筒面に投影するための処理（楕円筒面投影変換処理）を行なう（ステップＳ４）。これにより、楕円筒面パノラマ画像が得られる。そして、得られた楕円筒面パノラマ画像をモニタ５に表示する（ステップＳ５）。

以下、ステップＳ２、Ｓ３の処理の詳細について説明する。

〔３−１〕円筒面投影変換処理（ステップＳ２の処理）についての説明

ステップＳ２では、各撮影画像を円筒面に投影する。説明の便宜上、各カメラ１、２、３は、水平状態で車両に取り付けられているものとする。

図４に示すように、例えば、カメラ３の撮像面Ｓ３の幅をｗ画素とすると、視点（投影中心）Ｏから撮影した画像面Ｓ３上の点Ｑ（ｘ，ｙ）は、次式（１）を用いて、投影中心Ｏを通る垂線を中心軸とし半径ｒの円筒面Ｅ上の点Ｑ’＝（ｘ’，ｙ’）に投影される。円筒面投影画像をＩ３で示す。なお、カメラ３の撮像画像を円筒面投影画像に変換する場合、円筒面Ｅ上の座標系ｘ’ｙ’は、投影中心Ｏからカメラ３の撮像面Ｓ３の中心を通る直線と円筒面Ｅとの交点を原点とし、垂直方向にｙ’軸を、円筒面の周方向にｘ’軸を取った座標系である。また、ｘ’，ｙ’の各座標値の単位は画素単位である。

ステップＳ２では、上記式（１）を用いて、各カメラ１、２、３の撮影画像を円筒面投影画像に変換する。図５に、各カメラ１、２、３の撮影画像に対応する円筒面投影画像を、Ｉ１、Ｉ２およびＩ３で示す。

〔３−２〕画像接合処理（ステップＳ３）の説明

ステップ３では、円筒面投影変換された各画像が接合される。具体的には、カメラ２に対応する円筒面投影画像を基準として、３台のカメラ１、２、３に対応する円筒面投影画像が接合される。

図６は、画像接合処理手順を示している。

カメラ２に対応する円筒面投影変換画像Ｉ２を基準画像として、カメラ１に対応する円筒面投影変換画像Ｉ１を基準画像Ｉ２に接合するとともに、カメラ３に対応する円筒面投影変換画像Ｉ３を基準画像Ｉ２に接合する。

基準画像を第１画像といい、基準画像に接合される他の１つの画像を第２画像ということにする。第１画像と第２画像との重なり部の抽出処理が行われる（ステップＳ１１）。この重なり部の抽出処理としては、例えば、特開２００４−４６５７３号公報に開示されている方法等の公知の技術が用いられる。

次に、特徴点抽出処理が行われる（ステップＳ１２）。つまり、第１画像における第２画像との重なり部分から、追跡に有効な複数の部分画像（矩形領域）が特徴点として抽出される。この特徴点抽出処理としては、例えば、特開２００４−４６５７３号公報に開示されている方法等の公知の技術が用いられる。

次に、特徴点追跡処理が行われる（ステップＳ１３）。つまり、抽出された第１画像上の特徴点に対する第２画像上の位置が追跡される。この特徴点追跡処理としては、例えば、特開２００４−４６５７３号公報に開示されている方法等の公知の技術が用いられる。

次に、幾何学変換行列の算出処理が行なわれる（ステップＳ１４）。ここでは、第１画像が基準画像であるため、上記ステップＳ１３で求められた第１画像と第２画像との対応点の座標に基づいて、第２画像内の各画素の座標を第１画像上の座標に変換するための幾何変換行列（幾何変換係数）を算出する。

幾何変換行列としては、この例では、２次元平行移動のための行列が用いられる。幾何変換行列とし２次元剛体変換行列を用いてもよい。

この段階では、第２画像内の各画素の座標を第１画像上の座標に変換しないが、第２画像内の各画素の座標（ｘ’，ｙ’，１）を第１画像の座標（＊ｘ’，＊ｙ’，１）に変換する式は、次式（２）で表される。

上記式（２）において、（ｔ_x，ｔ_y）は平行移動量を示し、ｋは零でない任意の定数を示している。

次に、画素値調合の重み（画素値調合係数）を算出する（ステップＳ１５）。

３台のカメラで複数の画像を撮像した場合には、画像間の明るさが異なることがある。そこで、接合されるべき第１画像と第２画像とが重なる領域では、各画像の画素値を調合する処理を後処理として行なう。画素値調合処理は、両画像の重なり領域の画素値を画像間で滑らかに変化させることにより、明るさの差異を目立たなくさせる処理である。また、この処理は、同時に、幾何変換による合成誤差も目立たなくさせることができる。

この実施の形態では、各画像の重心からの距離に基づいて両画像の重なり領域の画素値を調合する。

まず、第１画像の重心位置Ｇ₁を求める。また、第２画像を第１画像に接合した合成画像上での第２画像の重心位置Ｇ₂を、接合のために使用される変換式（上記式（２）式）に基づいて求める。

次に、第１画像の４頂点（４隅）の位置をそれぞれ求める。また、第２画像を第１画像に接合した合成画像上での第２画像の４頂点の位置を、接合に使用される変換式（上記式（２）式）に基づいて求める。これにより、合成画像上における第１画像の４頂点の位置および第２画像の４頂点の位置が分かるので、合成画像上において第１画像と第２画像との重なり領域を抽出する。

合成画像上での第１画像と第２画像との重なり領域内の各画素（画素値調合対象画素）から第１画像と第２画像のそれぞれの画像の重心位置Ｇ₁、Ｇ₂までの距離に応じて、当該画素値調合対象画素の画素値の重みを決定する。この重みは、画素値調合対象画素から重心までの距離が近い方の画像の画素値を大きくするように決定する。

つまり、合成画像上での第１画像と第２画像との重なり領域内の画素値調合対象画素の座標から、合成画像上での第１画像の重心位置Ｇ₁までのユークリッド距離をｄ₁、合成画像上での第２画像の重心位置Ｇ₂までのユークリッド距離をｄ₂とすると、画素値調合対象画素における第１画像の画素値に対する重みＷ₁および第２画像の画素値に対する重みＷ₂は、次式（３）で表される。

各画素値調合対象画素に対して式（３）に基づいて重みｗ₁およびｗ₂を算出し、画素値調合対象画素に対する重みｗ₁およびｗ₂のテーブル（重みテーブル）を作成する。

次に、画像を合成する（ステップＳ１６）。

つまり、上記式（２）を用いて第２画像を第１画像の座標系に描画する。

この際、ステップＳ１５で得られた重みテーブルに基づいて、第１画像と第２画像の重なり領域の画素値Ｐ₁、Ｐ₂を画素調合する。すなわち、次式（４）により、各画素値調合対象画素の画素値Ｐ_iを算出する。このようにして、３つの円筒面投影画像Ｉ１、Ｉ２、Ｉ３を接合することにより、円筒面パノラマ画像が得られる。なお、カメラ２の撮像画像に対応する円筒面投影変換画像Ｉ２を基準画像として３つの円筒面投影変換画像を合成しているので、円筒面パノラマ画像の座標系ｘ’ｙ’は、投影中心Ｏから中央のカメラ２の撮像面の中心を通る直線と円筒面Ｅとの交点を原点とし、垂直方向にｙ’軸を、円筒面の周方向にｘ’軸を取った座標系となる。

〔３−３〕楕円筒面投影変換処理（ステップＳ４）の説明

ステップＳ４では、円筒面パノラマ画像を、楕円筒面に投影する。

図７に示すように、投影中心Ｏを通る垂線を中心軸とし、車両の前後方向（投影中心Ｏと図示しないカメラ２の撮像面との中心を結ぶ方向）と短軸方向とが一致する楕円筒面Ｄを想定する。この楕円筒面Ｄの長軸の半径（長半径）をａ画素、短軸の半径（短半径）をｂ画素とする。

円筒面パノラマ画像上の点Ｑ’（ｘ’，ｙ’）は、次式（５）を用いて、楕円筒面Ｄ上の点Ｑ”（ｘ”，ｙ”）に投影される。この場合、楕円筒面Ｄ上の座標系ｘ”ｙ”は、投影中心Ｏから中央のカメラ２の撮像面の中心を通る直線と楕円筒面Ｄとの交点を原点とし、垂直方向にｙ”軸を、楕円筒面Ｄの周方向にｘ”軸を取った座標系となる。また、ｘ”，ｙ”の各座標値の単位は画素単位である。

ステップＳ４では、上記式（５）を用いて、円筒面パノラマ画像を楕円筒面投影画像に変換する。これにより、楕円筒面パノラマ画像が得られる。このようにして得られた楕円筒面パノラマ画像がモニタ５に表示される。

なお、図８に示すように、楕円筒面パノラマ画像における車両１００のコーナ位置（この場合は車両前部の左コーナ位置および右コーナ位置）に対応する位置に、車両のコーナ位置を示す指標画像２００を表示させるようにしてもよい。

つまり、カメラ３の撮像面Ｓ３上における車両前部の右コーナ位置（ｘ座標値）を予め求めておくことにより、楕円筒面パノラマ画像における車両１００の右コーナ位置に対応する位置（ｘ”座標値）が算出されるので、その位置に右コーナ位置を示す指標座標を合成すればよい。同様に、カメラ１の撮像面上における車両前部の左コーナ位置（ｘ座標値）を予め求めておくことにより、楕円筒面パノラマ画像における車両１００の左コーナ位置に対応する位置（ｘ”座標値）が算出されるので、その位置に左コーナ位置を示す指標座標を合成すればよい。

カメラ３の撮像面Ｓ３上における車両前部の右コーナ位置を求める方法について説明する。図９に示すように、カメラ３の投影中心と撮像面Ｓ３の中心とを通る直線Ｌ０と、カメラ３の投影中心と車両前部の右コーナ位置とを通る直線Ｌ１とのなす角度をαとする。また、撮像面Ｓ３の中心を通るｘ軸と、撮像面Ｓ３の右端との交点とカメラ３の投影中心とを通る直線をＬ２とし、直線Ｌ２と直線Ｌ０とのなす角度をβとする。また、撮像面Ｓ３の幅をｗとすると、撮像面Ｓ３上における車両前部の右コーナ位置に対応するｘ座標値は、次式（６）によって求めることができる。

〔１〕車載パノラマカメラシステムの構成についての説明

実施例２においても、車載パノラマカメラシステムの構成は実施例１と同じであり、図２に示すように、車載パノラマカメラシステムは、実施例１と同様な配置で車両に設けられた３台のカメラ１、２、３と、車両内に設けられかつカメラ１、２、３によって撮影された画像からパノラマ画像を生成するパノラマ画像生成部４と、車両内に設けられかつパノラマ画像生成部４によって生成されたパノラマ画像を表示するモニタ５とを備えている。

実施例２では、パノラマ画像生成部４によるパノラマ画像生成方法が実施例１と異なっている。

〔２〕パノラマ画像生成処理についての説明

図１０は、パノラマ画像生成部４によるパノラマ画像生成処理手順を示している。
まず、各カメラ１、２、３の撮像画像を読み込む（ステップＳ２１）。次に、読み込んだ各撮像画像を楕円筒面投影画像に変換する変換式であって、楕円筒面に対して予め設定された単一の２次元座標系に全ての楕円筒面投影画像の座標が統一されるような変換式を用いて、各撮像画像を楕円筒面投影画像に変換するための処理（カメラ位置を考慮した楕円筒面投影変換処理）を行なう（ステップＳ２２）。この後、各撮像画像に対応する楕円等面投影画像の重なり合う領域での画素値を調合するための処理（画素値調合処理）を行なう（ステップＳ２３）。これにより、楕円筒面パノラマ画像を得る。そして、得られた楕円筒面パノラマ画像をモニタ５に表示する（ステップＳ２４）。

以下、ステップＳ２２、Ｓ２３の処理の詳細について説明する。

〔２−１〕カメラ位置を考慮した楕円筒面投影変換処理（ステップＳ２２の処理）についての説明

ステップＳ２２では、各カメラの水平方向の角度を考慮して、各撮像画像を楕円筒面上に投影する。説明の便宜上、各カメラ１、２、３は、水平状態で車両に取り付けられているものとする。

ステップＳ２２の処理の基本的な考え方について説明する。まず、カメラ設置時に実測または既知のキャリブレーション方法を用いて、中央に位置するカメラ２を基準として、カメラ１、２、３の水平方向の角度（パン角）θ１、θ２、θ３を記憶させておく。

次に、図１１に示すように、各撮像画像を投影中心を通る垂線を中心軸とし半径ｒの円筒面Ｅに投影するが、この際、各カメラ１、２、３の水平方向の角度θ１、θ２、θ３を考慮して、各撮像画像に対応する円筒面投影画像の座標系が、円筒面に対して予め設定された単一の２次元座標系に統一されるように、投影変換を行なう。

例えば、カメラ２の撮像画像の撮像面をＳ２とし、カメラ３の撮像面をＳ３とし、カメラ２の水平方向の角度θ２を０度とした場合の、カメラ３の水平方向の角度をθ３とする。撮像面Ｓ２上のｘ座標値ｘ２と、それに対応する円筒面Ｅ上のｘ’座標値ｘ２’との関係は、図１２に示すようになる。また、撮像面Ｓ３上のｘ座標値ｘ３と、それに対応する円筒面Ｅ上のｘ’座標値ｘ３’との関係は、図１３に示すようになる。撮像面Ｓ２の中心を円筒面Ｅ上に投影した点と、撮像面Ｓ３の中心を円筒面Ｅ上に投影した点との間の、円筒面Ｅ上のｘ’座標系での距離はｒθ３となる。

図４を用いて説明したように、撮像画像を単純に円筒面投影画像に変換する変換式は上記式（１）で表されるので、カメラ１、２、３の水平方向の角度θ１、θ２、θ３（＝θｉ）を加味した変換式（７）を用いて、各カメラ１、２、３の撮像画像を円筒面Ｅ上に投影すると、各撮像画像に対応する円筒面投影画像の座標系が、円筒面Ｅに対して予め設定された単一の２次元座標系に統一される。ここでは、カメラ２を基準としているので、円筒面Ｅ上の単一の二次元座標系ｘ’ｙ’は、投影中心Ｏから中央のカメラ２の撮像面の中心を通る直線と円筒面Ｅとの交点を原点とし、垂直方向にｙ’軸を、円筒面の周方向にｘ’軸を取った座標系となる。

上記式（７）において、θｉはカメラ１、２、３の水平方向の角度θ１、θ２、θ３を表しており、カメラ１の撮像画像を円筒面投影画像に変換するときにはｉ＝１となり、カメラ２の撮像画像を円筒面投影画像に変換するときにはｉ＝２となり、カメラ３の撮像画像を円筒面投影画像に変換するときにはｉ＝３となる。

ｘ，ｙは撮像画像のｘ，ｙ座標を表している。ｘ’，ｙ’は円筒面に対して設定された単一の２次元座標系のｘ’，ｙ’座標を表している。ｗは撮像面の幅を表している。ｒは円筒面の半径を表している。

次に、得られた各円筒面投影画像を、図１１に示すように、投影中心Ｏを通る垂線を中心軸とし、車両の前後方向（投影中心Ｏと図示しないカメラ２の撮像面との中心を結ぶ方向）と短軸方向とが一致する楕円筒面Ｄ上に投影する。楕円筒面Ｄの長半径をａ、短半径をｂとすると、各円筒面投影画像を楕円筒面投影画像に変換する変換式は次式（８）となる。

上記式（８）において、ｘ’，ｙ’は円筒面に対して設定された単一の２次元座標系のｘ’，ｙ’座標を表している。また、ｘ”，ｙ”は円筒面に対して設定された単一の２次元座標系のｘ”，ｙ”座標を表している。ここでは、カメラ２を基準としているので、楕円筒面Ｄ上の単一の二次元座標系ｘ”ｙ”は、投影中心Ｏから中央のカメラ２の撮像面の中心を通る直線と楕円筒面Ｄとの交点を原点とし、垂直方向にｙ”軸を、楕円筒面の周方向にｘ”軸を取った座標系となる。

上記式（８）のｘ’およびｙ’に、上記式（７）を代入することにより、各カメラ１、２、３の撮像画像を楕円筒面投影画像に変換する変換式であって、楕円筒面に対して予め設定された単一の２次元座標系に全ての楕円筒面投影画像の座標が統一されるような変換式が得られる。ステップＳ２２では、このようにして得られた変換式を用いて、各カメラ１、２、３の撮像画像を楕円筒面投影画像に変換する。

〔２−２〕画素値調合処理（ステップＳ２３）の説明

ステップＳ２３では、各カメラ１、２、３の撮像画像に対応する楕円筒面投影画像において、互いに重なる領域において、各画像の画素値を調合する。

ここでは、隣接する２つのカメラに対応する楕円筒面投影画像の一方を第１画像といい、他方を第２画像ということにする。

まず、第１画像および第２画像の重心位置Ｇ₁、Ｇ₂を求める。次に、第１画像および第２画像の４頂点（４隅）の位置をそれぞれ求める。そして、第１画像と第２画像との重なり領域を抽出する。

第１画像と第２画像との重なり領域内の各画素（画素値調合対象画素）から第１画像と第２画像のそれぞれの画像の重心位置Ｇ₁、Ｇ₂までの距離に応じて、当該画素値調合対象画素の画素値の重みを決定する。この重みは、画素値調合対象画素から重心までの距離が近い方の画像の画素値を大きくするように決定する。

つまり、第１画像と第２画像との重なり領域内の画素値調合対象画素の座標から、第１画像の重心位置Ｇ₁までのユークリッド距離をｄ₁、第２画像の重心位置Ｇ₂までのユークリッド距離をｄ₂とすると、画素値調合対象画素における第１画像の画素値に対する重みＷ₁および第２画像の画素値に対する重みＷ₂は、次式（９）で表される。

各画素値調合対象画素に対して上記式（９）に基づいて重みｗ₁およびｗ₂を算出し、画素値調合対象画素に対する重みｗ₁およびｗ₂のテーブル（重みテーブル）を作成する。

次に、第１画像と第２画像の重なり領域の画素値Ｐ₁、Ｐ₂を画素調合する。すなわち、次式（１０）により、各画素値調合対象画素の画素値Ｐ_iを算出する。

このようにして画素値調合処理が行なわれることにより、楕円筒面パノラマ画像が得られる。このようにして得られた楕円筒面パノラマ画像がモニタ５に表示される。

なお、実施例１と同様に、楕円筒面パノラマ画像における車両１００のコーナ位置（この場合は車両前部の左コーナ位置および右コーナ位置）に対応する位置に、車両のコーナ位置を示す指標画像を表示させるようにしてもよい。

上記実施例１、２では、車両の前方のパノラマ画像を生成しているが、車両の後方のパノラマ画像を生成する場合にもこの発明を適用することができる。

車両に設けられた３台のカメラを示す模式図である。車載パノラマカメラシステムの構成を示すブロック図である。パノラマ画像生成部４によるパノラマ画像生成処理手順を示すフローチャートである。図３のステップＳ２の円筒面投影変換処理を説明するための模式図である。各カメラ１、２、３の撮影画像に対応する円筒面投影画像Ｉ１、Ｉ２およびＩ３示す模式図である。図３のステップＳ３の画像接合処理の詳細な手順を示すフローチャートである。図３のステップＳ１の楕円筒面投影変換処理を説明するための模式図である。楕円筒面パノラマ画像における車両のコーナ位置に、車両のコーナ位置を示す指標画像を表示させた場合の表示例を示す模式図である。カメラ３の撮像面Ｓ３上における車両前部の右コーナ位置を求める方法を説明するための模式図である。パノラマ画像生成部４によるパノラマ画像生成処理の他の例の手順を示すフローチャートである。図９のステップＳ２２のカメラ位置を考慮した楕円筒面投影変換処理の原理を説明するための模式図である。撮像面Ｓ２上のｘ座標値ｘ２と、それに対応する円筒面Ｅ上のｘ’座標値ｘ２’との関係を示す模式図である。撮像面Ｓ３上のｘ座標値ｘ３と、それに対応すると円筒面Ｅ上のｘ’座標値ｘ３’との関係を示す模式図である。

符号の説明

１、２、３カメラ
４パノラマ画像生成部
５モニタ
１００車両

Claims

車両に搭載されており、投影中心を共有しかつ隣どうしのカメラの撮像領域の一部が重なり合うように配置された複数のカメラであって、それらのカメラ全体の撮像範囲が車両の前方または後方を中心とする所定水平角度範囲となるように配置されている複数のカメラ、
上記投影中心を通る垂直軸を中心軸とする円筒面を投影面として、各カメラの撮像画像を円筒面投影画像に変換する円筒面投影変換手段、
円筒面投影変換手段によって得られた各円筒面投影画像を接合することにより、円筒面パノラマ画像を生成する接合手段、
上記投影中心を通る垂直軸を中心軸とする楕円筒面であって短軸方向が車両の前後方向と一致している楕円筒面を投影面として、接合手段によって得られた円筒面パノラマ画像を楕円筒面投影画像に変換することにより、楕円筒面パノラマ画像を生成する楕円筒面投影変換手段、ならびに
楕円筒面投影変換手段によって得られた楕円筒面パノラマ画像を表示する表示手段、
を備えていることを特徴とする車載パノラマカメラシステム。
車両に搭載されており、投影中心を共有しかつ隣どうしのカメラの撮像領域の一部が重なり合うように配置された複数のカメラであって、それらのカメラ全体の撮像範囲が車両の前方または後方を中心とする所定水平角度範囲となるように配置されている複数のカメラ、
上記投影中心を通る垂直軸を中心軸とする円筒面を投影面として、各カメラの撮像画像を円筒面投影画像に変換する円筒面投影変換手段、
円筒面投影変換手段によって得られた各円筒面投影画像を接合することにより、円筒面パノラマ画像を生成する接合手段、
上記投影中心を通る垂直軸を中心軸とする楕円筒面であって短軸方向が車両の前後方向と一致している楕円筒面を投影面として、接合手段によって得られた円筒面パノラマ画像を楕円筒面投影画像に変換することにより、楕円筒面パノラマ画像を生成する楕円筒面投影変換手段、
楕円筒面投影変換手段によって得られた楕円筒面パノラマ画像における車両のコーナ位置に対応する位置に、車両のコーナ位置を示す画像を付加するコーナ位置指標付加手段、ならびに
コーナ位置指標付加手段によって車両のコーナ位置を示す画像が付加された楕円筒面パノラマ画像を表示する表示手段、
を備えていることを特徴とする車載パノラマカメラシステム。
円筒面投影変換手段は、隣合う円筒面投影画像の重なり部を抽出する第１手段、隣合う円筒面投影画像の重なり部の対応点を求める第２手段、および隣合う円筒面投影画像の重なり部の対応点に基づいて、隣合う円筒面投影画像間の幾何変換係数を算出する手段および隣合う円筒面投影画像の幾何変換係数に基づいて隣合う円筒面投影画像を接合する第３手段を備えていることを特徴とする請求項１乃至２に記載の車載パノラマカメラシステム。