JP4902368B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、車両に設けられたカメラによって撮像されたカメラ画像を、表示用の投影画像に変換する画像処理装置及び画像処理方法に関する。

従来、自動車等の運転者が車両の周辺状況を確認できるように、カメラで車両周辺を撮像し、撮像した画像を車内に設けられている表示部に表示させる運転支援システムが提案されている。

図１０には、車両に設けられたカメラ１０_１乃至１０_２を備える運転支援システムの一例が示されている。かかる運転支援システムでは、カメラ１０_１が、対象領域Ｌを撮像して左カメラ画像ＰＬを取得し、カメラ１０_２が、対象領域Ｒを撮像して右カメラ画像ＰＲを取得する。そして、運転支援システムは、取得したカメラ画像ＰＬ乃至ＰＲを車内に設けられている表示部に表示するように構成されている。

また、この種の運転支援システムでは、複数のカメラで撮像した画像を合成し、視野の広い画像を生成する技術として、パノラマ合成が用いられている。上述したパノラマ合成は、複数のカメラ画像を共通の平面又は円筒面に投影し、投影した各画像を合成して合成画像を生成する技術である。なお、近年では、円筒面と球面とを組み合わせたパノラマ合成も提案されている（例えば、特許文献１参照）。
特開２００２−８３２８５号公報

ところで、上述したパノラマ合成において、撮像した複数の画像を平面に投影して合成した場合、その合成画像は、図１１（ａ）に示すように、中央部から左右の端部に向かうほど大きく引き伸ばされてしまう。よって、かかる合成画像は、運転者にとって、広い視野で車両周囲の安全確認を行いにくいという問題がある。

また、複数の画像を円筒面に投影して合成した場合、その合成画像は、図１１（ｂ）に示すように、端部に引き伸ばしはなく、かつ広範囲の画像を投影できるため、視野が広くなるという長所がある。しかし、かかる合成画像は、全体的に歪んだ画像であるため、車両周囲に存在する物体Ｍが変形して表示されてしまう。その結果、運転者は、特に車両の進行方向に存在する物体が、車両からどの程度の距離に存在するのかを把握しにくいという問題がある。

また、特開２００２−８３２８５号公報で開示されるパノラマ合成では、撮像した画像を投影する際に、車両遠方の画像を円筒面に投影すると共に、車両近傍の画像を球面に投影して、合成画像を生成する。しかし、球面に投影した車両近傍の画像は、物体との距離を比較的把握し易いが、円筒面に投影した車両遠方の画像は、歪んだ画像であるため、距離を把握しにくいという問題がある。

つまり、円筒面や球面等の曲面の投影した合成画像は、広範囲の画像を表示することができるが、運転者が実際に目視で見える画像と異なる画像になってしまうため、物体との距離を把握しにくく、視認性が低いという問題があった。

そこで、本発明は以上の点に鑑みてなされたもので、表示される画像の視認性が低下することを抑制し、かつ視野の広い画像を表示させることが可能な画像処理装置及び画像処理方法を提供することを目的とする。

本発明の第１の特徴は、車両に設けられているカメラ（例えば、カメラ１０_１）によって撮像されたカメラ画像を取得する取得部（取得部１１０）と、前記カメラ画像を平面に投影して、平面投影画像に変換する第１画像変換部（画像変換部１６０）と、前記カメラ画像を曲面に投影して、曲面投影画像（例えば、円筒面投影画像）に変換する第２画像変換部（画像変換部１６０）とを備え、前記第１画像変換部は、前記カメラ画像内において所定の幅（平面投影幅）を有する第１画像領域（平面投影領域）を前記平面投影画像に変換し、前記第２画像変換部は、前記カメラ画像内において前記第１画像領域の幅方向外側の領域である第２画像領域（円筒面投影領域）を前記曲面投影画像に変換することを要旨とするものである。

かかる特徴によれば、画像処理装置は、カメラ画像内において所定の幅を有する第１画像領域を平面投影画像に変換し、第２画像領域を曲面投影画像に変換する。したがって、例えば、画像処理装置によって変換された画像を表示部に表示させた場合、運転者が実際に目視で見える画像に近い平面投影画像と、視野の広い曲面投影画像とをあわせもつ画像に変換することができる。このように、かかる特徴によれば、画像処理装置は、表示される画像の視認性が低下することを抑制し、かつ視野の広い画像に変換することができる。

本発明第２の特徴は、第１の特徴に係り、前記取得部は、複数の前記カメラ画像（例えば、カメラ画像ＰＲａ乃至ＰＬａ）を取得し、複数の前記カメラ画像を合成して合成画像を生成する合成部（合成部１２０）を更に備え、前記第１画像変換部は、前記合成画像内における前記第１画像領域を前記平面投影画像に変換し、前記第２画像変換部は、前記合成画像内における前記第２画像領域を前記曲面投影画像に変換することを要旨とするものである。かかる特徴によれば、画像処理装置は、複数のカメラ画像を合成した合成画像においても、平面投影画像と、曲面投影画像とをあわせもつ画像に変換することができる。

本発明第３の特徴は、第１乃至第２のいずれかの特徴に係り、前記所定の幅は、前記車両の幅に相当することを要旨とするものである。かかる特徴によれば、画像処理装置は、車両の幅に相当する所定の幅の平面投影画像に変換するので、車両と接触する物体が無いか否か等、運転者にとって注目すべき周囲の状況を確認しやすい画像に変換できる。

また、本発明第４の特徴は、第１乃至第３の特徴に係り、車両の進行方向を検出する検出部（検出部１３０）を更に備え、前記第１画像変換部は、検出された前記進行方向に応じて、前記カメラ画像内における前記第１画像領域の位置を幅方向に移動することを要旨とするものである。かかる特徴によれば、画像処理装置は、車両の進行方向に応じて、平面投影画像を幅方向に移動するので、車両が左右に曲がる場合においても、運転者にとって運転中に注目すべき車両の周囲の状況が確認しやすい画像に変換できる。

また、本発明第５の特徴は、第１乃至第４の特徴に係り、前記所定の幅を設定する設定部（マッピング演算部１４０）を更に備え、前記第１画像変換部は、前記設定部で設定された前記所定の幅に応じて、前記第１画像領域を前記平面投影画像に変換することを要旨とするものである。かかる特徴によれば、画像処理装置は、設定された所定の幅に応じて、平面投影画像の幅方向を変更するので、例えば、運転者にとって所望の範囲を確認しやすい画像に変換できる。

また、本発明の第６の特徴は、第１乃至第５の特徴にかかり、車両に設けられているカメラによって撮像されたカメラ画像を取得する取得ステップと、前記カメラ画像を平面に投影して、平面投影画像に変換する第１画像変換ステップと、前記カメラ画像を曲面に投影して、曲面投影画像に変換する第２画像変換ステップとを備え、前記第１画像変換ステップにおいて、前記カメラ画像内において所定の幅を有する第１画像領域を前記平面投影画像に変換し、前記第２画像変換ステップにおいて、前記カメラ画像内において前記第１画像領域の幅方向外側の領域である第２画像領域を前記曲面投影画像に変換することを要旨とするものである。

本発明の特徴によれば、表示される画像の視認性が低下することを抑制し、かつ視野の広い画像を表示させることが可能な画像処理装置及び画像処理方法を提供することができる。

（本発明の第１実施形態に係る運転支援システムの構成）
本発明の第１実施形態について説明する。なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。

（運転支援システムの概略構成）
本発明の第１実施形態に係る運転支援システム１の構成について、図１を参照して説明する。図１には、本実施形態に係る運転支援システム１の全体概略構成が示されている。図１に示すように、本実施形態に係る運転支援システム１は、カメラ１０_１乃至１０_ｎと、画像処理装置１００と、表示部２００とを具備する。

カメラ１０_１乃至１０_ｎは、車両に設けられ、車両周辺を撮像してカメラ画像を取得する。なお、本実施形態では、運転支援システム１が、カメラ１０_１乃至１０_２の二つのカメラを備える場合を例に挙げて説明する。なお、かかるカメラの数は、二つに限定されるものではない。また、本実施形態において、カメラ１０_１が取得した画像をカメラ画像ＰＲａとし、カメラ１０_２が取得した画像をカメラ画像ＰＬａとして説明する。

画像処理装置１００は、カメラ１０_１乃至１０_２と接続する。また、画像処理装置１００は、カメラ１０_１乃至１０_２で撮像されたカメラ画像ＰＲａ乃至ＰＬａを取得し、当該カメラ画像ＰＲａ乃至ＰＬａを平面と円筒面（曲面）とに投影して、表示部２００で表示される表示用画像Ｐｅを生成する。

表示部２００は、画像処理装置１００と接続する。また、表示部２００は、画像処理装置１００から出力された表示用画像Ｐｅを入力して、運転者に表示する。なお、表示部２００は、カーナビゲーションシステム等、車内に設けられている表示パネルを想定している。

（画像処理装置の構成）
次に、画像処理装置１００の構成について具体的に説明する。また、以下、本発明との関連がある部分について主に説明する。したがって、画像処理装置１００は、画像処理装置としての機能を実現する上で必須な、図示しない或いは説明を省略した機能ブロック（電源部など）を備える場合があることに留意されたい。

画像処理装置１００は、取得部１１０と、合成部１２０と、検出部１３０と、マッピング演算部１４０と、マッピング記憶部１５０と、画像変換部１６０とを備える。

取得部１１０は、カメラ１０_１乃至１０_２と接続する。また、取得部１１０は、カメラ画像を一時的に保持するメモリとして機能する。具体的に、取得部１１０は、車両に設けられているカメラ１０_１乃至１０_２によって撮像された複数のカメラ画像ＰＲａ乃至ＰＬａを取得して、保持する。

合成部１２０は、取得部１１０で取得された複数のカメラ画像ＰＲａ乃至ＰＬａを合成して合成画像Ｐｃを生成する。具体的に、合成部１２０は、取得部１１０からカメラ画像ＰＲａとカメラ画像ＰＬａとを取得すると、下記（１）乃至（２）式に基づいて、それぞれを共通の円筒面に投影し、円筒面投影画像ＰＲｂ、円筒面投影画像ＰＬｂを生成する。なお、下記（１）乃至（２）式において、カメラ画像上の座標を、（ｘ，ｙ）とし、円筒面上の座標を、（ｕ，ｖ）とする。また、円筒面に対する焦点距離ｒは、画像サイズ（width×height）とCCDサイズとの比から算出できる。

また、図２（ａ）乃至（ｂ）には、合成部１２０が、例えば、一のカメラ画像ＰＲａを、円筒面投影画像ＰＲｂに変換する際のイメージが示されている。ここで、図２（ａ）には、カメラ画像ＰＲａ及び円筒面投影画像ＰＲｂを、円筒面の中心軸に垂直な面で切断した断面図のイメージが示されている。また、図２（ｂ）には、カメラ画像ＰＲａ及び円筒面投影画像ＰＲｂを、円筒面の円周上の角度θで、円筒面の中心軸を通る面で切断した断面図が示されている。

合成部１２０は、上述した（１）乃至（２）式によって、図２（ａ）乃至（ｂ）に示すようにカメラ画像ＰＲａを、円筒面に投影して円筒面投影画像ＰＲｂに変換する。このようにして、例えば、図３（ａ）に示すように、原点Ｏを中心とするｘｙ座標系のカメラ画像ＰＲａは、図３（ｂ）に示すように、原点Ｏを中心とするｕｖ座標系の円筒面投影画像ＰＲｂに変換される。

また、合成部１２０は、カメラ画像ＰＬａについても、同様に円筒面に投影して円筒面投影画像ＰＬｂを生成する。そして、合成部１２０は、カメラ１０_１乃至１０_２のそれぞれの撮像方向に基づいて、円筒面投影画像ＰＲｂと円筒面投影画像ＰＬｂとを、共通の円筒面に合成し、ｕ´ｖ´座標系の合成画像Ｐｃを生成する。なお、ここでは、カメラ１０_１とカメラ１０_２との光学中心ｃは、一致していることとする。また、本実施形態では、ｕ´ｖ´座標系のｕ´方向を幅方向とし、ｖ´方向を高さ方向として適宜説明する。また、合成部１２０は、生成した合成画像Ｐｃを画像変換部１６０に出力する。

検出部１３０は、車両の進行方向を検出する。具体的に、検出部１３０は、車両に設けられているハンドルの操舵角Ｈθを検出して、車両の進行方向が、左折方向への角度（+Ｈθ）、右折方向への角度（−Ｈθ）を検出する。なお、操舵角が“０”である場合、車両の進行方向は直進方向であることを示す。また、検出部１３０は、検出した操舵角Ｈθをマッピング演算部１４０に通知する。

マッピング演算部１４０は、合成画像Ｐｃ内において、平面投影領域と、円筒面投影領域とを算出する。また、マッピング演算部１４０は、検出部１３０から操舵角Ｈθを通知されると、当該操舵角Ｈθと、予め記憶する平面投影幅Ｗ（所定の幅）とに基づいて、平面投影領域を算出する。具体的に、マッピング演算部１４０は、通知された操舵角Ｈθに対応するｕ´ｖ´座標系の座標ｕ´ｃを中心に、合成画像Ｐｃ内の−Ｗ／２＜ｕ´ｃ＜Ｗ／２の領域内の各画素の座標を、平面投影領域の座標として算出する。なお、本実施形態では、“W／２”を“ｗ”として適宜説明する。

また、本実施形態において、平面投影幅Ｗは、表示部２００に表示される表示用画像Ｐｅにおいて、車両の幅に相当する幅である。例えば、カメラ１０_１乃至１０_２が、１／４インチの撮像素子で、焦点距離が１．３ｍｍとし、車幅が２ｍとすると、平面投影幅Ｗに対応する角度（＝２Φ）は、「１２６°」として決定できる。また、角度Φは、半分の６３°となり、操舵角Ｈθを中心に、−６３°（−Φ）＜Ｈθ＜６３°（Φ）に対応する領域が、−W／２＜ｕ´ｃ＜Ｗ／２の領域となる。

このようにして、マッピング演算部１４０は、検出部１３０によって検出された操舵角Ｈθの角度（進行方向）に応じて、合成画像Ｐｃ内における平面投影領域の位置を幅方向（ｕ´方向）に移動させて、当該平面投影領域の座標を算出する。

また、マッピング演算部１４０は、算出した平面投影領域に基づいて、合成画像Ｐｃ内において、当該平面投影領域の幅方向外側の領域である円筒面投影領域の座標を算出する。また、マッピング演算部１４０は、算出した円筒面座標系上の平面投影領域の座標と、円筒面投影領域の座標とをマッピング記憶部１５０に記憶する。

マッピング記憶部１５０は、マッピング演算部１４０によって算出された平面投影領域の座標と、円筒面投影領域の座標とを記憶する。

画像変換部１６０は、カメラ画像を平面に投影して、平面投影画像に変換する。また、画像変換部１６０は、カメラ画像内において平面投影幅（所定の幅）を有する平面投影領域（第１画像領域）を平面投影画像に変換する。

具体的に、画像変換部１６０は、合成部１２０から合成画像Ｐｃを入力すると、マッピング記憶部１５０に記憶されている平面投影領域の座標を読み出す。また、画像変換部１６０は、読み出した平面投影領域の座標に基づいて、合成画像Ｐｃ内における平面投影領域を平面投影画像Ｐｄに変換する。

ここで、かかるマッピング記憶部１５０に記憶されている平面投影領域の座標は、マッピング演算部１４０が、操舵角Ｈθ（進行方向）に応じて、幅方向に移動させた平面投影領域を示す座標である。即ち、画像変換部１６０は、マッピング記憶部１５０に記憶されている平面投影領域の座標を読み出すことで、検出部１３０で検出された操舵角Ｈθに応じて、合成画像Ｐｃ内における平面投影領域の位置を幅方向に移動し、移動した平面投影領域内の画像を平面投影画像Ｐｄに変換する。

また、画像変換部１６０は、カメラ画像を円筒面（曲面）に投影して、円筒面投影画像（曲面投影画像）に変換する。また、画像変換部１６０は、カメラ画像内において平面投影領域の幅方向外側の領域である円筒面投影領域（第２画像領域）を円筒面投影画像に変換する。

具体的に、画像変換部１６０は、合成部１２０から合成画像Ｐｃを入力すると、マッピング記憶部１５０に記憶されている円筒面投影領域の座標を読み出す。また、画像変換部１６０は、読み出した円筒面投影領域の座標に基づいて、合成画像Ｐｃ内における平面投影領域の幅方向外側の領域である円筒面投影領域を、円筒面投影画像に変換する。

また、画像変換部１６０は、平面投影画像Ｐｄと円筒面投影画像とを変換すると、平面投影画像Ｐｄと円筒面投影画像と合成して変換投影画像を生成する。

また、画像変換部１６０は、生成した変換投影画像内において、表示部２００で表示される表示範囲に対応する領域Ｇ内の画像を抽出して、表示用画像Ｐｅを生成し、表示部２００に出力する。なお、本実施形態に係る画像変換部１６０は、第１画像変換部を構成する。また、本実施形態に係る画像変換部１６０は、第２画像変換部を構成する。

（平面投影画像の変換）
次に、画像変換部１６０が、合成画像Ｐｃ内の画像を、平面投影画像と円筒面画像とに変換する際の演算方法について具体的に説明する。

画像変換部１６０は、マッピング記憶部１５０に記憶されている平面投影領域の座標と、円筒面投影領域の座標とを読み出すと共に、合成部１２０から合成画像Ｐｃを入力する。また、画像変換部１６０は、合成画像Ｐｃ上の座標（ｕ´，ｖ´）において、平面投影領域に対応する−ｗ＜ｕ´＜ｗの範囲内の領域の画素を、下記（３）乃至（４）式に基づいて、平面投影画像Ｐｄ上の座標（ｘ´，ｙ´）に変換する。

ここで、図４（ａ）には、円筒面に投影された合成画像Ｐｃ及び平面投影画像Ｐｄを、円筒面の中心軸に垂直な面で切断した断面図のイメージが示されている。また、図４（ｂ）には、合成画像Ｐｃ及び平面投影画像Ｐｄを、円筒面の円周上の角度φで、円筒面の中心軸と平行な面で切断した断面図が示されている。なお、図４（ａ）乃至（ｂ）では、操舵角Ｈθが“０°”である場合を例に挙げて示している。

画像変換部１６０は、図４（ａ）乃至（ｂ）に示すように、合成画像Ｐｃ上の−ｗ＜ｕ´＜ｗの領域の画素を、平面投影画像Ｐｄ上の−ｓ＜ｘ´＜ｓの領域の画素に変換する。具体的に、画像変換部１６０は、図５（ａ）に示すように、原点Ｏを中心とするｕ´ｖ´円筒面座標系の合成画像Ｐｃ内の−ｗ＜ｕ´＜ｗの平面投影領域を、図５（ｂ）に示すように、ｘ´ｙ´平面座標系の−ｓ＜ｘ´＜ｓの領域の平面投影画像Ｐｄに変換する。そして、画像変換部１６０は、図５（ｃ）に示すように、平面投影画像Ｐｄと円筒面投影画像とを合成して変換投影画像を生成する。なお、この時、ｕ´ｖ´円筒面座標系で示される平面投影幅Ｗ（＝２ｗ）は、ｘ´ｙ´平面座標系において、平面投影幅Ｓ（＝２ｓ）として示される。

（画像処理装置の制御動作）
次に、図６を参照して、画像処理装置１００の動作について説明する。

ステップＳ１１において、取得部１１０は、カメラ１０_１乃至１０_２から、カメラ画像ＰＲａとカメラ画像ＰＬａとを取得する。カメラ画像ＰＲａとカメラ画像ＰＬａとを合成部１２０に出力する。

ステップＳ１３において、合成部１２０は、取得部１１０からカメラ画像ＰＲａとカメラ画像ＰＬａとを入力する。また、合成部１２０は、それぞれのカメラ画像を、共通の円筒面に投影して円筒面投影画像ＰＲｂと円筒面投影画像ＰＬｂとに変換する。また、合成部１２０は、円筒面投影画像ＰＲｂと円筒面投影画像ＰＬｂとを、合成して合成画像Ｐｃを生成する。また、合成部１２０は、生成した合成画像Ｐｃを画像変換部１６０に出力する。

ステップＳ１５において、検出部１３０は、ハンドルから操舵角Ｈθを取得し、マッピング演算部１４０に通知する。

ステップＳ１７において、マッピング演算部１４０は、検出部１３０から操舵角Ｈθを通知されると、合成画像Ｐｃ内において、操舵角Ｈθに応じて幅方向に移動した平面投影領域を算出する。具体的に、マッピング演算部１４０は、操舵角Ｈθを中心に、平面投影画像の平面投影幅Ｗに対応する角度の範囲を算出し、算出した角度の範囲から、平面投影領域（−ｗ＜ｕ´＜ｗ）の座標を算出する。この時、マッピング演算部１４０は、平面投影領域（−ｗ＜ｕ´＜ｗ）の幅方向外側の領域（ｕ´≦−ｗと、ｗ≦ｕ´との領域）の座標を円筒面投影領域として算出する。また、マッピング演算部１４０は、算出した平面投影領域の座標と、円筒面投影領域の座標とをマッピング記憶部１５０に記憶する。

ステップＳ１９において、画像変換部１６０は、合成部１２０から合成画像Ｐｃを入力すると、マッピング記憶部１５０に記憶されている平面投影領域の座標と円筒面投影領域の座標とを読み出す。また、画像変換部１６０は、合成画像Ｐｃ内の一つの画素を特定し、当該画素の座標が、平面投影領域内の座標の画素か否かを判定する。

ステップＳ２１において、画像変換部１６０は、平面投影領域内の座標の画素である判定した場合、当該画素を平面座標系（ｘ´ｙ´）である平面投影画像Ｐｄ上の画素に変換する。

ステップＳ２３において、画像変換部１６０は、平面投影領域内の座標の画素でないと判定した場合、円筒面座標系（ｕ´ｖ´）である円筒面投影画像上の画素に変換する。具体的に、画像変換部１６０は、円筒面上の合成画像Ｐｃの画素のまま、円筒面投影画像上の画素とする。

ステップＳ２５において、画像変換部１６０は、合成画像Ｐｃ内の全ての画素に対して、円筒面投影画像又は平面投影画像Ｐｄへの変換が完了したか否かを判定する。なお、全ての画素に対して変換が完了していない場合、画像変換部１６０は、ステップＳ１９乃至Ｓ２５の動作を繰り返す。

ステップＳ２７において、画像変換部１６０は、全ての画素に対して変換が完了した場合、変換投影画像を生成する。

ここで、図７（ａ）乃至（ｃ）には、カメラ１０_１乃至１０_２が、図１０に示すように、車両後方向に向けられている場合の変換投影画像の一例が示されている。具体的に、図７（ａ）には、ハンドルを右に回し、車両が後方に向かって左折する際の変換投影画像が示されている。また、図７（ｂ）には、ハンドルを回さず、車両が後方に向かって直進する際の変換投影画像が示されている。また、図７（ｃ）には、ハンドルを左に回し、車両が後方に向かって右折する際の変換投影画像が示されている。

図７（ａ）乃至（ｃ）に示すように、画像処理装置１００では、車両のハンドルの操舵角Ｈθに基づいて、平面投影領域を幅方向に移動させて平面投影画像Ｐｄに変換するので、車両の左折・直進・右折に応じて位置の異なる平面投影画像Ｐｄを含む変換投影画像が生成される。このように、変換投影画像内の平面投影画像Ｐｄでは、例えば、白線等の物体Ｍが、運転者にとって視認性の高い、歪のない画像で表示される。また、円筒投影画像では、白線等の物体Ｍが、歪みの生じた画像になるが、車両周辺のより広い範囲が表示される。

また、画像変換部１６０は、変換投影画像から表示部２００の表示範囲に対応する領域Ｇを抜き出して、表示用画像Ｐｅを生成する。この時、画像変換部１６０は、表示範囲に対応する領域Ｇの位置を、例えば、図８（ａ）に示すように、領域Ｇの中央ＣＬを合成画像Ｐｃの中央にあわせて、表示用画像Ｐｅを生成してもよいし、図８（ｂ）に示すように、領域Ｇの中央ＣＬを、幅方向に移動する平面投影画像Ｐｄの中央にあわせて、表示用画像Ｐｅを生成してもよい。また、画像変換部１６０は、生成した表示用画像Ｐｅを表示部２００へ出力する。

ステップＳ２９において、表示部２００では、画像変換部１６０から出力された表示用画像Ｐｅが表示される。

（第１実施形態に係る運転支援システムの作用・効果）
本実施形態に係る運転支援システム１によれば、画像処理装置１００は、カメラ画像ＰＲａ乃至ＰＬａとを投影して合成した合成画像Ｐｃ内において、平面投影幅（所定の幅）を有する平面投影領域を平面投影画像に変換し、平面投影領域の外側の領域を、円筒面投影領域を円筒面投影画像に変換する。したがって、画像処理装置１００では、運転者が実際に目視で見える画像に近い平面投影画像Ｐｄと、視野の広い円筒面投影画像とをあわせもつ表示用投影画像Ｐｅを表示部２００に表示させることができる。このように、本実施形態に係る画像処理装置１００は、平面投影画像により、表示される画像の視認性が低下することを抑制し、かつ、円筒面投影画像により、視野の広い画像に変換することができる。

また、画像処理装置１００は、車両の幅に相当する平面投影幅Ｗ（平面座標系では幅Ｓ）の平面投影領域を平面投影画像Ｐｄに変換するので、運転者にとって運転中に注目すべき車両幅周囲の状況が確認し易い表示用画像Ｐｅに変換できる。

また、画像処理装置１００では、車両の進行方向に応じて、平面投影領域を移動させることで、平面投影画像Ｐｄを幅方向に移動するので、車両が左折・右折する場合においても、運転者にとって運転中に注目すべき進行方向の状況が確認し易い表示用投影画像Ｐｅに変換できる。

（第１実施形態に係る変形例）
以下に上述した実施形態に係る画像処理装置１００の変形例の構成について、上述した画像処理装置１００との相違点に着目して説明する。本変形例に係る画像処理装置１００の構成は、マッピング演算部１４０と画像変換部１６０とを除いて、上述した実施形態に係る画像処理装置１００と同様である。よって、以下に、本変形例に係るマッピング演算部１４０と画像変換部１６０との構成について説明する。

マッピング演算部１４０は、平面投影幅（所定の幅）を設定するように構成されている。具体的に、マッピング演算部１４０は、検出部１３０から、例えば、車両の右折に応じた操舵角Ｈθが入力された場合、操舵角Ｈθに応じて平面投影幅Ｗの値を車両の進行方向側である右折方向に広げて、例えば、幅Ｗ＋αに設定する。また、マッピング演算部１４０は、平面投影領域の幅を、幅Ｗ＋αとして、平面投影領域の座標を算出し、マッピング記憶部１５０に記憶する。なお、本実施形態において、マッピング演算部１４０は、所定の幅を設定する設定部を構成する。

また、画像変換部１６０は、マッピング演算部１４０で設定された平面投影幅Ｗに応じて、平面投影領域を平面投影画像Ｐｄに変換する。具体的に、画像変換部１６０は、マッピング記憶部１５０に記憶されている平面投影領域の座標を読み出して、合成画像Ｐｃ内における平面投影領域の画像を、平面投影画像Ｐｄに変換する。

このようにして、例えば、車両が後方に向かって右折する場合、画像変換部１６０は、図９に示すように、平面投影画像Ｐｄが進行方向側（右側）にα分だけ広い変換投影画像を生成する。また、車両が後方に向かって左折する場合も、平面投影画像Ｐｄが進行方向側（左側）にα分だけ広い変換投影画像を生成する。

上述した変形例によれば、マッピング演算部１４０は、平面投影幅を、左折又は右折に応じて変更して設定するので、車両の進行方向において、車両が接触する可能性がある領域の画像を、運転者にとって視認性の高い画像で提供することができる。

なお、マッピング演算部１４０は、例えば、運転者（ユーザ）が、入力部（図示せず）を用いて、入力した幅Ｗを、平面投影幅Ｗとして設定するように構成されていてもよい。また、基準となる直進時の平面投影幅は、運転者の嗜好に合わせて変更することも可能である。

更に、マッピング演算部１４０は、車両の移動速度を検出する機能を備え、検出した移動速度に応じて、平面投影幅Ｗを、広げる又は狭めるように構成されていてもよい。具体的に、マッピング演算部１４０は、速度が速い（例えば、１００ｋｍ）場合、より広い視野で確認できるように、平面投影幅Ｗを狭め、円筒面投影領域を広げるように設定してもよい。また、速度が遅い場合、周囲に存在する物体と車両の距離を、より確認できるように、平面投影幅Ｗを広げて、円筒面投影領域を狭めるように設定してもよい。

（その他の実施形態）
上述したように、本発明の一実施形態を通じて本発明の内容を開示したが、この開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態が明らかとなろう。

上述した実施形態において、画像変換部１６０は、複数のカメラ画像ＰＲａ乃至ＰＬａを合成した合成画像Ｐｃ内の平面投影領域を、平面投影画像Ｐｄに変換するように構成されていたが、カメラ画像は一つであっても平面投影画像と円筒面投影画像とに変換することが可能である。

例えば、カメラ画像が一つである場合、画像変換部１６０は、合成部１２０を介して、取得部１１０から当該カメラ画像を取得し、当該カメラ画像内の平面投影領域を平面に投影して、平面座標（ｘ´ｙ´）上の平面投影画像Ｐｄに変換する。また、画像変換部１６０は、カメラ画像内の円筒面投影領域を円筒面座標（ｕ´ｖ´）上の円筒面（曲面）に投影して、曲面投影画像に変換する。

具体的に、画像変換部１６０は、取得部１１０から、一つのカメラ画像を取得する。この時、画像変換部１６０は、マッピング記憶部１５０を参照し、当該カメラ画像内において、平面投影幅（所定の幅）を有する平面投影領域（第１画像領域）を平面に投影して、平面投影画像Ｐｄに変換する。また、画像変換部１６０は、当該カメラ画像内において平面投影領域の幅方向外側の領域である円筒面投影領域（第２画像領域）を、円筒面投影画像（曲面投影画像）に変換する。また、画像変換部１６０は、変換した平面投影画像と円筒面投影領域とを合成して変換投影画像を生成する。また、画像変換部１６０は、変換投影画像から表示部２００の表示範囲に対応する領域Ｇを抜き出して、表示用画像Ｐｅを生成する。

このようにして、画像処理装置１００では、カメラ画像が一つ又は複数のいずれの場合であっても、平面投影幅Ｗを有する平明投影領域を変換した平面投影画像と、当該平面投影領域の幅方向外側の領域を変換した円筒面投影画像とを合成して変換投影画像を生成できる。

また、上述する実施形態に係る画像処理装置１００では、検出部１３０を備えていたが、当該検出部１３０を備えなくてもよい。例えば、マッピング演算部１４０は、車両の進行方向に応じて平面投影領域を移動させず、特定の位置の平面投影領域の座標をマッピング記憶部１５０に記憶してもよい。かかる場合、画像変換部１６０は、幅方向に移動しない平面投影領域の座標に基づいて、合成画像Ｐｃ内の画像を平面投影画像Ｐｄに変換するが、平面投影画像Ｐｄと円筒面投影画像とを合成した表示用画像Ｐｅを生成できることにはかわりない。よって、かかる場合も、平面投影画像により、表示される画像の視認性が低下することを抑制し、かつ、円筒面投影画像により、視野の広い表示用画像Ｐｅに変換することができる。

また、上述する実施形態に係る運転支援システム１では、カメラ１０_１乃至１０_２は、車両後方向の領域を撮像する場合を例に挙げて説明したが、車両前方向や、車両横方向（側方向）を撮像するように構成されていてもよい。

また、一般的に、運転支援システム１では、カメラ１０_1乃至１０_2は、広角レンズを使用しており、取得されたカメラ画像の歪みが大きいため、歪みを補正してから投影画像に変換する必要がある。よって、画像処理装置１００では、取得部１１０が、カメラ１０_1乃至１０_2からカメラ画像を取得した際に、かかる歪を補正するように構成されていてもよい。

このように、本発明は、ここでは記載していない様々な実施の形態などを含むことは勿論である。したがって、本発明の技術的範囲は、上述の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

本発明の実施形態に係る運転支援システムの全体構成を示す構成図である。 （ａ）本発明の実施形態において、カメラ画像ＰＲａと円筒面投影画像ＰＲｂとを、円筒面の中心軸に垂直な面で切断した際のイメージ図である。（ｂ）本発明の実施形態において、カメラ画像ＰＲａと円筒面投影画像ＰＲｂとを円筒面の中心軸を通る面で切断した際の断面図である。 （ａ）本発明の実施形態において、カメラ画像ＰＲａの中心を原点としたｘｙ平面座標上のカメラ画像ＰＲａを示す図である。（ｂ）本発明の実施形態において、円筒面投影画像ＰＲｂの中心を原点としたｕｖ座標上の円筒面投影画像ＰＲｂを示す図である。 （ａ）本発明の実施形態において、合成画像Ｐｃと平面投影画像Ｐｄとを、筒面の中心軸に垂直な面で切断した際のイメージ図である。（ｂ）本発明の実施形態において、合成画像Ｐｃと平面投影画像Ｐｄとを円筒面の中心軸を通る面で切断した際の断面図である。 （ａ）本発明の実施形態において、ｕ´ｖ´座標上の合成画像Ｐｃを示す図である。（ｂ）本発明の実施形態において、ｘ´ｙ´座標上の平面投影画像Ｐｄを示す図である。（ｃ）本発明の実施形態において、変換投影画像を示す図である。 本発明の実施形態に係る画像処理装置における動作を示すフローチャートである。 （ａ）本発明の実施形態において、車両が左折する際の変換投影画像を示す図である。（ｂ）本発明の実施形態において、車両が直進する際の変換投影画像を示す図である。（ｃ）本発明の実施形態において、車両が右折する際の変換投影画像を示す図である。 （ａ）本発明の実施形態において、変換投影画像内の表示範囲に対応する領域の一例を示す図である。（ｂ）本発明の実施形態において、変換投影画像内の表示範囲に対応する領域の一例を示す図である。 本発明の実施形態において、平面投影領域の幅を変更する場合の一例を示す図である。 本発明の実施形態に係る運転支援システムにおいて、複数のカメラが車両周囲を撮像してカメラ画像を取得する際のイメージ図である。 （ａ）従来技術に係る運転支援システムにおいて、複数のカメラ画像を平面投影した際の投影画像の一例を示す図である。（ｂ）従来技術に係る運転支援システムにおいて、複数のカメラ画像を円筒面投影した際の投影画像の一例を示す図である。

符号の説明

１…運転支援システム、１０_１乃至１０_ｎ…カメラ、１００…画像処理装置、１１０…取得部、１２０…合成部、１３０…検出部、１４０…マッピング演算部、１５０…マッピング記憶部、１６０…画像変換部、２００…表示部、Ｇ…領域、Ｈθ…操舵角、Ｌ…対象領域、Ｒ…対象領域、ＰＲ乃至ＰＬ…カメラ画像、ＰＲａ乃至ＰＬａ…カメラ画像、ＰＲｂ乃至ＰＬｂ…円筒面投影画像、Ｐｃ…合成画像、Ｐｄ…平面投影画像、Ｐｅ…表示用画像、Ｓ…幅、Ｍ…物体、ＣＬ…中央線、Ｓ１１乃至Ｓ２９…ステップ、Ｗ…平面投影幅、ｃ…光学中心、ｒ…焦点距離

Claims (5)

1. 車両に設けられているカメラによって撮像されたカメラ画像を取得する取得部と、
   前記カメラ画像を平面に投影して、平面投影画像に変換する第１画像変換部と、
   前記カメラ画像を曲面に投影して、曲面投影画像に変換する第２画像変換部と、
   車両の進行方向を検出する検出部とを備え、
   前記第１画像変換部は、前記カメラ画像内において所定の幅を有する第１画像領域を前記平面投影画像に変換すると共に、前記検出部で検出された車両の前記進行方向に応じて、前記カメラ画像内における前記第１画像領域の位置を幅方向に移動し、
   前記第２画像変換部は、前記カメラ画像内において前記第１画像領域の幅方向外側の領域である第２画像領域を前記曲面投影画像に変換する
   ことを特徴とする画像処理装置。
2. 前記取得部は、複数の前記カメラ画像を取得し、
   複数の前記カメラ画像を合成して合成画像を生成する合成部を更に備え、
   前記第１画像変換部は、前記合成画像内における前記第１画像領域を前記平面投影画像に変換し、
   前記第２画像変換部は、前記合成画像内における前記第２画像領域を前記曲面投影画像に変換する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の幅は、前記車両の幅に相当することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記所定の幅を設定する設定部を更に備え、
   前記第１画像変換部は、前記設定部で設定された前記所定の幅に応じて、前記第１画像領域を前記平面投影画像に変換する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 車両に設けられているカメラによって撮像されたカメラ画像を取得する取得ステップと、
   前記カメラ画像を平面に投影して、平面投影画像に変換する第１画像変換ステップと、
   前記カメラ画像を曲面に投影して、曲面投影画像に変換する第２画像変換ステップと、
   車両の進行方向を検出する検出ステップとを備え、
   前記第１画像変換ステップにおいて、前記カメラ画像内において所定の幅を有する第１画像領域を前記平面投影画像に変換すると共に、前記検出ステップで検出された車両の前記進行方向に応じて、前記カメラ画像内における前記第１画像領域の位置を幅方向に移動し、
   前記第２画像変換ステップにおいて、前記カメラ画像内において前記第１画像領域の幅方向外側の領域である第２画像領域を前記曲面投影画像に変換する
   ことを特徴とする画像処理方法。

Images