JP5292874B2 - 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法 - Google Patents

Description

本発明は、車両内で表示されることができる車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法に関するものである。

車両の運転者が自車の周辺環境を目視確認するために車載カメラからの画像に画像処理を施して表示するシステムがある。例えば、複数の車載カメラ画像を俯瞰画像へ変換合成して表示することにより、運転者が客観的、直感的に自車の周囲状況を把握することができるシステムがある。

しかし、このような俯瞰画像を用いるシステムにおいて、カメラ消失点より上に存在する周辺部分は、視野変換が不可能であるため、カメラの撮影方向（俯角）を調整して後方遠方の車を撮影していたとしても、地平線（無限遠）より上の部分に投影される周辺部分（遠方の車両や周辺歩道上の歩行者等）を俯瞰画像上に変換表示することができなかった。また、自車から遠方になるほど、変換による歪みが大きくなるため、遠くの物体の閲覧には適していなかった。

駐車支援や低速走行時の支援において、自車近辺の確認のために、自車周辺の数メートルまでの範囲の画像を表示するためには、俯瞰画像は有用である。しかし、走行時（例：車線変更時）に必要において、自車から離れた位置にある車両（例：斜め後ろから急速に接近する後方車両）や周辺歩道上の歩行者の確認のために、俯瞰画像は利用できず、ミラー等の他の手段で周辺状況を確認する必要があった。

このような問題に対し、車載カメラ画像をそのまま３次元空間モデルにマッピングし、マッピングされた画像を任意視点から見た画像に変換して表示する画像生成装置が開示されている（例えば、特許文献１）。この画像生成装置によれば、カメラ画像を投影するモデルとして曲面と平面から構成される立体形状（円柱、お椀型、擬似円柱）を用意することで、従来の俯瞰画像では投影できなかった周辺画像部分も、投影表示することが可能である。

また、車両の周囲を撮影する複数のカメラの撮像画像から、仮想視点から見た合成画像を生成し、仮想視点の位置、視線の向きおよび焦点距離のうちの少なくともいずれか１つを、車両の走行状態に応じて変更する画像処理装置がある（例えば、特許文献２参照）。
特許第３２８６３０６号公報 特許第３３００３３４号公報

しかしながら、上述した従来技術は、変化する車両の状態に対して適切な画像を生成することが困難であった。

本発明は上述した問題点を解決するためになされたものであり、１つ以上のカメラによる撮影画像から、車両の状態に合わせた画像を生成する車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法を提供することを目的とする。

上述した課題を解決するため、本発明の一態様は、車両内で表示されることができる画像の生成を行う車両用画像処理装置であって、前記車両の状態を取得する状態取得部と、１つ以上のカメラにより該車両の周囲が撮影された撮影画像を取得する画像取得部と、前記状態取得部により取得された状態に基づいて、前記撮影画像のうち所定の第１領域が投影される第１形状と、前記撮影画像のうち前記第１領域と異なる所定の第２領域が投影される第２形状とを決定する形状決定部と、前記画像取得部により取得された撮影画像を前記第１形状と前記第２形状とへ投影変換して、前記第１領域を前記第１形状へ投影した第１画像と前記第２領域を前記第２形状へ投影した第２画像とを生成する変換部とを備える。これにより、車両の状態に対して適切な画像を生成することができる。

また、本発明に係る車両用画像処理装置において、前記第１形状は、前記車両に対する水平面である。これにより、俯瞰画像を生成することができる。また、本発明に係る車両用画像処理装置において、前記状態は、前記車両の運転に関する情報を含む。これにより、運転に対して適切な画像を生成することができる。また、本発明に係る車両用画像処理装置において、更に、前記状態取得部により取得された状態に基づいて、前記第１形状と前記第２形状を眺める視線を決定し、前記変換部で変換生成した前記第１画像と前記第２画像とを眺めた画像を表示画像として生成する表示変換部を備える。これにより、車両の状態に対して適切な表示視線を設定することができる。また、本発明に係る車両用画像処理装置において、前記形状決定部は、前記状態取得部により取得された状態に基づいて、前記第１形状と前記第２形状を変化させる。これにより、第１画像と第２画像の領域を変化させることができる。

また、本発明の一態様は、車両内で表示されることができる画像の生成をコンピュータに実行させる車両用画像処理プログラムであって、前記車両の状態を取得し、１つ以上のカメラにより該車両の周囲が撮影された撮影画像を取得し、取得された前記状態に基づいて、前記撮影画像のうち所定の第１領域が投影される第１形状と、前記撮影画像のうち前記第１領域と異なる所定の第２領域が投影される第２形状とを決定し、取得された前記撮影画像を前記第１形状と前記第２形状とへ投影変換して、前記第１領域を前記第１形状へ投影した第１画像と前記第２領域を前記第２形状へ投影した第２画像とを生成することをコンピュータに実行させる。

また、本発明の一態様は、車両内で表示されることができる画像の生成を行う車両用画像処理方法であって、前記車両の状態を取得し、１つ以上のカメラにより該車両の周囲が撮影された撮影画像を取得し、取得された前記状態に基づいて、前記撮影画像のうち所定の第１領域が投影される第１形状と、前記撮影画像のうち前記第１領域と異なる所定の第２領域が投影される第２形状とを決定し、取得された前記撮影画像を前記第１形状と前記第２形状とへ投影変換して、前記第１領域を前記第１形状へ投影した第１画像と前記第２領域を前記第２形状へ投影した第２画像とを生成することを行う。

また、本発明の構成要素、または構成要素の任意の組合せを、方法、装置、システム、記録媒体、データ構造などに適用したものも本発明に含む。

開示の車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法によれば、１つ以上のカメラによる撮影画像から、車両の状態に合わせた画像を生成することができる。

以下、本発明の実施の形態について図面を参照しつつ説明する。

実施の形態１．
まず、本実施の形態に係る車両用画像処理装置の構成について説明する。

図１は、本実施の形態に係る車両用画像処理装置の構成の一例を示すブロック図である。この車両用画像処理装置は、運転情報取得部１１、表示変更判定部１２、表示視線決定部１３、投影形状決定部１４、道路情報取得部１５、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄ、歪み補正部２２ａ，２２ｂ，２２ｃ，２２ｄ（画像取得部）、投影変換部２３ａ，２３ｂ，２３ｃ，２３ｄ（変換部）、周辺地物情報取得部３１、周辺地物判定部３２、表示部３３、合成部４１、表示視線変換部４２を備える。形状決定部は、本実施の形態における表示変更判定部１２、表示視線決定部１３、投影形状決定部１４に対応する。なお、本実施の形態において、カメラの数を４としたが１以上であれば良い。また、カメラは車両に設置されていてもよいし、例えば、車両の現在地近傍の道路を撮影するように設置されている自車周辺のインフラカメラであっても構わない。もちろん、一部のカメラは車載で、一部のカメラはインフラカメラであっても構わない。インフラカメラの映像を入力として用いる場合には、インフラカメラが撮影した映像を車両用画像処理装置が無線を介して取得することになる。

次に、本実施の形態に係る車両用画像処理装置の動作について説明する。

図２は、本実施の形態に係る車両用画像処理装置の動作の一例を示すフローチャートである。まず、歪み補正部２２ａ，２２ｂ，２２ｃ，２２ｄは、それぞれ対応するカメラ２１ａ，２１ｂ，２１ｃ，２１ｄから撮影画像の読み込みを行い（Ｓ１１）、撮影画像の歪みの補正を行って補正画像とする（Ｓ１２）。ここでの歪みは、カメラのレンズ等に起因するものであり、既知の歪みである。次に、表示変更判定部１２は、自車の状態（道路情報取得部１５により取得された道路情報及び運転情報取得部１１により取得された運転情報）に基づいて、道路情報または運転情報が変化したか否かの判定を行う（Ｓ１３）。

ここで、道路情報取得部１５は、例えば、カーナビゲーションや路車間通信を行う無線通信機であり、地図データベース及びＧＰＳ（Global Positioning System）等から、道路形状、道路種別、市街地種別、混雑状況等の道路情報を取得する。なお、道路形状をミリ波センサやレーザセンサ等の外部センサで自車が直接取得しても構わない。運転情報取得部１１により取得される運転情報は、車速センサやジャイロ等から取得する自車速度及び進行方向、ハンドルやギアやウィンカー等の操作及び操作量から取得する直進・右左折・後退などの運転操作、運転者の自己申告又は運転者の眠気等で変化する注意力を監視する内部監視モニタから推定した現在の運転者の運転技能などである。なお、ＧＰＳ等から取得する自車位置は、運転情報として運転情報取得部１１に取得されても構わない。

道路情報または運転情報が変化しない場合（Ｓ１３，Ｎ）、処理Ｓ３１へ移行する。道路情報または運転情報が変化した場合（Ｓ１３，Ｙ）、表示変更判定部１２は、道路情報及び運転情報から撮影画像の表示優先順を決定する（Ｓ２１）。具体的には、複数のカメラからの撮影画像の合成において、優先されるカメラの順を決定しておき、各撮影画像は、撮影したカメラの優先順をそのまま表示優先順に用いる。

次に、表示視線決定部１３は、変更された道路情報及び運転情報から、補正画像内の第１領域及び第２領域の表示画面内の表示（表示配置方法）を決定し（Ｓ２２）、この表示に合致する表示視線を決定する（Ｓ２３）。ここで、第１領域は、被写体の投影後の映り具合の良い領域である。例えば、第１領域は、自車と被写体との距離感を重視したい自車近傍の領域で、地面に平行な平面に投影される俯瞰画像に変換される領域である俯瞰画像領域である。第２領域は、被写体の投影後の映り具合が多少悪くても良い領域である。例えば、第２領域は、多少の距離感のずれを許容する領域であり、自車に対して第１領域の外側の領域である周辺画像領域である。また、表示視線は、表示のための視点と視線方向、縦横視野角等のパラメータから成り、自車または投影形状との位置対応関係が分かるような数値で記述される。例えば、自車位置を原点とする座標系（自車座標系）で記述されるか、投影形状決定部１４で利用する投影形状の座標系（形状座標系）で記述される。

なお、表示視線決定部１３は、第１領域と第２領域を用いているが、投影後の映り具合の違いや配置によって第１領域と第２領域を更に細かく分割してもよい。すなわち、互いに映り具合の異なる３つ以上の領域が定義されても構わない。例えば、第２領域である自車の周辺領域は、自車の左右と前後をそれぞれ４つの別の領域として定義されてもよい。

第２領域である自車の周辺領域を、自車の前後左右それぞれ４つの別の領域として定義することは、第２領域である自車周辺を位置関係によって単純に分割した例であり、第１領域と第２領域が分割された４つの領域とを合わせて全部で５つの領域から成るものと看做すこともできる。あるいは、この５つの領域のうち映り具合の重視度が近いもの同士を集めても良い。例えば、第２領域が分割された４つの領域のうち、自車の左方の領域と自車の右方の領域とは、重視度が同程度に高いため、１つの領域とし、自車の前方の領域と自車の後方の領域とは、重視度が同程度に低いため、１つの領域とする。これにより、全部で３つの領域が定義されても構わない。

このように、第１領域及び第２領域の２つの領域が定義された場合も、第１領域及び第２領域が細かく分割されて３つ以上の領域が定義された場合も、基本的な処理内容は変わらないので、同じフローチャートで実現することができる。以後の本実施の形態においては、簡単のため、第１領域と第２領域とがそれぞれ単一の領域として定義された場合について述べるが、３つ以上の領域の定義に注意が必要な場合にのみ、適宜補足を行うものとする。

次に、投影形状決定部１４は、変更された道路情報及び運転情報から、補正画像の第１領域及び第２領域の自車に対する大きさ及び配置を判定し、投影形状と投影形状の自車に対する位置関係とを決定する（Ｓ２４）。ここで、投影形状は、撮影画像を投影する面の形状であり、第１形状と第２形状を有する。投影形状の具体例については後述するが、ここでは補正画像の第１領域及び第２領域を定義するための被写体の映り具合として、自車からの距離感を用い、第１形状として地表面に平行な平面（基準平面）、第２形状として回転楕円面を決定する。投影形状の自車に対する位置関係としては、自車位置を原点とする座標系（自車座標系）と投影形状の定義に用いる座標系（形状座標系）の２つの座標系の位置関係を、平行移動や回転の値として決定する。この際、自車が第１形状の平面上かつ、第２形状の回転楕円面の中心となるよう、位置関係を決定する。

次に、投影変換部２３ａ，２３ｂ，２３ｃ，２３ｄは、それぞれ撮影したカメラのカメラパラメータ（カメラ位置、方向、画角等）に応じて、補正画像を投影形状上に投影変換した投影画像を生成し、そのまま投影形状に張り付ける（Ｓ３１）。ここで、投影方法は、例えば３次元ＣＧのテクスチャマッピング等で一般的な、カメラ位置と補正画像内の各画素中心を通る直線を定義し、その直線が投影形状面と交差する点を求め、その投影形状上の交点に該当画素の色を対応づける透視投影（中心射影、透視射影）を用いるが、この投影方法に限定するものではない。例えば、カメラ方向を基準軸とし撮像面に平行となるように投影する平行投影を用いることも考えられる。投影に必要なカメラと投影形状との位置関係は、既知であるカメラ２１ａ，２１ｂ，２１ｃ，２１ｄの自車への取り付け配置と、投影形状決定部１４で決定された自車及び投影形状の位置関係とから、自車を仲介として得られる。

次に、合成部４１は、複数の投影画像同士に重なる部分があるか否かの判断を行う（Ｓ３２）。重なる部分がない場合（Ｓ３２，Ｎ）、処理Ｓ６１へ移行する。一方、重なる部分がある場合（Ｓ３２，Ｙ）、合成部４１は、投影画像の重なる部分の各画素色を用いて、画素色のブレンド又は１つの画素色の選択を行う。例えば、平面へ投影された部分同士であれば、俯瞰画像同士とみなして合成し、平面へ投影された部分同士でなければ、予め設定された表示優先カメラによる撮影画像を優先して合成する（Ｓ３３）。なお、重なる部分の処理として、投影画像の画素色を用いるのではなく、あらかじめ定義しておいた、重なりを示す顕示色で重なる部分を塗りつぶしても良い。

次に、周辺地物判定部３２は、周辺地物情報取得部３１により取得された情報に基づいて、撮影画像と同時に表示することができる周辺地物（車両の周辺に存在するランドマーク、障害物等）があるか否かの判断を行う（Ｓ６１）。周辺地物がない場合（Ｓ６１，Ｎ）、処理Ｓ６３へ移行する。一方、周辺地物がある場合（Ｓ６１，Ｙ）、周辺地物判定部３２は、現在の自車の進行方向に対する方向や自車に対する位置から、投影形状に対する位置関係を計算し、投影画像を貼り付けた投影形状内にマーカ形状を配置する（Ｓ６２）。ここで、周辺地物の位置が投影形状面よりも遠方にある場合は、自車位置から周辺地物へ向けたベクトルが投影形状面と交差した位置を、擬似的な周辺地物の位置とすることで、投影形状内にマーカ形状を配置することが望ましい。

これにより、車両周辺物、例えば歩行者や他の車両等の情報を、投影形状、すなわち投影変換した撮影画像上に配置することができ、後述する表示視線変換部４２により、撮影画像と同様に表示視線から眺めた画像を生成することで、撮影画像に重畳表示することができる。さらに、マーカ形状を、平面形状でなく奥行きのある立体形状で表現することで、車両周辺物が臨場感を持って表示できる。なお、周辺地物情報は、上記に限定するものではなく、例えば、保持するデータベース、カーナビゲーション装置、路車および車車間の無線通信などから取得した自車周辺の店舗・観光情報、事故現場情報、道路混雑情報、目指す目的地の位置情報、同行他車位置情報、等を用い、各情報に関係するマーカを情報に関連する位置及び方向に表示してもよい。

次に、表示視線変換部４２は、投影画像を貼り付けた投影形状及びマーカ形状を表示視線から眺めた画像を生成して表示画像とし、表示画像を表示部３３に表示させ（Ｓ６３）、このフローは終了する。

この動作によれば、運転シーンを推定するのに有用な自車の状態を用いて、現在の運転シーンに最適な投影形状を動的に作成することができる。

次に、本実施の形態に係る車両用画像処理装置による処理の具体例について説明する。

図３は、本実施の形態における撮影画像の一例を示す概念図である。この図において、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄは、それぞれ車両の進行方向に対して、前方、後方、左方、右方を撮影して撮影画像を出力する。

図４は、本実施の形態に係る投影形状の第１の例を示す概念図である。本実施の形態において、投影形状は、地面に対応する平面（基準平面）と回転楕円面とにより構成される。地面と回転楕円面は交差している。投影形状のうち第１形状は、基準平面のうち回転楕円面の内側の部分である。投影形状のうち第２形状は、回転楕円面のうち基準平面の上側の部分である。撮影画像のうち第１形状に投影される領域が俯瞰画像領域であり、撮影画像のうち第２形状に投影される領域が周辺画像領域である。なお、この例では、投影形状として、基準平面と立体それぞれ１つの形状で構成されているが、基準平面は複数の小さな平面の組み合わせで定義してもよい。また、立体は、自車を概ね包むことができる立体形状を構成する形状であれば良いので、複数の曲面の組み合わせで定義してもよいし、完全に自車を包み込むのではなく天頂付近に穴があいた楕円球面のような立体形状であってもよい。さらに、第１形状と第２形状という呼称は説明のためであり、これら基準平面と立体を合わせた１つの形状を、第１形状及び第２形状の代わりに用いても、もちろん構わない。

また、処理Ｓ２４において、投影形状決定部１４は、変更した道路情報及び運転情報から、補正画像内の第１領域及び第２領域の大きさの判定結果に基づいて、基準平面に対する回転楕円面の高さを変化させることにより、第１形状と第２形状の面積を変化させることができる。また、図４において、「基準平面＝高」としたケースは、第１形状の面積を大きくして第２形状の面積を小さくした場合を示し、「基準平面＝低」としたケースは、第１形状の面積を小さくして第２形状の面積を大きくした場合を示す。

図５は、本実施の形態に係る第１形状の面積を大きくした場合の投影形状の一例を示す概念図である。図６は、本実施の形態に係る第１形状の面積を大きくした場合の投影画面の一例を示す概念図である。基準平面に対する回転楕円面の高さを低くすることにより、第１形状の面積が大きくなり、第２形状の面積が小さくなる。

図７は、本実施の形態に係る第１形状の面積を小さくした場合の投影形状の一例を示す概念図である。図８は、本実施の形態に係る第１形状の面積を小さくした場合の投影画面の一例を示す概念図である。基準平面に対する回転楕円面の高さを高くすることにより、第１形状の面積が小さくなり、第２形状の面積が大きくなる。

図９は、本実施形態に係る投影形状の第２の例を示す概念図である。この第２の例において、投影形状は、地面に対応する平面（基準平面）と楕円錐面とにより構成される。楕円錐面は平面に任意の角度で突き刺さっている。また、投影形状のうち第１形状は、基準平面のうち楕円錐面の内側の部分である。投影形状のうち第２形状は、楕円錐面のうち基準平面より上側の部分である。図４と同様に、基準平面に対する楕円錐面の高さを変化させることにより、第１形状と第２形状の面積を変化させることができる。また、図９において、「基準平面＝高」としたケースは、第１形状の面積を大きくして第２形状の面積を小さくした場合を示し、「基準平面＝低」としたケースは、第１形状の面積を小さくして第２形状の面積を大きくした場合を示す。

図１０は、本実施の形態に係る投影形状の第３の例を示す概念図である。この図の上段は投影形状を地面に垂直な面で切断した横断面図を、下段は投影形状を上空から俯瞰した図を、それぞれ示す。この第３の例において、投影形状は、地面に対応する平面（基準平面）と、底が任意の閉曲線でなだらかに底から立ち上がる任意の自由曲面とにより構成される。投影形状のうち第１形状は、基準平面のうち自由曲面の内側の部分である。投影形状のうち第２形状は、自由曲面のうち基準平面より上側の部分である。図４と同様に、基準平面に対する自由曲面の高さを変化させることにより、第１形状と第２形状の面積を変化させることができる。また、図１０において、「基準平面＝高」としたケースは、第１形状の面積を大きくして第２形状の面積を小さくした場合を示し、「基準平面＝低」としたケースは、第１形状の面積を小さくして第２形状の面積を大きくした場合を示す。

図１１は、本実施の形態に係る表示画像の一例を示す図である。処理Ｓ６３において、表示視線変換部４２は、投影形状に投影された投影画像及びマーカ形状を表示視線から眺めた表示画像を生成する。この表示画像には、周辺地物判定部３２により判定された障害物が、障害物の位置（擬似位置）を示す球と、自車からの方向を示す矢印から成るマーカ形状として表示されている。

本実施の形態に係る表示画像によれば、第１形状と第２形状が繋がって１つの形状となっている投影形状に投影した投影画像から表示画像を生成することにより、表示画像のうち俯瞰画像領域に対応する俯瞰画像（第１画像）と表示画像のうち周辺画像領域に対応する周辺画像（第２画像）とが境界でずれることなく繋がっており、ユーザは違和感無く見ることができる。また、本実施の形態に係る表示画像によれば、従来の俯瞰画像だけでは見えない、周辺に潜む歩行者や車両を表示することができる。

図１２は、本実施の形態に係る表示視線の一例を示す概念図である。ここでは、表示視線Ａ，Ｂ，Ｃの３つの例を示す。いずれの表示視線を採用するかは、例えば、デフォルトの状態をＡとし、ユーザが適宜ＢやＣに設定を変更してもよい。また、処理Ｓ２３において、表示視線決定部１３は、自車の状態に基づいて表示視線を決定しても良い。

図１３は、本実施の形態に係る表示視線Ａから得られる表示画像の一例を示す図である。表示視線Ａは、車両の上方の視点から車両の方向を眺める表示視線である。図１４は、本実施の形態に係る表示視線Ｂから得られる表示画像の一例を示す図である。表示視線Ｂは、車両の斜め上方向の視点から車両の方向を眺める表示視線である。図１５は、本実施の形態に係る表示視線Ｃから得られる表示画像の一例を示す図である。表示視線Ｃは、車両の前方の視点から車両の方向を眺める表示視線である。

次に、表示変更判定部１２、表示視線決定部１３、投影形状決定部１４について説明する。

図１６は、本実施の形態に係る表示配置方法決定ルールの一例を示す表である。表示配置決定ルールは、処理Ｓ２２において、表示変更判定部１２が自車の状態から表示配置方法（表示画像における各画像の配置方法）を決定するために用いるルールである。この図において、種類は、自車の状態の種類であり、運転情報、道路情報、運転情報＋道路情報のいずれかを示す。条件は、自車の状態の値の条件を示す。判定結果は、表示配置方法を示す。備考は、表示配置方法の目的を示す。例えば、運転情報により速度が低速（５ｋｍ／ｈ以下）である場合、表示視線決定部１３は、周辺画像の表示をなくすか、周辺画像を縮小し、俯瞰画像を大きく表示する表示配置方法を選択する。これは、至近の周辺状況を重視するためである。

この表示配置決定ルールによれば、俯瞰画像が重要である場合には俯瞰画像の面積を大きくして周辺画像の面積を小さくし、周辺画像が重要である場合には周辺画像の面積を大きくして俯瞰画像の面積を小さくすることにより、ユーザにとって重要な情報を分かりやすく表示することができる。

図１７は、本実施の形態に係る左折時の表示配置方法を用いない場合の表示画面の一例を示す図である。通常、表示画面において、表示画面の上方向と表示画面内に表示される自車の進行方向とは一致している。図１８は、本実施の形態に係る左折時の表示配置方法を用いた場合の表示画面の一例を示す図である。上述した表示配置決定ルールにより、左折時、表示画面内に表示される自車の進行方向は、僅かに左へ回転する。また、自車の進行方向と連動し、俯瞰画像及び周辺画像も同様に左へ回転した画像となり、自車の進行する道路が僅かに斜めに表示される。これにより、ユーザは、左折していることを把握しやすくなる。

図１９は、本実施の形態に係る表示視線決定ルールの一例を示す表である。表示視線決定ルールは、処理Ｓ２３において、表示視線決定部１３が表示配置方法から表示視線を決定するために用いるルールである。例えば、表示配置方法が、周辺画像を小さくし、俯瞰画像を大きくする場合、表示視線決定部１３は、表示視線において、視点を低く、すなわち自車及び地表面に近づくように設定する。この表示視線決定ルールによれば、表示配置方法と連動して表示視線が決定されることにより、表示配置方法で決定した配置を実現し、より分かりやすく表示することができる。

図２０は、本実施の形態に係る投影形状決定ルールの一例を示す表である。投影形状決定ルールは、処理Ｓ２４において、投影形状決定部１４が自車の状態から投影形状を決定するために用いるルールである。この図の表記方法は、表示配置決定ルールと同様であるが、判定結果は、投影形状を示す。また、備考は、投影形状の目的を示す。例えば、運転情報により、速度が高速（６０ｋｍ／ｈ以上）である場合、投影形状決定部１４は、周辺画像領域の面積を大きくした投影形状に設定する。これは、遠方の周辺状況を重視するためである。

この投影形状決定ルールによれば、俯瞰画像領域が重要である場合には、俯瞰画像領域の面積、すなわち撮影画像の第１領域を投影する第１形状部分を大きくして、相対的に周辺画像領域の面積を小さくする。また、周辺画像領域が重要である場合には、周辺画像領域の面積、すなわち撮影画像の第２領域を投影する第２形状部分（曲面及び側面）を大きくして、相対的に俯瞰画像領域の面積を小さくする。これにより、ユーザにとって重要な情報を分かりやすく表示することができる。

本実施の形態によれば、例えば、駐車を行う際には、遠くの周辺画像よりも、車両近くの俯瞰画像を見やすくすることができる。また、高速移動時には車両周辺の俯瞰画像よりも、遠くまでを含めた周辺画像を見やすくすることができる。さらには合流路で合流する場合には合流路後方をよりはっきりと見ることができる。

上述した例では第１領域と第２領域を定義したが、ここでは３つ以上の領域を定義する例について説明する。

図２１は、本実施の形態に係る３つの領域を有する場合の投影形状の一例を示す図である。この図の上段は投影形状を自車の左上方から見た図を示し、下段は投影形状を自車の上方から見た図を示す。第１領域は、自車と被写体の距離感を重視したい領域で自車近傍の俯瞰画像領域である。これに対応する第１形状は、地面に平行な平面である。第２領域は、第１領域より多少の距離感のずれを許容する領域であり第１領域の外側の周辺画像領域である。これに対応する第２形状は、立体形状である。第２領域は、映り具合の異なる複数領域、すなわち自車の左方、右方、前方、後方の４つの領域で構成する。この図に示されるように、第２形状は、自車の前方に回転楕円体、自車の後方に回転楕円体、自車の左右に楕円柱を有する。

この投影形状は、第２形状が上下することにより、第１形状及び第２形状の面積が変化する。図２２は、本実施の形態に係る３つの領域を有する場合の投影形状の変化の一例を示す図である。この図において、ケースＸ１は、第１形状に対して第２形状が基準の位置にある場合の投影形状を示す。ケースＸ２は、第１形状に対した第２形状全体の高さを高くした場合の投影形状を示す。ケースＸ３は、第２形状のうち自車前方の回転楕円体の高さのみを他に比べて高くした場合の投影形状を示す。ケースＸ２，Ｘ３は、高くした部分に対応して第１形状である平面の面積が小さくなる。このように、第２領域を複数の領域とし、第２形状を複数の形状とすることで、周辺画像のうち自車前方部分を特に大きくする等、自車の状態に応じてきめ細かく投影形状を設定することができ、より自由度の高い被写体投影を行うことが可能となる。

次に、投影形状決定部１４が障害物の位置に基づいて投影形状を決定する例について説明する。

図２３は、本実施の形態に係る障害物に対応させた投影形状の一例を示す図である。この図の上段は、自車左方から見た投影形状を示し、この図の下段は、自車情報から見た投影形状を示す。ここで、第１領域は、これまでに述べた第１領域と同じ、自車と被写体との距離感を重視したい自車近傍の領域とする。第２領域は、第１領域より被写体の投影後の高さを重視したい領域、すなわち実際に取得された障害物の位置が撮影されている撮影画像内の領域とする。

投影形状決定部１４は、第１形状を地面に平行な平面とし、第２形状を地面にほぼ垂直な曲面とする。ここでは、第２形状を楕円柱の曲面の一部とする。図２３の例では、簡単のため、障害物ＹＡ，ＹＢをそれぞれ球（障害物球）で表す。実際の障害物は様々な形状であるので、投影形状決定部１４は、実際の障害物形状を内包するバウンディング球を障害物球とし、障害物球の高さ及び半径を用いて第２形状の楕円柱を決定してもよい。また、投影形状決定部１４は、対抗車線上や路肩などの障害物の位置から適当な大きさを選んで利用してもよい。

投影形状決定部１４は、取得された障害物の位置を楕円柱の中心とし、取得された障害物の半径を楕円柱の半径とする。図２４は、本実施の形態に係る障害物に対応させた第２形状の一例を示す図である。この図の上段は、第２形状を斜め上から見た図であり、この図の上段は、第２形状を上から見た図である。

この図に示されるように、投影形状決定部１４は、第２形状の曲面の曲率を決定する楕円柱の楕円半径（楕円長半径、楕円短半径）、楕円柱の曲面のうち第２形状に用いる範囲を決める曲面角度、楕円柱の高さである曲面高さを決定する。楕円半径（曲率）を大きくすることで、第２形状の曲面を限りなく平面に近づけることもできる。また、投影形状決定部１４は、曲面の向きである曲面方向を決定する。ここで、投影形状決定部１４は、曲面方向を決定するために、何らかの基準点、例えば、表示用視線位置を用い、楕円柱中心から基準点に向けたベクトル（基準方向ベクトル）を曲面方向としても良い。

例えば、自車の斜め前から見る表示画像を生成する場合など、自車の位置変更に従って表示画像の視点が動いていく場合、基準点は、自車位置の関数となる。第２形状が視点を向いた曲面に設定されることで、常に表示視線から曲面を見ることが可能となり、曲面を真上から眺めてしまうことにより曲面が見えなくなるような問題を避けることができる。ここでは、表示画像の視点が自車の左方に設定され、この視点を基準点とする例を示す。

この他、投影形状決定部１４は、後述の曲面方向俯角を０とするような自車中心方向を曲面方向としてもよい。この場合、第２形状である曲面が第１形状である平面に垂直なので、投影された被写体の高さ方向の歪みをより減らすことができ、後述の曲面の高さの算出も簡単になる。

また、第２形状が複数ある場合、曲面方向や基準点は同一でもよいし、それぞれ異なってもよい。例えば、実際の障害物が壁や柱などであり、それぞれ多角形柱で近似できる場合、投影形状決定部１４は、多角形柱の面のうち最も形状の特徴を示すような面の面法線に曲面方向が合致するように、障害物毎に曲面方向（基準点）を設定してもよい。この結果、第２形状が障害物の実際の形状に近くなり、全体的に投影後の歪みを小さくすることができる。

図２３の例において、投影形状決定部１４は、障害物ＹＡのサイズに合致した第２形状と障害物ＹＢのサイズに合致した第２形状とを設定する。なお、障害物が存在しない場合は、撮影画像に第２領域が存在しない場合であるから、投影形状決定部１４は、第１形状のみを投影形状として設定する。

投影形状決定部１４は、第２形状である曲面が第１形状である平面から浮くことがないよう、障害物高さである障害物球の直径２ｒを用いて、第２形状の曲面高さを２ｒ＋Ｍに設定する。ここで、曲面方向と第１形状である平面との成す角（曲面方向俯角）θを用いて第２形状の曲面高さ２ｒ＋Ｍを記述する。図２５は、本実施の形態に係る第２形状の曲面高さの設定の一例を示す図である。この図は、図２３における三角形Ｔを示す。なお、Ｍ＝ｒ ｔａｎ θ（１＋ｔａｎ（θ／２））であり、θ／２＝αとすると、２倍角の公式から、Ｍ＝２ｒ ｔａｎα／（１−ｔａｎα）となる。このように、障害物と基準点の距離が変化すれば曲面方向俯角θが変化するため、厳密な曲面の高さは動的に変更することになる。

なお、第２形状の曲面の高さ及び半径は、必ずしも上述した定義でなくてもよい。また、第２形状の曲面の高さ及び半径は、動的に変更されるのでなく、決まった値としても良い。また、第２形状の曲面の高さ及び半径は、適当な時間間隔で再計算されて変更されてもよい。また、この例において、第１形状は単一形状で地面に平行な平面としたが、図４に示された平面と楕円球面を第１形状としても良い。また、第２形状は、曲面に限るものではなく、平らな平面にしても構わないし、楕円球面や直方体などの形状にしても構わない。

上述したように、投影形状決定部１４が障害物の位置に障害物と類似するサイズの第２形状を随時設定することで、撮影画像のうち第２領域である障害物周辺部分は第２形状に主に投影される。また、第２形状は路面に対して概ね垂直な立体的な面であるから、第１形状に投影するよりも、路面に垂直な方向すなわち高さ方向の歪みを小さくすることができる。

なお、表示視線が自車上空からの見下ろし視線等、第２形状を真上から見る視線である場合、第２形状に投影された部分が見えなくなる可能性がある。そのような表示視線から見ることができるように、第２形状である曲面の裏や曲面の下の第１形状である平面部分などにも、撮影画像を投影することが望ましい。

このように、道路情報取得部１１や周辺地物情報取得部３１などにより取得された障害物情報と、運転情報取得部１１により取得された自車位置や自車進行方向などの運転情報とを随時参照して、投影形状決定部１４が第２形状の有無及び形状詳細をカスタマイズすることにより、最も現在の自車両状態に適した投影形状を利用することが可能となる。

実施の形態２．
まず、本実施の形態に係る車両用画像処理装置の構成について説明する。

図２６は、本実施の形態に係る車両用画像処理装置の構成の一例を示すブロック図である。この図において、図１と同一符号は図１に示された対象と同一又は相当物を示しており、ここでの説明を省略する。図１の車両用画像処理装置と比較すると、この車両用画像処理装置は、新たに表示形状決定部１６、周辺画像変換部２４ａ，２４ｂ，２４ｃ，２４ｄ、俯瞰画像合成部５１、配置部５２を備え、表示視線決定部１３、合成部４１、表示視線変換部４２を必要としない。形状決定部は、本実施の形態における表示変更判定部１２、投影形状決定部１４、表示形状決定部１６に対応する。変換部は、周辺画像変換部２４ａ，２４ｂ，２４ｃ，２４ｄ、俯瞰画像合成部５１、配置部５２に対応する。

次に、本実施の形態に係る車両用画像処理装置の動作について説明する。

図２７は、本実施の形態に係る車両用画像処理装置の動作の一例を示すフローチャートである。この図において、図２と同一符号は図２に示された対象と同一又は相当物を示しており、ここでの説明を省略する。処理Ｓ１１〜Ｓ１３，Ｓ２１は、図２と同様である。

道路情報または運転情報が変化しない場合（Ｓ１３，Ｎ）、処理Ｓ５１へ移行する。道路情報または運転情報が変化した場合（Ｓ１３，Ｙ）、表示変更判定部１２は、道路情報及び運転情報から撮影画像の表示優先順を決定する（Ｓ２１）。

次に、表示形状決定部１６は、変更した道路情報及び運転情報から、補正画像内の第１領域及び第２領域、すなわち俯瞰画像領域と周辺画像領域の表示画像内の表示（表示配置方法）を決定し（Ｓ４１）、表示画像における俯瞰画像のサイズと配置を決定し（Ｓ４２）、表示画像における周辺画像の形状とサイズと配置をカメラ単位で決定する（Ｓ４３）。

ここでは、実施の形態１の表示視線決定部１３と同様の表示配置方法決定ルールを用いる。例えば、自車速度が低速で後退する場合、自車周辺環境を目視する必要があると判断し、矩形平面の面積を広げる。また、表示配置方法としてカメラごとに定義した周辺画像の表示領域を縮小し、さらに自車後方を映すカメラの周辺画像は上下反転した表示を行うように、周辺画像の配置を決定する。この結果、低速後退走行時には、自車至近の周辺状況を重視し、かつ、後方周辺画像を用いて視認を行う際に、実際に見たのと同じ上下関係（空が上）で見ることができるようになる。

次に、投影形状決定部１４は、投影形状である平面矩形を規定するパラメータ群を決定する（Ｓ４４）。ここで、平面矩形は、地面に平行な平面で、自車の位置を含む矩形である。パラメータ群は、平面矩形の大きさ、自車との位置関係等である。

次に、投影変換部２３ａ，２３ｂ，２３ｃ，２３ｄは、それぞれカメラパラメータを用いて補正画像を投影形状に投影して投影画像に変換する（Ｓ５１）。次に、俯瞰画像合成部５１は、表示変更判定部１２で決定済みの撮影画像優先順を用いて、複数の投影画像において重なる部分について画素色のマージ又は優先する撮影画像の画素色や特殊色の選択を行い、上述した平面矩形内を俯瞰画像とする（Ｓ５２）。

次に、周辺画像変換部２４ａ，２４ｂ，２４ｃ，２４ｄは、それぞれ補正画像から投影形状へ投影できなかった領域を周辺画像領域として分離し、補正画像の周辺画像領域を周辺画像の形状に合わせて変換（伸縮、回転等）する（Ｓ５３）。つまり、撮影画像のうち平面矩形に投影できない部分を周辺画像に用いる。なお、周辺画像領域の分離は、厳密に判定されなくても良い。すなわち、平面矩形へ投影される画素を適当にサンプリングし、それが撮影画像の下部２／３程度に集中していた場合には、上部１／３の矩形部分を大まかに周辺画像部分と判定分離してもよい。また、周辺画像領域を、単純に画像回転して表示するだけでなく、俯瞰画像との継ぎ目を少し改善させるために、画像自体を伸縮する等の画像変換を行ってもよい。

次に、配置部５２は、俯瞰画像と複数の周辺画像とを表示画像に配置する（Ｓ５４）。

次に、周辺地物判定部３２は、図２と同様、周辺地物情報取得部３１により取得された情報に基づいて、撮影画像と同時に表示する周辺地物があるか否かの判断を行い（Ｓ６１）、周辺地物がない場合（Ｓ６１，Ｎ）、このフローを終了する。一方、周辺地物がある場合は、マーカ形状を表示画面上に投影して貼り付け（Ｓ６４）、フローを終了する。マーカ形状は、俯瞰画像と自車との位置関係と、自車と周辺地物の位置関係を用いて、俯瞰画像に対応する地物の位置を求め、表示する。ここで地物が自車から遠く、マーカ位置が俯瞰画像の表示範囲外になる場合は、自車位置から周辺地物へ向けたベクトル上で、表示画面内となる任意の位置を、擬似的な周辺地物の位置とすることで、表示画面内にマーカ形状を表示することが望ましい。

次に、本実施の形態に係る車両用画像処理装置による処理の具体例について説明する。

ここで、カメラ２１ａ，２１ｂ，２１ｃ，２１ｄによる撮影画像は、図３と同様とする。

図２８は、本実施の形態に係る俯瞰画像の一例を示す図である。この図は、処理Ｓ５２において、投影画像がマージされたものであり、中央の矩形内が俯瞰画像である。

図２９は、本実施の形態に係る周辺画像の一例を示す図である。この図の上段は、処理Ｓ５２により分離された補正画像の周辺画像領域であり、この図の下段は、処理Ｓ５３により変換された周辺画像である。補正画像の周辺画像領域が周辺画像の形状である矩形に変換されて、周辺画像になる。

図３０は、本実施の形態に係る表示画像の一例を示す図である。この図において、俯瞰画像が中央に配置されるとともに車両のマーカが配置され、４つの周辺画像がそれぞれ俯瞰画像の上方、下方、左方、右方に配置される。また、車両の右前方に位置する周辺地物のマーカが配置される。

本実施の形態によれば、無理の無い範囲の俯瞰画像と、撮影画像に単純な変換を施しただけの周辺画像とを表示することにより、歪みの少ない表示画像を生成することができる。

上述した各実施の形態によれば，速度や運転操作、運転技能等の運転情報と、自車位置から推定した道路種類及び形状、混雑状況等の道路情報とから、撮影画像群を投影する投影形状を動的に変更することで、走行シーンに最適な俯瞰画像及び周辺画像を表示することができる。

更に、車両用画像処理装置を構成するコンピュータにおいて上述した各ステップを実行させるプログラムを、車両用画像処理プログラムとして提供することができる。上述したプログラムは、コンピュータにより読み取り可能な記録媒体に記憶させることによって、車両用画像処理装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読み取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。

本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。

以上の実施の形態１〜２に関し、更に以下の付記を開示する。

（付記１）
車両内で表示されることができる画像の生成を行う車両用画像処理装置であって、
前記車両の状態を取得する状態取得部と、
１つ以上のカメラにより該車両の周囲が撮影された撮影画像を取得する画像取得部と、
前記状態取得部により取得された状態に基づいて、前記撮影画像のうち所定の第１領域が投影される第１形状と、前記撮影画像のうち前記第１領域と異なる所定の第２領域が投影される第２形状とを決定する形状決定部と、
前記画像取得部により取得された撮影画像を前記第１形状と前記第２形状とへ投影変換して、前記第１領域を前記第１形状へ投影した第１画像と前記第２領域を前記第２形状へ投影した第２画像とを生成する変換部と
を備える車両用画像処理装置。
（付記２）
付記１に記載の車両用画像処理装置において、
前記第１形状は、前記車両に対する水平面である車両用画像処理装置。
（付記３）
付記１に記載の車両用画像処理装置において、
前記状態は、前記車両の運転に関する情報を含む車両用画像処理装置。
（付記４）
付記１に記載の車両用画像処理装置において、
前記状態は、前記車両の周辺の道路に関する情報を含む車両用画像処理装置。
（付記５）
付記１に記載の車両用画像処理装置において、
前記変換部は更に、前記第１画像の周辺に前記第２画像を配置した表示画像を生成する車両用画像処理装置。
（付記６）
付記５に記載の車両用画像処理装置において、
更に、前記表示画像を表示する表示部を備える車両用画像処理装置。
（付記７）
付記１に記載の車両用画像処理装置において、
前記状態取得部は更に、前記車両の周辺の物体の位置情報を取得し、
前記変換部は、前記状態取得部により取得された物体の位置情報に基づいて、前記物体の位置を前記第１画像または前記第２画像に含める車両用画像処理装置。
（付記８）
付記１に記載の車両用画像処理装置において、
前記形状決定部は更に、前記状態取得部により取得された状態に基づいて、前記第１形状と前記第２形状に対する視線を決定し、
前記変換部は更に、前記第１画像と前記第２画像とを前記視線により眺めた画像を生成する車両用画像処理装置。
（付記９）
付記８に記載の車両用画像処理装置において、
前記状態取得部は更に、前記車両の周辺の物体の位置情報を取得し、
前記変換部は、前記状態取得部により取得された物体の位置情報に基づいて、前記物体の位置から前記第１形状及び第２形状に対する位置を求めて、前記第１形状及び第２形状の周辺へ前記物体を示す形状を配置し、前記視線より前記第１形状に投影された前記第１画像と前記第２形状に投影された前記第２画像とを眺めた画像を生成する、車両用画像処理装置。
（付記１０）
付記８に記載の車両用画像処理装置において、
前記形状決定部は、前記状態取得部により取得された状態に基づいて、前記第１形状と前記第２形状を変化させる車両用画像処理装置。
（付記１１）
付記８に記載の車両用画像処理装置において、
前記第１形状は、前記地面に平行な平面のうち所定の回転楕円面の内側の領域であり、
前記第２形状は、前記回転楕円面のうち前記地面に平行な平面より上側の領域である車両用画像処理装置。
（付記１２）
付記８に記載の車両用画像処理装置において、
前記形状決定部は、前記状態取得部により取得された状態に基づいて、前記地面に平行な平面と前記回転楕円面との高さ方向の位置関係を変化させる車両用画像処理装置。
（付記１３）
付記８に記載の車両用画像処理装置において、
前記第１形状は、前記地面に平行な平面のうち所定の楕円錐面の内側の領域であり、
前記第２形状は、前記楕円錐面のうち前記地面に平行な平面より上側の領域である車両用画像処理装置。
（付記１４）
付記８に記載の車両用画像処理装置において、
前記第１形状は、前記地面に平行な平面のうち所定の自由曲面の内側の領域であり、
前記第２形状は、前記自由曲面のうち前記地面に平行な平面より上側の領域である車両用画像処理装置。
（付記１５）
付記１に記載の車両用画像処理装置において、
前記第１領域は、前記撮影画像のうち前記第１形状に投影可能な領域であり
前記第２領域は、前記撮影画像のうち前記第１形状に投影不可能な領域である車両用画像処理装置。
（付記１６）
付記１５に記載の車両用画像処理装置において、
前記第１領域は、前記車両を含む矩形の領域であり、
前記第１形状は、矩形である車両用画像処理装置。
（付記１７）
付記１６に記載の車両用画像処理装置において、
前記第２形状は、第１矩形、第２矩形、第３矩形、第４矩形からなり、
前記変換部は、前記第２領域のうち前記車両の進行方向に対して前方の前記撮影画像を前記第１矩形に投影し、前記第２領域のうち前記車両の進行方向に対して後方の撮影画像を前記第２矩形に投影し、前記第２領域のうち前記車両の進行方向に対して左方の撮影画像を前記第３矩形に投影し、前記第２領域のうち前記車両の進行方向に対して右方の撮影画像を前記第４矩形に投影する車両用画像処理装置。
（付記１８）
付記１７に記載の車両用画像処理装置において、
前記変換部は更に、前記第１画像の周辺に前記第２画像を配置した画像を生成する車両用画像処理装置。
（付記１９）
付記１７に記載の車両用画像処理装置において、
前記形状決定部は、前記状態取得部により取得された状態に基づいて、前記第１形状、前記第１矩形、前記第２矩形、前記第３矩形、前記第４矩形のそれぞれの大きさを決定する車両用画像処理装置。
（付記２０）
車両内で表示されることができる画像の生成をコンピュータに実行させる車両用画像処理プログラムであって、
前記車両の状態を取得し、
１つ以上のカメラにより該車両の周囲が撮影された撮影画像を取得し、
取得された前記状態に基づいて、前記撮影画像のうち所定の第１領域が投影される第１形状と、前記撮影画像のうち前記第１領域と異なる所定の第２領域が投影される第２形状とを決定し、
取得された前記撮影画像を前記第１形状と前記第２形状とへ投影変換して、前記第１領域を前記第１形状へ投影した第１画像と前記第２領域を前記第２形状へ投影した第２画像とを生成する
ことをコンピュータに実行させる車両用画像処理プログラム。
（付記２１）
車両内で表示されることができる画像の生成を行う車両用画像処理方法であって、
前記車両の状態を取得し、
１つ以上のカメラにより該車両の周囲が撮影された撮影画像を取得し、
取得された前記状態に基づいて、前記撮影画像のうち所定の第１領域が投影される第１形状と、前記撮影画像のうち前記第１領域と異なる所定の第２領域が投影される第２形状とを決定し、
取得された前記撮影画像を前記第１形状と前記第２形状とへ投影変換して、前記第１領域を前記第１形状へ投影した第１画像と前記第２領域を前記第２形状へ投影した第２画像とを生成する
ことを行う車両用画像処理方法。

実施の形態１に係る車両用画像処理装置の構成の一例を示すブロック図である。 実施の形態１に係る車両用画像処理装置の動作の一例を示すフローチャートである。 実施の形態１に係る撮影画像の一例を示す概念図である。 実施の形態１に係る投影形状の第１の例を示す概念図である。 実施の形態１に係る第１形状の面積を大きくした場合の投影形状の一例を示す概念図である。 実施の形態１に係る第１形状の面積を大きくした場合の投影画面の一例を示す概念図である。 実施の形態１に係る第１形状の面積を小さくした場合の投影形状の一例を示す概念図である。 実施の形態１に係る第１形状の面積を小さくした場合の投影画面の一例を示す概念図である。 実施の形態１に係る投影形状の第２の例を示す概念図である。 実施の形態１に係る投影形状の第３の例を示す概念図である。 実施の形態１に係る表示画像の一例を示す図である。 実施の形態１に係る表示視線の一例を示す概念図である。 実施の形態１に係る表示視線Ａから得られる表示画像の一例を示す図である。 実施の形態１に係る表示視線Ｂから得られる表示画像の一例を示す図である。 実施の形態１に係る表示視線Ｃから得られる表示画像の一例を示す図である。 実施の形態１に係る表示配置方法決定ルールの一例を示す表である。 実施の形態１に係る左折時の表示配置方法を用いない場合の表示画面の一例を示す図である。 実施の形態１に係る左折時の表示配置方法を用いた場合の表示画面の一例を示す図である。 実施の形態１に係る表示視線決定ルールの一例を示す表である。 実施の形態１に係る投影形状決定ルールの一例を示す表である。 実施の形態１に係る３つの領域を有する場合の投影形状の一例を示す図である。 実施の形態１に係る３つの領域を有する場合の投影形状の変化の一例を示す図である。 実施の形態１に係る障害物に応じた投影形状の一例を示す図である。 実施の形態１に係る障害物に応じた第２形状の一例を示す図である。 実施の形態１に係る第２形状の曲面高さの設定の一例を示す図である。 実施の形態２に係る車両用画像処理装置の構成の一例を示すブロック図である。 実施の形態２に係る車両用画像処理装置の動作の一例を示すフローチャートである。 実施の形態２に係る俯瞰画像の一例を示す図である。 実施の形態２に係る周辺画像の一例を示す図である。 実施の形態２に係る表示画像の一例を示す図である。

符号の説明

１１ 運転情報取得部、１２ 表示変更判定部、１３ 表示視線決定部、１４ 投影形状決定部、１５ 道路情報取得部、１６ 表示形状決定部、２１ａ，２１ｂ，２１ｃ，２１ｄ カメラ、２２ａ，２２ｂ，２２ｃ，２２ｄ 歪み補正部、２３ａ，２３ｂ，２３ｃ，２３ｄ 投影変換部、３１ 周辺地物情報取得部、３２ 周辺地物判定部、３３ 表示部、４１ 合成部、４２ 表示視線変換部、２４ａ，２４ｂ，２４ｃ，２４ｄ 周辺画像変換部、５１ 俯瞰画像合成部、５２ 配置部。

Claims (6)

1. 車両内で表示されることができる画像の生成を行う車両用画像処理装置であって、
   前記車両の状態を取得する状態取得部と、
   １つ以上のカメラにより該車両の周囲が撮影された撮影画像を取得する画像取得部と、
   前記状態取得部により取得された状態に基づいて、前記撮影画像のうち所定の第１領域が投影され、前記車両に対する水平面である第１形状の高さを、前記撮影画像のうち前記第１領域と異なる所定の第２領域が投影され、前記第１形状と交差し、前記水平面側ほど前記第１形状と交差する面の面積が小さくなる曲面により構成される立体である第２形状に対して、前記第１形状を低くした場合に前記第１領域が小さくなるとともに前記第２領域が大きくなり、前記第１形状を高くした場合に前記第１領域が大きくなるとともに前記第２領域が小さくなるように変化させる形状決定部と、
   前記画像取得部により取得された撮影画像を前記第１形状と前記第２形状とへ投影変換して、前記第１領域を前記第１形状へ投影した第１画像と前記第２領域を前記第２形状へ投影した第２画像とを生成する変換部と
   を備える車両用画像処理装置。
2. 請求項１に記載の車両用画像処理装置において、
   前記状態は、前記車両の運転に関する情報を含む車両用画像処理装置。
3. 請求項１または請求項２に記載の車両用画像処理装置において、
   前記形状決定部は更に、前記状態取得部により取得された状態に基づいて、前記第１形状と前記第２形状に対する視線を決定し、
   前記変換部は更に、前記第１画像と前記第２画像とを前記視線により眺めた画像を生成する車両用画像処理装置。
4. 請求項３に記載の車両用画像処理装置において、
   前記形状決定部は、前記状態取得部により取得された状態に基づいて、前記第１形状と前記第２形状を変化させる車両用画像処理装置。
5. 車両内で表示されることができる画像の生成をコンピュータに実行させる車両用画像処理プログラムであって、
   前記車両の状態を取得し、
   １つ以上のカメラにより該車両の周囲が撮影された撮影画像を取得し、
   取得された前記状態に基づいて、前記撮影画像のうち所定の第１領域が投影され、前記車両に対する水平面である第１形状の高さを、前記撮影画像のうち前記第１領域と異なる所定の第２領域が投影され、前記第１形状と交差し、前記水平面側ほど前記第１形状と交差する面の面積が小さくなる曲面により構成される立体である第２形状に対して、前記第１形状を低くした場合に前記第１領域が小さくなるとともに前記第２領域が大きくなり、前記第１形状を高くした場合に前記第１領域が大きくなるとともに前記第２領域が小さくなるように変化させ、
   取得された前記撮影画像を前記第１形状と前記第２形状とへ投影変換して、前記第１領域を前記第１形状へ投影した第１画像と前記第２領域を前記第２形状へ投影した第２画像とを生成する
   ことをコンピュータに実行させる車両用画像処理プログラム。
6. 車両内で表示されることができる画像の生成を行う車両用画像処理方法であって、
   前記車両の状態を取得し、
   １つ以上のカメラにより該車両の周囲が撮影された撮影画像を取得し、
   取得された前記状態に基づいて、前記撮影画像のうち所定の第１領域が投影され、前記車両に対する水平面である第１形状の高さを、前記撮影画像のうち前記第１領域と異なる所定の第２領域が投影され、前記第１形状と交差し、前記水平面側ほど前記第１形状と交差する面の面積が小さくなる曲面により構成される立体である第２形状に対して、前記第１形状を低くした場合に前記第１領域が小さくなるとともに前記第２領域が大きくなり、前記第１形状を高くした場合に前記第１領域が大きくなるとともに前記第２領域が小さくなるように変化させ、
   取得された前記撮影画像を前記第１形状と前記第２形状とへ投影変換して、前記第１領域を前記第１形状へ投影した第１画像と前記第２領域を前記第２形状へ投影した第２画像とを生成する
   ことを行う車両用画像処理方法。

Images