JP4888831B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両周辺監視装置に関し、特に車両周方向に設けられた複数のカメラにより車両の周辺を監視可能な車両周辺監視装置に関する。

この種の車両周辺監視装置として、車両周方向の異なる位置に設けられて車両の周辺を撮影する３つのカメラと、車両が停止しているときは各カメラの撮影画像を直線的に張り合わせて１つの仮想視点から見た１視点画像を表示手段に表示させ、車両が動いているときは複数の撮影画像からなる多視点画像を表示手段に表示させる制御手段とを備えたものがあり、例えば下記特許文献１に記載されている。
特開２００５−２３６４９３号公報

しかしながら、上記特許文献１に記載された車両周辺監視装置では、複数のカメラの車両への取り付け位置によって仮想視点位置が１つに限定されてしまうので、画像の表示が狭い範囲に限定されてしまい、充分な利便性が得られなかった。この場合、カメラの車両への取り付け位置および取り付け方向には制約があるので、単に車両への取り付け位置等を変えるだけでは、画像の表示を広い範囲に設定することが困難である。また、各カメラの撮影画像を直線的に張り合わせて１視点画像を作成しているため、１視点画像であっても直感的にわかり難いという問題もあった。

本発明は、上記問題に対処するためになされたものであり、その目的は、直感的にわかり易い画像を得ることが可能で利便性の高い車両周辺監視装置を提供することにある。

上記目的を達成するため、本発明は、車両周方向の異なる位置に設置されて車両の周辺を撮影する複数のカメラと、前記複数のカメラの撮影画像に基づいて同複数のカメラ間の中間位置に仮想的に設置された仮想カメラの仮想画像を作成し、この仮想画像と前記撮影画像を連続的に合成する画像合成手段と、前記画像合成手段により合成された合成画像に基づいて、任意のカメラ位置に対応した表示画像を作成して表示手段に表示させる画像作成手段と、表示画像に対応したカメラ位置を表示するためのカメラ位置表示手段と、任意のカメラ位置を設定変更可能な操作インタフェースとを備え、操作インタフェースの操作に連動して、画像作成手段は、任意のカメラ位置の設定変更に対応した表示画像を表示手段に表示させ、カメラ位置表示手段は、操作インタフェースの操作に応じて設定されたカメラ位置を、車両の平面模式図上に表したインジケータにおける、対応する位置に組み込まれたインジケータランプを点灯させることによって視認させることを特徴とする。

この車両周辺監視装置では、複数のカメラの撮影画像に基づいて、複数のカメラ間の中間位置に仮想的に設定された仮想カメラの仮想画像が作成され、この仮想画像と撮影画像とが連続的に合成される。また、合成された合成画像に基づいて、任意のカメラ位置に対応した表示画像が作成される。

これによれば、カメラの仮想位置が１つに限定されないので、表示画像を連続的に広い範囲に設定することが可能となり、直感的にわかり易い画像が得られて、車両周辺監視装置の使い勝手が良好となる。

本発明の実施に際して、前記複数のカメラは、隣り合う位置のカメラによる撮影画像に重なり合う領域が形成されるように車両の全周に渡って間隔をおいて設置されており、前記画像合成手段は、前記複数のカメラの撮影画像を画像変換して前記仮想画像としての補間画像を作成することも可能である。この場合、画像の加工処理法としては、例えば、光線空間法やモーフィング法を用いるとよい。

これによれば、複数のカメラの車両への取り付け高さがそれぞれ異なっていても、車両の全周に渡って連続的な３６０°の合成画像（パノラマ画像）を得ることができ、しかもその画像精度を高くすることができて、上記した使い勝手の良好な車両周辺監視装置を簡易に構成することが可能である。

また、本発明の実施に際して、前記画像作成手段は、前記任意のカメラ位置の設定変更に伴って、前記表示画像を連続的に前記表示手段に表示させることも可能である。これによれば、表示手段に連続的に表示される画像を参照しながら、見たい部位の画像に容易にたどり着くことが可能である。

また、本発明の実施に際して、前記画像作成手段は、前記任意のカメラ位置におけるカメラ画角の設定変更に応じて、前記合成画像の画像変換により表示画像を作成して前記表示手段に表示させることも可能である。また、前記画像作成手段は、前記任意のカメラ位置におけるカメラ視線方向の設定変更に応じて、前記合成画像の画像変換により表示画像を作成して前記表示手段に表示させることも可能である。また、前記画像作成手段は、前記任意のカメラ位置におけるカメラ視点（カメラのレンズ位置）の設定変更に応じて、前記合成画像の画像変換により表示画像を作成して前記表示手段に表示させることも可能である。この場合、前記画像作成手段は、例えば、前記カメラ画角、カメラ視線方向または前記カメラ視点の設定変更に伴って、前記表示画像を連続的に前記表示手段に表示させるようにするとよい。これによれば、表示手段に連続的に表示される画像を参照しながら、見たい部位の画像をより詳細に検討することが可能となる。

また、本発明の実施に際して、前記画像作成手段は、車両の走行状態に応じて、予め指定されたカメラ位置における表示画像を、前記合成画像に基づいた表示画像に優先させて前記表示手段に表示させることも可能である。この場合、前記車両の走行状態は、例えば、車両の発車前、バック時または幅寄せ時であるとよい。これによれば、乗員の注意を効果的に喚起することが可能となる。

また、本発明の実施に際して、前記画像作成手段は、障害物検知時に障害物を包含するカメラ位置における表示画像を、前記合成画像に基づいた表示画像に優先させて前記表示手段に表示させることも可能である。これによっても、乗員の注意を効果的に喚起することが可能となる。

また、本発明の実施に際して、前記表示画像に対応したカメラ位置を表示するためのカメラ位置表示手段と、前記任意のカメラ位置、前記カメラ画角、前記カメラ視線方向および前記カメラ視点を設定変更するための操作インタフェースとが設けられていることも可能である。この場合、前記カメラ位置表示手段は、例えば、車両の平面模式図上に表示されているとよい。これによれば、車両の平面模式図上のカメラ位置を参照することで、カメラ位置を明確に把握することが可能となり、また操作インタフェースの操作によりカメラ位置、カメラ画角、カメラ視線方向およびカメラ視点の設定を容易に変更することが可能となる。

また、本発明の実施に際して、前記操作インタフェースの操作に連動して、前記画像作成手段は、前記任意のカメラ位置、前記カメラ画角、前記カメラ視線方向および前記カメラ視点の設定変更に対応した前記表示画像を前記表示手段に表示させることも可能である。これによれば、見たい画像を探す際の操作性を向上させることが可能となる。

この場合、前記カメラ位置表示手段は、前記操作インタフェースによる前記任意のカメラ位置の確定に伴って、その確定されたカメラの表示位置が一定方向に向けて回転されるように設定されていることも可能である。これによれば、確定されたカメラ位置と表示画像との方向を一致させることが可能となって、操作インタフェースの操作に際しての違和感を解消することが可能となる。

ａ．第１実施形態
以下、本発明の第１実施形態について図面を用いて説明する。図１は同第１実施形態に係る車両周辺監視装置の全体を概略的に表す機能ブロック図であり、この車両周辺監視装置は、カメラ１１ａ〜１１ｈ、操作器２１、表示器２２、インジケータ２３および監視電子制御ユニット３０（以下、単に監視ＥＣＵ３０という）を備えている。

カメラ１１ａ〜１１ｈ（撮影手段）は、例えば周知のＣＣＤカメラであり、車両全周に渡って間隔をおいて車両１０に設置されている。具体的には、カメラ１１ａ〜１１ｈは、それぞれ車両前方、車両右前方、車両右側方、車両右後方、車両後方、車両左後方、車両左側方および車両左前方位置にて、隣り合うカメラ同士のカメラ撮影画像（図中一点鎖線で示す）に重なり合う領域が形成されるように、車両１０に取り付けられている。カメラ１１ａ〜１１ｈは、監視ＥＣＵ３０に接続されていて、撮影画像を表すデータ信号を監視ＥＣＵ３０（表示画像作成部３２）に出力する。

操作器２１（操作インタフェース）は、ベース部２１ａにジョイスティック式の操作レバー２１ｂが組み付けられたものであり、ナビゲーション装置のディスプレイ近傍に設けられている。操作レバー２１ｂは、確定スイッチＳＷ１と戻るスイッチＳＷ２との併用により、乗員が見たい表示画像の設定、すなわちカメラ位置、カメラ画角、カメラ視線方向およびカメラ視点の設定を変更する際に使用される。操作レバー２１ｂを用いたカメラ位置、カメラ画角、カメラ視線方向およびカメラ視点の設定変更については後述する。操作器２１は、監視ＥＣＵ３０と表示・回転回路２４に接続されていて、操作レバー２１ｂの操作に応じた信号を監視ＥＣＵ３０（表示画像作成部３２）と表示・回転回路２４に出力する。

表示器２２（表示手段）は、例えば周知のカラー液晶ディスプレイであり、この実施形態ではナビゲーション装置のディスプレイと兼用されている。インジケータ２３（カメラ位置表示手段）は、車両の平面模式図２３ａの全周に渡って複数のインジケータランプ２３ｂが組み込まれたものであり、表示・回転回路２４を介して操作器２１に接続されている。このインジケータ２３は、操作器２１の近傍に設けられ、図示を省略するモータによりその平面内にて回転可能に設けられている。

インジケータランプ２３ｂは、任意のカメラ位置を表していて、設定されたカメラ位置に対応したインジケータランプ２３ｂが点灯するようになっている。表示・回転回路２４は、操作レバー２１ａの操作に応じてインジケータランプ２３ｂの点灯位置を変更し、また確定スイッチＳＷ１のＯＮ操作によりインジケータランプ２３ｂの点灯位置が上部位置となるようにインジケータ２３を回転させる。

監視ＥＣＵ３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ａ／Ｄ変換部、フラッシュメモリなどからなるマイクロコンピュータを主要構成部品としており、イグニッションスイッチのオン後の所定時間ごとに図２の画像処理プログラムを繰り返し実行する。この画像処理プログラムは、画像処理の一連の流れを示したものであり、監視ＥＣＵ３０は、この画像処理プログラムの実行により作成された表示画像を表示器２２に表示させる。

次に、上記のように構成した第１実施形態の作動について説明する。乗員がイグニッションキーを操作してイグニッションスイッチがオンすると、監視ＥＣＵ３０は、図２の画像処理プログラムを所定の短時間ごとに繰り返し実行する。

この画像処理プログラムは、ステップＳ１０にて実行が開始され、以後、ステップＳ１１〜ステップＳ１５の処理が繰り返し実行される。最初に、ステップＳ１１〜ステップＳ１４の処理について簡単に説明しておく。

ステップＳ１１においては、画像の取り込み処理、すなわち画像合成部３１がカメラ１１ａ〜１１ｈから撮影画像データを取得する。ステップＳ１２においては、画像の合成処理、すなわち画像合成部３１がステップＳ１１で取得した撮影画像データを用いて、車両１０の全周に渡った合成画像を作成する。ステップＳ１３においては、表示画像作成処理、すなわち表示画像作成部３２がステップＳ１２で作成された合成画像を用いて、表示器２２に表示させる画像を作成（例えば、合成画像の所定部分の切り出し、合成画像の画像変換など）する（図３参照）。ステップＳ１４においては、画像表示処理、すなわちステップＳ１３で作成された表示画像を表示器２２に表示させる。

次に、ステップＳ１２、Ｓ１３の処理について具体的に説明する。ステップＳ１２における画像の合成処理では、画像合成アルゴリズムとして、例えば周知の光線空間法を用いて画像を合成する。ここで、光線空間法とは、任意の視点からの画像を合成する手法の一つであり、図５にその原理を模式的に示す。カメラＣ１，Ｃ２は、互いの撮影領域に重なり合う領域が形成されるように（対象物体Ｏが共通視野となるように）設置されている。任意平面Ｓを想定すると、カメラＣ１，Ｃ２と対象物体Ｏの端縁を結ぶ光線は平面Ｓとそれぞれ座標Ｓ１，Ｓ２で交わる。一方、カメラＣ１，Ｃ２間の中間位置に仮想的に設置された仮想カメラ（任意視点位置のカメラ）Ｃ３と対象物体Ｏの端縁を結ぶ光線は平面Ｓと座標Ｓ３で交わる。

したがって、カメラＣ１〜Ｃ３の設置位置と座標Ｓ１〜Ｓ３の位置情報に基づいて、カメラＣ１，Ｃ２から見た対象物体Ｏの撮影画像を補間処理することにより、仮想カメラＣ３から見た対象物体Ｏの仮想画像を作成することができる。なお、光線空間法以外にも、例えば周知のモーフィング法を用いて、撮影画像の対応点を手がかりとして仮想画像（補間画像）を作成するようにしてもよい。

そして、具体的にステップＳ１２では、図６に示すように、カメラ１１ａ〜１１ｈの撮影画像データに基づいて、カメラ１１ａ〜１１ｈの中間位置に仮想的に設置された仮想カメラの仮想画像を作成し、この仮想画像と撮影画像を合成する。これにより、車両１０の全周に渡って連続的な３６０°の合成画像（パノラマ画像）が得られる。

この合成画像は、操作器２１の操作に応じて任意に設定されたカメラ位置における画像に切り取られ、あるいはカメラ画角、カメラ視線方向、カメラ視点の設定変更に応じて画像変換されるので、ステップＳ１３における表示画像作成処理について説明する前に、図４のインジケータ表示・回転プログラムおよび図７〜図１０のインジケータ動作説明図を用いて、操作器２１の操作およびこの操作に連動したインジケータ２３の動作について説明しておく。

操作器２１における操作レバー２１ｂの操作前においては、インジケータ２３上でのカメラ位置が例えば車両前方に初期設定されていて、車両の平面模式図２３ａにて車両前方に位置するインジケータランプ２３ｂが点灯している。この状態から、操作レバー２１ｂを図７（ａ）中の左側Ｃに倒すと、カメラ位置が車両前方から車両左前方へと車両１０の周方向左回りに連続的に移動する。これとは逆に、操作レバー２１ｂを図７（ａ）中の右側Ｄに倒すと、カメラ位置が車両前方から車両右前方へと車両１０の周方向右回りに連続的に移動する。このカメラ位置の移動に伴ってインジケータランプ２３ｂの点灯位置が移動する（図４のステップＳ４１）。なお、図７（ａ）は、カメラ位置が例えば車両右前方位置と車両右側方位置の略中間位置に設定された場合を示しており、図７（ｂ）は、カメラ位置が例えば車両後方位置に設定された場合を示している。

図７（ａ），（ｂ）に示す各カメラ位置では、カメラ画角が合成画像の倍率に対応した所定の標準画角に設定されている（図中実線で示す状態）。この状態から、操作レバー２１ｂを図中の前側Ａに倒すと、そのカメラ位置におけるカメラ画角が望遠側に変化する（図中一点鎖線で示す状態）。これとは逆に、操作レバー２１ｂを図中の後側Ｂに倒すと、そのカメラ位置におけるカメラ画角が広角側に変化する（図中破線で示す状態）。

そして、例えば図７（ｂ）に示すカメラ位置にて、確定スイッチＳＷ１をＯＮ操作すると、設定したカメラ位置およびカメラ画角が確定され、その後は操作レバー２１ａを操作してもカメラ位置およびカメラ画角の設定を変更することができなくなる。また、確定スイッチＳＷ１のＯＮ操作により、図８に示すように、カメラ位置を表す点灯インジケータランプ２３ｂが上側となるように、インジケータ２３が回転駆動される（ステップＳ４２にて「Ｙｅｓ」と判定されてステップＳ４３の処理が実行）。

なお、確定スイッチＳＷ１のＯＮ状態から、戻るスイッチＳＷ２をＯＮ操作すると、カメラ位置およびカメラ画角の確定状態が解除されて、その後は操作レバー２１ａの操作に応じてカメラ位置およびカメラ画角の設定を変更できるようになる。また、戻るスイッチＳＷ２のＯＮ操作により、インジケータ２３が車両前部を上側とする原位置に復帰駆動される（ステップＳ４２にて「Ｎｏ」と判定されてステップＳ４４の処理が実行）。

上記確定スイッチＳＷ１がＯＮ状態であるとき、図１０（ａ），（ｂ）に示すように、操作レバー２１ｂを図１０（ａ）中の左側Ｃに倒すと、カメラ視線方向が車両後向きから車両右後向きへと連続的に変化すると同時にカメラ視点（カメラのレンズ位置）が下方へ移動する（図１０（ａ）のＣの破線で示す状態）。これとは逆に、操作レバー２１ｂを図中の右側Ｄに倒すと、カメラ視線方向が車両後向きから車両左後向きへと連続的に変化すると同時にカメラ視点が上方に移動する（図１０（ａ）のＤの破線で示す状態）。

一方、操作レバー２１ｂを図中の前側Ａに倒すと、カメラ視点が略水平向きから車両上向きへと連続的に変化する（図１０（ａ）のＡの一点鎖線で示す状態）。これとは逆に、操作レバー２１ｂを図中の後側Ｂに倒すと、カメラ視点が略水平向きから車両下向きへと連続的に変化する（図１０（ａ）のＢの一点鎖線で示す状態）。

図２のステップＳ１３における表示画像作成処理に戻って、この処理では図３に示す表示画像作成プログラムを実行するようになっている。この表示画像作成プログラムは、ステップＳ３０にて実行が開始され、ステップＳ３１にて操作器２１から操作レバー２１ｂの倒れ位置に応じた信号を入力する。

ステップＳ３２においては、操作レバー２１ｂの倒れ位置に応じたカメラ位置およびカメラ画角に対応した画像を、図２のステップＳ１２の処理により得られた合成画像に基づいて作成する。具体的には、操作レバー２１ｂの操作により、カメラ位置が、いま図９（ａ）に示す車両後方位置に設定され、かつカメラ画角が標準に設定されている場合には、合成画像から図９（ｂ）にてＧＯ１で表される部位を切り出して、図９（ｃ）に示すような表示画像ＧＯ１を表示器２２に表示させる（ステップＳ３２およびＳ３５の処理）。

この状態から、操作レバー２１ｂがＣ側に倒され、カメラ位置が車両右後方位置に設定された場合には、合成画像から図９（ｂ）にてＧＣ１で表される部位を切り出して、図９（ｃ）に示すように表示画像ＧＣ１を表示器２２に表示させる。また、操作レバー２１ｂがＤ側に倒され、カメラ位置が車両左後方位置に設定された場合には、合成画像から図９（ｂ）にてＧＤ１で表される部位を切り出して、図９（ｃ）に示すように表示画像ＧＤ１を表示器２２に表示させる。これらの場合、カメラ位置の変化に伴って表示画像ＧＯ１から表示画像ＧＣ１またはＧＤ１までの画像が連続的に表示器２２に表示される（ステップＳ３２およびＳ３５の処理が繰り返し実行）。

一方、操作レバー２１ｂがＡ側に倒され、カメラ画角が望遠に設定された場合には、図９（ｂ）にてＧＡ１で表される合成画像を画像変換して、図９（ｃ）に示すように表示画像ＧＡ１を表示器２２に表示させる。また、操作レバー２１ｂがＢ側に倒され、カメラ画角が広角に設定された場合には、図９（ｂ）にてＧＢ１で表される合成画像を画像変換して、図９（ｃ）に示すように表示画像ＧＢ１を表示器２２に表示させる。この場合、カメラ画角の変化に伴って表示画像ＧＯ１から表示画像ＧＡ１またはＧＢ１までの画像が連続的に表示器２２に表示される（ステップＳ３２およびＳ３５の処理が繰り返し実行）。

確定スイッチＳＷ１のＯＮ操作により、カメラ位置およびカメラ画角が確定すると、ステップＳ３３にて「Ｙｅｓ」と判定して、ステップＳ３４の処理が実行される。ステップＳ３４においては、操作レバー２１ｂの倒れ位置に応じたカメラ視線方向およびカメラ視点に対応した画像を、図２のステップＳ１２の処理により得られた合成画像に基づいて作成する。具体的には、図１０（ａ），（ｂ）に示すように、操作レバー２１ｂがＣ側に倒され、カメラ視線方向が車両右向きに設定された場合には、図１０（ｃ）にてＧＯ１で表される合成画像を画像変換して、表示画像ＧＣ２を表示器２２に表示させる。なお、確定スイッチＳＷ１のＯＮ操作により、インジケータ２３が回転駆動されてインジケータランプ２３ｂが上側に位置している。

また、操作レバー２１ｂがＤ側に倒され、カメラ視線方向が車両左向きに設定された場合には、図１０（ｃ）にてＧＯ１で表される合成画像を画像変換して、表示画像ＧＤ２を表示器２２に表示させる。この場合、カメラ視線方向の左右の変化に伴って表示画像ＧＯ１から表示画像ＧＣ２またはＧＤ２までの画像が連続的に表示器２２に表示される（ステップＳ３４およびＳ３５の処理が繰り返し実行）。

一方、操作レバー２１ｂがＡ側に倒され、カメラ視線方向が車両上向きかつカメラ視点が下方に設定された場合には、図１０（ｃ）にてＧＯ１で表される合成画像を画像変換して、表示画像ＧＡ２を表示器２２に表示させる。また、操作レバー２１ｂがＢ側に倒され、カメラ視線方向が車両下向きかつカメラ視点が上方に設定された場合には、図１０（ｃ）にてＧＯ１で表される合成画像を画像変換して、表示画像ＧＢ２を表示器２２に表示させる。この場合、カメラ視線方向とカメラ視点の上下の変化に伴って表示画像ＧＯ１から表示画像ＧＡ２またはＧＢ２までの画像が連続的に表示器２２に表示される（ステップＳ３４およびＳ３５の処理）。

以上の説明からも明らかなように、上記第１実施形態においては、複数のカメラ１１ａ〜１１ｈの撮影画像に基づいて、図２のステップＳ１２の処理により、複数のカメラ１１ａ〜１１ｈ間の中間位置に仮想的に設定された仮想カメラの仮想画像が作成され、この仮想画像と撮影画像とが連続的に合成される。また、図２のステップＳ１３の処理（図３の表示画像作成プログラムの実行）により、合成された合成画像に基づいて、任意のカメラ位置に対応した表示画像が作成される。

これにより、カメラの仮想位置が１つに限定されないので、表示画像を連続的に広い範囲に設定することが可能となり、直感的にわかり易い画像が得られて、車両周辺監視装置の使い勝手が良好となる。

また、上記第１実施形態では、複数のカメラ１１ａ〜１１ｈが、隣り合う位置のカメラによる撮影画像に重なり合う領域が形成されるように車両１０の全周に渡って間隔をおいて設置されており、図２のステップＳ１２の処理により、カメラ１１ａ〜１１ｈの撮影画像を画像変換して仮想画像としての補間画像が作成されるようになっている。

これにより、カメラ１１ａ〜１１ｈの車両１０への取り付け高さがそれぞれ異なっていても、あるいはカメラパラメータ（画角、解像度等）が異なっていても、車両１０の全周に渡って連続的な３６０°の合成画像（パノラマ画像）を得ることができ、しかもその画像精度を高くすることができて、使い勝手の良好な車両周辺監視装置を簡易に構成することが可能である。

また、上記第１実施形態では、図３のステップＳ３２，Ｓ３３，Ｓ３５の処理により、任意のカメラ位置の設定変更に伴って、表示画像が連続的に表示器２２に表示される。これにより、表示器２２に連続的に表示される画像を参照しながら、見たい部位の画像に容易にたどり着くことが可能である。

また、上記第１実施形態では、図３のステップＳ３２，Ｓ３３，Ｓ３５の処理により、任意のカメラ位置におけるカメラ画角、カメラ視線方向およびカメラ視点の設定変更に応じて、図２のステップＳ１２の処理により合成された合成画像の画像変換により表示画像が作成されて表示器２２に連続的に表示される。これにより、表示器２２に連続的に表示される画像を参照しながら、見たい部位の画像をより詳細に検討することが可能となる。

また、上記第１実施形態では、表示画像に対応したカメラ位置を表示するためのインジケータ２３が車両の平面模式図２３ａ上に表示され、操作器２１によってカメラ位置、カメラ画角、カメラ視線方向およびカメラ視点の設定が変更されるようになっている。これにより、車両の平面模式図２３ａ上のカメラ位置を参照することで、カメラ位置を明確に把握することが可能となり、また操作器２１の操作によりカメラ位置、カメラ画角、カメラ視線方向およびカメラ視点の設定を容易に変更することが可能となる。

また、上記第１実施形態では、操作器２１の操作に連動して、図３のステップＳ３２〜Ｓ３５の処理により、任意のカメラ位置、カメラ画角、カメラ視線方向およびカメラ視点の設定変更に対応した表示画像が表示器２２に表示される。これにより、見たい画像を探す際の操作性を向上させることが可能となる。

また、上記第１実施形態では、操作器２１の操作レバー２１ｂによるカメラ位置の確定に伴って、その確定されたカメラの表示位置が一定方向を向くようにインジケータ２３が回転されるように設定されている。これにより、確定されたカメラ位置と表示画像との方向を一致させることが可能となって、操作レバー２１ｂの操作に際しての違和感を解消することが可能となる。

ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。この第２実施形態に係る車両周辺監視装置は、上記第１実施形態の構成に加えて、図１にて破線で示すように、超音波ソナー４１、車速センサ４２、シフトポジションセンサ４３および特定表示画像作成指令部４４を備えている。また、この第２実施形態の監視ＥＣＵ３０は、図３の表示画像作成プログラムに代えて、図１２の表示画像作成プログラムを所定の短時間ごとに繰り返し実行する。なお、第２実施形態の他の構成については、上記第１実施形態と同様であるので、上記第１実施形態と同じ部材、同じ機能を果たす部分には同一の符号を付すこととして、詳細な説明は省略する。

超音波ソナー４１は、超音波を発信して障害物または人までの距離を検出するものであり、例えば車両１０の４箇所のコーナー部に設けられている。車速センサ４２は、車速を検出する。シフトポジションセンサ４３は、シフトレバーのＤレンジまたはＲレンジへの切り換え信号を検出する。特定表示画像作成指令部４４は、超音波ソナー４１、車速センサ４２およびシフトポジションセンサ４３に接続されていて、各センサ４１〜４３からの検出信号に基づいて、図１１の特定表示画像作成指令プログラムを所定の短時間ごとに繰り返し実行する。また、車両の走行状態に応じて警報音または特定のメッセージを音声合成回路４５を介してスピーカ４６に出力させる。

以下、第２実施形態の作動について説明する。イグニッションスイッチのオン動作に応答して、特定表示画像作成指令部４４は、図１１の特定表示画像作成指令プログラムを所定の短時間ごとに繰り返し実行する。この特定表示画像作成指令プログラムの実行はステップ１００にて開始され、ステップ１０１にて障害物または人の有無を判定する。障害物または人の有無は、超音波ソナー４１からの信号に基づいて障害物または人との距離が所定距離以下となったとき、障害物または人有りと判定されるようになっている。

図１３（ａ）、（ｂ）に示すように、車両１０が駐車または停車状態にある場合、すなわちシフトポジションがＰレンジにあり、車両１０の周辺に障害物または人がいない場合には、ステップＳ１０１にて「Ｎｏ」と判定し、ステップＳ１０３にて車速Ｖが０で、かつシフトポジションがＤレンジであるか否かを判定する。シフトポジションがＤレンジでなく、Ｒレンジでもなければ、ステップＳ１０３，Ｓ１０５にて「Ｎｏ」と判定し、ステップＳ１０７にてフラグＦＬＧを“０”に設定する。この場合には、図１２の表示画像作成プログラムのステップＳ１５１にて「Ｙｅｓ」と判定されるので、以後の処理では図３の場合と同様、ステップＳ３１〜Ｓ３６の処理が繰り返し実行される。

この状態から、シフトポジションがＤレンジに切り換えられると、ステップＳ１０１にて「Ｎｏ」、Ｓ１０３にて「Ｙｅｓ」と判定し、ステップＳ１０４にてフラグＦＬＧを“２”に設定する。この場合には、図１２の表示画像作成プログラムにおいて、ステップＳ１５１，Ｓ１５２にて「Ｎｏ」、ステップＳ１５４にて「Ｙｅｓ」と判定し、ステップＳ１５５の処理を実行する。これにより、図１３（ｄ）に示すように、カメラ１１ａによる車両前下方の画像が表示器２２に表示される。また、特定表示画像作成指令部４４は、Ｓ１０３にて「Ｙｅｓ」と判定したとき、図１３（ｃ）に示すように、表示・回転回路２４を介して車両前方位置のインジケータ２３ｂを点灯し、音声合成回路４５を介して所定のメッセージをスピーカ４６に出力させる。

一方、シフトポジションがＲレンジに切り換えられると、ステップＳ１０１，Ｓ１０３にて「Ｎｏ」、Ｓ１０５にて「Ｙｅｓ」と判定し、ステップＳ１０６にてフラグＦＬＧを“３”に設定する。この場合には、図１２の表示画像作成プログラムにおいて、ステップＳ１５１，Ｓ１５２，Ｓ１５４にて「Ｎｏ」と判定し、ステップＳ１５６の処理を実行する。これにより、図示は省略するが、カメラ１１ｅによる車両後下方の画像が表示器２２に表示される。また、特定表示画像作成指令部４４は、Ｓ１０５にて「Ｙｅｓ」と判定したとき、表示・回転回路２４を介して車両後方位置のインジケタータ２３ｂを点灯し、音声合成回路４５を介して警報音を鳴らす。

また、車両の停車中および走行中に、例えば図１４（ａ），（ｂ）に示すように、歩行者が車両１０の左後方部に接近した場合には、ステップＳ１０１にて「Ｙｅｓ」と判定し、ステップＳ１０２にてフラグＦＬＧを“１”に設定する。この場合には、図１２の表示画像作成プログラムにおいて、ステップＳ１５１にて「Ｎｏ」、ステップＳ１５２にて「Ｙｅｓ」と判定し、ステップＳ１５３の処理を実行する。

これにより、図１４（ｄ）に示すように、歩行者に近いカメラ位置を計算し、最適な画像を合成し、車両左後方の画像が表示器２２に表示される。また、特定表示画像作成指令部４４は、Ｓ１０１にて「Ｙｅｓ」と判定したとき、図１４（ｃ）に示すように、表示・回転回路２４を介して車両左後方位置のインジケータ２３ｂを点灯し、音声合成回路４５を介して警報音を鳴らす。なお、この第２実施形態では、図１４（ｄ）に示すように、特定表示画像がナビによる地図画面に対しても優先して表示されるようになっている。

同様にして、歩行者の車両１０への接近部位に応じて、最適な合成画像を作成し、その画像が表示器２２に表示されることとなる。この場合には、歩行者の車両１０への接近位置に対応したインジケタータ２３ｂが点灯されるとともに、全ての場合に警報音が鳴らされる。

また、車両の走行中に、図１５（ａ）に示すように、車両１０が左側の歩道に幅寄せをした場合には、ステップＳ１０１にて「Ｙｅｓ」と判定し、フラグＦＬＧを“１”に設定する。この場合には、図１２の表示画像作成プログラムにおいて、ステップＳ１５１にて「Ｎｏ」、ステップＳ１５２にて「Ｙｅｓ」と判定し、ステップＳ１５３の処理を実行する。これにより、図１５（ｃ）に示すように、歩道に近いカメラ１１ｈによる車両左前方の画像が表示器２２に表示される。また、特定表示画像作成指令部４４は、Ｓ１０１にて「Ｙｅｓ」と判定したとき、図１５（ｂ）に示すように、表示・回転回路２４を介して車両左前方位置のインジケタータ２３ｂを点灯し、音声合成回路４５を介して警報音を鳴らす。

同様にして、車両１０が右側の歩道に幅寄せをした場合には、歩道に近いカメラ位置を計算し、最適な画像を合成し車両右前方の画像が表示器２２に表示されることとなる。そして、この場合には、車両右前方位置のインジケタータ２３ｂが点灯され、警報音が鳴らされる。

上記第２実施形態によれば、図１１のステップＳ１０１，Ｓ１０３，Ｓ１０５の処理による車両の発車前、バック時、幅寄せ時または障害物等の検知時に、図１２のステップＳ１５２〜Ｓ１５６の処理により、それぞれの状態に対応した特定画像が上記第１実施形態による合成画像の表示に優先して表示器２２に表示されるので、乗員の注意を効果的に喚起することが可能となる。

上記第１実施形態および第２実施形態においては、カメラ１１ａ〜１１ｈが車両１０の全周に渡って設けられていたが、これに限らず、例えば車両の前方から側方に渡った部位にのみ設けてもよいし、車両の後方から側方に渡った部位にのみ設けてもよい。

また、上記第１実施形態および第２実施形態では、表示器２２がナビゲーション装置のディスプレイと兼用されていたが、専用の表示器を設けるようにしてもよい。

また、上記第１実施形態および第２実施形態では、操作器２１としてジョイスティック式のものを用いたが、これに代えて、例えばタッチパネル式のものを用いてもよい。また、これらのメカニカル式の操作器に加えてまたは代えて、例えば操作器を表示器に表示させるようにして、表示器へのタッチ操作によりカメラ位置、カメラ画角、カメラ視線方向およびカメラ視点の設定が変更されるようにすることも可能である。同様に、インジケータを表示器に表示させることも可能である。

また、上記第１実施形態および第２実施形態では、カメラ視線方向が車両上向きに設定されたときカメラ視点が下方に設定され、カメラ視線方向が車両下向きに設定されたときカメラ視点が上方に設定されるように実施したが、これに限らず、例えばカメラ視線方向とカメラ視点との操作系を別にして、カメラ視線方向とカメラ視点との何れか一方のみの設定を変更するように実施してもよい。

本発明の第１および第２実施形態に係る車両周辺監視装置の全体を概略的に示した機能ブロック図。 本発明の第１実施形態に係り、図１の監視ＥＣＵによって実行される画像処理プログラムを示すフローチャート。 図２の画像処理プログラムのうちの表示画像作成ルーチンを示すフローチャート。 本発明の第１および第２実施形態に係り、図１の監視ＥＣＵによって実行されるインジケータ表示・回転プログラムを示すフローチャート。 画像合成アルゴリズムの一例である光線空間法の原理を示す模式図。 図２の画像の合成処理によって合成された合成画像を示した説明図。 （ａ）は、カメラ位置が車両右前方位置と車両右側方位置の略中間位置に設定された場合をインジケータ上に示した説明図。（ｂ）は、カメラ位置が車両後方位置に設定された場合をインジケータ上に示した説明図。 確定スイッチのＯＮ操作により、カメラ位置が上側となるようにインジケータが回転される場合を示す説明図。 （ａ）は、カメラ位置が車両後方位置に設定された場合をインジケータ上に示した説明図。（ｂ）の上段は、カメラ位置の設定変更に対応した表示画像を示す説明図。（ｂ）の下段は、カメラ画角の設定変更に対応した表示画像を示す説明図。（ｃ）は、カメラ位置またはカメラ画角の設定変更に対応した表示画像を示す説明図。 （ａ）は、カメラ位置が車両後方位置に設定された場合をインジケータ上でカメラ位置を上側にして示した説明図。（ｂ）は、カメラ視線方向、カメラ視点の設定変更を操作レバーの操作方向と関連付けて示した説明図。（ｃ）は、カメラ視線方向、カメラ視点の設定変更に対応した表示画像を示す説明図。 本発明の第２実施形態に係り、図１の監視ＥＣＵによって実行される特定表示画像作成指令プログラムを示すフローチャート。 本発明の第２実施形態に係り、図２の画像処理プログラムのうちの表示画像作成ルーチンを示すフローチャート。 本発明の第２実施形態に係り、（ａ），（ｂ）は車両のシフトポジションがＰレンジにある場合を示す説明図。（ｃ）は、車両の発車時に車両前方位置のインジケータランプが点灯がする場合を示す説明図。（ｄ）は、車両の発車時に前下方画像が表示器に表示される場合を示す説明図。 本発明の第２実施形態に係り、（ａ），（ｂ）は歩行者が車両に接近する場合を示す説明図。（ｃ）は、（ａ），（ｂ）の場合に車両左後方位置に対応したインジケータランプが点灯がする場合を示す説明図。（ｄ）は、（ｃ）の車両左後方位置に対応した画像が表示器に表示される場合を示す説明図。 本発明の第２実施形態に係り、（ａ）は車両が歩道に幅寄せする場合を示す説明図。（ｂ）は、車両左前方位置に対応したインジケータランプが点灯がする場合を示す説明図。（ｃ）は、の車両左前方位置に対応した画像が表示器に表示される場合を示す説明図。

符号の説明

１０ 車両
１１ａ〜１１ｈ カメラ
２１ 操作器（操作インタフェース）
２１ｂ 操作レバー
ＳＷ１ 確定スイッチ
ＳＷ２ 戻るスイッチ
２２ 表示器（表示手段）
２３ インジケータ（カメラ位置表示手段）
２３ａ 車両の平面模式図
２３ｂ インジケータランプ
２４ 表示・回転回路
３０ 監視ＥＣＵ
３１ 画像合成部（画像合成手段）
３２ 表示画像作成部（表示画像作成手段）
４１ 超音波ソナー４１
４２ 車速センサ
４３ シフトポジションセンサ
４４ 特定表示画像作成指令部

Claims (13)

1. 車両周方向の異なる位置に設置されて車両の周辺を撮影する複数のカメラと、
   前記複数のカメラの撮影画像に基づいて同複数のカメラ間の中間位置に仮想的に設置された仮想カメラの仮想画像を作成し、この仮想画像と前記撮影画像を連続的に合成する画像合成手段と、
   前記画像合成手段により合成された合成画像に基づいて、任意のカメラ位置に対応した表示画像を作成して表示手段に表示させる画像作成手段と、
   前記表示画像に対応したカメラ位置を表示するためのカメラ位置表示手段と、
   前記任意のカメラ位置を設定変更可能な操作インタフェースと
   を備え、
   前記操作インタフェースの操作に連動して、前記画像作成手段は、前記任意のカメラ位置の設定変更に対応した前記表示画像を前記表示手段に表示させ、
   前記カメラ位置表示手段は、前記操作インタフェースの操作に応じて設定されたカメラ位置を、車両の平面模式図上に表したインジケータにおける、対応する位置に組み込まれたインジケータランプを点灯させることによって視認させることを特徴とする車両周辺監視装置。
2. 前記複数のカメラは、隣り合う位置のカメラによる撮影画像に重なり合う領域が形成されるように車両の全周に渡って間隔をおいて設置されており、前記画像合成手段は、前記複数のカメラの撮影画像を画像変換して前記仮想画像としての補間画像を作成する請求項１に記載の車両周辺監視装置。
3. 前記画像作成手段は、前記任意のカメラ位置の設定変更に伴って、前記表示画像を連続的に前記表示手段に表示させる請求項１または２に記載の車両周辺監視装置。
4. 前記画像作成手段は、前記任意のカメラ位置におけるカメラ画角の設定変更に応じて、前記合成画像の画像変換により表示画像を作成して前記表示手段に表示させる請求項１〜３のうちの何れか一つに記載の車両周辺監視装置。
5. 前記画像作成手段は、前記任意のカメラ位置におけるカメラ視線方向またはカメラ視点の設定変更に応じて、前記合成画像の画像変換により表示画像を作成して前記表示手段に表示させる請求項１〜４のうちの何れか一つに記載の車両周辺監視装置。
6. 前記画像作成手段は、前記カメラ画角、前記カメラ視線方向または前記カメラ視点の設定変更に伴って、前記表示画像を連続的に前記表示手段に表示させる請求項５に記載の車両周辺監視装置。
7. 前記画像作成手段は、車両の発車前、バック時または幅寄せ時に、予め指定されたカメラ位置における表示画像を、前記合成画像に基づいた表示画像に優先させて前記表示手段に表示させる請求項１に記載の車両周辺監視装置。
8. 前記カメラ位置表示手段は、前記予め指定されたカメラ位置における表示画像を、前記合成画像に基づいた表示画像に優先させる場合には、該カメラ位置を前記インジケータにおける、対応する位置に組み込まれたインジケータランプを点灯させることによって視認させる請求項７に記載の車両周辺監視装置。
9. 前記画像作成手段は、障害物検知時に障害物を包含するカメラ位置における表示画像を、前記合成画像に基づいた表示画像に優先させて前記表示手段に表示させる請求項１に記載の車両周辺監視装置。
10. 前記カメラ位置表示手段は、前記障害物検知時に障害物を包含するカメラ位置における表示画像を、前記合成画像に基づいた表示画像に優先させる場合には、該カメラ位置を前記インジケータにおける、対応する位置に組み込まれたインジケータランプを点灯させることによって視認させる請求項９に記載の車両周辺監視装置。
11. 前記操作インタフェースの操作により、前記カメラ画角、前記カメラ視線方向および前記カメラ視点が設定変更可能とされている請求項１〜１０のうちの何れか一つに記載の車両周辺監視装置。
12. 前記操作インタフェースの操作に連動して、前記画像作成手段は、前記カメラ画角、前記カメラ視線方向および前記カメラ視点の設定変更に対応した前記表示画像を前記表示手段に表示させる請求項１１に記載の車両周辺監視装置。
13. 前記カメラ位置表示手段は、前記操作インタフェースによる前記任意のカメラ位置の確定に伴って、その確定されたカメラの表示位置が一定方向に向けて回転されるように設定されている請求項１〜１２のうちの何れか一つに記載の車両周辺監視装置。

Images