JP4207298B2

JP4207298B2 - 運転支援画像合成装置

Info

Publication number: JP4207298B2
Application number: JP07692499A
Authority: JP
Inventors: 修昭三木; 聖治榊原
Original assignee: Aisin AW Co Ltd
Current assignee: Aisin AW Co Ltd
Priority date: 1999-03-19
Filing date: 1999-03-19
Publication date: 2009-01-14
Anticipated expiration: 2019-03-19
Also published as: JP2000272415A

Description

【０００１】
【発明の属する技術分野】
本発明は、運転者の死角となる車両周辺の情報を取り込む撮像装置により取得される部分情報画像を、実際の視界に近似させた連続画像に合成する運転支援画像合成装置に関する。
【０００２】
【従来の技術】
自動車は運転者の四囲を囲む車体を持つことから、運転者の視界が窓部を除く車体部により遮られる死角部分を生じることは避け難いが、狭い道路上での特に背の低い障害物の回避や、移動する障害物に対する安全の確保、更には道路に描かれた白線に対する自車位置の確認上、死角の解消が望ましい。そこで、こうした死角部分の情報が間接的に得られるように、車両には、従来から、大型車両のアンダーミラーに代表されるような、死角解消手段が設置されている。また、近時の映像機器の高性能化と小型化に伴って、これを利用した装置も種々提案されている。こうした提案の中で、特に単一画像で広い死角範囲をカバーするに有効と考えられるものに、特開平９−１４２２１０号公報に開示の技術がある。この従来技術は、外界の情報を取り込む撮像装置と、該撮像装置が取り込む画像を表示するモニターとから構成され、撮像部が車両の後側上方ほぼ中央部に、車両の後方直前領域から水平領域までを一画面に取り込むように取り付けられたものである。この場合、車両後端部の一部分（例えばバンパー）が画面下方に、また無限遠方（水平線）が画面上方に位置する撮像画像が取得される。
【０００３】
【発明が解決しようとする課題】
ところで、上記従来技術のように、撮像装置を車両のほぼ中央に設置する方法では、特に乗用車のような車高の低い車両においては、大型車両のように撮像部の位置を高く設定することができない。そのため、障害物回避に最も重要な車両角部に関して、バンパーの角部外縁から地上に下ろした垂線と、車両中央上部の撮像部とバンパーの角部外縁とを結ぶ直線とのなす角度が大きくなってしまい、得られる画像としては、バンパーの角部の背景に障害物が重なって見えるものとなってしまう。この結果、車両の角部と障害物との間の距離感が一層つかみ辛くなる。また、上記の角度が大きいことで、バンパーの角部のごく近傍に死角部分が残ってしまうため、直近の背の低い障害物や道路上の白線を確認することができない。
【０００４】
他方、画像の歪みを少なくして的確な距離感を得るべく、車両各部に配した個々の撮像装置により死角部分を別個にカバーし、車両操作に応じて必要となる各部の情報を同時あるは必要に応じて適宜選択して取得可能とすることも考えられないではない。こうした技術として、特開平５−３１００７８号公報に開示の技術がある。しかしながら、一般に、モニター画面による情報は、それが車両のどの方向に対応し、どのような視点で見たものかを直観的かつ迅速につかむことが容易ではなく、たとえそれができたとしても、運転操作による車両の挙動と画像の変化とがかけ離れている場合、単に車両各部の情報を取得可能としても、煩多な運転操作中にそれらが有効に活用されるとは限らない。
【０００５】
したがって、上記のような分割された情報を有効に利用可能とするには、個々に取得される部分情報の羅列や取捨選択ではなく、総合して、一見して実視界との対応が可能な、自然かつ広い視界範囲をカバーする情報として表示するのが有効な方法である。そこで想起されるのが、画像のつなぎ合わせであるが、比較的画角が狭い写真のつなぎ合わせによるパノラマ化で体験されるように、画像を相互に接続すると、歪みの少ない画像でもつなぎ目が連続せず、不自然が画像となる。こうした不自然さは、画像を各々精密に分析し、連続性を加味して合成する高度な画像処理技術を以てすれば解消できなくはないが、そうした画像処理は、膨大な演算処理を要するため、画像表示の応答性を悪くし、かつ高コスト化を招くため、実用性に乏しい。
【０００６】
本発明は、こうした事情に鑑みなされたものであり、比較的広い外界の情報をカバーしながら、距離感を容易に把握可能な死角情報を取得する個々の撮像装置からの画像を相互に接続することで、実際には目視し得ない死角部分を含む撮像装置からの画像を、運転席から外界を見た実際の視界に近似するように応答性よく表示可能とする低コストの運転支援画像合成装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するため、本発明は、自車中心線延長上の無限遠方を撮像範囲に含み、その取込み画像が左右対称、かつ、無限遠方の水平線が自車中心線延長上で水平となるように自車の左右両角部に設置された撮像装置と、該撮像装置の取込み画像を処理する画像処理装置とを備える運転支援画像合成装置において、前記画像処理装置は、左角部の撮像装置が取り込む画像の右辺と、右角部の撮像装置が取り込む画像の左辺とを一致させることによって、両撮像装置の取込み画像を相互に接続して疑似連続画面を合成することを特徴とする。
【０００９】
更に、前記画像処理装置は、合成された疑似連続画面の画像が重複する部分に、適宜の絵柄をスーパーインポーズする構成としてもよい。
【００１３】
上記構成において、前記画像処理装置は、疑似連続画面上に、自車の輪郭線をスーパーインポーズする構成を採るのが有効である。
【００１４】
また、本発明は、自車中心線延長上の無限遠方を撮像範囲に含み、その取込み画像が左右対称かつ無限遠方の水平線が自車中心線延長上で水平となるように自車の左右両角部に設置された撮像装置と、該撮像装置の取込み画像を処理する画像処理装置とを備える運転支援画像合成装置において、前記画像処理装置は、両撮像装置の取込み画像の、左角部側のもについては右辺に平行、右角部側のものについては左辺に平行で、かつ無限遠方における自車左右最外側仮想延長線の収束点を通る直線に沿って、左角部の撮像装置の取込み画像の右側と、右角部の撮像装置の取込み画像の左側を切除し、残った画像を前記直線を一致させて接続することで疑似連続画面を合成することを特徴とする。
【００１５】
更に、本発明は、自車中心線延長上の無限遠方を撮像範囲に含み、その取込み画像が左右対称かつ無限遠方の水平線が自車中心線延長上で水平となるように自車の左右両角部に設置された撮像装置と、該撮像装置の取込み画像を処理する画像処理装置とを備える運転支援画像合成装置において、前記画像処理装置は、左角部の撮像装置の取込み画像の右側を画像上の自車中心線に沿って切除し、右角部の撮像装置の取込み画像の左側を画像上の自車中心線に沿って切除し、残った両画像の自車中心線を相互に一致させて接続することで疑似連続画面を合成することを特徴とする。
【００１６】
【発明の作用及び効果】
上記請求項１記載の構成では、個々の撮像装置について、無限遠方を撮像範囲に含む配置とすることで、車両の角部外縁から地上に下ろした垂線と、撮像部と車両の角部外縁とを結ぶ直線とのなす角度を鋭角にすることができるので、あらゆる車両周辺状況において、車両角部と障害物や地面に表示された白線との間に、実質、それらが接触するに至るまで、離隔距離に応じた地面を写し込んだ取込み画像を得ることができ、障害物と自車の特に角部との距離感の確認が容易に行うことができる。したがって、個々の取込み画像により、自車に対する障害物や白線の位置を精度良く把握することができる。しかも、自車の角部及びその近傍の左右情報とともに、位置関係を直観的に把握するに有効な無限遠方の情報を画像上で接続することで、運転席から外界を見た状態に対して方向感、距離感共に違和感のない画像が、衝突回避に最も必要な死角情報を含み、広範囲な外界を映す疑似連続画像として得られる。
【００１７】
また、疑似連続画像の合成に格別複雑な処理を用いず、取込み画像の簡易な接続のみで、接続による情報の欠落を生じない比較的自然な合成画像を得ているので、応答性のよい画像表示を低コストで実現することができる。
【００１８】
更に、請求項２記載の構成では、簡易な接続による疑似連続画像を、簡単な処理で見やすいものとすることができる。
【００２２】
更に、請求項３記載の構成では、取込み画像のトリミングと回転処理による接続で、連続画面として特に自車の画像が、欠落部分がないにも関わらず不連続となるのを補うことができるようになり、この画像合成法による不具合を補完することができる。
【００２３】
一方、請求項４記載の構成では、外界に対する自車の位置関係を直観的に把握するに有効な無限遠方を左右の撮像装置から取込み、しかも、それらの画像を重複部分を生じない形態で接続しているので、簡易な画像処理でありながら、接続部分が不自然にならず、運転席から外界を見た状態と方向感、距離感共に違和感のない疑似連続画像を短い画像処理時間で得ることができる。
また、疑似連続画像の合成に格別複雑な処理を用いず、取込み画像の簡易なトリミングにより重複部分を除去して接続しているので、接続部に違和感のない自然な合成画像を得ることができ、応答性のよい画像表示を低コストで実現することができる。
【００２４】
また、請求項５記載の構成では、外界に対する自車の位置関係を直観的に把握するに有効な無限遠方を左右の撮像装置から取込み、しかも、それらの画像を重複部分と欠落部分とを共に生じない形態で接続しているので、比較的簡易な画像処理でありながら、接続部分が不自然にならず、運転席から外界を見た状態と方向感、距離感共に違和感の少ない疑似連続画像を短い画像処理時間で得ることができる。
また、取込み画像の簡易なトリミングと回転処理により、重複部分と欠落部分が共に生じない画像接続が、処理時間を要することなく可能となるため、視覚的な補助情報の表示への利用に止まらず、先行車両や前方障害物等を画像分析により検出して運転の支援を行うような制御技術での利用が可能な形態の疑似合成画面の得ることができる。
【００２５】
【発明の実施の形態】
以下、図面に沿い、本発明の実施形態を説明する。図１は本発明の画像合成装置を含む運転支援装置のシステム構成をブロックで示す。この装置は、画像を処理するプログラムを内蔵する制御装置１を主体として、制御に必要な各種情報を取り込む入力装置２と、運転者が運転操作のために必要とする情報を適宜選択する選択スイッチ３とから構成され、更に、ナビゲーション装置との情報交換が可能なように、データベース４とディスプレー５とを具備するナビゲーション装置のナビＥＣＵ６に接続されている。これにより、本形態では、ディスプレー５を本装置の情報表示のためのモニターに利用している。なお、図中の選択スイッチ３については、ナビゲーション装置のディスプレー５を利用したタッチパネル方式や音声認識装置を用いた音声入力方式の形態を採ることもできる。
【００２６】
図２に車両に対する配置を模式平面で示すように、入力装置の１つを構成する撮像装置として、図に○印で示すＣＣＤカメラ２１（以下、カメラと略記し、個々のカメラを区別するとき、符号に代えて位置を表す添字付きの略号Ｃ_{F L ,}Ｃ_{F R ,}Ｃ_{R L ,}Ｃ_{R R ,}Ｃ_{M L ,}Ｃ_{M R}を付す）が、車両の４箇所の角部と左右両側の中央に設置され、また、△印で示す距離検出装置としての障害物検出センサー２８（同様に、略号Ｓ_{F L ,}Ｓ_{F R ,}Ｓ_{R L ,}Ｓ_{R R ,}Ｓ_{M L ,}Ｓ_{M R}，Ｓ_{F M ,}Ｓ_{R M}を付す）が、カメラ２１と同様の位置近傍に設置されている他、前後端部の中央にも設置されている。これら距離検出装置２８としては、超音波センサーやレーザー、ミリ波レーダー等の距離を直接検出する既知の装置を用いるが、上記複数のカメラ２１の取込み画像を制御装置１内で画像処理することにより間接的に距離を求める演算手段として、専用の検出部を無くす形態を採ることもできる。
【００２７】
本発明の主題とする画像合成には、その前提として、運転上の各種操作を行うときに必要な画像情報を、各カメラ２１について、運転者が運転席に座っている状態での視界感覚に一致させるように取得可能であることが不可欠である。したがって、それを実現するために、撮像装置については、カメラ２１の取付け方法、詳しくは、設置姿勢と設置位置が工夫されている。
【００２８】
図３に模式化して示すように、運転席に座った運転者から物理的に見えない死角範囲は、ドアの窓枠や屋根を支えるピラーにより見えない部分は除くとして、路面上で点Ｄ_{F L}，Ｄ_{F R}，Ｄ_{R R}，Ｄ_{R L}に囲まれる図に斜線を付した範囲となる。これに対して、この見えない範囲をカバーし、しかも得られる画像情報を運転者の感覚に一致させるために、設置姿勢の第１の工夫として、各カメラ２１は、その取込み画像上の上側を車両の前方に向け、かつ垂直下方に光軸を向けた姿勢（Ｃｏ）を基準とし、車両に対する配設位置の前後左右に応じ、基準の姿勢に対して前後左右方向に傾斜を付し、少なくとも車両の縁部、すなわち前後については前後の端部、左右については左右側端部を写し込む姿勢で設置する。
【００２９】
この趣旨に沿い、車両角部に設置する各カメラ２１については、その設置位置に対応する車両の縁部としての自車体の角部と、その近傍を含む車両周辺と、無限遠方を同時に俯瞰するような方向になるように設置する。この車両の角部について、特に近時の乗用車等においては、デザイン上の工夫から丸みを持たせてあるため、必ずしも判然としないが、本発明に言う車両の角部とは、自車両を平面で見たときの縁部すなわち最外縁を含むその近傍を意味し、より具体的には、車両の前端及び側端又は後端及び側端が延在する方向が推測できる形状になる範囲、例えば角部をバンパーとする場合、バンパーの角の丸みがほぼ直線に近い曲率まで小さくなることで、バンパーの前縁及び側縁又は後縁及び側縁の延びる方向から、車両の前端及び側端又は後端及び側端がどのへんの位置となるかを推測できる範囲を言う。そのため、図６に各角部のカメラの画像例Ｐ_{F L ,}Ｐ_{F R ,}Ｐ_{R L ,}Ｐ_{R R}を示すように、各々車体の前後端、左右端の延長が推測できる形状になる範囲まで画像に含むように、各カメラＣ_{F L ,}Ｃ_{F R ,}Ｃ_{R L ,}Ｃ_{R R}の姿勢を設定する。図６において、略号Ｗ_{L L}，Ｗ_{L R}は路面の白線、Ｗ’_{L L}，Ｗ’_{L R}は映像上の白線、符号９０’は映像上の自車角部としてのバンパーを示す。この場合、カメラ２１の取付け位置については、後に詳述するが、概括的には、車体の各必要箇所において、可能な限り高い所に設置し、広い視界を確保するようにする。
【００３０】
設置姿勢の第２の工夫として、カメラ２１の水平方向の向きは、図３に示すように運転者が運転席に座って、その必要方向を見るときの視線の方向と概略一致するような方向、すなわち、光軸Ｘが、運転者とカメラ２１を結ぶ直線を含む垂直面の方向と実質上同様の方向を向く姿勢に設置され、前記第１の工夫による姿勢との関係で、光軸Ｘが地面と交わる点は、図中で点Ａ_{F L ,}Ａ_{F R ,}Ａ_{R L ,}Ａ_{R R}となる。これにより、各々のカメラ２１のカバーする上下方向の画角範囲をα_F，α_R、横方向の画角範囲をα_{F L}，α_{F R}，α_{R L ,}α_{R R}で示す。なお、上記の運転者とカメラ２１を結ぶ直線は、運転者の体格や好みの姿勢によりシートのスライド位置やリクライニングの傾きが異なり、更には各時々の姿勢の変化によっても異なるため、厳密には、それらに伴って向きが変動し、上記直線を含む垂直面の向きも変動することになるが、上記垂直面の方向と実質上同様の方向とは、こうした運転者の位置のずれや姿勢の変化に伴う方向のずれを許容する範囲での同方向であればよく、例えば、こうした全ての要素を加味した標準的な位置を統計的に割り出して運転者の位置を決定する等の手法で、それに合わせて方向を設定すればよい。
【００３１】
そして、このままカメラ２１の映像上の横軸が水平になるように設置したのでは、図６を参照して、自車のバンパー角部９０’は、例えばカメラＣ_{F L}について、画面の中央下方に位置することになり、自車両と並行する路面の白線Ｗ_{L L}が画面を左下（又は右下）から右上（又は左上）方向に対角線状に横切る映像となってしまう。そこで、更に設置姿勢の第３の工夫として、カメラ２１を光軸Ｘ周りに傾斜を付した姿勢に設置する。例えば、車両に対して左側のカメラについては、光軸周りに右に捩じることで右回り傾斜を付す。これにより画面は、図６に示すように前進方向が運転者の感覚に合うような向きとなる。具体的には、画像Ｐ_{F L}は左前角部に設置のカメラＣ_{F L}の画像であり、右下隅に左前角部９０’が写し込まれ、前進方向への直線状の白線Ｗ’_{L L}が画面中央下方から斜め右上方向へ、概ね直線で写り、運転席から実際に自車の左側白線Ｗ_{L L}を見たときの角度と遠近感に実感が合うようになる。更に言えば、この画像は、例えば、前左の画像Ｐ_{F L}と前右の画像Ｐ_{F R}を同時に画面の左右に配置した場合に、そのときの画像Ｐ_{F L}上の自車線左側白線Ｗ’_{L L}と、画像Ｐ_{F R}上の自車線右側白線Ｗ’_{L R}が、あたかも一つのカメラで前方を撮影したときのように、無限遠方で交わるように見える配置である。このように画面に与える傾斜は、右側及び後ろ左右についても同様である。
【００３２】
次に、撮像装置の設置位置について、図４及び図５に左前角部へのカメラＣ_{F L}の取付け例を示すように、本形態では、カメラＣ_{F L}は、前照灯９１と一体構成されたサイドランプ９２に組み込む構成とし、これにより既存の車両にも僅かな改変で安価に取り付け可能としている。なお、この位置については、この配置に限るものではなく、ランプを小さくして、その余ったスペースに組み込み、あるいはランプ以外の外板に組み込み、車体表面に直接取り付ける等の配置を採ることも可能である。これによって、前記のようにカメラＣ_{F L}直下の自車体左前角部最外縁（図では前バンパーの左角部）９０と同時に車両周辺及び無限遠方を取り込むわけであるが、上記の諸条件を満足するように、できるだけ広い範囲を取り込むためには、車種によっても異なるが、上下方向の画角α_Fについて概ね９０°程度からそれより若干大きく、左右方向の画角α_{F L}についても概ね９０°程度からそれより若干大きいて程度を確保できる広角レンズのカメラＣ_{F L}が必要となる。しかしながら、あまり画角を広くすると、運転者の見る実体の距離感とのずれが大きくなるので、自ずと限界がある。そのため、本形態では、上下方向の画角α_Fを９７°、左右方向の画角α_{F L}を１２５°としたカメラＣ_{F L}を使用している。
【００３３】
このような設置姿勢と設置位置により本発明の狙いとする自然な画像が得られる。図７に自車前左角部のカメラＣ_{F L}の画像Ｐ_{F L}の詳細例を示す。この画面は、自車が平坦な直線道路の自車線の中央を図示上向き矢印方向に直進している場合に見える前方の景色を模式的に示す。画面の下側を右隅から幅方向中央まで延びる像９０’は、自車の前左のパンパー角部の映像を示し、通常実際には見えないが、無限遠方を仮想水平線Ｈ’_Lで示す。この画面構成において、自車線の両側の白線Ｗ’_{L L}，Ｗ’_{L R}や左隣車線の白線が全て仮想水平線Ｈ’_L上の一点に収束して見える。また、当然に自車中心線Ｎ_L−Ｎ_Lと、自車の最外側ラインを地面に下ろした線の延長としての自車左右最外側延長線も同じ収束点Ｐ_Lを通ることになる。図中の線Ｌ_L−Ｌ_Lは画像右端を表し、線Ｍ_L−Ｍ_Lは無限遠の収束点Ｐ_Lを通り画像右端線Ｌ_L−Ｌ_Lに対して平行な線を表す。また、左斜め上方に向かう矢印は、車両角部に対する左真横方向を表す。
【００３４】
同様に、図８に自車前右角部のカメラＣ_{F R}の画像Ｐ_{F R}の詳細例を示す。この画面は、図７に示す画面に対して左右対称な画面となる。したがって、各画像及び線について、右側のものであることを表す意味で、Ｒの添字を付して説明に代える。このように左右幅全体に写る無限遠方の中に、自車の正面、すなわち車両の前後方向中心軸の延長上の無限遠方が含まれ、この正面の無限遠方は、モニター上で自車両のバンパー角部９０’の上方に、ほぼ水平に表示される。
【００３５】
次に、表示手段としてのモニターは、本形態では、前記のように、ナビゲーション装置のディスプレー５を用いている。こうしたモニターは、運転者の正面のインストゥルメントパネル近辺に設置されている。そして、運転者がこの画面を覗くときの感覚は、画面上方を物理学的な上と捉えると同時に、道路上の交通標識や案内図等が全て表示面の上方が前方を示す表記とされているように、進行方向の前方と自ずと認識することになる。画面下方が物理学的な下と捉えると同時に、後方と認識されることもまた自然である。そこで、本発明の画面表示は、こうした認識を原則としてなされている。
【００３６】
実際の方法は、図６に示すような各画像が４隅について得られるようにカメラ２１の姿勢を設定する。特に、車両後方のカメラＣ_{R L}，Ｃ_{R R}の向きは、いわゆる上下逆さに取り付ける。即ち、図３に示すように、まず、運転者が運転席に座った状態の垂直線に光軸を合わせ、車体前方が画面上方となるようにして真下を俯瞰するカメラＣ_Oを仮想して、その状態から光軸を前方かつ左方に傾け、更に光軸回りに右に傾けたのがカメラＣ_{F L}であり、同様に光軸を前方かつ右方に傾け、更に光軸回りに左に傾けたのがカメラＣ_{F R}である。また、同様にして、光軸を後方かつ左右に傾け、更に光軸回りに左右に捩じったのがカメラＣ_{R L ,}Ｃ_{R R}である。ただし、図には前後方向の傾き及び左右方向の傾きが示され、光軸回りの捩じりは示されていない。このような姿勢に設定すると、ディスプレー５にはそのまま表示するだけで所望の画面が得られる。この点に関して、後方をカメラで撮影し、その画像情報を左右反転処理してモニターに表示するという、いわゆるバックミラーで覗くような鏡像とすることも考えられるが、システムが複雑化する割に感覚的には合わないので、本装置ではこうした形態は採らない。こうして得られる画像は、図６に示すように、画面上の左右の白線Ｗ’_{L L}，Ｗ’_{L R}が運転者の位置から見た実際の白線Ｗ_{L L}，Ｗ_{L R}の向きに合致するようになる。
【００３７】
こうして得られる画像情報は、本システムでは、その表示を運転者の要求に応じた必要最小限に留めることを基本として、場所、状況等に応じた支援情報をスーパーインポーズし、選択して表示することを原則としている。しかしながら、こうした各部単独の情報では、自ずと限界があり、場所や状況によっては、広範囲の情報を一画面に表示することで、より適切な運転支援を行う必要がある。そこで、本発明の主題に係る疑似連続画面の合成が行われる。この画像合成は、図１に示す制御装置１内で行われる。具体的には、映像信号変換回路１０でアナログ映像のデジタル映像への変換がなされ、画像処理回路１１で映像のトリミングと合成処理がなされる。そして、ナビＥＣＵへは、デジタル方式のディスプレーに合わせてデジタル画像のまま出力される。
【００３８】
図９は、第１実施形態の画像合成装置による疑似連続画像を示す。この形態では、左右の画像をそのまま接続する。以下、この形態による疑似連続画像にＰ_{F L - R}１の略号を付す。この場合、基となる画像自体が、運転席から直接白線を見たときの遠近感と概ね一致する画像であるため、接続によって格別違和感は生じない。しかしながら、より自然に表示するためには、左右の画像が接続線で線対称になるようにカメラの取り付けを調整しておくことが望ましい。具体的には、左前角のカメラＣ_{F L}の設置方向と傾きを調整して、その取込み画像上の収束点Ｐ_Lが、画面の上辺及び右辺から各々一定距離になるように右上隅に位置させる。そして、収束点Ｐ_Lにおける仮想水平線Ｈ_Lが画面の上辺と平行になるようにする。同様に、右前角のカメラＣ_{F R}の画像の収束点Ｐ_Rが、画面の上辺及び左辺から上記一定距離と同じ距離になるように左上隅に位置させる。更に、収束点Ｐ_Rにおける仮想水平線Ｈ_Rが画面の上辺と平行になるようにする。こうすることによって、両画像は収束点を通り画面左右辺に平行な線Ｍ_L−Ｍ_Rを中心として左右対称なものとなる。そして、この線Ｍ_L−Ｍ_Rの画面右辺及び左辺からの距離を車幅に合わせると、前記自車左右最外側線は、線Ｍ_L−Ｍ_Rと一致することになる。なお、このカメラの設定方法については、後記する第２実施形態の場合についても同様である。
【００３９】
この第１実施形態による疑似連続画像（Ｐ_{F L - R}１）の合成は、最も単純で、技術的にも極めて容易な利点を持つものである。この画面構成の場合、左右白線Ｗ’_{L L}，Ｗ’_{R R}の無限遠方水平線Ｈ’_L，Ｈ’_Rとの交点Ｐ_L，Ｐ_Rがやや離れているため、個別画像に比して、白線が開いた感じになるが、ドライバーに違和感を与えるほどではない。また、画面の中央上部に自車線を挟む反対側の白線が、図９に丸で囲って符号Ｚで示すように、遠方に、極めて小さく写っており、また、ハッチング部分（図７の自車中心線Ｎ_Lより右上部分、図８の自車中心線Ｎ_Rより左上部分に該当する）には、先行車等があれば二重に写ることになるが、この領域は一義的に定まる領域であるので、必要に応じて簡単なマスキングや適宜の絵柄のスーパーインポーズ等の処理で対処することもできる。この形態による接続方法は、自車の近辺を優先した方法でもあるので、低速域での走行や狭い場所での運転操作の支援画像として適している。また、中高車速域での走行時でも、自車間近から一定距離、例えば１０〜３０ｍも見えれば十分な白線表示や白線検出（これらの内容については後に詳記する）には利用可能である。そして、これら白線表示や白線検出の場合には、合成画面の左右の大部分は不要となるので、ディスプレーの形状に応じてその部分をカットすれば、必要な画像を画面一杯に表示でき、運転者にとって一層認識しやすいものとなる。
【００４０】
次に、図１０は、第２実施形態の画像合成装置による疑似連続画像を示す。この形態は、無限遠での収束点を合わせるように接続する方法である。この場合、図７に示す個別画像の線Ｍ_L−Ｍ_Lより右側と、図８に示す個別画像の線Ｍ_R−Ｍ_Rより左側をカットして接続する。換言すれば、第１実施形態における収束点Ｐ_L−Ｐ_Rの距離を０にしたのと同じである。以下、この形態による疑似連続画像にＰ_{F L - R}２の略号を付す。こうすれば、第１実施形態における自車線を挟む反対側の白線が写るという、不自然さはなくなる。反面、この場合、図７の線Ｍ_L−Ｍ_L，Ｎ_L−Ｎ_Lに囲まれた手前車両側部分と、同様に図８の線Ｍ_R−Ｍ_R，Ｎ_R−Ｎ_Rに囲まれた手前車両側部分に写る自車前方の対象物の画像情報は欠落することになる。なお、ここに言う欠落とは、厳密な意味での欠落であって、対象物が車両等の大きさのものである場合、一部が欠けるだけで、完全に欠落するわけではない。このことに関連して、この画像では、先行車等がある場合、その画像の図７の線Ｍ_L−Ｍ_Lより右側部分と、図８の線Ｍ_R−Ｍ_Rより左側部分に存在する中央部分が欠けて接続された形に写り、やや不自然さが残るが、大きな問題ではない。この場合も、左右をカットして画面一杯に表現しても良いのは、第１実施形態の場合と同様である。この接続方法は、自車近辺より進行方向遠方を優先した方法であり、中高速走行時に活用するのが適している。しかしながら、画像処理の複雑さは増加する。こうした処理の複雑さを避ける意味では、この第２実施形態の一変形形態として、線Ｍ_L−Ｍ_L ，Ｍ_R−Ｍ_Rが、各々線Ｌ_L−Ｌ_L，Ｌ_R−Ｌ_Rと一致するようにカメラを設定するのも有効である。
【００４１】
次に、図１１は、第３実施形態の画像合成装置による疑似連続画像を示す。この形態は、自車中心線でカットして接続する方法である。この場合、図７及び図８に示す個別画像の自車中心線Ｎ_L−Ｎ_L，Ｎ_R−Ｎ_Rに沿って両画像をカットし、それらの線が一致するように画像を回転させて接続する。以下、この形態による疑似連続画像にＰ_{F L - R}３の略号を付す。こうすると接続線Ｎ_{L ,}Ｎ_Rを左右に横断して移る対象物（先行車や自車バンパー等）は、歪んで見えることになるが、ドライバーに違和感を与えないよう、図にハッチングを施して示すように仮想バンパー９０_Iをスーパーインポーズしたり、ディスプレー形状に合わせて表示範囲を図に破線で囲って符号Ｄで示すように調整すれば、より自然な表示とすることができる。すなわち、この接続方法は、像が歪む点は否めないものの、接続によるオーバラップや欠落が生じないという特徴があるため、先行車や前方障害物等を画像処理技術等で検出する場合に適している。この接続方法の場合には、接続場所が確定しているので、それを考慮して処理すれば簡単である。
【００４２】
なお、この第３実施形態の場合、上記のように、第１実施形態に関連して説明したカメラの設定方法のままの画像構成で接続を行うことも可能であるが、この第３実施形態の接続方法に関してだけは、図７及び図８に示す取込み画像の段階で、自車中心線Ｎ_L−Ｎ_L，Ｎ_R−Ｎ_Rが、各々、右辺とＬ_L−Ｌ_L、Ｌ_R−Ｌ_Rに対し平行となるようにカメラの向きを設定する変形形態を採るのも有効である。この場合も、収束点Ｐ_L，Ｐ_Rに関して線対称とするが、２点を通る仮想水平線は各々の上辺と平行ではなくなる。このようにすると、左右横方向の画像の歪みが大きくなる点は否めないが、画像処理に際して回転処理の必要がなくなり、接続が一層簡単になり、しかも第１及び第２実施形態のように、得られる像が一部で二重になったり、欠けたりする問題点は解消される利点が得られる。
【００４３】
なお、以上の説明は、専ら車両前端の左右角部に設置したカメラ画像の合成を例としているが、車両後端の左右角部に設置されたカメラの画像合成についても、画像の上下が逆転するだけで、実質的に同様である。したがって、この後方画像については、同様に、第１実施形態によるものにＰ_{R L - R}１、第２実施形態によるものにＰ_{R L - R}２、第３実施形態によるものにＰ_{R L - R}３の略号を付す。また、図２に示す隣り合った２つのカメラの全ての組み合わせの場合も、全て同様の疑似連続画面の合成が可能であり、カメラの設置位置も、図３の配置に限らず、目的に応じて最適な位置に設定することで、前記第１〜第３実施形態のような画像合成が可能となる。
【００４４】
次に、上記各実施形態により得られる疑似連続画像の運転支援装置での利用について説明する。運転支援装置のシステム全体の処理フローを図１２に示す。このシステムは基本的に、運転者操作の種類に沿って分けられ、図上で○印を付した符号Ａで示す縁寄せ操作、同じくＢで示す障害物回避操作、以下同様にＣで示す駐車操作、Ｄで示すブラインドコーナー操作、Ｅの後方死角確認、及びＦの白線確認をそれぞれ支援する意図で構成されている。これらの支援に際して、低車速時の縁寄せ操作Ａ、障害物回避操作Ｂ、駐車操作Ｃ、ブラインドコーナー操作Ｄの場合には、第１実施形態の接続方法による疑似連続画像（Ｐ_{F L - R}１）、中高速時の後方死角確認Ｅ、白線表示Ｆ、白線検出Ｇの場合には第２実施形態の接続方法による疑似連続画像（Ｐ_{F L - R}２）が適している。そして、第３の接続方法による（Ｐ_{F L - R}３）は、先行車や進行方向の障害物等を画像処理により検出する等の場合に適している。
【００４５】
上記のＡ〜Ｆの支援内容を実現すべく、最初のステップＳ−１では、図１のシステムを構成する入力装置２からデータ読込みを行う。そして、次のステップＳ−２で、速度域により安全性、必要性を考慮して、作動する機能を分ける。すなわち、車速センサー２５の入力から低車速域の判断が成立するときは、次のステップＳ−３で、選択ＳＷ（スイッチ）のオン判断を行い、これが成立するときには、Ａの縁寄せ操作、Ｂの障害物回避操作、Ｃの駐車操作又はＤのブラインドコーナー操作の選択に応じた画面表示を行う。一方、ステップＳ−２の低車速域の判断が不成立の中高車速域のときは、Ｅの後方死角確認、Ｆの白線確認の表示処理を行う。なお、詳細な速度域については、それぞれの機能毎に異なる基準が必要であるが、それらの具体的な設定は試験評価等により、個別に設定すればよい。
【００４６】
次に、低車速の場合にＡ〜Ｄの何れかのスイッチ選択がなされたときに、その選択ＳＷに対応した機能が作動する。これらの機能は、基本的には独立した別目的の機能なので、複数選択はできないように構成している。なお、スイッチが選択されてない場合でも、Ｂの障害物回避操作とＤのブラインドコーナー操作の表示機能については安全性を考慮して、自動的に作動するようにシステムを構成している。これらについて、図中に○印を付した符号Ｂ’、Ｄ’で示している。また、中高速域の場合には、Ｆの白線確認の機能からＥの後方死角確認の機能に繋がって行く。以下、これらの機能のうち、本発明の主題に係る画像合成が行われる機能を主として説明する。
【００４７】
縁寄せ選択ＳＷにより“左寄せ”、“右寄せ”又は“縁寄せ”が選択されると、図１３に示す処理フローＡが実行される。ただし、この縁寄せ表示は、前ステップＳ−２の低車速を条件とする。その理由は、高速走行時はこのような縁寄せ操作は危険であり、また、画像情報そのものが運転者の注意力を分散させる可能性があるからである。運転者により“左寄せ”が選択された場合、それがステップＳＡ−１で判定される。その状態であらかじめ設定した車速以下になると、ステップＳＡ−２の判断により前進走行中が成立するので、ステップＳＡ−４の処理画像Ｐ_{F L}（この場合の画像処理は、自車の最左外側ラインＬ_{B L}のスーパーインポーズ処理となるが、本発明の主題と離れるので、説明と省略する。）が表示される。そこで、運転者は画面上の溝を目標に、スーパーインポーズされる自車の最左外側ラインＬ_{B L}を合わせるように運転操作することで、容易に縁寄せができる。縁寄せが終わり、シフトレバーを“Ｐ”レンジポジションに入れれば、それによるポジションＳＷ（スイッチ）２３の入力がステップＳＡ−１１で判断されて、ステップＳＡ−１２で選択ＳＷが解除され、縁寄せ支援は完了する。この解除条件は、他に、シフトレバーが“Ｎ”レンジポジションで車両停止一定時間以上、ブレーキＳＷ（スイッチ）オンで車両停止一定時間以上、あるいは、エンジン停止等も考えられる。縁寄せ操作の途中、状況により後進する必要がある場合には、シフトレバーを“Ｒ”レンジポジションにすると、ポジションＳＷ（スイッチ）２３の入力によるステップＳＡ−２の判断で、ステップＳＡ−５により画像がＰ_{R L}に代わり、後進支援画面となる。特に、後進の場合は、車両の前左角部が左右に振れるので、図１３の右上に示すように画像Ｐ_{F L}、Ｐ_{R L}を同時に表示する表示方法を採るのが有効である。なお、以上の説明は、一般的な前輪ステアリング機構を前提にしているが、一部の車に採用されている４輪ステアリング機構の場合には、前進時にも、図１３右上に示すように２画像同時表示とするのが有効である。
【００４８】
一方、状況により、運転者が車両を右側に寄せたい場合には、“右寄せ”ＳＷの選択によりステップＳＡ−１の右寄せ判断が成立し、ステップＳＡ−３の前後進判断に応じてステップＳＡ−６又はステップＳＡ−７の画面表示となる。
【００４９】
また、狭い道ですれ違う時や障害物等で狭くなっている所を通過するとき等は、中央の選択ＳＷ“縁寄せ”を選択すれば、ステップＳＡ−１、ステップＳＡ−８による判断で、先に述べた前・後進いずれかの疑似連続画像（Ｐ_{F L - R}１，Ｐ_{R L - R}１）をステップＳＡ−９又はステップＳＡ−１０により一画面に同時に表示することができ、運転操作に合った支援を行うことができる。なお、図１３における左縁寄せ画面以外は、取込み画像を一部省略して画面を簡略化して示したもので、実際の表示画面は、左縁寄せ画面と同様に撮像画像を含むものとなる。
【００５０】
障害物回避操作における支援表示は、図１に示す選択ＳＷの“前左”、“前右”、“後左”又は“後右”ＳＷの選択により実行される。この場合の表示を行う条件は、図１４に示す処理フローに従い、縁寄せ操作の場合と同じく低車速時に限定される。運転者が図１に示す障害物回避用のいずれかの選択ＳＷを操作した場合は、それに応じたステップＳＢ−１の判断で、ステップＳＢ−２により対応する角部の画像（図６参照）を表示する。その時にステアリング舵角センサー２６の入力を基に、ステアリング舵角、前後進に対応した車体角部の予測軌跡を併せて表示する。この表示は、ステップＳＢ−３の判断により距離センサー２８の検出距離が全て基準値以上となったときに、ステップＳＢ−４による全ての角部ＳＷの解除処理により終了させる。また、スイッチが選択されない場合には、ステップＳＢ−１の判断でＢ’に進み、ステップＳＢ−５の判断で各角部の距離センサー２８の検出距離が一つ以上基準値以下になり、ステップＳＢ−６の判断で更にその距離が近付きつつある場合に、ステップＳＢ−７により、該当する角部の画像を表示するとともにステップＳＢ−８により運転者に警告する。
【００５１】
駐車操作における支援表示は、図１５に示す操作の処理フローに従う。この場合も前記２操作と同様に低車速時のみ支援するものとする。このフローは、図４に示す駐車ＳＷを運転者が選択することで開始する。例えば、左後ろ駐車の場合は、運転者は選択ＳＷ“Ｐ_L”を、また右後ろ駐車の場合は選択ＳＷ“Ｐ_R”を選択することになる。この選択に応じたステップＳＣ−１の判断により左後ろ駐車の場合で説明すると、ステップＳＣ−２の判断がポジションスイッチ２３の入力で前進時は、ステップＳＣ−４により左後ろ画像Ｐ_{R L}に駐車枠範囲Ｚ_Iをスーパーインポーズし、運転者がこの範囲Ｚ_Iに実際の目標駐車スペースＵ’が入るように運転操作すると、適切な後退開始位置に車両をもって行くことができる。運転者がこの状態を確認して後進にシフトレバーを入れると、ステップＳＣ−５により後ろの疑似連続画像（Ｐ_{R L - R}１）を画面表示し、各々の角部にステアリング舵角に応じた予測軌跡線をスーパーインポーズする。運転者はこれを参考にして、画面に映っている実際の目標駐車スペースＵ’に入るように運転操作をする。このフローは、ステップＳＣ−８のパーキングレンジへのシフト判断によるステップＳＣ−９のスイッチ解除で終了させる。
【００５２】
ブラインドコーナーにおける支援表示は、図１６に示すブラインドコーナー表示の概略処理フローに従う。このフローは、前記メインフローで説明したように、低車速時のみ作動するものとする。そしてステップＳＤ−１の判断で、図１に示すブラインドＳＷ（前左、前右、後左、後右）が選択されていることを条件として、ステップＳＤ−２のポジションスイッチ２３の入力判断による前・後進に応じて、図５に示す片側画面又は疑似連続画面（Ｐ_{F L - R}１）若しくは疑似連続画面（Ｐ_{R L - R}１）を表示する。疑似連続画面（Ｐ_{F L - R}１）の場合で説明すると、疑似連続画面（Ｐ_{F L - R}１）を自車の絵Ｍ_Iと対応させる位置に配置し、距離標Ｌ_Kをスーパーインポーズする。そして、この距離標Ｌ_Kは運転者の注視方向をも示しており、注視時のポイントが解りやすくなっている。なお、図において符号Ｎ’は視界障害物を示す。
【００５３】
後方死角確認においては、図１７に示す表示の流れとなる。この表示は、設定車速以上で、ナビ情報から解るステップＳＥ−１の判断で片側２車線以上、更にステップＳＥ−２の判断で交差点近くでない所で走行中に、ステップＳＥ−３によるウィンカー操作が判断された場合に、追い越し、又は割り込みと判断することで実行し、該当する後方画像をステップＳＥ−４又はステップＳＥ−５で表示する。この場合の後方画像は、疑似連続画像（Ｐ_{R L - R}２）とするのも有効である。運転者はこの画像を参考にして運転操作をする。車線判断に関しては、後に述べる白線検出技術を用いて、走行している道路の車線数、自車の走行している車線等は容易に解る。また、主要道路に設置されている光ビーコンの信号を用いても、同じことが容易に可能となる。これらの情報を用いるだけでもウィンカー操作と組み合わせて追い越し又は割り込みの判断は容易にできる。勿論、ナビ情報と組み合わせれば、更に情報精度が高まるのは当然である。
【００５４】
白線確認は、図１８に示す処理フローとなる。条件としては、ある一定車速以上で、ステップＳＦ−１によるヘッドライト点灯判断が成立し、ステップＳＦ−２によるワイパー作動判断が成り立つ時を夜間、雨の中を走行中と判断し、ステップＳＦ−４によりサイドランプを点灯し、左側面から前方の路面を照射し、ステップＳＦ−５により疑似連続画像（Ｐ_{F L - R}２）を表示する。なお、上記のフローにおいて、夜間、雨中の判断が不成立のときは、前記後方死角確認の処理フローに移り、上記両判断が成立のときでも、ウィンカー作動時は、後方死角確認のフローの判断要件を跳ばして後方死角画面を表示することになる。また、サイドランプ点灯は、必ずしも必要条件ではない。それは、対向車等の前照灯の方向に対して、前左右のカメラＣ_{F L ,}Ｃ_{F R}の光軸方向は大きく異なるため、対向車の光が水膜に鏡面反射してきても、カメラのＣＣＤには入らず、眩惑されることはなく、白線からの反射光は乱反射であるため、ＣＣＤで捉えることが可能であるためである。したがって、対向車や後続の車、隣の車、更には自車等の照明を使って自車の横から、やや前方まで充分に検出可能である。このように、サイドランプ点灯は更に見えやすくするためのものである。
【００５５】
なお、本実施形態の各疑似連続画像、特に第２実施形態の疑似連続画像（ＰFL - R２）は、白線の検出にも使用することができる。白線検出の具体的手法については、周知であるので説明を省略するが、それらの多くは、カメラを車室内のフロントガラス近辺に専用に設置している。それに対して、本装置では、前記のように死角検出用に設けた車両前左右角部の二つのカメラを用いて白線検出を行わせることができる。こうすることによって、疑似連続画像（ＰF L - R ２）の特徴である横方向の視界の広さを利用した自車近辺の横の白線の検出で、自車体との相対位置関係を精度良く検出できるとともに、前記の白線の表示で説明したように、夜間降雨時や霧の時にも検出可能である等の利点が得られる。しかも、他の機能と兼用のため安価となる。
また、前記画像処理装置は、自車の速度が低いときには、左角部の撮像装置が取り込む画像の右辺と、右角部の撮像装置が取り込む画像の左辺とを一致させることによって、両撮像装置の取込み画像を相互に接続し、自車両の速度が高いときには、合成された疑似連続画面の画像が重複する部分に、適宜の絵柄をスーパーインポーズする。
この場合、運転者にとって車両近傍の状況が重要となる低車速時には、接続による情報の欠落のない連続画面が合成され、近傍の情報を必要としない、又は近傍の情報が表示されても実質上意味のない中高速走行時は、実際の視界により近い形態での連続画面が合成されることで、常に運転状況に合った疑似連続画面の表示を可能とすることができる。
【００５６】
以上、本発明の技術思想の理解の便宜のために、３つの実施形態を基に若干の変形例を挙げて説明したが、本発明は、例示の実施形態や変形例に限定されるものではなく、特許請求の範囲の個々の請求項に記載の事項の範囲内で、種々に具体的な構成を変更して実施することができるものである。例えば、障害物回避や白線認識時等のように自車近傍の情報が重要である場合、必ずしも無限遠方を画像に含まない形態を採ることもできる。
【図面の簡単な説明】
【図１】本発明の画像合成装置を含む運転支援装置の全体システム構成を示すブロック図である。
【図２】運転支援装置の撮像装置と距離検出装置の車両への配置を模式化して示す平面図である。
【図３】撮像装置の車両角部への設置姿勢を示す説明図である。
【図４】車両角部に対する撮像装置の具体的配設位置と設置姿勢を模式化して例示する断面図である。
【図５】撮像装置の具体的設置位置を例示する車両正面図である。
【図６】車両の各角部に設置した撮像装置の方向と取込み画像の関係を示す説明図である。
【図７】自車左前角部の撮像装置の取込み画像例を詳細に示す説明図である。
【図８】自車右前角部の撮像装置の取込み画像例を詳細に示す説明図である。
【図９】画像合成装置による第１実施形態の疑似連続画面を示す説明図である。
【図１０】画像合成装置による第２実施形態の疑似連続画面を示す説明図である。
【図１１】画像合成装置による第３実施形態の疑似連続画面を示す説明図である。
【図１２】運転支援装置のシステム全体の処理フロー示すフローチャートである。
【図１３】運転支援装置による縁寄せ操作時の処理フローを示すフローチャートである。
【図１４】運転支援装置による障害物回避操作時の処理フローを示すフローチャートである。
【図１５】運転支援装置による駐車操作時の処理フローを示すフローチャートである。
【図１６】運転支援装置によるブラインドコーナー表示の処理フローを示すフローチャートである。
【図１７】運転支援装置による後方死角表示の処理フロー示すフローヂャートである。
【図１８】運転支援装置による白線表示時の処理フローを示すフローチャートである。
【符号の説明】
１１画像処理回路（画像処理装置）
２１ＣＣＤカメラ（撮像装置）
９０バンパー角部（角部）
９０_I輪郭線
Ｈ’_L，Ｈ’_R水平線
Ｎ_L 自車中心線
Ｌ_L 右辺
Ｌ_R 左辺
Ｍ_L，Ｍ_R 直線
Ｐ_L，Ｐ_R 収束点
Ｐ_{F L - R}１〜Ｐ_{F L - R}３，Ｐ_{R L - R}１〜Ｐ_{R L - R}３疑似連続画面

Claims

自車中心線延長上の無限遠方を撮像範囲に含み、その取込み画像が左右対称、かつ、無限遠方の水平線が自車中心線延長上で水平となるように自車の左右両角部に設置された撮像装置と、
該撮像装置の取込み画像を処理する画像処理装置とを備える運転支援画像合成装置において、
前記画像処理装置は、左角部の撮像装置が取り込む画像の右辺と、右角部の撮像装置が取り込む画像の左辺とを一致させることによって、両撮像装置の取込み画像を相互に接続して疑似連続画面を合成することを特徴とする運転支援画像合成装置。
前記画像処理装置は、合成された疑似連続画面の画像が重複する部分に、適宜の絵柄をスーパーインポーズする請求項１に記載の運転支援画像処理装置。
前記画像処理装置は、疑似連続画面上に、自車の輪郭線をスーパーインポーズする請求項１に記載の運転支援画像合成装置。
自車中心線延長上の無限遠方を撮像範囲に含み、その取込み画像が左右対称、かつ、無限遠方の水平線が自車中心線延長上で水平となるように自車の左右両角部に設置された撮像装置と、
該撮像装置の取込み画像を処理する画像処理装置とを備える運転支援画像合成装置において、
前記画像処理装置は、両撮像装置の取込み画像の、左角部側のものについては右辺に平行、右角部側のものについては左辺に平行で、かつ、無限遠方における自車左右最外側仮想延長線の収束点を通る直線に沿って、左角部の撮像装置の取込み画像の右側、及び右角部の撮像装置の取込み画像の左側を切除し、残った画像を前記直線を一致させて接続することによって疑似連続画面を合成することを特徴とする運転支援画像合成装置。
自車中心線延長上の無限遠方を撮像範囲に含み、その取込み画像が左右対称、かつ、無限遠方の水平線が自車中心線延長上で水平となるように自車の左右両角部に設置された撮像装置と、
該撮像装置の取込み画像を処理する画像処理装置とを備える運転支援画像合成装置において、
前記画像処理装置は、左角部の撮像装置の取込み画像の右側を画像上の自車中心線に沿って切除し、右角部の撮像装置の取込み画像の左側を画像上の自車中心線に沿って切除し、残った両画像の自車中心線を相互に一致させて接続することによって疑似連続画面を合成することを特徴とする運転支援画像合成装置。