JP4207299B2

JP4207299B2 - Driving assistance device

Info

Publication number: JP4207299B2
Application number: JP07695499A
Authority: JP
Inventors: 修昭三木; 聖治榊原
Original assignee: Aisin AW Co Ltd
Current assignee: Aisin AW Co Ltd
Priority date: 1999-03-19
Filing date: 1999-03-19
Publication date: 2009-01-14
Anticipated expiration: 2019-03-19
Also published as: JP2000272416A

Description

【０００１】
【発明の属する技術分野】
本発明は、運転者の死角となる車両周辺の情報を撮像装置で取込み、取込み画像を適宜処理して車室内モニターに表示することで運転者の視界を補完する運転操作の支援装置に関する。
【０００２】
【従来の技術】
自動車は運転者の四囲を囲む車体を持つことから、運転者の視界が窓部を除く車体部により遮られる死角部分を生じることは避け難いが、狭い道路上での特に背の低い障害物の回避や、移動する障害物に対する安全の確保上、死角の解消が望ましい。また、運転の障害となる死角は、上記自車体により生じる直接の死角の他に、地形や建物により、その裏側に生じる間接的な死角もあり、いずれの死角も解消されることが望ましい。そこで、こうした死角部分の情報が間接的に得られるように、映像機器を利用した装置の種々の提案がなされている。こうした提案の中で、特に広い死角範囲をカバーするに有効と考えられるものに、特開平９−１４２２１０号公報に開示の技術がある。この従来技術は、外界の情報を取り込む撮像装置と、該撮像装置が取り込む画像を表示するモニターとから構成され、撮像部が車両の後側上方ほぼ中央部に、車両の後方直前領域から水平領域までを一画面に取り込むように取り付けられたものである。この場合、車両後端部の一部分（例えばバンパー）が画面下方に、また無限遠方（水平線）が画面上方に位置する撮像画像が取得される。
【０００３】
しかしながら、上記従来技術のように、撮像装置を車両のほぼ中央に設置する方法では、特に乗用車のような車高の低い車両においては、大型車両のように撮像部の位置を高く設定することができない。そのため、障害物回避に最も重要な車両角部に関して、バンパーの角部外縁から地上に下ろした垂線と、車両中央上部の撮像部とバンパーの角部外縁とを結ぶ直線とのなす角度が大きくなってしまい、得られる画像としては、バンパーの角部の背景に障害物が重なって見えるものとなってしまう。この結果、車両の角部と障害物との間の距離感が一層つかみ辛くなる。また、上記の角度が大きいことで、バンパーの角部のごく近傍に死角部分が残ってしまうため、直近の背の低い障害物を確認することができない。
【０００４】
他方、画像の歪みを少なくして的確な距離感を得るべく、車両各部に配した個々の撮像装置により死角部分を別個にカバーし、車両操作に応じて必要となる各部の情報を同時あるは必要に応じて適宜選択して取得可能とすることも、特開平５−３１００７８号公報に開示の技術に見られる。しかしながら、一般に、モニター画面による情報は、それが車両のどの方向に対応し、どのような視点で見たものかを直観的かつ迅速につかむことが容易ではなく、たとえそれができたとしても、運転操作による車両の挙動と画像の変化とがかけ離れている場合、単に車両各部の情報を取得可能としても、煩多な運転操作中にそれらが有効に活用されるとは限らない。
【０００５】
【発明が解決しようとする課題】
そこで、出願人は、先に特願平１０−３６１９０８号において、車両の角部と障害物との間の距離感を容易に把握可能なように、自車の角部と、該角部の少なくとも近傍の外界と、自車中心線延長上の無限遠方とを撮像範囲に含むように自車の角部に設置した複数の撮像装置を用い、それら撮像装置の取込み画像の選択と組み合わせにより種々の運転状況での総合的な支援を行うことを可能とした死角解消のための運転支援装置を提案した。
【０００６】
この提案に係る撮像装置の配置は、全ての運転支援状況において有効に機能するものであるが、上記の趣旨から、個々の撮像装置において比較的広い撮像範囲を確保しているため、実際の運転視界に対する特に遠近感が、画像上で自車の角部の像から離れるほど写しこまれる像に対して強調されてしまう点は否めない。したがって、このように自車の角部から遠い位置に接近中の他の車両が撮像された場合、それにより画像から情報を取得する運転者は、直観的に実際の距離より接近中の車両が遠い位置にあると誤解しやすく、こうした遠近感のずれは、支援状況によっては好ましくない場合がある。
【０００７】
本発明は、こうした事情に鑑みなされたものであり、運転者の視界に対して、簡単な画像処理により、必要に応じて遠近感を補正することで、距離感を容易に把握可能な死角情報を取得する運転支援装置を提供することを主たる目的とする。
【０００８】
【課題を解決するための手段】
上記の目的を達成するため、本発明は、自車の角部と、該角部の少なくとも近傍の外界と、自車中心線延長上の無限遠方とを撮像範囲に含むように自車の左右両角部に設置された撮像装置と、該撮像装置の取込み画像を処理する画像処理装置とを備える運転支援装置において、前記画像処理装置は、撮像装置の取込み画像の一部をトリミングして拡大する画像拡大手段、並びに前記撮像装置の取込み画像に距離標をスーパーインポーズし、自車の向き及び道路の交差角度に基づいて距離標の表示方向を設定する手段を有することを特徴とする。
【０００９】
具体的には、前記運転支援装置は、前記画像処理装置の機能の選択手段を有し、画像拡大手段は、選択手段による機能選択に応じて作動する構成とするのが有効である。
【００１０】
更に、前記撮像装置は、自車の左右両角部に設置され、前記画像拡大手段は、選択手段による機能選択に応じて自車の左右両角部に設置され撮像装置の取込み画像の一方を選択して拡大する構成を採るのが有効である。
【００１１】
更に、前記画像拡大手段により拡大する画像の一部は、自車の角部の画像から遠い部分の画像とするのが有効である。
【００１２】
更に、前記画像拡大手段による拡大画像の画角は、実視界の画角に近似させて設定される構成とするのが有効である。
【００１３】
【発明の作用及び効果】
上記請求項１記載の構成では、自車近傍の死角解消のために、自車角部から無限遠方までの広範囲の情報を取得可能とすることで、実視界とのある程度の距離感のずれが生じることを避けられない撮像装置の取込み画像を、部分的に切り取って拡大することで、簡単な画像処理により実視界に近い画像を生成させることができる。
【００１４】
次に、請求項２記載の構成では、機能選択に応じて、必要とする場合のみ部分画像の拡大が行われるため、種々の状況を想定した総合的な運転支援を行う装置への適用が可能となり、他の運転支援機能との統合が容易となる。
【００１５】
更に、請求項３記載の構成では、自車の左右両角部近傍の画像を用いた画像の拡大により距離感を補正した画面の取得が可能となるため、特に、距離感の直観的な把握が重要となるブラインドコーナーにおける死角の解消に有効な距離感の補正を行うことができる。
【００１６】
また、請求項４記載の構成では、自車の直近に対して著しく縮小される遠方のの画像を拡大することができるため、距離感の補正が一層有効なものとなる。
【００１７】
そして、請求項５記載の構成では、実視界から得られる遠近感と画像上の遠近感を実質上一致させるとができるめ、画像のみによる直観的な距離感の把握をより実情に沿ったものとすることができ、支援がより有効なものとなる。
【００１８】
【発明の実施の形態】
以下、図面に沿い、本発明の実施形態を説明する。図１は運転支援装置のシステム構成をブロックで示す。この装置は、本発明の主題とする部分画像の拡大を行う画像拡大手段１１を含む画像処理を行う画像処理装置１０を内蔵した制御装置１を主体として、制御に必要な各種情報を取り込む入力装置２と、運転者が運転操作のために必要とする機能を適宜選択する選択スイッチ３とから構成され、更に、ナビゲーション装置との情報交換が可能なように、データベース４とディスプレー５とを具備するナビゲーション装置のナビＥＣＵ６に接続されている。これにより、本形態では、ディスプレー５を本装置の情報表示のためのモニターに利用している。なお、図中の選択スイッチ３については、ナビゲーション装置のディスプレー５を利用したタッチパネル方式や音声認識装置を用いた音声入力方式の形態を採ることもできる。
【００１９】
図２に車両に対する配置を模式平面で示すように、入力装置の１つを構成する撮像装置として、図に○印で示すＣＣＤカメラ２１（以下、カメラと略記し、個々のカメラを区別するとき、符号に代えて位置を表す添字付きの略号Ｃ_{F L ,}Ｃ_{F R ,}Ｃ_{R L ,}Ｃ_{R R ,}Ｃ_{M L ,}Ｃ_{M R}を付す）が、車両の４箇所の角部と左右両側の中央に設置され、また、△印で示す距離検出装置としての障害物検出センサー２８（同様に、略号Ｓ_{F L ,}Ｓ_{F R ,}Ｓ_{R L ,}Ｓ_{R R ,}Ｓ_{M L ,}Ｓ_{M R}，Ｓ_{F M ,}Ｓ_{R M}を付す）が、カメラ２１と同様の位置近傍に設置されている他、前後端部の中央にも設置されている。これら距離検出装置２８としては、超音波センサーやレーザー、ミリ波レーダー等の距離を直接検出する既知の装置を用いるが、上記複数のカメラ２１の取込み画像を制御装置１内で画像処理することにより間接的に距離を求める演算手段とて、専用の検出部を無くす形態を採ることもできる。
【００２０】
本発明の主題とする画像の部分拡大を含む各種の画像処理は、運転上の各種操作を行うときに必要な画像情報を、各カメラ２１について、運転者が運転席に座っている状態での視界感覚に一致させるように取得可能であることを前提として成立する。したがって、その取得手段としての撮像装置については、カメラ２１の取付け方法、より詳しくは、設置姿勢と設置位置に特徴がある。
【００２１】
図３に模式化して示すように、運転席に座った運転者から物理的に見えない死角範囲は、ドアの窓枠や屋根を支えるピラーにより見えない部分は除くとして、路面上で点Ｄ_{F L}，Ｄ_{F R}，Ｄ_{R R}，Ｄ_{R L}に囲まれる図に斜線を付した範囲となる。これに対して、この見えない範囲をカバーし、しかも得られる画像情報を運転者の感覚に一致させるために、設置姿勢の第１の特徴点として、各カメラ２１は、その取込み画像上の上側を車両の前方に向け、かつ垂直下方に光軸を向けた姿勢（Ｃｏ）を基準とし、車両に対する配設位置の前後左右に応じ、基準の姿勢に対して前後左右方向に傾斜を付し、少なくとも車両の縁部、すなわち前後については前後の端部、左右については左右側端部を写し込む姿勢で設置する。
【００２２】
詳しくは、車両角部に設置する各カメラ２１については、その設置位置に対応する車両の縁部としての自車体の角部と、その近傍を含む車両周辺と、無限遠方を同時に俯瞰するような方向になるように設置する。この車両の角部について、特に近時の乗用車等においては、デザイン上の工夫から丸みを持たせてあるため、必ずしも判然としないが、本発明に言う車両の角部とは、自車両を平面で見たときの縁部すなわち最外縁を含むその近傍を意味し、より具体的には、車両の前端及び側端又は後端及び側端が延在する方向が推測できる形状になる範囲、例えば角部をバンパーとする場合、バンパーの角の丸みがほぼ直線に近い曲率まで小さくなることで、バンパーの前縁及び側縁又は後縁及び側縁の延びる方向から、車両の前端及び側端又は後端及び側端がどのへんの位置となるかを推測できる範囲を言う。そのため、図４に各角部のカメラの画像例Ｐ_{F L ,}Ｐ_{F R ,}Ｐ_{R L ,}Ｐ_{R R}を示すように、各々車体の前後端、左右端の延長が推測できる形状になる範囲まで画像に含むように、各カメラＣ_{F L ,}Ｃ_{F R ,}Ｃ_{R L ,}Ｃ_{R R}の姿勢を設定する。図において、略号Ｗ_{L L}，Ｗ_{L R}は路面の白線、Ｗ’_{L L}，Ｗ’_{L R}は映像上の白線、符号９０’は映像上の自車角部としてのバンパーを示す。この場合、カメラ２１の取付け位置については、後に詳述するが、概括的には、車体の各必要箇所において、可能な限り高い所に設置し、広い視界を確保するようにする。
【００２３】
設置姿勢の第２の特徴点として、カメラ２１の水平方向の向きは、図３に示すように運転者が運転席に座って、その必要方向を見るときの視線の方向と概略一致するような方向、すなわち、光軸Ｘが、運転者とカメラ２１を結ぶ直線を含む垂直面の方向と実質上同様の方向を向く姿勢に設置され、前記第１の特徴による姿勢との関係で、光軸Ｘが地面と交わる点は、図中で点Ａ_{F L ,}Ａ_{F R ,}Ａ_{R L ,}Ａ_{R R}となる。これにより、各々のカメラ２１のカバーする上下方向の画角範囲をα_F，α_R、横方向の画角範囲をα_{F L}，α_{F R}，α_{R L ,}α_{R R}で示す。なお、上記の運転者とカメラ２１を結ぶ直線は、運転者の体格や好みの姿勢によりシートのスライド位置やリクライニングの傾きが異なり、更には各時々の姿勢の変化によっても異なるため、厳密には、それらに伴って向きが変動し、上記直線を含む垂直面の向きも変動することになるが、上記垂直面の方向と実質上同様の方向とは、こうした運転者の位置のずれや姿勢の変化に伴う方向のずれを許容する範囲での同方向であればよく、例えば、こうした全ての要素を加味した標準的な位置を統計的に割り出して運転者の位置を決定する等の手法で、それに合わせて方向を設定すればよい。
【００２４】
そして、このままカメラ２１の映像上の横軸が水平になるように設置したのでは、図４を参照して、自車のバンパー角部９０’は、例えばカメラＣ_{F L}について、画面の中央下方に位置することになり、自車両と並行する路面の白線Ｗ_{L L}が画面を左下（又は右下）から右上（又は左上）方向に対角線状に横切る映像となってしまう。そこで、更に設置姿勢の第３の特徴として、カメラ２１を光軸Ｘ周りに傾斜を付した姿勢に設置する。例えば、車両に対して左側のカメラについては、光軸周りに右に捩じることで右回り傾斜を付す。これにより画面は、図４に示すように前進方向が運転者の感覚に合うような向きとなる。具体的には、画像Ｐ_{F L}は左前角部に設置のカメラＣ_{F L}の画像であり、右下隅に左前角部９０’が写し込まれ、前進方向への直線状の白線Ｗ’_{L L}が画面中央下方から斜め右上方向へ、概ね直線で写り、運転席から実際に自車の左側白線Ｗ_{L L}を見たときの角度と遠近感に実感が合うようになる。更に言えば、この画像は、例えば、前左の画像Ｐ_{F L}と前右の画像Ｐ_{F R}を同時に画面の左右に配置した場合に、そのときの画像Ｐ_{F L}上の自車線左側白線Ｗ’_{L L}と、画像Ｐ_{F R}上の自車線右側白線Ｗ’_{L R}が、あたかも一つのカメラで前方を撮影したときのように、無限遠方で交わるように見える配置である。このように画面に与える傾斜は、右側及び後ろ左右についても同様である。
【００２５】
次に、撮像装置の設置位置について、図５及び図６に左前角部へのカメラＣ_{F L}の取付け例を示すように、本形態では、カメラＣ_{F L}は、前照灯９１と一体構成されたサイドランプ９２に組み込む構成とし、これにより既存の車両にも僅かな改変で安価に取り付け可能としている。なお、この位置については、この配置に限らず、ランプを小さくして、その余ったスペースに組み込み、あるいはランプ以外の外板に組み込み、車体表面に直接取り付けてもよい。これにより、前記のようにカメラＣ_{F L}直下の自車体左前角部最外縁（図では前バンパーの左角部）９０と同時に車両周辺及び無限遠方を取り込むわけであるが、上記の諸条件を満足するように、できるだけ広い範囲を取り込むためには、車種によっても異なるが、上下方向の画角α_Fについて概ね９０°程度からそれより若干大きく、左右方向の画角α_{F L}についても概ね９０°程度からそれより若干大きいて程度を確保できる広角レンズのカメラＣ_{F L}が必要となる。しかしながら、あまり画角を広くすると、運転者の見る実体の距離感とのずれが大きくなるので、自ずと限界がある。そのため、本実施形態では、一例として、上下方向の画角α_Fを９７°、左右方向の画角α_{F L}を１２５°としたカメラＣ_{F L}を使用している。
【００２６】
このような設置姿勢と設置位置により、後の処理を容易とする自然な画像が得られる。図７に自車前左角部のカメラＣ_{F L}の画像Ｐ_{F L}の詳細例を示す。図では、路面上に描いた進行方向の白線Ｗ_{L L}と、それに直交する白線Ｗ_{L C}の交点の垂直上方に自車の左前角部を合わせた場合の画像の見え方を表している。この画面では、自車のバンパー角部９０’を基準にして、自車の進行方向の右側白線Ｗ’_{L R}を含めた自車走行車線Ｌ’₁、左隣の車線Ｌ’₂、更に直交する白線Ｗ’_{L C}左側方向までの広い範囲を見渡し、無限遠方（図に破線で示す）を、画面の左右幅全体に写すことが可能となっている。そして、このように左右幅全体に写る無限遠方の中に、車両の正面、すなわち車両の前後方向中心軸の延長上の無限遠方が含まれ、この正面の無限遠方は、モニター上で自車両のバンパー角部９０’の上方に、水平に表示される。
【００２７】
次に、表示手段としてのモニターは、本形態では、ナビゲーション装置のディスプレー５を用いている。こうしたモニターは、運転者の正面のインストゥルメントパネル近辺に設置されている。そして、運転者がこの画面を覗くときの感覚は、画面上方を物理学的な上と捉えると同時に、道路上の交通標識や案内図等が全て表示面の上方が前方を示す表記とされているように、進行方向の前方と自ずと認識することになる。画面下方が物理学的な下と捉えると同時に、後方と認識されることもまた自然である。そこで、本実施形態の画面表示は、こうした認識を原則としてなされている。
【００２８】
こうした画面表示をためのカメラ２１の姿勢については、先に説明した通りであり、特に車両後方のカメラＣ_{R L}，Ｃ_{R R}の向きは、いわゆる上下逆さに取り付けている。即ち、図３に示すように、まず、運転者が運転席に座った状態の垂直線に光軸を合わせ、車体前方が画面上方となるようにして真下を俯瞰するカメラＣ_Oを仮想して、その状態から光軸を前方かつ左方に傾け、更に光軸回りに右に傾けたのがカメラＣ_{F L}であり、同様に光軸を前方かつ右方に傾け、更に光軸回りに左に傾けたのがカメラＣ_{F R}である。また、同様にして、光軸を後方かつ左右に傾け、更に光軸回りに左右に捩じったのがカメラＣ_{R L ,}Ｃ_{R R}である。ただし、図には前後方向の傾き及び左右方向の傾きが示され、光軸回りの捩じりは示されていない。このような姿勢に設定すると、ディスプレー５にはそのまま表示するだけで所望の画面が得られる。この点に関して、後方をカメラで撮影し、その画像情報を左右反転処理してモニターに表示するという、いわゆるバックミラーで覗くような鏡像とすることも考えられるが、システムが複雑化する割に感覚的には合わないので、本装置ではこうした形態は採らない。こうして得られる画像は、図４に示すように、画面上の左右の白線Ｗ’_{L L}，Ｗ’_{L R}が運転者の位置から見た実際の白線Ｗ_{L L}，Ｗ_{L R}の向きに合致するようになる。
【００２９】
こうして得られる画像情報は、その表示を運転者の機能選択に応じた必要最小限に留めることを原則として、場所、状況等に応じて取込み画像中から最適な画像を選択し、又は組み合わせ、必要に応じた画像処理を加えてモニターに表示することで、運転者に支援情報として提供される。このシステムにおける画像処理は、補助情報のスーパーインポーズと、画像接続と、画像拡大等に類別される。
【００３０】
この趣旨に沿って構成されたシステム全体の処理フローを図８に示す。このシステムは基本的に、運転操作の種類に沿って分けられ、図上で○印を付した符号Ａで示す縁寄せ操作、同じくＢで示す障害物回避操作、以下同様にＣで示す駐車操作、Ｄで示すブラインドコーナー操作、Ｅの後方死角確認、及びＦの白線確認をそれぞれ支援する意図で構成されている。
【００３１】
上記のＡ〜Ｆの支援内容を実現すべく、最初のステップＳ−１では、図１に示すシステムの入力装置２からデータ読込みを行う。そして、次のステップＳ−２で、速度域により安全性、必要性を考慮して、作動する機能を分ける。すなわち、車速センサー２５の入力から低車速域の判断が成立するときは、次のステップＳ−３で、選択ＳＷ（スイッチ）のオン判断を行い、これが成立するときには、Ａの縁寄せ操作、Ｂの障害物回避操作、Ｃの駐車操作又はＤのブラインドコーナー操作の選択に応じた画面表示を行う。一方、ステップＳ−２の低車速域の判断が不成立の中高車速域のときは、Ｅの後方死角確認、Ｆの白線確認の表示処理を行う。なお、詳細な速度域については、それぞれの機能毎に異なる基準が必要であるが、それらの具体的な設定は試験評価等により、個別に設定すればよい。
【００３２】
次に、低車速の場合にＡ〜Ｄの何れかのスイッチ選択がなされたときに、その選択ＳＷに対応した機能が作動するようにしている。これらの機能は、基本的には独立した別目的の機能なので、複数選択はできないように構成している。なお、スイッチが選択されてない場合でも、Ｂの障害物回避操作とＤのブラインドコーナー操作の表示機能については安全性を考慮して、自動的に作動するようにシステムを構成している。これらについて、図中に○印を付した符号Ｂ’、Ｄ’で示している。また、中高速域の場合には、Ｆの白線確認の機能からＥの後方死角確認の機能に繋がって行く。以下にこれら個別の機能について説明する。
【００３３】
Ａの縁寄せ操作は、図１に示す選択ＳＷにより、運転者が縁寄せを選択することを条件とする。この選択による処理フローを図９に示す。縁寄せ操作は低車速のみとし、高車速では作動させない。何故なら、高速走行時はこのような縁寄せ操作は危険であり、また、画像情報そのものが運転者の注意力を分散させる可能性があるからである。まず、前進走行中に左側にある溝にできるだけ寄せて停車することを意図する場合、運転者は“左寄せ”ＳＷを選択する。この選択は、ステップＳＡ−１で判定される。その状態であらかじめ設定した車速以下になると、ステップＳＡ−２の判断により前進走行中が成立するので、ステップＳＡ−４の処理画像Ｐ_{F L}（ここに言う処理は、画像内への自車最外側ラインＬ_{B L}のスーパーインポーズを意味する）が表示される。そこで、運転者は画面上の溝を目標に、スーパーインポーズされる自車の最左外側ラインＬ_{B L}を合わせるように運転操作することで、容易に縁寄せができる。縁寄せが終わり、シフトレバーを“Ｐ”レンジポジションに入れれば、それによるポジションＳＷ（スイッチ）２３の入力がステップＳＡ−１１で判断されて、ステップＳＡ−１２で選択ＳＷが解除され、縁寄せ支援は完了する。この解除条件は、他に、シフトレバーが“Ｎ”レンジポジションで車両停止一定時間以上、ブレーキＳＷ（スイッチ）オンで車両停止一定時間以上、あるいは、エンジン停止等でもよい。縁寄せ操作の途中、状況により後進する必要がある場合には、シフトレバーを“Ｒ”レンジポジションにすると、ポジションＳＷ（スイッチ）２３の入力によるステップＳＡ−２の判断で、ステップＳＡ−５により画像がＰ_{R L}に代わり、後進支援画面となる。特に、後進の場合は、車両の前左角部が左右に振れるので、図９の右上に示すように画像Ｐ_{F L}、Ｐ_{R L}を同時に表示する表示方法を採るのが有効である。なお、以上の説明は、一般的な前輪ステアリング機構を前提にしているが、一部の車に採用されている４輪ステアリング機構の場合には、前進時にも、図９右上に示すように２画像同時表示とするのが有効である。
【００３４】
一方、状況により、車両を右側に寄せたい場合には、“右寄せ”ＳＷの選択によりステップＳＡ−１の右寄せ判断が成立し、ステップＳＡ−３の前後進判断に応じてステップＳＡ−６又はステップＳＡ−７の画面表示となる。また、狭い道ですれ違う時や障害物等で狭くなっている所を通過するとき等は、中央の“縁寄せ”ＳＷを選択すれば、ステップＳＡ−１、ステップＳＡ−８による判断で、画像Ｐ_{F L}と画像Ｐ_{F R}、又は画像Ｐ_{R L}と画像Ｐ_{R R}をトリミングして接続処理した前・後進いずれかの左右画像Ｐ_{F L - R}，Ｐ_{R L - R}をステップＳＡ−９又はステップＳＡ−１０により一画面に同時に表示することで、運転操作に合った支援を行うことができる。なお、図９における左縁寄せ選択時以外の画面は、取込み画像を一部省略して画面を簡略化して示したもので、実際の表示画面は、左縁寄せ画面と同様に撮像画像を含むものとなる。
【００３５】
Ｂの障害物回避操作の場合は、図１０に示す処理フローに従い、縁寄せ操作の場合と同じく低車速時に限定する。運転者が図１に示す選択ＳＷ（例えば“前左”等）を操作した場合は、それに応じたステップＳＢ−１の判断で、ステップＳＢ−２により対応する角部の画像（例えば図７）を表示する。その時にステアリング舵角センサー２６の入力を基に、ステアリング舵角、前後進に対応した車体角部の予測軌跡をスーパーインポーズする。この表示は、ステップＳＢ−３の判断により距離センサー２８の検出距離が全て基準値以上となったときに、ステップＳＢ−４による全ての角部ＳＷの解除処理により終了させる。また、スイッチが選択されない場合には、ステップＳＢ−１の判断でＢ’に進み、ステップＳＢ−５の判断で各角部の距離センサー２８の検出距離が一つ以上基準値以下になり、ステップＳＢ−６の判断で更にその距離が近付きつつある場合に、ステップＳＢ−７により、該当する角部の画像を表示するとともにステップＳＢ−８により運転者に警告する。
【００３６】
Ｃの駐車操作の場合は、図１１に示す操作の処理フローに従う。この場合も前記２操作と同様に低車速時のみ支援するものとする。このフローは、図１に示す駐車ＳＷとしての“Ｐ_L”又は“Ｐ_R”を運転者が選択することで開始する。左後ろ駐車の場合は、運転者は“Ｐ_L”ＳＷを、また右後ろ駐車の場合は“Ｐ_R”ＳＷを選択することになる。この選択に応じたステップＳＣ−１の判断により左後ろ駐車の場合で説明すると、ステップＳＣ−２の判断がポジションスイッチ２３の入力で前進時は、ステップＳＣ−４により左後ろ画像Ｐ_{R L}に駐車枠範囲Ｚ_Iをスーパーインポーズし、運転者がこの範囲Ｚ_Iに実際の目標駐車スペースＵ’が入るように運転操作すると、ハンドルの切返しなしで駐車位置へ進入可能な後退開始位置に車両をもって行くことができる。運転者がこの状態を確認して後進にシフトレバーを入れると、ステップＳＣ−５により、先に述べた画像の接続処理と同様の処理により後ろの二つの画像Ｐ_{R L}、Ｐ_{R R}を同時に画面表示し、各々の角部にステアリング舵角に応じた予測軌跡線をスーパーインポーズする。運転者はこれを参考にして、画面に映っている実際の目標駐車スペースＵ’に入るように運転操作をすることになる。このフローは、ステップＳＣ−８のパーキングレンジへのシフト判断によるステップＳＣ−９のスイッチ解除で終了させる。
【００３７】
Ｄのブラインドコーナー操作の場合は、図１２に示すブラインドコーナー表示の概略処理フローに従う。このフローは、前記メインフローで説明したように、低車速時のみ作動するものとする。そしてステップＳＤ−１の判断で、図１に示すブラインドＳＷ（“前左”、“前右”、“後左”、“後右”）が選択されていることを条件として、ステップＳＤ−２のポジションスイッチ２３の入力判断による前・後進に応じて、ステップＳＤ−３又はステップＳＤ−４により以下に説明するいずれかの画面を表示する。
【００３８】
第１の表示画面は、本発明の主題に係る部分拡大画面である。図１３は先に示した図７に対応する実写画面である。この場合の車両は、自車先端から真横方向５ｍの位置にあるが、実際の運転者視点による映像を示す図１４との比較で明らかなように、映像上はかなり離れた位置に見える。このように、自車の角部のカメラによる取込み画像と実際の距離感には、かなりの隔たりが生じる。そこで、本形態では、角部カメラの取込み画像の一部をトリミングして拡大する画像拡大処理を行っている。具体的には、この処理は、画像上の自車の角部から遠い部分の画像をトリミングし、これを画面全体に表示する拡大を行っている。図１５は、こうした処理、詳しくは、図７において想像線で囲む任意部分（上記真横の場合は最適な範囲）Ｔ_Aをトリミングして全画面表示により、取込み画像に対して表示画面を拡大した例であり、図１３及び図１４との比較で、明らかな補正効果が認められる。このように拡大画面を表示することで、特に距離感の齟齬が安全性に極めて密接に影響するブラインドコーナーでの支援をより有効なものとしている。
【００３９】
なお、拡大範囲のトリミングは、上記のように、元となる画像の取込み枠に対して水平・垂直を保って行う方法に限らず、枠に対して斜めにトリミングしてもよい。こうした手法は、元の取込み画像上で傾いて見える対象物の姿勢を修正した拡大表示に有効である。更に、拡大像自体の形状を実視に近付けるべく、図にＴ_Bで示すように拡大範囲を任意の形状としてもよく、そうすることによって、拡大画面となったときの直線における歪みを補正することもできる。なお図示Ｔ_Bのトリミング形状は、例示であって、必ずしも直線の歪みを補正する形状を表すものではない。また、拡大率については、表示するモニターの画面寸法との関係もあり、一律には論じられないが、こうした制約を度外視すれば、運転者視点で捉えることができると仮想した場合の対象物の大きさに対する画角と、モニター画面上の対象物の画角を一致させるのが最適な方法である。
【００４０】
他方、この表示画面は、図１３に示すような、取込み画像そのままの画面を左右のものについて図１２に画面Ｐ_{F L - R}又は画面Ｐ_{R L - R}で示すような接続画面とすることもできる。画面Ｐ_{F L - R}は、前左画像Ｐ_{F L}と前右画像Ｐ_{F R}を自車の絵Ｍ_Iと対応させる位置に配置し、距離標Ｌ_Kをスーパーインポーズしたものである。そして、この距離標Ｌ_Kは運転者の注視方向をも示しており、注視時のポイントが解りやすくなっている。なお、図において符号Ｎ’は視界障害物を示す。
【００４１】
ところで、交差点は直交するばかりでなく、図１６の例のように、自車の方向Ｏに対して交差する道路の方向Ｐが斜めになる場合も多くあり、このような場合は、図１７に示すように左右の画像それぞれに交差角に応じた距離標Ｌ_Kを表示すると、より解りやすくなる。図の例は交差角度がβの場合の距離標Ｌ_{K B}の表示方向β_{L ,}β_Rを直交交差点での距離標を示す１点鎖線Ｌ_Kとの対比で示している。この値はナビゲーションのデータから解るβと、カメラ２１の諸元や車体への搭載諸元等から一義的に決定されるものである。この場合の説明は交差する道路を直線としているが、曲がっていたり、折れていたりすることがあるが、その状況に合わせて距離標Ｌ_Kの表示方向と表示距離を設定する。この場合、車に搭載されているジャイロ、コンパス等の方向センサー２９（図１参照）で自車の向きを精度良く検出すれば、データベース４（図１参照）の地図データーと組み合わせて距離標Ｌ_Kの方向を精度良く表示できる。運転者はこの画像を参考にして左右の安全を確認し、前進することができる。
【００４２】
このブラインドコーナー操作の場合、ステップＳＤ−１の判断で、ブラインドＳＷが選択されていない場合でも、Ｄ’の処理を実行し、ステップＳＤ−７で、データベース４に基づくナビ情報により信号の無い交差点に入ることを判断したときは、同様に画像表示をして運転を支援する。更に、ステップＳＤ−７が不成立の場合でも、ステップＳＤ−８により障害物センサー２８の検出距離が基準値以下の場合も見通しが悪いと判断し、画像を表示する。
【００４３】
Ｅの後方死角確認においては、図１８に示す表示の流れとなる。この表示は、設定車速以上で、ナビ情報から解るステップＳＥ−１の判断で片側２車線以上、更にステップＳＥ−２の判断で交差点近くでない所で走行中に、ステップＳＥ−３によるウィンカー操作が判断された場合に、追い越し、又は割り込みと判断することで実行し、該当する後方画像をステップＳＥ−４又はステップＳＥ−５で表示する。この場合の後方画像は、接続画像とするのも有効である。運転者はこの画像を参考にして運転操作をする。車線判断に関しては、後に述べる白線検出技術を用いて、走行している道路の車線数、自車の走行している車線等は容易に解る。また、主要道路に設置されている光ビーコンの信号を用いても、同じことが容易に可能となる。これらの情報を用いるだけでもウィンカー操作と組み合わせて追い越し又は割り込みの判断は容易にできる。勿論、ナビ情報と組み合わせれば、更に情報精度が高まるのは当然である。
【００４４】
Ｆの白線確認は、図１９に示す処理フローとなる。条件としては、ある一定車速以上で、ステップＳＦ−１によるヘッドライト点灯判断が成立し、ステップＳＦ−２によるワイパー作動判断が成り立つ時を夜間、雨の中を走行中と判断し、ステップＳＦ−４によりサイドランプを点灯し、左側面から前方の路面を照射し、ステップＳＦ−５により接続画像を表示する。なお、上記のフローにおいて、夜間、雨中の判断が不成立のときは、前記後方死角確認の処理フローに移り、上記両判断が成立のときでも、ウィンカー作動時は、後方死角確認のフローの判断要件を跳ばして後方死角画面を表示することになる。また、サイドランプ点灯は、必ずしも必要条件ではない。それは、対向車等の前照灯の方向に対して、前左右のカメラＣ_{F L ,}Ｃ_{F R}の光軸方向は大きく異なるため、対向車の光が水膜に鏡面反射してきても、カメラのＣＣＤには入らず、眩惑されることはなく、白線からの反射光は乱反射であるため、ＣＣＤで捉えることが可能であるためである。したがって、対向車や後続の車、隣の車、更には自車等の照明を使って自車の横から、やや前方まで充分に検出可能である。このように、サイドランプ点灯は更に見えやすくするためのものである。
【００４５】
なお、本実施形態の接続画像は、白線の検出にも使用することができる。白線検出の具体的手法については、周知であるので説明を省略するが、それらの多くは、カメラを車室内のフロントガラス近辺に専用に設置している。それに対して、本装置では、前記のように死角検出用に設けた車両前左右角部の二つのカメラを用いて白線検出を行わせることができる。こうすることによって、接続画像の特徴である横方向の視界の広さを利用した自車近辺の横の白線の検出で、自車体との相対位置関係を精度良く検出できるとともに、前記の白線の表示で説明したように、夜間降雨時や霧の時にも検出可能である等の利点が得られる。しかも、他の機能と兼用のため安価となる。
【００４６】
以上、本発明の技術思想の理解の便宜のために、一実施形態を基に若干の変形例を挙げて説明したが、本発明は、例示の実施形態や変形例に限定されるものではなく、特許請求の範囲の個々の請求項に記載の事項の範囲内で、種々に具体的な構成を変更して実施することができるものである。例えば、本発明による画像の部分拡大は、障害物回避や白線確認等にも適用することができ、そうした場合には、拡大する箇所を自車の角部の画像から近い部分の画像としてもよい。
【図面の簡単な説明】
【図１】本発明を適用した運転支援装置の一実施形態におけるシステム構成を示すブロック図である。
【図２】運転支援装置の撮像装置と距離検出装置の車両への配置を模式化して示す平面図である。
【図３】運転支援装置の撮像装置の設置姿勢を示す説明図である。
【図４】車両の各角部に設置した撮像装置の方向とモニター表示画面の関係を示す説明図である。
【図５】車両角部に対する撮像装置の具体的配設位置と設置姿勢を模式化して例示する断面図である。
【図６】撮像装置の具体的設置位置を例示する車両正面図である。
【図７】自車左前角部を表示するモニター表示画面を例示する画面説明図である。
【図８】運転支援装置のシステム全体の処理フロー示すフローチャートである。
【図９】縁寄せ操作時の処理フローを示すフローチャートである。
【図１０】障害物回避操作時の処理フローを示すフローチャートである。
【図１１】駐車操作時の処理フローを示すフローチャートである。
【図１２】ブラインドコーナー表示の処理フローを示すフローチャートである。
【図１３】自車左前角部を表示するモニター上の対象物の像を例示する画面説明図である。
【図１４】上記対象物を同位置から運転者視線で見たときの比較説明図である。
【図１５】自車左前角部を拡大表示するモニター上の対象物の像を例示する画面説明図である。
【図１６】ブラインドコーナー表示における交差点を例示する見取り図である。
【図１７】ブラインドコーナー表示におけるモニター表示画面を示す画面構成図である。
【図１８】後方死角表示の処理フロー示すフローヂャートである。
【図１９】白線表示時の処理フローを示すフローチャートである。
【符号の説明】
１制御装置
３選択スイッチ（選択手段）
５ディスプレー（モニター）
９車両
１０画像処理装置
１１画像拡大手段
２１ＣＣＤカメラ（撮像装置）
９０バンパー角部（角部）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a driving operation support apparatus that captures information around a vehicle, which is a blind spot of a driver, with an imaging device, appropriately processes the captured image and displays the captured image on a vehicle interior monitor, thereby complementing the driver's field of view.
[0002]
[Prior art]
Since the car has a car body that surrounds the driver's four sides, it is difficult to avoid a blind spot where the driver's field of view is obstructed by the car body part except the window part. It is desirable to eliminate blind spots for avoidance and ensuring safety against moving obstacles. In addition to the direct blind spot generated by the vehicle body, the blind spot that becomes an obstacle to driving includes an indirect blind spot generated on the back side by the topography and the building, and it is desirable to eliminate any blind spot. Therefore, various proposals have been made for apparatuses using video equipment so that information on such blind spots can be obtained indirectly. Among these proposals, there is a technique disclosed in Japanese Patent Application Laid-Open No. 9-142210 which is considered to be particularly effective for covering a wide blind spot range. This prior art is composed of an imaging device that captures information from the outside world and a monitor that displays an image captured by the imaging device. It is attached so as to capture up to one screen. In this case, a captured image is acquired in which a part of the rear end of the vehicle (for example, a bumper) is located on the lower side of the screen and an infinite distance (horizontal line) is located on the upper side of the screen.
[0003]
However, in the method of installing the imaging device in the approximate center of the vehicle as in the above-described prior art, the position of the imaging unit can be set high like a large vehicle, particularly in a vehicle with a low vehicle height such as a passenger car. Can not. For this reason, the angle between the vertical line that descends from the outer edge of the bumper to the ground and the straight line that connects the imaging unit at the upper center of the vehicle and the outer edge of the bumper is increased for the vehicle corner that is most important for obstacle avoidance. As a result, the resulting image looks like an obstacle overlapping the background of the corners of the bumper. As a result, the sense of distance between the corner of the vehicle and the obstacle becomes more difficult to grasp. In addition, since the above-mentioned angle is large, a blind spot portion remains in the very vicinity of the corner of the bumper, so that the nearest short obstacle cannot be confirmed.
[0004]
On the other hand, in order to reduce the distortion of the image and obtain an accurate sense of distance, the blind spots are individually covered by individual imaging devices arranged in each part of the vehicle, and information on each part required according to the vehicle operation is simultaneously Appropriate selection and acquisition according to need is also possible in the technique disclosed in Japanese Patent Laid-Open No. 5-310078. However, in general, the information on the monitor screen is not easy to grasp intuitively and quickly what direction the vehicle corresponds to and what kind of viewpoint it is viewed. When the behavior of the vehicle and the change of the image due to the driving operation are far from each other, even if the information of each part of the vehicle can be simply acquired, they are not always effectively used during the complicated driving operation.
[0005]
[Problems to be solved by the invention]
Therefore, the applicant previously described in Japanese Patent Application No. 10-361908 in order to easily grasp the distance between the corner of the vehicle and the obstacle, Use multiple imaging devices installed at the corners of the vehicle so that the imaging range includes at least the nearby outside world and infinity on the extension of the vehicle's center line, and various depending on the selection and combination of captured images of these imaging devices We proposed a driving assistance device for eliminating blind spots that can provide comprehensive support in various driving situations.
[0006]
Although the arrangement of the imaging device according to this proposal functions effectively in all driving support situations, since a relatively wide imaging range is secured in each imaging device for the above purpose, actual driving It cannot be denied that the perspective with respect to the field of view is particularly emphasized with respect to the image that is captured as the distance from the image of the corner of the vehicle on the image increases. Therefore, when another vehicle approaching a position far from the corner of the host vehicle is imaged in this way, the driver who obtains information from the image intuitively finds that the vehicle approaching from the actual distance is It is easy to misunderstand that it is in a distant position, and such a shift in perspective may not be preferable depending on the support situation.
[0007]
The present invention has been made in view of such circumstances, and blind spot information that can easily grasp the sense of distance by correcting the perspective as required by simple image processing with respect to the driver's field of view. The main purpose is to provide a driving support device that acquires the vehicle.
[0008]
[Means for Solving the Problems]
In order to achieve the above-described object, the present invention provides a left and right side of the vehicle so that the imaging range includes the corner of the vehicle, the external world at least in the vicinity of the corner, and infinity on the extension of the center line of the vehicle. In a driving support apparatus including an imaging device installed at both corners and an image processing device that processes a captured image of the imaging device, the image processing device trims and enlarges a part of the captured image of the imaging device. An image enlarging unit and a unit that superimposes a distance marker on the captured image of the imaging apparatus and sets a display direction of the distance marker based on the direction of the own vehicle and the intersection angle of the road.
[0009]
Specifically, it is effective that the driving support apparatus includes a function selection unit of the image processing apparatus, and the image enlargement unit operates according to function selection by the selection unit.
[0010]
Further, the imaging device is installed at both left and right corners of the own vehicle, and the image enlarging means is installed at both the left and right corners of the own vehicle according to function selection by the selection means and selects one of the captured images of the imaging device. It is effective to adopt a configuration that expands.
[0011]
Further, it is effective that a part of the image magnified by the image enlarging means is an image of a portion far from the corner image of the own vehicle.
[0012]
Further, it is effective that the angle of view of the enlarged image by the image enlarging means is set so as to approximate the angle of view of the actual field of view.
[0013]
[Action and effect of the invention]
In the configuration according to claim 1, in order to eliminate the blind spot in the vicinity of the host vehicle, it is possible to acquire a wide range of information from the corner of the host vehicle to an infinite distance so that a certain amount of distance difference from the actual field of view can be obtained. The captured image of the imaging apparatus that cannot be avoided is partially cut out and enlarged, whereby an image close to the real field of view can be generated by simple image processing.
[0014]
Next, in the configuration according to claim 2, since the partial image is enlarged only when necessary according to the function selection, it can be applied to a device that performs comprehensive driving support assuming various situations. Thus, integration with other driving support functions becomes easy.
[0015]
Furthermore, in the configuration according to claim 3, since it is possible to obtain a screen in which the sense of distance is corrected by enlarging an image using images near the left and right corners of the own vehicle, in particular, an intuitive grasp of the sense of distance can be obtained. It is possible to correct a sense of distance that is effective in eliminating blind spots at blind corners.
[0016]
Further, in the configuration according to the fourth aspect, it is possible to enlarge a distant image that is remarkably reduced with respect to the immediate vicinity of the own vehicle, so that it becomes more effective to correct the sense of distance.
[0017]
In the configuration of claim 5, the perspective obtained from the real field of view and the perspective on the image can be substantially matched, and the intuitive sense of distance based only on the image is more in line with the actual situation. And the support becomes more effective.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the system configuration of the driving support apparatus. This apparatus mainly includes a control apparatus 1 including an image processing apparatus 10 that performs image processing including an image enlarging means 11 that enlarges a partial image, which is a subject of the present invention, and an input apparatus that captures various types of information necessary for control. 2 and a selection switch 3 that appropriately selects a function that the driver needs for driving operation, and further includes a database 4 and a display 5 so that information can be exchanged with the navigation device. It is connected to the navigation ECU 6 of the navigation device. Thus, in this embodiment, the display 5 is used as a monitor for displaying information on the apparatus. In addition, about the selection switch 3 in a figure, the form of the voice input system using the touchscreen system using the display 5 of a navigation apparatus or the speech recognition apparatus can also be taken.
[0019]
As shown in the schematic plan view of the arrangement in the vehicle in FIG. 2, as an imaging device constituting one of the input devices, a CCD camera 21 indicated by a circle in the drawing (hereinafter abbreviated as a camera, when distinguishing individual cameras) , An abbreviation C with a suffix indicating a position instead of a sign _FL, C _FR, C _RL, C _RR, C _ML, C _MR The obstacle detection sensor 28 (also abbreviated as S) is installed at the four corners of the vehicle and in the middle of the left and right sides, and as a distance detection device indicated by Δ. _FL, S _FR, S _RL, S _RR, S _ML, S _MR , S _FM, S _RM Is installed in the vicinity of the same position as the camera 21, and is also installed in the center of the front and rear end portions. As these distance detection devices 28, known devices that directly detect distances such as an ultrasonic sensor, a laser, and a millimeter wave radar are used. By processing the captured images of the plurality of cameras 21 in the control device 1. As a calculation means for obtaining the distance indirectly, it is possible to adopt a form in which a dedicated detection unit is eliminated.
[0020]
Various types of image processing including partial enlargement of an image that is the subject of the present invention, image information necessary for performing various operations in driving, for each camera 21 in a state where the driver is sitting in the driver's seat It is established on the premise that it can be acquired so as to match the sense of view. Therefore, the image pickup apparatus as the acquisition means is characterized by the mounting method of the camera 21, more specifically, the installation posture and the installation position.
[0021]
As schematically shown in FIG. 3, the blind spot range that is not physically visible to the driver sitting in the driver's seat is a point D on the road surface, excluding a portion that cannot be seen by the door window frame and the pillar that supports the roof. _FL , D _FR , D _RR , D _RL The area enclosed by is a hatched area. On the other hand, in order to cover this invisible range and match the obtained image information with the driver's senses, each camera 21 has an upper position on the captured image as the first feature point of the installation posture. With the attitude (Co) facing the front of the vehicle and the optical axis directed vertically downward as a reference, depending on the front, back, left and right of the arrangement position relative to the vehicle, the reference posture is inclined in the front-rear, left-right direction, At least the edge of the vehicle, that is, the front and rear end portions for the front and rear, and the left and right end portions for the left and right are installed.
[0022]
Specifically, with respect to each camera 21 installed at the corner of the vehicle, the corner of the vehicle body as the edge of the vehicle corresponding to the installation position, the periphery of the vehicle including the vicinity thereof, and the infinite distance can be looked down simultaneously. Install in the direction. The corners of this vehicle are rounded off due to design in particular in recent passenger cars, etc., so it is not always obvious, but the corners of the vehicle referred to in the present invention means that the vehicle is flat. Means the vicinity of the edge including the outermost edge when viewed in, more specifically, the range in which the front end and side end or rear end and side end of the vehicle can be estimated, for example, When a corner is a bumper, the roundness of the corner of the bumper is reduced to a curvature that is almost a straight line, so that the front edge and side edge of the vehicle or the side edge or The range in which the rear end and the side end can be estimated. Therefore, the image example P of the camera at each corner is shown in FIG. _FL, P _FR, P _RL, P _RR As shown, each camera C includes a range in which the extension of the front and rear ends and the left and right ends of the vehicle body can be estimated. _FL, C _FR, C _RL, C _RR Set the posture. In the figure, the abbreviation W _LL , W _LR Is the white line on the road, W ' _LL , W ' _LR Indicates a white line on the video, and reference numeral 90 'indicates a bumper as a corner of the vehicle on the video. In this case, although the mounting position of the camera 21 will be described in detail later, generally, the camera 21 is installed at a height as high as possible in each necessary portion of the vehicle body to ensure a wide field of view.
[0023]
As a second characteristic point of the installation posture, the horizontal direction of the camera 21 is substantially the same as the direction of the line of sight when the driver sits in the driver's seat and looks at the necessary direction as shown in FIG. The direction, that is, the optical axis X is installed in a posture facing substantially the same direction as the direction of the vertical plane including the straight line connecting the driver and the camera 21, and the optical axis is related to the posture according to the first feature. The point where X intersects the ground is point A in the figure. _FL, A _FR, A _RL, A _RR It becomes. As a result, the vertical angle of view range covered by each camera 21 is set to α. _F , Α _R , The horizontal angle of view range is α _FL , Α _FR , Α _RL, α _RR It shows with. The straight line connecting the driver and the camera 21 differs depending on the driver's physique and the desired posture, and the seat slide position and the reclining inclination differ depending on the posture of the driver. The direction changes accordingly, and the direction of the vertical plane including the straight line also changes. However, the direction substantially the same as the direction of the vertical plane is the difference in the position and posture of the driver. It only needs to be in the same direction within a range that allows the deviation of the direction due to the change, for example, by statistically calculating a standard position that considers all these factors and determining the position of the driver, The direction may be set accordingly.
[0024]
Then, if the horizontal axis on the video of the camera 21 is set to be horizontal as it is, referring to FIG. _FL The white line W on the road surface parallel to the host vehicle. _LL However, the image crosses the screen diagonally from the lower left (or lower right) to the upper right (or upper left). Therefore, as a third feature of the installation posture, the camera 21 is installed in a posture inclined around the optical axis X. For example, the camera on the left side with respect to the vehicle is tilted clockwise by twisting to the right around the optical axis. As a result, the screen is oriented so that the forward direction matches the driver's sense as shown in FIG. Specifically, the image P _FL Is the camera C installed at the left front corner _FL The left front corner portion 90 ′ is imprinted in the lower right corner, and the straight white line W ′ in the forward direction is shown. _LL Appears in a straight line from the lower center of the screen to the upper right side of the screen. _LL You will be able to feel the angle and perspective when you see. Furthermore, this image is, for example, the front left image P. _FL And front right image P _FR Is placed on the left and right of the screen at the same time, the image P at that time _FL Upper left lane on the left lane W ' _LL And image P _FR Upper lane right white line W ' _LR However, it is an arrangement that seems to cross at infinity, as if the front was shot with one camera. The inclination given to the screen in this way is the same for the right side and the rear left and right.
[0025]
Next, regarding the installation position of the imaging device, the camera C to the left front corner is shown in FIGS. _FL In this embodiment, the camera C is attached as shown in FIG. _FL Is configured to be incorporated in a side lamp 92 that is integrated with the headlamp 91, so that it can be attached to an existing vehicle at a low cost with a slight modification. Note that this position is not limited to this arrangement, and the lamp may be made smaller and incorporated in the remaining space, or incorporated in an outer plate other than the lamp, and directly attached to the surface of the vehicle body. As a result, as described above, the camera C _FL The vehicle periphery and infinite distance are captured simultaneously with the vehicle body's left front corner outermost edge (left corner of the front bumper in the figure) 90 immediately below. Depending on the model, the vertical angle of view α _F The angle of view α in the horizontal direction is about 90 ° to slightly larger than that. _FL The camera C with a wide-angle lens that can secure a degree of about 90 ° to slightly larger than that _FL Is required. However, if the angle of view is too wide, the deviation from the sense of distance of the entity seen by the driver increases, so there is a limit naturally. Therefore, in this embodiment, as an example, the angle of view α in the vertical direction _F 97 °, angle of view α in the horizontal direction _FL Camera C with 125 ° _FL Is used.
[0026]
With such an installation posture and installation position, a natural image that facilitates subsequent processing can be obtained. Figure 7 shows the camera C at the left front corner of the vehicle. _FL Image P of _FL A detailed example is shown. In the figure, the white line W in the direction of travel drawn on the road surface _LL And the white line W perpendicular to it _LC This shows how the image looks when the left front corner of the vehicle is aligned vertically above the intersection. In this screen, the white line W ′ on the right side of the direction of travel of the vehicle is based on the bumper corner 90 ′ of the vehicle. _LR Vehicle lane L 'including ₁ , Left lane L ' ₂ , Further orthogonal white line W ' _LC It is possible to look over a wide range up to the left side and copy infinite distance (indicated by a broken line in the figure) to the entire left and right width of the screen. And in the infinite distance shown in the entire left and right width in this way, the front of the vehicle, that is, the infinite distance on the extension of the center axis in the longitudinal direction of the vehicle, is included. It is displayed horizontally above the bumper corner 90 '.
[0027]
Next, the monitor as the display means uses the display 5 of the navigation device in this embodiment. These monitors are installed near the instrument panel in front of the driver. And when the driver looks into this screen, the upper part of the screen is considered as a physical top, and at the same time, traffic signs and guide maps on the road are all shown with the upper part of the display surface pointing forward. As you can see, it will naturally be recognized as the front in the direction of travel. It is also natural that the lower part of the screen is regarded as the physical bottom and at the same time recognized as the rear. In view of this, the screen display of the present embodiment is based on such recognition in principle.
[0028]
The posture of the camera 21 for such screen display is as described above, and in particular, the camera C behind the vehicle. _RL , C _RR The direction of is attached so-called upside down. That is, as shown in FIG. 3, first, a camera C that looks down directly below with the optical axis aligned with the vertical line in the state where the driver is sitting in the driver's seat and the front of the vehicle body is on the upper side of the screen. _O The camera C is tilted to the left and to the right around the optical axis. _FL Similarly, the camera C is tilted forward and to the right and further to the left around the optical axis. _FR It is. Similarly, the camera C is tilted backward and to the left and right, and twisted to the left and right around the optical axis. _RL, C _RR It is. However, in the drawing, the inclination in the front-rear direction and the inclination in the left-right direction are shown, and the twist about the optical axis is not shown. When the posture is set as described above, a desired screen can be obtained by simply displaying it on the display 5 as it is. With regard to this point, it is conceivable to create a mirror image such as looking through a so-called rearview mirror, where the rear side is photographed with a camera, and the image information is reversed and displayed on a monitor. This device does not take this form because it is not suitable. As shown in FIG. 4, the image obtained in this way is a white line W ′ on the left and right on the screen. _LL , W ' _LR Is the actual white line W as seen from the driver's position _LL , W _LR It will match the direction of.
[0029]
As a general rule, the image information obtained in this way should be displayed in the minimum necessary according to the driver's function selection. It is provided as assistance information to the driver by displaying the image on the monitor after performing image processing according to the situation. Image processing in this system is classified into superimposition of auxiliary information, image connection, image enlargement, and the like.
[0030]
FIG. 8 shows a processing flow of the entire system configured in accordance with this purpose. This system is basically divided according to the type of driving operation. In the figure, the margining operation indicated by the symbol A with a circle, the obstacle avoiding operation indicated by B, and the parking operation indicated by C hereinafter. , D, a blind corner operation, E backward blind spot confirmation, and F white line confirmation.
[0031]
In order to realize the above support contents A to F, in the first step S-1, data is read from the input device 2 of the system shown in FIG. Then, in the next step S-2, the function to be operated is divided in consideration of safety and necessity according to the speed range. That is, when the determination of the low vehicle speed range is established from the input of the vehicle speed sensor 25, the selection SW (switch) is turned on in the next step S-3. Screen display according to the selection of the obstacle avoiding operation, the parking operation of C, or the blind corner operation of D. On the other hand, when the determination of the low vehicle speed range in step S-2 is not established, the display processing of the rear blind spot confirmation of E and the white line confirmation of F is performed. For the detailed speed range, different standards are required for each function, but specific settings thereof may be individually set by test evaluation or the like.
[0032]
Next, when one of the switches A to D is selected at the low vehicle speed, the function corresponding to the selected SW is activated. Since these functions are basically independent functions, they are configured so that a plurality of functions cannot be selected. Even when the switch is not selected, the display function of the obstacle avoidance operation of B and the blind corner operation of D is configured to operate automatically in consideration of safety. These are indicated by symbols B ′ and D ′ marked with ○ in the drawing. In the middle and high speed range, the white line confirmation function of F leads to the backward blind spot confirmation function of E. These individual functions are described below.
[0033]
The edge adjustment operation of A is performed on the condition that the driver selects edge adjustment by the selection SW shown in FIG. The processing flow by this selection is shown in FIG. The margining operation is limited to low vehicle speeds and is not operated at high vehicle speeds. This is because such a close-up operation is dangerous when traveling at high speed, and the image information itself may disperse the driver's attention. First, when it is intended to stop as close as possible to the groove on the left side during forward traveling, the driver selects “left-justified” SW. This selection is determined in step SA-1. If the vehicle speed falls below the preset vehicle speed in this state, the forward traveling is established based on the determination in step SA-2. _FL (The processing here refers to the vehicle's outermost line L into the image. _BL Means superimpose). Therefore, the driver aims at the groove on the screen and the leftmost outer line L _BL By operating to match, the edges can be easily aligned. When the alignment is finished and the shift lever is put into the “P” range position, the input of the position SW (switch) 23 is determined in step SA-11, the selection SW is canceled in step SA-12, and the alignment is performed. Support is complete. In addition, the release condition may be a certain period of time for stopping the vehicle when the shift lever is in the “N” range position, a certain period of time for stopping the vehicle when the brake SW (switch) is turned on, or an engine stop. If it is necessary to move backward depending on the situation during the rim adjustment operation, if the shift lever is set to the “R” range position, the determination at step SA-2 by the input of the position SW (switch) 23 is made according to step SA-5. The image is P _RL Instead, it will be a reverse support screen. In particular, in the case of reverse, the front left corner of the vehicle swings left and right. _FL , P _RL It is effective to adopt a display method for displaying the images simultaneously. The above description is based on the premise of a general front wheel steering mechanism. However, in the case of a four-wheel steering mechanism employed in some vehicles, as shown in the upper right of FIG. It is effective to display images simultaneously.
[0034]
On the other hand, if it is desired to bring the vehicle to the right depending on the situation, the right-justification judgment in step SA-1 is established by selecting “right-justification” SW, and step SA-6 or step depending on the forward / backward judgment in step SA-3. The screen display is SA-7. Also, when passing on a narrow road or passing through a place that is narrow due to obstacles, etc., if the “edge alignment” SW is selected in the center, the image can be judged by step SA-1 and step SA-8. P _FL And image P _FR Or image P _RL And image P _RR Left or right image P, either forward or backward, trimmed and connected _FL-R , P _RL-R Can be displayed on one screen at the same time in step SA-9 or step SA-10, so that assistance suitable for the driving operation can be performed. Note that the screen other than the left edge alignment selection in FIG. 9 is shown by simplifying the screen by omitting a part of the captured image, and the actual display screen includes the captured image in the same manner as the left edge alignment screen. It will be a thing.
[0035]
In the case of the obstacle avoidance operation of B, according to the processing flow shown in FIG. When the driver operates the selection SW (for example, “front left” etc.) shown in FIG. 1, the corresponding corner image (for example, FIG. 7) is determined in step SB- 2 according to the determination in step SB- 1. Is displayed. At that time, based on the input of the steering angle sensor 26, the predicted trajectory of the vehicle body corner corresponding to the steering angle and the forward / backward travel is superimposed. This display is terminated by the release processing for all corners SW in step SB-4 when all the detection distances of the distance sensor 28 are equal to or greater than the reference value as determined in step SB-3. If the switch is not selected, the process proceeds to B ′ according to the determination at step SB-1, and one or more detection distances of the distance sensor 28 at each corner are equal to or less than the reference value according to the determination at step SB-5. If the distance is approaching as determined in SB-6, the image of the corresponding corner is displayed in step SB-7 and the driver is warned in step SB-8.
[0036]
In the case of the parking operation of C, the processing flow of the operation shown in FIG. 11 is followed. In this case as well, as in the case of the above-described two operations, assistance is only provided at low vehicle speeds. This flow is “P” as parking SW shown in FIG. _L "Or" P _R The driver selects “.” In the case of left rear parking, the driver _L “SW, or“ P ”for parking at the right rear _R “SW is selected. In the case of left rear parking according to the determination of step SC-1 according to this selection, when the determination of step SC-2 is forward by the input of the position switch 23, step SC− 4 left rear image P _RL Parking frame range Z _I Over the range Z _I When the driving operation is performed so that the actual target parking space U ′ enters, the vehicle can be taken to the reverse start position where the vehicle can enter the parking position without turning the steering wheel. When the driver confirms this state and puts the shift lever in the reverse direction, in step SC-5, the rear two images P are processed by the same process as the image connection process described above. _RL , P _RR Are simultaneously displayed on the screen, and a predicted trajectory line corresponding to the steering angle is superimposed on each corner. The driver refers to this and performs the driving operation so as to enter the actual target parking space U ′ shown on the screen. This flow is terminated by releasing the switch in step SC-9 based on the shift determination to the parking range in step SC-8.
[0037]
In the case of the blind corner operation of D, the outline processing flow of blind corner display shown in FIG. 12 is followed. As described in the main flow, this flow operates only at low vehicle speeds. Then, on the condition that the blind SW ("front left", "front right", "rear left", "rear right") shown in FIG. Depending on whether the position switch 23 is input or not, the screen described below is displayed at step SD-3 or step SD-4.
[0038]
The first display screen is a partially enlarged screen according to the subject of the present invention. FIG. 13 shows a live-action screen corresponding to FIG. The vehicle in this case is located at a position 5 m in the lateral direction from the front end of the host vehicle. However, as is apparent from comparison with FIG. In this way, there is a considerable gap between the captured image from the camera at the corner of the vehicle and the actual sense of distance. In view of this, in this embodiment, image enlargement processing for trimming and enlarging a part of the captured image of the corner camera is performed. Specifically, in this processing, an image of a portion far from the corner of the own vehicle on the image is trimmed, and enlargement is performed so that this is displayed on the entire screen. FIG. 15 shows such a process, more specifically, an arbitrary portion surrounded by an imaginary line in FIG. _A This is an example in which the display screen is enlarged with respect to the captured image by trimming and full-screen display, and a clear correction effect is recognized in comparison with FIGS. 13 and 14. By displaying the enlarged screen in this way, the assistance in the blind corner where the feeling of distance particularly affects the safety is made more effective.
[0039]
Note that the trimming of the enlargement range is not limited to the method of keeping the horizontal and vertical with respect to the original image capture frame as described above, but may be performed obliquely with respect to the frame. Such a technique is effective for enlarged display in which the posture of an object that appears to be tilted on the original captured image is corrected. Furthermore, in order to bring the shape of the magnified image itself closer to real vision, _B As shown in FIG. 8, the enlargement range may be an arbitrary shape, and by doing so, it is also possible to correct distortion in a straight line when an enlarged screen is obtained. T _B The trimming shape is merely an example, and does not necessarily represent a shape for correcting straight line distortion. In addition, the enlargement ratio is related to the screen size of the monitor to be displayed, and it is not discussed uniformly. However, if these restrictions are ignored, it can be grasped from the driver's viewpoint. The optimum method is to match the angle of view with respect to the size and the angle of view of the object on the monitor screen.
[0040]
On the other hand, as shown in FIG. 13, this display screen is the same as the captured image as shown in FIG. _FL-R Or screen P _RL-R A connection screen as shown in FIG. Screen P _FL-R Is the front left image P _FL And front right image P _FR Car picture M _I Is placed at the position corresponding to the distance marker L _K Is superimposed. And this distance marker L _K Indicates the driver's gaze direction, making it easier to understand the point of gaze. In the figure, the symbol N ′ indicates a visual field obstacle.
[0041]
By the way, the intersections are not only orthogonal, but there are many cases where the direction P of the road intersecting with the direction O of the host vehicle is inclined as in the example of FIG. 16, and in such a case, FIG. As shown, the distance indicator L corresponding to the crossing angle for each of the left and right images _K When is displayed, it becomes easier to understand. The example in the figure shows the distance marker L when the intersection angle is β _KB Display direction β _L, β _R A one-dot chain line L indicating a distance marker at an orthogonal intersection _K It is shown in contrast with. This value is uniquely determined from β, which is understood from the navigation data, and the specifications of the camera 21 and the specifications mounted on the vehicle body. In this case, the intersecting road is a straight line, but it may be bent or broken. _K Set the display direction and display distance. In this case, if the direction of the vehicle is accurately detected by the direction sensor 29 (see FIG. 1) such as a gyroscope or a compass mounted on the vehicle, the distance indicator L is combined with the map data in the database 4 (see FIG. 1). _K Can be accurately displayed. The driver can check the left and right safety with reference to this image and move forward.
[0042]
In the case of this blind corner operation, even if the blind SW is not selected in the determination in step SD-1, the process of D ′ is executed, and in step SD-7, there is no intersection by the navigation information based on the database 4. When it is determined to enter, the image display is similarly performed to support driving. Further, even if step SD-7 is not established, it is determined that the line of sight is bad even if the detection distance of the obstacle sensor 28 is equal to or smaller than the reference value in step SD-8, and an image is displayed.
[0043]
In the backward blind spot confirmation of E, the display flow shown in FIG. This display indicates the blinker operation in step SE-3 when the vehicle is traveling at a speed higher than the set vehicle speed, two lanes or more on one side in step SE-1 as determined from the navigation information, and not near the intersection in step SE-2. When it is determined, it is executed by determining that it is overtaking or interrupted, and the corresponding rear image is displayed in step SE-4 or step SE-5. In this case, it is also effective that the rear image is a connection image. The driver performs a driving operation with reference to this image. Regarding lane determination, the number of lanes on the road on which the vehicle is traveling, the lane on which the vehicle is traveling, etc. can be easily understood by using the white line detection technology described later. Moreover, the same can be easily performed using a signal of an optical beacon installed on a main road. Even by using these pieces of information, it is possible to easily determine overtaking or interruption in combination with the winker operation. Of course, when combined with navigation information, it is natural that information accuracy is further improved.
[0044]
The white line confirmation of F is a processing flow shown in FIG. As a condition, when the headlight lighting judgment at step SF-1 is established at a certain vehicle speed or more and the wiper operation judgment at step SF-2 is established, it is judged that the vehicle is traveling in the rain at night, and step SF- The side lamp is turned on at 4 to irradiate the road surface ahead from the left side, and a connection image is displayed at step SF-5. In the above flow, if judgment at night or in the rain is not established, the process proceeds to the processing process for confirming the blind spot at the rear. Will jump back and display the rear blind spot screen. In addition, lighting of the side lamp is not necessarily a necessary condition. This is because the front left and right cameras C _FL, C _FR Since the direction of the optical axis differs greatly, even if the light of the oncoming vehicle is specularly reflected on the water film, it will not enter the CCD of the camera and will not be dazzled, and the reflected light from the white line will be irregularly reflected. It is because it is possible to catch it. Therefore, it is possible to detect sufficiently from the side of the own vehicle to the front slightly by using the illumination of the oncoming vehicle, the following vehicle, the adjacent vehicle, and the own vehicle. Thus, the side lamp lighting is for making it easier to see.
[0045]
Note that the connection image of this embodiment can also be used for detection of white lines. The specific method for detecting the white line is well known and will not be described, but most of them have a camera installed in the vicinity of the windshield in the vehicle interior. On the other hand, in this device, white line detection can be performed using the two cameras at the left and right corners of the vehicle provided for blind spot detection as described above. This makes it possible to accurately detect the relative positional relationship with the vehicle body by detecting the horizontal white line in the vicinity of the vehicle using the horizontal field of view characteristic of the connection image, and the white line As explained in the display, there are advantages such as being detectable even when it rains at night or in fog. Moreover, it is inexpensive because it is shared with other functions.
[0046]
As described above, for the sake of convenience of understanding the technical idea of the present invention, some modifications have been described based on one embodiment, but the present invention is not limited to the illustrated embodiment or modification. Various specific configurations can be changed and implemented within the scope of the matters described in the individual claims. For example, partial enlargement of an image according to the present invention can also be applied to obstacle avoidance, white line confirmation, etc. In such a case, the enlarged portion may be an image close to the corner image of the own vehicle. .
[Brief description of the drawings]
FIG. 1 is a block diagram showing a system configuration in an embodiment of a driving support apparatus to which the present invention is applied.
FIG. 2 is a plan view schematically showing an arrangement of an imaging device and a distance detection device of a driving support device on a vehicle.
FIG. 3 is an explanatory diagram illustrating an installation posture of the imaging device of the driving support device.
FIG. 4 is an explanatory diagram showing the relationship between the direction of an imaging device installed at each corner of a vehicle and a monitor display screen.
FIG. 5 is a cross-sectional view schematically illustrating a specific arrangement position and installation posture of an imaging device with respect to a vehicle corner.
FIG. 6 is a vehicle front view illustrating a specific installation position of the imaging apparatus.
FIG. 7 is a screen explanatory view illustrating a monitor display screen that displays the left front corner of the host vehicle.
FIG. 8 is a flowchart showing a processing flow of the entire system of the driving support device.
FIG. 9 is a flowchart showing a processing flow at the time of edge alignment operation.
FIG. 10 is a flowchart showing a processing flow during an obstacle avoidance operation.
FIG. 11 is a flowchart showing a processing flow during a parking operation.
FIG. 12 is a flowchart showing a processing flow of blind corner display.
FIG. 13 is a screen explanatory view illustrating an image of an object on a monitor displaying the left front corner of the own vehicle.
FIG. 14 is a comparative explanatory diagram when the object is viewed from the same position with the driver's line of sight.
FIG. 15 is a screen explanatory view illustrating an image of an object on a monitor that enlarges and displays the left front corner of the host vehicle.
FIG. 16 is a sketch illustrating an intersection in a blind corner display.
FIG. 17 is a screen configuration diagram showing a monitor display screen in a blind corner display.
FIG. 18 is a flowchart showing a processing flow for displaying a rear dead angle.
FIG. 19 is a flowchart showing a processing flow during white line display.
[Explanation of symbols]
1 Control device
3 Selection switch (selection means)
5 Display (monitor)
9 Vehicle
10 Image processing device
11 Image enlargement means
21 CCD camera (imaging device)
90 Bumper corner (corner)

Claims

And the vehicle corners, and at least near the outside of the corner portion, and an imaging device installed and infinity on self-vehicle center line extending in the left and right corners of the host vehicle so as to include the imaging range, the In a driving support device including an image processing device that processes a captured image of an imaging device,
The image processing device includes an image enlarging unit that trims and enlarges a part of the captured image of the imaging device, and a distance marker superimposed on the captured image of the imaging device, so that the direction of the vehicle and the intersection angle of the road are set. A driving support apparatus comprising means for setting a display direction of a distance marker based on the driving distance .

As well as we have a selection means of functions of the image processing apparatus,
The image enlarging means is a driving support apparatus according to 請 Motomeko 1 you operate according to the function selected by the selection means.

Before Symbol image enlarging means, driving support apparatus according to 請 Motomeko 2 you expanded by selecting one of the captured image of the installed imaging device on the left and right both corner portions of the vehicle according to the function selection by the selection means.

The image portion of the image to be enlarged by enlarging means, the driving support apparatus according to any one of the image Der Ru請 Motomeko 1-3 distant portion from the image of the corner portion of the vehicle.

The angle of the enlarged image by the image enlargement unit is driving support device according to any one of 請 Motomeko 1-4 that will be set by approximating the angle of view of real field of view.