JP6635428B2 - 自動車周辺情報表示システム - Google Patents

Description

本発明は、特に自動車等の車輌において乗員に自車両の周囲の状況を表示する自動車周辺情報表示システムに関する。

従来、自動車周辺情報表示システムとしては、自動車等の車両に搭載されて、運転者に地図情報を表示して目的地までの案内するナビゲーション装置２が知られている。ナビゲーション装置２は、地図データベースに地図情報を格納しており、ＧＰＳ衛星から受信したＧＰＳ情報を用いて車両の現在位置を特定し、目的地に至るまでの地図を読み出して自車両の走行に伴って刻々と表示している。

しかし、地図情報は道路を主体とした情報であり、画面においては情報量が極めて少ない部分が多々存在していると不効率な画面となる。そのため、道路情報に加えて、地図の表示画面上に追加の情報を画面に重ねて表示するナビゲーション装置が知られている（例えば、特許文献１及び特許文献２を参照）。

特開２００１−９９６６６号公報 特開２００１−４２０２６号公報

しかし、上記の特許文献による従来技術は、地図を表示する上で情報の少ない領域に、アニメーション若しくは一般的な動画像、又は静止画やテキストデータ等の情報を表示することで、地図の表示画面に変化を持たせて、ユーザーが倦厭感を抱き難い車載用ナビゲーション装置を提供するものである。

したがって、このようなナビゲーション装置が表示する情報は、表示可能な領域があれば表示するという付加的な情報であるために、ユーザーが車両を運転する上で、又は自動運転の車両にあってはユーザーが自動運転状況を確認する上で必ずしも必要な情報とは限らない。

また、近年、道路交通の安全をより一層向上させるための自動運転システムの研究開発が進められているが、このシステムは、自動車が周囲の環境を認識して自動走行するものである。我が国では、自動車等の車輌の自動走行システムについて、その自動化レベルがレベル１からレベル４まで４段階に分けて定義されている。レベル１は、加速・操舵・制動のいずれかを自動車が行い、安全運転支援システムと呼ばれる。レベル２は、加速・操舵・制動の内複数の操作を同時に自動車が行い、準自動走行システム（半自動運転）と呼ばれる。レベル３は、加速・操舵・制動を全て自動車が行い、緊急時のみドライバーが対応する状態で、これも準自動走行システムと呼ばれる。レベル４は、加速・操舵・制動を全てドライバー以外が行い、ドライバーが全く関与しない状態で完全自動走行システムと呼ばれる。また、レベル２からレベル４までを自動走行システムとも呼んでいる（「ステップＳＩＰ（戦略的イノベーション創造プログラム）自動走行システム研究開発計画」、２０１４年１１月１３日、内閣府、政策統括官（科学技術・イノベーション担当））。尚、本明細書においての「自動運転」とは、基本的に上記レベル１からレベル４までの全自動化レベルの自動走行を言うものとする。

このような自動走行システムでは、自動車の搭乗者は、自車両が認識している周囲の状況を把握しておくことで、自動運転状態の信頼性を確認したい要望がある。

本発明は、上記点に鑑み為されたもので、その目的は、自車両の周辺のリアルな状況を地図上に重ねて表示することができる自動車周辺情報表示システムを提供することにある。

本発明の自動車周辺情報表示システムは、自車両から外部の状況を検出するセンサー装置と、前記自車両の現在位置及び進行方向を特定して前記現在位置を含む周辺地域の地図データを地図データベースから読み出すナビゲーション装置と、前記センサー装置が検出するセンサー情報から検知対象物の存在を検出すると共にその種別を判別する対象判別部と、前記センサー情報から前記自車両を基準とする前記検知対象物の位置情報を求める位置検出部と、前記対象判別部が検出した検知対象物に関する前記位置情報が示す前記地図データ上の位置に、当該検知対象物に対応するアイコンを重ねた地図画像を生成する画像生成部と、前記地図画像を表示する表示装置と、を備えることを特徴としている。

そして、前記センサー装置は、前記自車両の外部の画像を撮像するカメラを含む構成の場合には、前記対象判別部は、前記カメラの撮像画像からパターンマッチング処理により前記検知対象物の存在を検出する。さらに、前記カメラをステレオカメラによって構成すれば、前記位置検出部は、前記ステレオカメラの画像から前記検知対象物の位置情報を算出するとよい。

また、前記対象判別部は、前記画像の輝度情報を基にして、白線又は黄線による車線ラインを検出するとよい。そうすることで、前記対象判別部が、前記検知対象物として前記自車両に先行する先行他車両と対向してくる対向他車両とを検出したとき、前記画像生成部は、前記地図データにおける自車両が走行する道路に模式的に前記車線ラインを表示し、車線を区別して前記先行他車両と前記対向他車両との各前記アイコンを表示する前記地図画像を生成することができる。

前記対象判別部は、前記画像から検出した前記検知対象部以外のオブジェクトを除去すれば、前記位置検出部は、前記検知対象物の位置情報だけを短時間で求めることができる。

一方、前記センサー装置は、ミリ波レーダー、マイクロ波レーダー、レーザーレーダー、赤外線センサー、超音波センサーの何れか一つ又はその組み合わせで成るレーダーセンサーを含む構成の場合には、前記位置検出部は、前記レーダーセンサーが検知する前記自車両と前記検知対象物との間の距離情報に基づいて、当該検知対象物の位置情報を求めることができる。

さらに、他車両との間で車両間通信を行って、当該他車両に関する位置情報と車両属性情報とを入手する通信装置を備えるとよい。そうすることで、前記画像生成部は、前記地図データ上の前記位置情報に対応する箇所に前記車両属性情報に対応するアイコンを重ねた地図画像を生成することができる。この車両間通信は、自車両と他車両との間で直接又は通信回線を通して、中継センターを経由して間接的に行ういずれの場合も考えられる。

本発明の自動車周辺情報表示システムによれば、ナビゲーション装置が出力する自車両の現在位置周辺の地図データ上に自車両のセンサー装置が認識している周囲の状況を重ねて表示することで、自動車の搭乗員は周囲の状況を鳥瞰的に判断することができる。

本発明の好適な実施形態による自動車周辺情報表示システムの構成全体のブロック図を示す。 センサー装置の配置構成の一例を説明する平面図を示す。 本発明に係る自動車周辺情報表示システムの動作を説明するフローチャートを示す。 （ａ）はナビゲーション装置が示す地図データによる画像の模式的な説明図を示し、（ｂ）はこの画像に周囲の状況をアイコンで重ねて表示する画像の説明図を示す。 自車両の前方の周囲状況を例示的に示す。 車両間通信の動作を説明するシステム構成図を示す。 車両間通信で伝達するメッセージのデータフレームの構成を模式的な説明図を示す。 車両間通信で入手した他車両の状況を地図データ上に表示する動作を説明するフローチャートを示す。

以下、本発明の自動車周辺情報表示システムの実施の形態を図面に基づき説明する。

図１は、自動車周辺情報表示システム１の構成全体を概念的にブロック図で示している。車輌用画像表示システム１は、ナビゲーション装置２、センサー装置３、通信装置４、表示装置５、コントロールユニット６を備えている。

ナビゲーション装置２は、ＧＰＳ（グローバル・ポジショニング・システム）１１から受け取るＧＰＳ情報に基づいて、搭載される自車両の位置及び進行方向を特定する。そして、ナビゲーション装置２は、地図データベース２Ａを備えており、地図データベース２Ａから特定した自車両の位置を含む地域の地図データを読み出す。

センサー装置３は、自車両の周囲の状況を検知するもので、本例では図２に示すように、自動車１４の進行方向の前方の視界を捉えるために、フロントウインドシールド１５に配置されている一対のフロントカメラ１６，１７から成るステレオカメラ１３と、自動車１４の後続車を検知するためにリアウインドシールド１９に配置されているミリ波によるレーダーセンサー１８とを備えている。

センサー装置３にステレオカメラ１３を用いることで、自動車１４の前方の検知対象物を立体的に認識でき、そしてカメラ１６，１７の画角を広角化することで、前方の側方から飛び出してくる検知対象物も確実に検知できるようにしている。また、レーダーセンサー１８に代えて又は追加してリアカメラを配置してもよい。

通信装置４は、自車輌の周囲を走行又は駐停車している他車両との通信により、当該他車両の位置や進路、走行状態情報を受信する。また、通信装置４は、信号機や道路際に設置された通信機器（路側機）から信号機情報、規制情報、歩行者情報、事故車情報などのインフラのデータも受信可能に構成している。このような、インフラからの情報は、図示しないが、インターネットや公共放送を通じた交通情報センターとの間の無線通信によっても入手することができる。

コントロールユニット６は、ＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータで構成されており、ＣＰＵは、ＲＯＭに格納されている制御プログラムを実行することで、上記の各装置を制御するのに加えて、対象判別部７、位置検出部８、画像生成部９としてそれぞれ機能する。

対象判別部７は、ステレオカメラ１３の各カメラ１６，１７からそれぞれ送られてくる画像を解析して、車両（各種の自動車・自動二輪・自転車等）や人等（以下、検知対象物と称す）の存在及び車線を検知する。

この場合、対象判別部７は、検知対象物の検知については、パターンマッチング処理を行うことで、画像の中から検知対象物の輪郭を検出してその存在を判断する。よって、前記ＲＯＭには、各種車両や人等の検知対象物の画像特徴が予め登録されているパターンデータファイルが設定されており、画像にこの画像特徴が含まれているかを判別することで、各カメラ１６，１７のそれぞれの撮像画像から検知対象物の存在とその種別を判別する。さらに、対象判別部７は、検知した対象物以外のオブジェクトを除去する処理を行う。

また、対象判別部７は、車線の検知については、各カメラ１６，１７によって撮像されたそれぞれの画像の輝度情報を基にして、白線又は黄線による車線ライン２４を検出することで車線を検出する。

位置検出部８は、対象判別部７によって不要なオブジェクトが除かれたカメラ１６，１７のそれぞれの画像から検知対象物の位置を算出する。加えて、位置検出部８は、レーダーセンサー１８により測定した後続車との間の距離情報から後続車両の位置を判別する。

画像生成部９は、ナビゲーション装置２からの地図データ、位置検出部８からの検知対象物の位置情報に基づいて、自車両の周辺状況を表示する画像を生成する。このとき画像生成部９は、ナビゲーション装置２からの地図データの画像の上に、対象判別部７が識別した人や車両をシンボル化した絵柄であるアイコンを重畳して自車両を中心とする周辺状況を示す画像を作成する。したがって、画像生成部９には、予め検知対象物の種類に応じた複数のアイコンが設定されている。

表示装置５は、搭乗者による目視が容易なように自動車１４のダッシュボードに搭載されて、画像生成部８が生成した画像を表示する。

上記構成による自動車周辺情報表示システム１の動作について、図３に示すフローチャートにより説明する。

ナビゲーション装置２は、ＧＰＳ１１からのＧＰＳ情報を受け取り、自車両の現在の位置を算出すると共に、受け取ったＧＰＳ情報の履歴を格納することで、自車両の進行方向を特定する（ステップＳ０１）。そして、ナビゲーション装置２が自車両の現在位置を含む地図データを地図データベース２Ａから読み出して、地図データを対象判別部７に出力する（ステップＳ０２）。図４（ａ）は、このときの地図データが表す地図画像を例示しており、自車両の位置と進行方向とが矢印で示されている。この地図画像は、ナビゲーション装置により表示される一般的な画像である。

そして、各カメラ１６，１７は自車両の前方及び後方の外部の状況を撮像しており、対象判別部７は、画像認識処理により自車両の周囲に人や車両等の検知対象物が存在しているかを判別する。

図５は、自車両の前方の光景の画像を例示するもので、対象判別部７は、カメラ１６，１７が捉えたそれぞれの画像にパターンマッチング処理を行って検知対象物の存在を判別すると共に車線ライン２４を検出する（ステップＳ０３）。これにより、自車両と同一の車線Ｌ１を走行する先行自動車２０と、右隣の車線Ｌ２を走行する対向自動車２１と、左側方からの自動車２２と、右側方からの自転車２３がそれぞれ検知される。

そして、対象判別部７は、検知対象物である自動車２０，２１，２２及び自転車２３以外の建物２５，２６や信号機２７，２８等のオブジェクトを除去する処理を行う（ステップＳ０４）。そして、位置検出部８は、対象判別部７が除去処理を行ったステレオカメラ１６，１７の画像に基づき、自車両から各自動車２０，２１，２２及び自転車２３までのＸ−Ｙ座標軸での位置情報を計算によって求める（ステップＳ０５）。

一方、位置検出部８は、センサー装置３からはレーダーセンサー１８により測定した後続車との間の距離情報を入手している。よって、位置検出部８は、後方の検知対象物である後続車両の自車両を基準とする検知対象物までの相対位置をＸ−Ｙ座標軸での位置情報を算出する（ステップＳ０６）。この場合、レーダーセンサー１８による検知対象物は後続車両としているが、レーダーセンサー１８と共にリアカメラを配置して後方の撮影画像を対象判別部７に送るようにすれば、後方の検知対象物の種別ごとに検出することができる。

画像生成部９は、対象判別部７からの各検知対象物の種別情報が示されると、その種別に応じたアイコンを選択し、選択したアイコン２０ｉ，２１ｉ，２２ｉ，２３ｉを位置検出部８から示される各検知対象物の位置情報に沿って、ナビゲーション装置２から示される地図データ上に重ねた地図画像を生成して表示する（ステップＳ０７）。このとき、画像生成部９が生成する画像は、対象判別部７からの車線ライン２４が検出されていることから、図４（ｂ）に示すように、自車両が走行する道路には車線ライン２４を表示して車線Ｌ１，Ｌ２を区分けし、先行車両２０ｉと対向車両２１ｉのアイコンを区別して表示している。また、この場合、レーダーセンサー１８は後続車両を検知しており、画像生成部９は、後続車両の位置情報に沿ってアイコン２４ｉを地図データ上に重ねて表示している。

自動車を表示するアイコンは、対象判別部７のパターンマッチング処理によりバスやトラックが認識されたときには、乗用車と区別してこれらのアイコンが表示される。或いは、全ての種類の自動車を代表する共通のアイコンでもよい。また、歩行者が認識されたときには、人をシンボル化したアイコンを表示することになる。

そして、ナビゲーション装置２から出力される地図データには周囲の建物等を含めた三次元画像で表示するタイプのものもあるが、この場合には、カメラ１６，１７が捉えた実際の画像を地図データに重ねて表示することもできる。

上記構成の車輌用画像表示システム１によれば、自動車１４の搭乗者は、センサー装置３が把握している自車両の周囲の状況を表示装置５の画面上で確認することができる。したがって、特に、自動車１４が自動運転車である場合には、搭乗者が目視した周囲の状況とセンサー装置３が把握している周囲の状況とを見比べることができるため、自動運転システムへの信頼性を確認可能な補助システムとして機能する。

車輌用画像表示システム１は、センサー装置３からの情報に限らず、通信装置４による車両間通信で入手した周囲の情報も表示装置５に表示させることもできる。

ここで車両間通信について説明すると、図６に示すように、車両３１，３２のそれぞれの通信装置４の間で、自車両の位置や車両状態を示すメッセージデータを単向同報通信により授受するものである。この場合、車両３１，３２は直接通信が行われてもよいし、又は道路際に設置されたアンテナ３３や通信チップ（図示せず）からインターネットなどによる通信回線３６を通して、中継センター３４を経由して間接的に通信されてもよい。図６で示すケースでは、同じ交差点に向かって進行する車両３１、３２は建物３５が互いの視界を遮るために目視では確認できないが、両方の車両３１、３２が通信によって、自らの位置と車速等を伝達し合うことで衝突事故を未然に防ぐ安全運転支援となる。

図７は、車両間通信で授受するメッセージのデータフレームＤＦの構成例を模式的に示しており、時・分・秒のデータエレメントが書き込まれる時刻情報データフレームＤＦ１と、ＧＰＳ等により取得した緯度・経度の各データエレメントが書き込まれる位置情報データフレームＤＦ２と、車速情報・車両方位角情報・自動運転情報・シフトポジション情報・ステアリング角度情報の各データエレメントが書き込まれる車両状態情報データフレームＤＦ３及び車両サイズ別（大型，普通，自動二輪車等）情報・車幅情報・車長情報の各データエレメントが書き込まれる車両属性情報データフレームＤＦ４で構成されている。

車両間通信で入手した情報を表示する動作を図８のフローチャートを用いて説明する。まず、通信装置４は、ナビゲーション装置２が取得した自車両の位置及び車速を入力し（ステップＳ１１）、通信装置４を通じて他車両の位置及び車速を取得する（ステップＳ１２）。この場合、通信装置４と同一又は互換性のある通信装置を搭載する他車両からは、前述したように、当該他車両の位置情報、車両属性情報、速度や方位角の種別等の車両状態情報をデータフレームに含むメッセージが出力されている。

よって、画像生成部８は、ナビゲーション装置２から示されている地図データと照合し（ステップＳ１３）、照合結果から自車両の周囲に他車両が存在しているかを判別する（ステップＳ１４）。そして、画像生成部８は、通信が可能な他車両が周囲に存在している場合（ステップＳ１４の「ＹＥＳ」）、車両属性情報によるその他車両の種別に応じたアイコンを選択して、選択したアイコンを受信したメッセージの位置情報に沿って、地図データ上に重ねた地図画像を生成して表示する（ステップＳ１５）。一方、通信装置４は、自車両に関する時刻情報・位置情報・車両状態情報・車両属性情報を含むメッセージを送信する（ステップＳ１６）。

このような車両間通信を行なうことで、図５に示されている自動車２２が建物の陰で目視できない状況であっても、車両間通信が可能であると、画像生成部８は自動車２２の存在を検知して地図データ上にアイコンを表示することができる。また、通信装置４は、車両間通信以外にも、インターネットや公共放送を通じた交通情報センターとの間の無線通信によって事故車や工事情報等を入手して、これらの状況を表すアイコンを地図データ上に表示することもできる。

以上、本発明の好適な実施形態について詳細に説明したが、本発明は上記実施形態に限定されるものでなく、その技術的範囲内において、様々な変形又は変更を加えて実施することができる。例えば、自動車の後方の検出視野を拡げるために、リアウインドシールド１９の両側に一対のカメラ（ステレオカメラ）やレーダーセンサーを配置してもよい。また、リアウインドシールド１９に限らず、一対のドアミラーのそれぞれに左右のカメラやレーダーセンサーを配置してもよい。

１ 自動車周辺情報表示システム
２ ナビゲーション装置
３ センサー装置
４ 通信装置
５ 表示装置
７ 対象判別部
８ 位置検出部
９ 画像生成部
１３ ステレオカメラ
１８ レーダーセンサー
２０ｉ，２１ｉ，２２ｉ，２３ｉ，２４ｉ アイコン
２４ 車線ライン
３４ 中継センター
３６ 通信回線

Claims (8)

1. 自車輌の周囲の状況を検出するセンサー装置と、
   前記自車輌の現在位置及び進行方向を特定して前記現在位置を含む周辺地域の地図データを地図データベースから読み出すナビゲーション装置と、
   前記センサー装置が検出するセンサー情報から検知対象物の存在を検出すると共にその種別を判別する対象判別部と、
   前記センサー情報から前記自車輌を基準とする前記検知対象物の位置情報を求める位置検出部と、
   前記対象判別部が検出した検知対象物に関する前記位置情報が示す前記地図データ上の位置に、当該検知対象物に対応するアイコンを重ねた地図画像を生成する画像生成部と、
   前記地図画像を表示する表示装置と、
   他車輌との間で直接または間接的に通信する車輌間通信を行って、当該他車輌に関する位置情報と車輌属性情報とを入手する通信装置と、
   を備え、
   前記画像生成部は、前記通信装置が前記車輌間通信によって他車輌からその位置情報と車輌属性情報とを受信すると、受信した前記他車輌の位置情報と前記ナビゲーション装置からの前記地図データとを照合し、その結果自車輌の周囲に前記他車輌が存在する場合、前記地図データ上の前記他車輌の位置情報に対応する箇所に前記他車輌の車輌属性情報に対応する前記アイコンを重ねた地図画像を生成することを特徴とする自動車周辺情報表示システム。
2. 前記センサー装置は、前記自車両の外部の画像を撮像するカメラを含み、前記対象判別部は、前記カメラの撮像画像からパターンマッチング処理により前記検知対象物の存在を検出することを特徴とする請求項１に記載の自動車周辺情報表示システム。
3. 前記カメラはステレオカメラであって、前記位置検出部は、前記ステレオカメラの画像から前記検知対象物の位置情報を算出することを特徴とする請求項２に記載の自動車周辺情報表示システム。
4. 前記対象判別部は、前記画像の輝度情報を基にして、車線ラインを検出することを特徴とする請求項２又は３に記載の自動車周辺情報表示システム。
5. 前記対象判別部は、前記検知対象物として前記自車両に先行する先行他車両と対向してくる対向他車両とを検出し、前記画像生成部は、前記地図データにおける自車両が走行する道路に模式的に前記車線ラインを表示し、車線を区別して前記先行他車両と前記対向他車両との各前記アイコンを表示する前記地図画像を生成することを特徴とする請求項４に記載の自動車周辺情報表示システム。
6. 前記対象判別部は、前記画像から検出した前記検知対象部以外のオブジェクトを除去し、前記位置検出部は、前記位置検出部は、当該除去した画像から前記検知対象物の位置情報を求めることを特徴とする請求項２又は３に記載の自動車周辺情報表示システム。
7. 前記センサー装置は、ミリ波レーダー、マイクロ波レーダー、レーザーレーダー、赤外線センサー、超音波センサーの何れか一つ又はその組み合わせで成るレーダーセンサーを含み、前記位置検出部は、前記レーダーセンサーが検知する前記自車両と前記検知対象物との間の距離情報に基づいて、当該検知対象物の位置情報を求めることを特徴とする請求項１に記載の自動車周辺情報表示システム。
8. 前記通信装置は、前記車輌間通信以外の外部との無線通信によって事故車及び工事の情報を入手することができ、前記画像生成部は、前記通信装置が入手する前記事故車及び工事の情報を表わす前記アイコンを前記地図データ上に重ねた地図画像を生成することを特徴とする請求項１乃至７のいずれかに記載の自動車周辺情報表示システム。
   

Images