JP6679607B2 - 車両支援システム - Google Patents

Description

本発明は車両支援システムに関する。本発明は、また、対応するコンピュータが実行する方法及びコンピュータプログラム製品に関する。

運転者の車両運転支援の昨今の進歩により、緊急ブレーキに必然的に伴う反応時間や車両安定化の不足など、人間である運転者の欠点を補うようになって、市場で成功を収めつつある。そのような運転支援を提供するシステムは、通常、車両に設置され、車両環境を検出するのに適したセンサ装置（例えば、レーダ、ライダ（lidar）、カメラなど）を備えると共に、衝突の可能性がある物体を特定できる。そのようなシステムは、更に、車両のブレーキ装置に接続することができ、そのため、自動的に（autonomously）開始される完全なブレーキアプリケーションによって、差し迫った衝突を完全に防止するか又は衝突の被害を少なくとも最小限に抑えることができる。

上述した機能の典型的な実施形態は、例えば、オートクルーズコントロールシステム（ＡＣＣシステム）に又は（完全又は半）自動運転車両（autonomous vehicles）に関連してその方法を見出すことができ、ここで、例えば、ＡＣＣシステムは、衝突を最小限に抑えるのに十分な車間距離が維持されるように、先行する第２の車両に対して適切に対応することが可能である。いくつかの例では、ＡＣＣシステムは、自車両と第２の車両との間に割って入ってくる更に別の（例えば第３の）車両も考慮することができ、場合によっては自車両に（緊急）ブレーキをかける必要があった。

運転者支援のための上述の実施形態によって衝突のリスクが最小限に抑えられるが、これは、通常、車両又は車両の運転者から見たときに直接且つ容易に視認可能な障害物に基づくものである。したがって、自車両の周囲に位置する別のセンサ装置によって収集された情報を取得可能として起こり得る今後の交通状況の評価を可能とすることは興味深い。この場合、別のセンサ装置によって収集された情報は、自車両から容易に視認することができない情報を保持する。

本発明の一態様によれば、第１の車両のための車両支援システムによって上述した問題を可及的に軽減することができる。この車両支援システムは、画像通信のために設けられた通信回路と、通信回路に接続された制御ユニットと、を含む。制御ユニットは、通信回路を用いて、第１の車両から離れた遠隔に（remotely away from）位置すると共に第１の車両の周囲の所定の境界（predefined perimeter）内に位置する少なくとも１つの外部カメラを認識し、通信回路を用いて、少なくとも１つの外部カメラによって生成された画像フィード（image feed）を取得し、第１の車両の内部ソースから抽出された車両情報に基づいて、第１の車両の少なくとも１つの現在又は今後の車両シナリオ（vehicle scenario）であって、第１の車両の現在位置に関する情報を含む前記車両シナリオを決定し、車両シナリオの安全要件を決定し、少なくとも１つの外部カメラによって生成された画像フィードと車両シナリオの安全要件とを相互に関係付ける（correlate）と共に、画像フィードと安全要件との相互の関係（correlation）が適合（match）を示す場合に画像フィードに基づいて第１の車両を動作させる、ように構成されている。

本発明によれば、通信回路は、外部カメラのいずれかが自車両（第１の車両）の周囲内に位置していること及びそのカメラが利用可能であることを自動的に識別し、そのカメラから画像フィードを取得するように構成されている。車両の動作に基づいて安全要件（safety requirement）を決定する。ここで、安全要件は、外部カメラ（複数の外部カメラ）からの画像フィードと相互に関係付けられて（correlated with）、適合（match）しているか否かが確かめられる。適合している場合、画像フィードの内容に基づいて自車両を動作させることができる。

したがって、自車両の視点で見たときに容易に視認できない視覚情報を、車両の運転安全性を向上させるために用いることができる。すなわち、外部カメラ（複数の外部カメラ）から取得された画像フィードは、通常、自車両から現在把握できない状況／シナリオの視覚表現を保持しており、この情報を用いて周囲をより良く理解することで、今後の交通シナリオが起こる前にそれに適した決定を行うことが可能となる。

「画像フィードに基づいて第１の車両を動作させる」という表現は、最も広い意味で解釈されるべきである。例えば、本発明の可能な実施形態では、車両を（完全又は半）自動運転車両とすることができ、ここで、制御ユニットは、取得された画像フィードから固有の特徴（specific features）を抽出するように構成され得る。その後、抽出された特徴は、例えば、自車両／第１の車両の速度、車線選択、ギア選択などを制御するために使用され得る。本発明の別の可能な実施形態では、車両を、ユーザが運転する車両とすることができる。そのような実施形態において、車両の動作としては、例えば、車両支援システムに設けられ、例えば、車両の運転室に配置されたディスプレイに画像フィードの少なくとも一部を提供することなどにより多少異なる手法をとり得る。したがって、そのような実施形態では、画像フィードを、車両を運転する際に運転者にとって有用となり得る「拡張された視野（extended view）」とみなすことができる。

本発明によれば、少なくとも１つの現在又は今後の車両シナリオを決定するために用いられる第１の車両の内部ソース（internal source）には、第１の車両に設けられた任意のタイプのコンポーネント又は要素であって、車両の動作に関連した情報を与え得るコンポーネント又は要素が含まれるものと理解されるべきである。例えば、内部ソースは、ある実施形態において、第１の車両に設けられたセンサとすることができる。そのようなセンサは、例えば、車両の操舵角を決定するセンサ、速度センサ、傾斜センサ、加速度センサなどであり得る。これと組み合わせて又はこの代わりに、内部ソースを、例えば、シフトレバー、ウインカースイッチなど、車両に設けられたユーザインタフェースの一部とすることも可能である。本発明の範囲内で、内部ソースをいわゆる「仮想センサ」としてもよく、ここで、協調車両環境データが「通常の」センサから予想できるものと同様の出力を生成するために用いられる。例えば、ＧＰＳパラメータを用いて車両のヨーレート（yaw rate）を決定することができ、ヨーレートセンサから予想できるものに対応した出力が生成される。

通常、上述のような様々な内部車両ソースは、複数の所定の状態（オン／オフ、複数のギア間など）に切り替えられ、ここで、これらの様々な状態を現在及び今後の車両シナリオの指示として用いることができる。例えば、車両の運転者がギアをリバースに切り替えた場合、この情報を、車両シナリオが車両の後退であると判定するのに用いることができる。内部車両ソースからの情報は、例えば、車両に設けられたＣＡＮバスなどの車両の内部ネットワーク内で配信され得る。

本発明の一実施形態において、車両シナリオは、所定の車両シナリオセットから選択され、少なくとも１つの安全要件は、車両シナリオセットの各車両シナリオに対して予め設定されている。上記から理解されるように、「車両シナリオ」という表現は、車両が現在、又は、例えば、近い将来に経験し得るあらゆる種類の動作及び／又はコンテキスト（context）を意味するものと理解するべきである。上述の例に関して、車両シナリオは、シフトレバーの動作に基づいて「車両の後退」であると判定され得る。この車両シナリオは、例えば、「障害物を検出可能な後方視野（backward view）」として予め既定された関連する安全要件を有する。したがって、車両を後退させる場合（車両シナリオ）、車両支援システムは、車両の動作中の支援となり得る画像フィードを供給する外部カメラを認識しようと試みることで、車両の背後に存在し得る障害物を認識することが可能となる（安全要件）。

本発明によれば、外部カメラは、（第１の）車両の周囲の所定の境界内に配置されるが、（第１の）車両に設けられていない。「所定の境界」という表現は広義に解釈されるべきである。例えば、境界の「サイズ」を車両シナリオに基づいて規定することが可能である。したがって、「ハイウェイ速度」で前進している場合は、この速度よりも車両が低速（高い操縦性）で後退しているシナリオと比較して、境界を広くすることができる。境界は、必ずしも車両を完全に取り囲んでいなくてよい。例えば、車両シナリオに基づいている場合且つ後退している場合、境界を車両の後方のみに規定することができる。前方に走行する場合も同様のシナリオが存在することは勿論である。

好ましくは、少なくとも１つの外部カメラによって生成された画像フィードと車両シナリオの安全要件との相互の関係は、更に、少なくとも１つの外部カメラの有効範囲（coverage area）に基づくものである。「有効範囲」という表現には、例えば、カメラの視野角並びに有効距離範囲、及び、例えば、第１、第２及び第３の座標によって規定される有効範囲が含まれるものと理解するべきである。

車両の位置は、本発明に従うものであると共に外部カメラの「境界（perimeter）」の概念に関連するものである。第１の車両の位置は、例えば、第１の車両に設けられた全地球的航法衛星システム（ＧＮＳＳ、例えば、ＧＰＳなど）の受信器から取得され得る。また、車両情報は、ロケーションベース（location based）であって、例えば、車両に設けられた記憶デバイスから取得したマップデータを含んでもよい。マップデータは、永続的に（permanently）又は中間的に（intermediately）車両に記憶され得る。中間的に記憶された場合、マップデータは遠隔サーバ／クラウドサーバから「移動中に（on the go）」取得され得る。

本発明の好適な実施形態において、第１の車両は、制御ユニットに接続された車両カメラを更に含み、制御ユニットは、更に、第１の車両のカメラによって生成された画像ストリームを、少なくとも１つの外部カメラによって生成された画像ストリームと結合し、結合した画像ストリームを、ディスプレイスクリーンを用いて表示するように構成されている。したがって、本発明によれば、車両カメラから取得された画像データを、（少なくとも１つの）外部カメラから取得された画像ストリームと、例えば、「繋ぎ合わせる」ことが可能となる。画像データの結合は、通常、外部カメラの位置と、外部カメラの有効範囲と、車両カメラの（現在）位置と、車両カメラの対応する有効範囲とに基づいている。

本発明の可能な実施形態において、制御ユニットは、更に、第１の車両の周囲に関する外部情報を取得し、この外部情報に基づいて少なくとも１つの現在又は今後の車両シナリオを決定するように構成されている。そのような情報は、例えば、車両の周囲の「インフラコンポーネント（infrastructure components）」から、外部カメラから、及び／又は、第１の車両の所定の境界内の第２の車両／別の車両／他の車両から、取得され得る。このような実施形態においては、上記の「外部コンポーネント」のそれぞれは、通信機能を含み、「関連（relevant）」情報を第１の車両に送信することができる。指令及び／又は警告を提供するための第１の車両と第２の車両との間の通信としては、通常、無線又は光通信（例えば、車両対車両の通信）に基づくなど、任意の形態をとり得る。同様に、固定位置の外部カメラ、インフラコンポーネントとの間の通信など（例えば、天気情報、交通渋滞に関する情報の送信など）は、例えば、インフラ対車両の通信として規定される同様の方法で行うことができる。

本発明の別の態様によれば、車両支援システムと共に用いるように構成されたカメラ装置（camera arrangement）が提供される。ここで、カメラ装置は、画像ストリームをキャプチャ（capture）するように構成された画像センサと、画像通信のために構成された通信モジュールと、通信モジュール及び画像センサに接続された画像処理回路と、を含む。ここで、画像処理回路は、外部通信ノードから、画像ストリームに対する要求であって、この外部通信ノードの位置を含む要求を受信し、カメラ装置の位置と外部通信ノードの位置とを比較し、外部通信ノードがカメラ装置の周囲の所定の境界内にある場合に画像ストリームを外部通信ノードに送信するように構成されている。

カメラ装置は、通常、上述のような車両支援システムと共に用いるよう構成され、同様の利点を提供する。

本発明の更に別の態様によれば、第１の車両の車両支援システムを動作させるためにコンピュータが実行する方法が提供される。車両支援システムは、画像通信のために設けられた通信回路と、通信回路に接続された制御ユニットと、を含む。この方法は、第１の車両から離れた遠隔に位置すると共に第１の車両の周囲の所定の境界内に位置する少なくとも１つの外部カメラを認識するステップと、少なくとも１つの外部カメラによって生成された画像フィードを取得するステップと、第１の車両の内部ソースから抽出された車両情報に基づいて、第１の車両の少なくとも１つの現在又は今後の車両シナリオであって、第１の車両の現在位置に関する情報を含む車両シナリオを決定するステップと、車両シナリオの安全要件を決定するステップと、少なくとも１つの外部カメラによって生成された画像フィードと車両シナリオの安全要件とを相互に関係付けるステップと、画像フィードと安全要件との相互の関係が適合を示す場合に画像フィードに基づいて第１の車両を動作させるステップと、を含む。

本発明の更に別の態様によれば、第１の車両の車両支援システムを動作させるためのコンピュータプログラム手段が記憶されたコンピュータ読み取り可能媒体を含むコンピュータプログラム製品が提供される。車両支援システムは、画像通信のために設けられた通信回路と、通信回路に接続された制御ユニットと、を含む。コンピュータプログラム製品は、第１の車両から離れた遠隔に位置すると共に第１の車両の周囲の所定の境界内に位置する少なくとも１つの外部カメラを認識するためのコードと、少なくとも１つの外部カメラによって生成された画像フィードを取得するためのコードと、第１の車両の内部ソースから抽出された車両情報に基づいて、第１の車両の少なくとも１つの現在又は今後の車両シナリオであって、第１の車両の現在位置に関する情報を含む車両シナリオを決定するためのコードと、車両シナリオの安全要件を決定するためのコードと、少なくとも１つの外部カメラによって生成された画像フィードと車両シナリオの安全要件とを相互に関係付けるためのコードと、画像フィードと安全要件との相互の関係が適合を示す場合に画像フィードに基づいて第１の車両を動作させるためのコードと、を含む。

コンピュータ読み取り可能媒体は、着脱可能な不揮発性ランダムアクセスメモリ、ハードディスクメモリ、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ、ＳＤメモリカード、又は、当技術分野において公知の同様のコンピュータ読み取り可能媒体のうち１つを含む、あらゆる種類のメモリデバイスであってよい。

本発明の更に別の利点及び有利な特徴は、以下の記載及び従属クレームにおいて開示されている。

添付の図面を参照して、以下に例として挙げた本発明の実施形態のより詳細な説明を以下に示す。

本発明の現在の好適な実施形態による車両支援システムを備えた車両を示す。 本発明の現在の好適な実施形態による車両支援システムを備えた車両を示す。 周囲を監視するための複数の車両カメラを備えた例示的な車両を示す。 車両支援システムのコンポーネントの例を示す。 図３Ａの車両支援システムと共に用いるように構成された例示的なカメラ装置を示す。 第１の例示的なシーンと関連付けて、本発明による方法を実行するための処理ステップを概念的に示す。 車両支援システムを搭載した車両及び複数の外部カメラを含む第２の例示的なシーンを示す。

以下、本発明について、本発明の現在の好適な実施形態が示された添付図面を参照して、より詳細に説明する。ただし、本発明は多くの異なる形態で具現化することができ、本明細書に記載する実施形態に限定されるものとして解釈するべきではない。これらの実施形態は完全性のために提供され、本発明の範囲を当業者に対して十分に伝えるものである。図面全体を通して、同様の参照符号は同様の要素を指す。

ここで、図面、特に図１Ａ、図１Ｂ、図２及び図３Ａを参照すると、図１Ａは、ここでは、本発明によるシステム３００をそこに組み込むことができるトラック１００として図示される例示的な車両を示している。システム３００は、場合によっては多少異なる手法で、図１Ｂに示すような自動車１００’に実装可能であることは勿論である。

トラック１００には、その全方位、好ましくは、前方、後方、及び左右両側において周囲を監視するための複数の車両カメラ２０２、２０４、２０６及び２０８が設けられている。車両カメラ２０２、２０４、２０６及び２０８は、好ましくは、これらの車両カメラ２０２、２０４、２０６及び２０８によって供給される信号を処理するための制御ユニット３０２に接続されている。制御ユニット３０２は、汎用プロセッサ、特定用途向けプロセッサ、処理コンポーネントを含む回路、分散処理コンポーネント群、処理用に構成された分散コンピュータ群などを含み得る。プロセッサは、データ若しくは信号の処理を実行するための又はメモリに記憶されたコンピュータコードを実行するための任意の数のハードウェアコンポーネントであるか、又は、これを含むことができる。メモリは、本明細書に記載された様々な方法を遂行するか又は容易にするためのデータ及び／又はコンピュータコードを記憶する１以上のデバイスであってよい。メモリは、揮発性メモリ又は不揮発性メモリを含み得る。メモリは、データベースコンポーネント、オブジェクトコードコンポーネント、スクリプトコンポーネント、又は、本明細書に記載の様々なアクティビティ（activities）をサポートするための他の任意の種類の情報構造を含み得る。例示的な実施形態によれば、任意の分散メモリデバイス又はローカルメモリデバイスを、本明細書に記載のシステム及び方法と共に用いることができる。例示的な実施形態によれば、メモリは、（例えば、回路、又は、他の任意の有線、無線若しくはネットワーク接続を介して）プロセッサに通信可能に接続されると共に、本明細書に記載された１以上の処理を実行するためのコンピュータコードを含む。

制御ユニット３０２は、また、好ましくは、例えば、トラック１００のステアリングの制御及び／又はブレーキ装置の制御など、トラックのエレメントを制御可能とするために、例えば、トラック１００の通信インタフェース（例えば、ＣＡＮバス若しくはこれに類似するもの、又は、専用の通信インタフェース）に接続され得る。したがって、車両カメラ２０２、２０４、２０６及び２０８から供給されたデータに基づいて制御ユニット３０２によりなされる決定によって、例えば、トラック１００の方向（ステアリングの制御）及び／又は速度（ブレーキ装置の制御）の調整を可能とすることなど、トラック１００の動作を制御することが可能となる。

制御ユニット３０２には、例えば、ローカルデータベース又はリモートデータベース３０６に記憶されたマップ情報と組み合わせられたＧＰＳ３０４（全地球測位システム）など、トラック１００の位置を決定するための装置などの更に別のコンポーネントを接続することができる。マップデータは、例えば、道路の種類、車線の数及び／又は道路上で静止した障害物に関する情報を含み得る。更に、制御ユニット３０２は、車両対車両の通信を用いて「他の」車両との通信を可能とするための及び／又はトラック１００の周囲の所定の境界内にある周囲物体／インフラコンポーネント／外部カメラからデータを受信するための通信回路３０８を含む。

図３Ｂに移ると、上述の車両支援システム３００などの車両支援システムと共に用いるように構成されたカメラ装置３５０が示されている。カメラ装置３５０は、画像ストリームをキャプチャするように構成されると共に付属の光学部品が設けられた少なくとも１つの画像センサ３５２と、カメラ装置３５０の動作を制御するように構成された画像処理回路（又は、より一般的には、上述の制御ユニット）３５４と、少なくとも１つの外部通信ノードとの双方向通信が可能なように構成された通信モジュール３５６と、例えば、画像センサ３５２によってキャプチャされた画像ストリームを中間的に（intermediately）記憶するように構成されたメモリモジュール３５８と、を含む。制御ユニット３５４は、画像センサ３５２、通信モジュール３５６及びメモリモジュール３５８と電気的な接続状態にある。カメラ装置３５０のコンポーネントは、例えば、カメラ装置３５０の屋外での設置を可能とする防水性の筐体３６０の内部に配置されている。本発明の可能な実施形態において、カメラ装置３５０は、ライトポスト（light post）３６２の高い位置に配置され、例えば、上述のトラック１００が運転される光景を見下ろすように位置決めされている。

前述のように、カメラ装置３５０は、通常、トラック１００に設けられた車両支援システム３００と協働するようになっている。すなわち、カメラ装置３５０は、トラック１００から離れた遠隔に位置すると共にトラック１００の周囲の所定の境界内に位置する１つの外部カメラである。

例えば、カメラ装置３５０と協働する車両支援システム３００の動作中、図４を更に参照すると、車両支援システム３００の通信回路３０８とカメラ装置３５０の通信モジュール３５６とが相互に認識し合うことにより処理が開始される（Ｓ１）。この認識は、車両支援システム３００及びカメラ装置３５０の一方又は双方が、例えば、相互通信を確立すべく、それらの所在地及び要求を送信することによって実行され得る。車両支援システム３００とカメラ装置３５０との通信は、ある実施形態において、例えば、車両対インフラ（Ｖ２Ｉ）又はインフラ対車両（Ｉ２Ｖ）通信として規定される直接通信であり得る。これに代えて又はこれに加えて、車両支援システム３００とカメラ装置３５０との通信は、例えば、インターネットを介して実行され得る。

本発明によれば、車両支援システム３００及びカメラ装置３５０がトラック１００の周囲の所定の境界内にあるときにのみ、それらの間で通信ラインが生成される。通信ラインが確立されると、カメラ装置３５０の少なくとも１つの画像センサ３５２によってキャプチャされた画像フィードが、車両支援システム３００によって取得される（Ｓ２）。関連する時間フレーム（例えば、直前、直後又は同時）内で、第１の車両の少なくとも１つの現在又は今後の車両シナリオが、トラック１００の内部ソースから抽出された車両情報に基づいて決定される（Ｓ３）。車両シナリオは、通常、例えば、ＧＰＳ３０４から取得されたトラック１００の現在位置に関する情報を含む。

上述のように、車両シナリオは、通常、少なくとも部分的に、トラック１００の情報の内部ソースから取得された情報に基づくものである。例えば、車両の運転者がギアをリバースに切り替えた場合、この情報を車両シナリオがトラック１００の後退であると判定するために用いることができる。内部車両ソースからの情報は、例えば、トラック１００に設けられたＣＡＮバスなど、トラック１００の内部ネットワーク内で配信（distributed）され得る。

車両シナリオは、次に、トラック１００の安全要件を決定する（Ｓ４）ための入力として機能する。トラック１００を後退させる場合では、図４に示すように、トラック１００の背後にある所定の安全な境界内を移動する人（図示された子供など）など、憂慮すべき障害物が何も存在しない見通しの良い後方視野を有することが一般に望ましい。

図４に示すシナリオにおいて、トラック１００（第１のトラック）は、後退方向に運転される。しかしながら、第２のトラックは、トラック１００の後方視野を少なくとも部分的に覆い隠すように位置している。本発明によれば、車両支援システム３００は、この例においては、例えば、ライトポスト３６２に位置決めされたカメラ装置３５０及び／又は第２のトラックに設けられた対応するカメラ装置の一方又は双方である少なくとも１つの外部カメラから画像フィードを取得する。本発明に応じて、外部カメラ（複数の外部カメラ）から取得された画像フィードは、後方障害物の視認性を向上させる本例では、先に決定された安全要件と相互に関係付けられる（Ｓ５）。

ユーザがトラック１００を運転する場合、トラック１００は、外部カメラ（複数の外部カメラ）からの画像ストリームをトラック１００に設けられたディスプレイユニットに提示することにより、更に運転される（Ｓ６）。ここで、このディスプレイユニットは、好ましくは、運転室に配置されている。別の実施形態では、トラック１００は、半自動運転車両又は全自動運転車両であり、車両を動作させることは、例えば、外部カメラ（複数の外部カメラ）により取得された画像フィードから特徴を抽出することを含む。画像フィードから抽出された特徴は、その後、例えば、車両のブレーキシステムを制御するために用いられ得る。

車両に設けられたディスプレイユニットに画像ストリームを提示する場合、トラック１００に設けられたカメラ２０２、２０４、２０６及び２０８の１つによって生成された画像ストリームの結合、繋ぎ合わせなどを行うことが望ましい場合がある。そのような実施形態では、内部カメラ及び外部カメラからの画像ストリーム同士の結合に関して、外部カメラの相対的な位置及び視野方向を考慮に入れることが望ましい場合がある。

最後に、別のシナリオを示す図５を参照する。このシナリオでは、トラック１００に設けられた車両支援システム３００は、トラック１００の運転安全性の向上に役立ち得る。図示する実施形態において、トラック１００は、十字路（交差点）に向かって移動中であり、道路の右側を走行している。複数の木が都合の悪い位置にあって、トラック１００の運転者が十字路の方からの車両及び／又は歩行者などのいずれも容易に視認することができないので、交差点はトラック１００の運転者にとって見通しの良い視野を与えていない。図５の例では、トラック１００から見た場合、自動車５０２が左側からやって来ると共に自転車５０４が右側からやって来る。更に、自転車５０４は街路の「間違った側（wrong side）」を走行しており、これは通常トラック１００の運転者が予想しないことである。

本発明によって、車両支援システム３００は、交差点の高い位置に配置された第１の外部カメラ５０６及び第２の外部カメラ５０８を認識する。更に別の外部カメラが交差点内及び交差点の周りに配置されてもよいことは勿論である。更に、自動車５０２に上述のカメラ装置３５０を設けることができる。カメラ５０６及び５０８は、トラック１００から見た場合の交差点の「隠れた（hidden）」部分を見下ろしている。

この認識は、上述したように、トラック１００の周囲の所定の境界に応じて決まるものである。この境界は、本シナリオでは固定距離であり、例えば、トラック１００の周囲１００メートルとすることができる。境界は、また、トラック１００の走行方向（トラック１００の前方のみなど）やデータベース３０６に記憶されたマップデータに関連するトラック１００の位置に応じて決まることもある。トラック１００の位置とマップデータとの相互の関係により、（例えば、邪魔な木に関する以前の知識に基づいて）セキュリティの観点から所定の「問題のあるエリア」に対応した境界を得ることができる。

そして、カメラ５０６及び５０８が認識されると、車両支援システム３００が画像ストリームを取得することができる。本実施形態では、（例えば、現在位置及びマップデータに基づいた）次の交差点に関する知識が車両シナリオを規定し、そのような車両シナリオに対する所定のセキュリティ要件を、トラック１００から見た左側及び右側の街路／道路に対する見通しの良い視野として予め規定することができる。本発明によって、画像ストリームは、安全要件と相互に関係付けられると共に、本実施形態では、運転室に配置されたディスプレイユニットを用いてトラック１００の運転者に表示される。したがって、トラック１００の運転者には、自転車５０４が右側からやって来ることが事前に通知されるので、トラック１００の運転者は十字路／交差点に到達する前に適切な行動（事前にブレーキを作動させるなど）をとる準備をすることができる。これにより、例えば、トラック１００の運転者が障害物を容易に視認することができない状況であっても、トラック１００の運転における安全性を向上させることができる。上述の考察に従って、例えば、カメラ５０６、５０８から取得された画像ストリームから特徴を抽出することにより、自動車５０２及び／又は自転車５０４について（例えば、触覚、聴覚などを用いて）自動的にトラック１００の運転者に知らせることも可能である。

要するに、本発明は、第１の車両の車両支援システムに関する。この車両支援システムは、画像通信のために設けられた通信回路と、通信回路に接続された制御ユニットと、を含み、制御ユニットは、通信回路を用いて、第１の車両から離れた遠隔に位置すると共に第１の車両の周囲の所定の境界内に位置する少なくとも１つの外部カメラを認識し、通信回路を用いて、少なくとも１つの外部カメラによって生成された画像フィードを取得し、第１の車両の少なくとも１つの現在又は今後の車両シナリオであって、第１の車両の現在位置に関する情報を含む車両シナリオを第１の車両の内部ソースから抽出された車両情報に基づいて決定し、車両シナリオの安全要件を決定し、少なくとも１つの外部カメラによって生成された画像フィードと車両シナリオの安全要件とを相互に関係付けると共に、画像フィードと安全要件との相互の関係が適合を示す場合に画像フィードに基づいて第１の車両を動作させるように構成されている。

そのようなシステムによる利点は、車両の運転安全性が向上することである。より詳細には、外部カメラ（複数の外部カメラ）から取得された画像フィードは、通常、自車両から見ることができない状況／シナリオの視覚表現を保持しており、この情報を用いて周囲をより良く理解することで、今後の交通シナリオが起こる前にそれに適した決定を行うことが可能となる。

更に、本開示の制御機能を、既存のコンピュータプロセッサを用いて、又は、適切なシステム用の特殊用途コンピュータプロセッサであって、この目的若しくは他の目的のため組み込まれた特殊用途コンピュータプロセッサによって、又は、ハードワイヤード（hardwired）システムによって実装することができる。本開示の範囲内の実施形態は、記憶された機械実行可能命令やデータ構造を担持又は有する機械読み取り可能媒体を含むプログラム製品を含む。そのような機械読み取り可能媒体は、汎用若しくは特殊用途コンピュータ、又は、プロセッサを備えた他の機械によってアクセス可能な任意の利用可能媒体であってよい。一例として、そのような機械読み取り可能媒体には、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ若しくは他の光ディスクス記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、又は、機械実行可能命令若しくはデータ構造の形態で所望のプログラムコードを担持若しくは記憶するために使用可能であると共に汎用若しくは特殊用途コンピュータ又はプロセッサを備えた他の機械によってアクセス可能な他の任意の媒体が含まれ得る。ネットワーク又は別の通信接続（ハードワイヤード、無線又はハードワイヤード若しくは無線の組み合わせ）を介して情報が機械に転送又は提供される場合、この機械は、当然、接続を機械読み取り可能媒体とみなす。したがって、そのような任意の接続は、当然、機械読み取り可能媒体と称される。また、上述のものの組み合わせは、また、機械読み取り可能媒体の範囲内に含まれる。機械により実行可能な指令は、例えば、汎用コンピュータ、特殊用途コンピュータ又は特殊用途処理機械に特定の機能又は機能群を実行させる指令及びデータを含む。

図面は、あるシーケンスを示すが、ステップの順序は、図示するものとは異なってもよい。また、２以上のステップが同時に又は部分的に同時に実行されてもよい。そのような変形は、選択されたソフトウェア並びにハードウェアシステム及び設計者の選択に依存する。そのような変形は全て本開示の範囲内にある。同様に、ソフトウェアの実装は、ルールベースの論理及び他の論理を用いた標準的なプログラミング手法を用いて行われ、様々な接続ステップ、処理ステップ、比較ステップ、及び決定ステップを実行することができる。更に、本発明をその特定の例示的な実施形態を参照して説明したが、当業者にとっては、多くの異なる代替、変更などが明らかであろう。また、単一のユニットが特許請求の範囲に記載のいくつかの手段の機能を実行してもよい。特許請求の範囲において、カッコ内に記された参照符号は、特許請求の範囲に対する限定として解釈されるべきではない。更に、特許請求の範囲において、「comprising（含む（備える））」という語は他の要素又はステップを排除するものではなく、不定冠詞「a（１つの）」又は「an（１つの）」は複数を排除するものではない。

開示した実施形態の変形は、特許請求される本発明を実施する際に、図面、本開示、及び添付の特許請求の範囲を検討することから、当業者によって理解され実施することができる。本発明が好適な実施形態に限定されないことは、当業者によって認められよう。

Claims (16)

1. 第１の車両（１００、１００’）のための車両支援システム（３００）であって、
   画像通信のために設けられた通信回路（３０８）と、
   前記通信回路（３０８）に接続された制御ユニット（３０２）と、
   を含み、
   前記制御ユニットは、
   前記第１の車両（１００、１００’）の内部ソースから抽出された車両情報に基づいて、前記第１の車両（１００、１００’）の今後の車両シナリオを決定することであって、決定した今後の車両シナリオは前記車両の動作に関連した情報に基づくものであり、前記決定した今後の車両シナリオは前記第１の車両が今後経験し得る動作及び状況の少なくとも一方を規定するものである、前記今後の車両シナリオを決定し、
   前記車両シナリオに対する安全要件であって、前記第１の車両の現在又は今後の安全動作のための境界を規定する前記安全要件を選択し、
   前記通信回路（３０８）を用いて、前記第１の車両（１００、１００’）から離れた遠隔に位置すると共に前記第１の車両（１００、１００’）の周囲の所定の境界であって、前記第１の車両の前記決定した今後の車両シナリオに基づいて規定される前記所定の境界内に位置する少なくとも１つの外部カメラ（３５０）を自動的に認識し、
   前記通信回路（３０８）を用いて、前記少なくとも１つの外部カメラ（３５０）によって生成された画像フィードを取得し、
   前記制御ユニットを用いて、前記少なくとも１つの外部カメラ（３５０）によって生成された前記画像フィードで構成された視覚情報であって、前記第１の車両の周囲の状況に関する視覚情報が前記車両シナリオの前記安全要件を満たすか否かを判定すると共に、
   前記制御ユニットを用いて、前記判定結果に基づいて前記第１の車両（１００、１００’）を、前記第１の車両（１００、１００’）の前記今後の車両シナリオに先立って適切な行動をとることができるように動作させる、
   ように構成され、
   前記第１の車両（１００、１００’）を動作させることは、前記第１の車両（１００、１００’）の速度、車線選択及びギア選択の少なくとも１つを自動的に制御することを含むことを特徴とする、車両支援システム（３００）。
2. 前記第１の車両（１００、１００’）を動作させることは、前記取得された画像フィードから抽出された特徴に基づくものである、請求項１に記載の車両支援システム（３００）。
3. 前記車両シナリオは、前記第１の車両（１００、１００’）の現在位置に関する情報を含む、請求項１に記載の車両支援システム（３００）。
4. 前記車両シナリオは、所定の車両シナリオセットから選択されるものであり、少なくとも１つの安全要件は、前記車両シナリオセットの各車両シナリオに対して予め設定されるものである、請求項１〜請求項３のいずれか１つに記載の車両支援システム（３００）。
5. 前記視覚情報が前記車両シナリオに対する前記安全要件を満たすか否かは、前記少なくとも１つの外部カメラ（３５０）の有効範囲内で判定される、請求項１〜請求項４のいずれか１つに記載の車両支援システム（３００）。
6. 前記第１の車両（１００、１００’）の前記内部ソースから抽出された前記車両情報は、前記第１の車両に設けられた少なくとも１つの制御可能な車両コンポーネントによって生成される、請求項１〜請求項５のいずれか１つに記載の車両支援システム（３００）。
7. 前記第１の車両（１００、１００’）の前記内部ソースから抽出された前記車両情報は道路マップデータを含む、請求項１〜請求項６のいずれか１つに記載の車両支援システム（３００）。
8. 前記制御ユニットは、前記第１の車両（１００、１００’）に設けられたＧＮＳＳ受信器（３０４）から前記第１の車両（１００、１００’）の位置を受信する、請求項１〜請求項７のいずれか１つに記載の車両支援システム（３００）。
9. 前記制御ユニットに接続されたディスプレイスクリーンを更に含み、前記制御ユニットは、前記画像フィードに基づいて前記第１の車両（１００、１００’）を動作させるときに、前記ディスプレイスクリーンを見ている前記第１の車両の運転者に前記画像フィードを表示する、請求項１〜請求項８のいずれか１つに記載の車両支援システム（３００）。
10. 前記第１の車両（１００、１００’）の前記内部ソースから抽出された前記車両情報は、前記第１の車両（１００、１００’）の現在のユーザ動作に関する情報を含む、請求項１〜請求項９のいずれか１つに記載の車両支援システム（３００）。
11. 前記第１の車両（１００、１００’）は、前記制御ユニットに接続された車両カメラ（２０２、２０４、２０６、２０８）を更に備え、
    前記制御ユニットは、更に、
    前記第１の車両（１００、１００’）の前記カメラ（２０２、２０４、２０６、２０８）によって生成された画像ストリームを、前記少なくとも１つの外部カメラ（３５０）によって生成された画像ストリームと結合し、
    結合した画像ストリームを、前記ディスプレイスクリーンを用いて表示する、
    ように構成されている、請求項９に記載の車両支援システム（３００）。
12. 前記制御ユニットは、更に、
    前記第１の車両（１００、１００’）の周囲に関する外部情報を取得し、
    前記外部情報に基づいて前記少なくとも１つの現在又は今後の車両シナリオを決定する、
    ように構成されている、請求項１〜請求項１１のいずれか１つに記載の車両支援システム（３００）。
13. 前記外部情報は、前記外部カメラ（３５０）と、前記第１の車両（１００、１００’）の前記所定の境界内の第２の車両と、前記第１の車両（１００、１００’）の前記所定の境界内の道路インフラコンポーネントとから取得される、請求項１２に記載の車両支援システム（３００）。
14. 前記車両シナリオは、前記第１の車両（１００、１００’）の後退であり、前記第１の車両（１００、１００’）を後退させるための前記安全要件は、障害物視認性の向上を少なくとも部分的に可能とする後方視野である、請求項１に記載の車両支援システム（３００）。
15. 前記所定の境界は、前記第１の車両（１００、１００’）の後方のみであり、前記車両シナリオは、ギアをリバースに切り替えた場合に決定される、請求項１３に記載の車両支援システム（３００）。
16. 第１の車両（１００、１００’）のための車両支援システム（３００）を動作させるためにコンピュータが実行する方法であって、前記車両支援システム（３００）は、画像通信のために設けられた通信回路（３０８）と、前記通信回路（３０８）に接続された制御ユニット（３０２）と、を含むものであり、
    前記方法は、
    前記第１の車両（１００、１００’）から離れた遠隔に位置すると共に前記第１の車両（１００、１００’）の周囲の所定の境界であって、前記第１の車両の今後の車両シナリオに基づいて規定される前記所定の境界内に位置する少なくとも１つの外部カメラ（３５０）を自動的に認識するステップ（Ｓ１）と、
    前記少なくとも１つの外部カメラ（３５０）によって生成された画像フィードを取得するステップ（Ｓ２）と、
    前記第１の車両（１００、１００’）の内部ソースから抽出された車両情報に基づいて、前記第１の車両（１００、１００’）の今後の車両シナリオを決定するステップ（Ｓ３）であって、決定した今後の車両シナリオは前記第１の車両（１００、１００’）の現在位置に関する情報を含むものであり、前記決定した今後の車両シナリオは前記車両の動作に関連した情報に基づくものであり、前記車両シナリオは前記第１の車両が今後経験し得る動作及び状況の少なくとも一方を規定するものである、前記今後の車両シナリオを決定するステップ（Ｓ３）と、
    前記車両シナリオに対する安全要件であって、前記車両の現在又は今後の安全動作のための境界を規定するものである前記安全要件を選択するステップ（Ｓ４）と、
    前記少なくとも１つの外部カメラ（３５０）によって生成された前記画像フィードで構成された視覚情報であって、前記第１の車両の周囲の状況に関する視覚情報が前記車両シナリオの前記安全要件を満たすか否かを判定するステップ（Ｓ５）と、
    前記判定結果に基づいて前記第１の車両（１００、１００’）を、前記第１の車両（１００、１００’）の前記今後の車両シナリオに先立って適切な行動をとることができるように動作させるステップ（Ｓ６）と、
    を含み、
    前記第１の車両（１００、１００’）を動作させることは、前記第１の車両（１００、１００’）の速度、車線選択及びギア選択の少なくとも１つを自動的に制御することを含む、方法。

Images