JP7101053B2 - Information presentation method and information presentation device - Google Patents
Information presentation method and information presentation device Download PDFInfo
- Publication number
- JP7101053B2 JP7101053B2 JP2018111148A JP2018111148A JP7101053B2 JP 7101053 B2 JP7101053 B2 JP 7101053B2 JP 2018111148 A JP2018111148 A JP 2018111148A JP 2018111148 A JP2018111148 A JP 2018111148A JP 7101053 B2 JP7101053 B2 JP 7101053B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- passenger
- risk target
- risk
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
本発明は、情報提示方法及び情報提示装置に関する。 The present invention relates to an information presentation method and an information presentation device.
従来、運転者に対して歩行者等のリスク対象を認知させるために、ウインドシールドの下端に発光部を設け、運転者から見てリスク対象の存在する方向の範囲で発光部を発光させて、リスク対象へ向けて運転者の視線を誘導する情報提示装置が知られている(特許文献1参照)。 Conventionally, in order to make the driver aware of a risk target such as a pedestrian, a light emitting part is provided at the lower end of the windshield, and the light emitting part is made to emit light within the range in which the risk target exists when viewed from the driver. An information presentation device that guides the driver's line of sight toward a risk target is known (see Patent Document 1).
しかしながら、特許文献1に記載の情報提示装置では、運転者の視点を考慮して発光制御を行っているが、同乗者の視点は考慮されていない。このため、同乗者は、運転者を直接視認しても、運転者によるリスク対象の認知状況を把握し難い場合がある。
However, in the information presenting device described in
本発明は、運転者によるリスク対象の認知状況を同乗者に対して容易に把握させることができる情報提示方法及び情報提示装置を提供することを目的とする。 An object of the present invention is to provide an information presenting method and an information presenting device capable of easily grasping a passenger's perception of a risk target by a driver.
本発明の一態様に係る情報提示方法及び情報提示装置は、車両の周囲に存在するリスク対象を検出し、車両の運転者の状態を検出し、リスク対象の検出結果と、運転者の状態の検出結果とに基づき、運転者によるリスク対象の認知状況を、車両の同乗者に対して提示することを特徴とする。 The information presentation method and the information presentation device according to one aspect of the present invention detect a risk target existing around the vehicle, detect the state of the driver of the vehicle, detect the risk target, and the state of the driver. It is characterized in that the recognition status of the risk target by the driver is presented to the passengers of the vehicle based on the detection result.
本発明によれば、運転者によるリスク対象の認知状況を同乗者に対して提示するので、運転者によるリスク対象の認知状況を同乗者に対して容易に把握させることができる情報提示方法及び情報提示装置を提供することができる。 According to the present invention, since the recognition status of the risk target by the driver is presented to the passenger, the information presentation method and information that can make the passenger easily grasp the recognition status of the risk target by the driver. A presentation device can be provided.
以下において、図面を参照して、本発明の実施形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を貼付している。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the description of the drawings below, the same or similar reference numerals are attached to the same or similar parts.
(情報提示装置)
本発明の実施形態に係る情報提示装置は、車両に搭載可能である(以下、本発明の実施形態に係る情報提示装置が搭載された車両を「自車両」という)。本発明の実施形態に係る情報提示装置は、図1に示すように、コントローラ1、記憶装置2、測位装置3、車両センサ4、周囲センサ5、乗員センサ6、提示装置7、出力装置8、車両制御装置9及びアクチュエータ10を備える。コントローラ1と、記憶装置2、測位装置3、車両センサ4、周囲センサ5、乗員センサ6、提示装置7、出力装置8及び車両制御装置9とは、コントローラエリアネットワーク(CAN)バス等の有線又は無線でデータや信号を送受信可能である。
(Information presentation device)
The information presenting device according to the embodiment of the present invention can be mounted on a vehicle (hereinafter, the vehicle on which the information presenting device according to the embodiment of the present invention is mounted is referred to as "own vehicle"). As shown in FIG. 1, the information presentation device according to the embodiment of the present invention includes a
記憶装置2は、例えば、半導体記憶装置、磁気記憶装置又は光学記憶装置等であってよい。記憶装置2は、コントローラ1に内蔵されていてもよい。記憶装置2は、地図データを記憶する地図記憶部21を備える。地図記憶部21に記憶されている地図データは、例えば高精度地図データ(高精度地図)であってよい。
The storage device 2 may be, for example, a semiconductor storage device, a magnetic storage device, an optical storage device, or the like. The storage device 2 may be built in the
高精度地図は自動運転用の地図として好適である。高精度地図は、ナビゲーション用の地図データ(ナビ地図)よりも高精度の地図データであり、道路単位の情報よりも詳細な車線単位の情報を含む。例えば、高精度地図は車線単位の情報として、車線基準線(例えば車線内の中央の線)上の基準点を示す車線ノードの情報と、車線ノード間の車線の区間態様を示す車線リンクの情報を含む。車線ノードの情報は、その車線ノードの識別番号、位置座標、接続される車線リンク数、接続される車線リンクの識別番号を含む。車線リンクの情報は、その車線リンクの識別番号、車線の種類、車線の幅員、車線の形状、車線境界線の種類、車線境界線の形状、車線基準線の形状等の情報を含む。 The high-precision map is suitable as a map for automatic driving. The high-precision map is map data with higher accuracy than the map data for navigation (navigation map), and includes information in lane units that is more detailed than information in road units. For example, in a high-precision map, lane-based information includes lane node information indicating a reference point on a lane reference line (for example, a central line in a lane) and lane link information indicating a lane section mode between lane nodes. including. The lane node information includes the identification number of the lane node, the position coordinates, the number of connected lane links, and the identification number of the connected lane link. The lane link information includes information such as the lane link identification number, lane type, lane width, lane shape, lane boundary type, lane boundary shape, and lane reference line shape.
高精度地図は更に、車線上又はその近傍に存在する信号機、停止線、標識、建物、電柱、縁石、横断歩道等の地物の種類及び位置座標と、地物の位置座標に対応する車線ノードの識別番号及び車線リンクの識別番号等の、地物の情報を含む。高精度地図は、車線単位のノード及びリンク情報を含むため、走行経路において自車両が走行する車線を特定可能である。高精度地図は、車線の延伸方向及び幅方向における位置を表現可能な座標を有する。高精度地図は、3次元空間における位置を表現可能な座標(例えば経度、緯度及び高度)を有し、車線や上記地物は3次元空間における形状として記述され得る。 High-precision maps also include the types and location coordinates of features such as traffic lights, stop lines, signs, buildings, utility poles, curbs, and pedestrian crossings that exist on or near the lane, and lane nodes that correspond to the location coordinates of the features. Includes feature information such as identification numbers for lane links and identification numbers for lane links. Since the high-precision map includes node and link information for each lane, it is possible to identify the lane in which the own vehicle travels in the travel route. The high-precision map has coordinates that can represent positions in the extending direction and the width direction of the lane. A high-precision map has coordinates (eg, longitude, latitude and altitude) that can represent a position in three-dimensional space, and a lane or the feature can be described as a shape in three-dimensional space.
なお、情報提示装置とは別のサーバで地図データのデータベースを管理し、更新された地図データの差分データを、例えばテレマティクスサービスを通じて取得し、地図記憶部21に記憶された地図データの更新を行ってもよい。また、地図データを自車両が走行している位置に合わせて、車車間通信や路車間通信等のテレマティクスサービスにより取得するようにしてもよい。テレマティクスサービスを用いることにより、自車両では、データ容量が大きい地図データを有しておく必要がなく、メモリの容量の抑制することができる。また、テレマティクスサービスを用いることにより、更新された地図データを取得できるため、道路構造の変化、工事現場の有無等、実際の走行状況を正確に把握できる。更に、テレマティクスサービスを用いることにより、自車両以外の複数の他車両から集められたデータに基づき作成された地図データを用いることができるため、正確な情報を把握できる。
The map data database is managed by a server different from the information presenting device, the updated map data difference data is acquired through, for example, a telematics service, and the map data stored in the
測位装置3は、例えば地球測位システム(GPS)受信機で構成してもよく、他の全地球型測位システム(GNSS)受信機で構成してもよい。測位装置3は、複数の航法衛星から電波を受信して自車両の現在位置(自己位置)を取得し、取得した自車両の現在位置をコントローラ1に出力する。
The
車両センサ4は、自車両の現在位置及び走行状態(挙動)等を検出するセンサである。車両センサ4は、例えば車速センサ、加速度センサ、ジャイロセンサ及びヨーレートセンサであってよいが、車両センサ4の種類及び個数はこれに限定されない。車速センサは、自車両の車輪速に基づき車速を検出し、検出された車速をコントローラ1に出力してよい。加速度センサは、自車両の前後方向及び車幅方向等の加速度を検出し、検出された加速度をコントローラ1に出力してよい。ジャイロセンサは、自車両の角速度を検出し、検出された角速度をコントローラ1に出力してよい。例えば、ヨーレートセンサは、自車両の重心点を通る鉛直軸まわりの回転角速度(ヨーレート)を検出し、検出されたヨーレートをコントローラ1に出力してよい。
The vehicle sensor 4 is a sensor that detects the current position and running state (behavior) of the own vehicle. The vehicle sensor 4 may be, for example, a vehicle speed sensor, an acceleration sensor, a gyro sensor, and a yaw rate sensor, but the type and number of the vehicle sensors 4 are not limited thereto. The vehicle speed sensor may detect the vehicle speed based on the wheel speed of the own vehicle and output the detected vehicle speed to the
周囲センサ5は、自車両の周囲環境(周囲状況)を検出するセンサである。周囲センサ5は、例えばカメラ、レーダ及び通信機等であってよいが、周囲センサ5の種類や個数はこれに限定されない。周囲センサ5として使用されるカメラは、例えばCCDカメラ等であってよい。カメラは単眼カメラであってもよく、ステレオカメラであってもよい。カメラは、自車両の周囲環境を撮像し、撮像画像から他車両、歩行者又は自転車等の物体と自車両との相対位置、物体と自車両との距離、道路上の車線境界線(白線)や縁石等の道路構造等を自車両の周囲環境のデータとして検出し、検出された周囲環境のデータをコントローラ1に出力する。
The surrounding
周囲センサ5として使用されるレーダは、例えばミリ波レーダや超音波レーダ、レーザ車線ジファインダ(LRF)等であってよい。レーダは、物体と自車両との相対位置、物体と自車両との距離、物体と自車両との相対速度、相対加速度等を自車両の周囲環境のデータとして検出し、検出された周囲環境のデータをコントローラ1に出力する。周囲センサ5として使用される通信機は、他車両との車車間通信、路側機との路車間通信、又は交通情報センタ等との通信等を行うことにより、リスク対象を含む自車両の周囲環境のデータを受信し、受信した周囲環境のデータをコントローラ1に出力してよい。
The radar used as the
乗員センサ6は、例えば車室内に配置され、運転者及び同乗者の状態をそれぞれ検出する。乗員センサ6は、運転者及び同乗者の状態を一括して検出する1つのセンサで構成されていてもよく、運転者及び同乗者の状態をそれぞれ検出する2つのセンサで構成されていてもよい。乗員センサ6は、例えば赤外光を照射する赤外光源と、赤外光が照射された運転者及び同乗者の顔を撮影する赤外カメラで構成してもよい。
The
例えば、乗員センサ6は、運転者の顔の向きや、目頭、虹彩、瞳孔の位置等から、運転者の視点の位置座標と視線方向を含む視線情報を、運転者の状態の少なくとも一部として検出する。更に、乗員センサ6は、運転者の開眼率(目の開き具合)を、運転者の状態の一部として検出してもよい。更に、乗員センサ6は、運転者に装着されたウエアラブルデバイスで構成されて、運転者の脈拍数、心拍数、体温、血圧、発汗等の生体情報を、運転者の状態の一部として検出してもよい。
For example, the
運転者の場合と同様に、乗員センサ6は、同乗者の顔の向きや、目頭、虹彩、瞳孔の位置等から、同乗者の視点の位置座標と視線方向を含む視線情報を、同乗者の状態の少なくとも一部として検出する。更に、乗員センサ6は、運転者及び同乗者の開眼率(目の開き具合)を、同乗者の状態の一部として検出してもよい。更に、乗員センサ6は、同乗者に装着されたウエアラブルデバイスで構成されて、同乗者の脈拍数、心拍数、体温、血圧、発汗等の生体情報を、同乗者の状態の一部として検出してもよい。
As in the case of the driver, the
コントローラ1は、自車両の走行支援に必要な処理の算術論理演算を行う電子制御ユニット(ECU)等の処理回路である。例えばコントローラ1は、例えば、プロセッサ、記憶装置及び入出力I/Fを備えてもよい。プロセッサは、算術論理演算装置(ALU)、制御回路(制御装置)、各種レジスタ等を含む中央演算処理装置(CPU)等や、これと等価なマイクロプロセッサであってよい。コントローラ1に内蔵又は外付けされる記憶装置は、半導体メモリやディスクメディア等であってよく、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等の記憶媒体を含んでいてもよい。例えば、コントローラ1のプロセッサは、記憶装置に予め記憶されたプログラムを実行することにより、以下に説明する情報提示装置による情報処理を実行する。
The
例えば、コントローラ1は、地図記憶部21に記憶されている地図データに基づく案内情報を出力装置8から音声等で出力して、運転者等の乗員に対して提示してよい。また、例えばコントローラ1は、自車両の走行支援を実施してよい。例えば走行支援は、運転者が関与せずに自動的に自車両が運転する自動運転であってもよく、運転者による手動運転を支援するように、駆動、制動、操舵の少なくとも一つを制御する運転支援であってもよい。
For example, the
走行支援を実施する際に、コントローラ1は、地図記憶部21に記憶されている地図データに基づき自車両を走行させる走行経路を生成する。走行経路には、自車両の現在地から目的地までの道路単位の走行経路の他に、車線単位の走行軌跡も含まれてもよい。走行軌跡は、速度プロファイル等の走行制御プロファイルも含んでいてもよい。例えば、コントローラ1は、地図データ上の自車両の位置を特定し、自車両の位置を基準にして、車線内に引かれるように走行経路(走行軌跡)を生成する。走行経路(走行軌跡)は、例えば車線内の中央を通るように生成されてもよい。コントローラ1は、生成した走行経路を車両制御装置9へ出力する。
When implementing driving support, the
車両制御装置9は、自車両の走行制御を行う先進走行支援システム(ADAS)等のECUで構成してよい。車両制御装置9は、プロセッサと、記憶装置等の周辺部品とを含む。プロセッサは、例えばCPUや、これと等価なマイクロプロセッサであってよい。記憶装置は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等のメモリを含んでよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路で車両制御装置9を実現してもよい。例えば、車両制御装置9はフィールド・プログラマブル・ゲート・アレイ(FPGA)等のプログラマブル・ロジック・デバイス(PLD)等を有していてもよい。
The
車両制御装置9は、コントローラ1が生成した走行経路を自車両が走行するようにアクチュエータ10の制御量を算出する。車両制御装置9は、算出した制御量をアクチュエータ10へ送信する。アクチュエータ10は、車両制御装置9からの制御信号に応じて自車両の走行を制御する。アクチュエータ10は、例えば駆動アクチュエータ、ブレーキアクチュエータ及びステアリングアクチュエータであってよい。駆動アクチュエータは、例えば電子制御スロットルバルブであってよく、車両制御装置9からの制御信号に基づき自車両のアクセル開度を制御する。ブレーキアクチュエータは、例えば油圧回路であってよく、車両制御装置9からの制御信号に基づき自車両のブレーキの制動動作を制御する。ステアリングアクチュエータは、車両制御装置9からの制御信号に基づき自車両のステアリングを制御する。
The
提示装置7は、運転者によるリスク対象の認知状況を、同乗者に対して提示する(詳細は後述する)。提示装置7は、助手席に着座した同乗者が視認可能な位置に配置される。本明細書における「同乗者が視認可能な位置」とは、同乗者が車室内で着座したときに同乗者から見える位置を意味する。同乗者が助手席に着座する場合には、同乗者が視認可能な位置は、例えば同乗者の前方のダッシュボード又はインストルメントパネルの周辺等であってよい。提示装置7は、例えば図2に示すように、同乗者が助手席に着座したときに同乗者から見える位置に配置された発光部40を有する。発光部40は、ダッシュボードの上部に、フロントウインドウ31の下端に沿って、左右のフロントピラー32a,32bの下端の間で車幅方向に延在するように、帯状に配置されていてよい。発光部40は、帯状の領域のうちの任意の1箇所又は複数箇所の領域を発光させてよい。発光部40は、発光ダイオード(LED)の配列や、有機エレクトロルミネッセンス(EL)パネル等で構成してよい。
The presentation device 7 presents the driver's perception of the risk target to the passenger (details will be described later). The presentation device 7 is arranged at a position where a passenger seated in the passenger seat can see. As used herein, the "position visible to the passenger" means a position visible to the passenger when the passenger is seated in the passenger compartment. When the passenger is seated in the passenger seat, the position visible to the passenger may be, for example, around the dashboard or instrument panel in front of the passenger. As shown in FIG. 2, for example, the presentation device 7 has a
図1に示した出力装置8は、ディスプレイ、スピーカ、振動装置等で構成してよい。振動装置は、運転席や助手席、ステアリングホイール等に配置され、振動を発生させてよい。
The
ここで、本発明者らの実験により、同乗者が、運転者の顔向きや目を見て、運転者の視線方向を推定する場合、同乗者により推定された運転者の視線方向と、実際の運転者の視線方向とはズレが生じ易く、同乗者は、運転者の視線方向を正確に推定し難いという知見が得られた。この知見によれば、同乗者が歩行者等のリスク対象を認知した際に、同乗者は、運転者もそのリスク対象を認知できているのか否か(換言すれば、運転者によるリスク対象の認知状況)を正確に把握できず、不安を感じる場合が想定される。 Here, in the experiment of the present inventors, when the passenger estimates the driver's line-of-sight direction by looking at the driver's face and eyes, the driver's line-of-sight direction estimated by the passenger and the actual driver's line-of-sight direction are actually used. It was found that the direction of the driver's line of sight is likely to deviate from that of the driver, and it is difficult for the passenger to accurately estimate the direction of the driver's line of sight. According to this finding, when a passenger recognizes a risk target such as a pedestrian, whether or not the driver can also recognize the risk target (in other words, the risk target by the driver). It is assumed that you may feel anxious because you cannot accurately grasp the cognitive status.
例えば、同乗者から見て、運転者がリスク対象を認知できているように見えたのに、実際には運転者がリスク対象を認知できておらず、同乗者にとって想定外の自動又は手動による急な運転動作が実行される場合も想定される。一方、同乗者から見て、運転者がリスク対象を認知できていないように見えたために同乗者が不安を感じても、実際には運転者がリスク対象を認知できている場合も想定される。そこで、本発明の実施形態に係る情報提示方法及び情報提示装置は、運転者によるリスク対象の認知状況を、同乗者に対して容易に把握させて、同乗者の安心感を高めることを可能とするものである。 For example, from the passenger's point of view, the driver seemed to be aware of the risk target, but the driver was not actually aware of the risk target, which was unexpected for the passenger, either automatically or manually. It is also assumed that a sudden driving operation is executed. On the other hand, even if the passenger feels uneasy because the driver does not seem to be able to recognize the risk target from the passenger's point of view, it is assumed that the driver can actually recognize the risk target. .. Therefore, the information presentation method and the information presentation device according to the embodiment of the present invention make it possible for the passenger to easily grasp the recognition status of the risk target by the driver and enhance the passenger's sense of security. Is what you do.
図1に示すように、本発明の実施形態に係る情報提示装置のコントローラ1は、リスク対象検出部11、認知推定部12及び提示制御部13等の論理ブロックを機能的若しくは物理的なハードウェア資源として備える。リスク対象検出部11、認知推定部12及び提示制御部13は、FPGA等のPLD等の物理的な論理回路であってもよく、汎用の半導体集積回路中にソフトウェアによる処理で等価的に設定される機能的な論理回路でもよい。また、リスク対象検出部11、認知推定部12及び提示制御部13は、単一のハードウェアで実現されてもよく、それぞれ別個のハードウェアで実現されてもよい。例えば、リスク対象検出部11、認知推定部12及び提示制御部13を、車載インフォテイメント(IVI)システム等のカーナビゲーションシステムで実現してもよい。
As shown in FIG. 1, the
リスク対象検出部11は、周囲センサ5により検出された周囲状況に基づき、自車両の周囲に存在するリスク対象を検出する。本明細書において、リスク対象とは、車両の周囲に存在する、運転者及び同乗者が注意すべき対象を意味する。リスク対象は、歩行者、人間以外の動物、自転車、オートバイ、他車両等の移動物体と、路上の落下物、樹木、交通信号、停止線、車線境界線、道路標識等の静止物体を含む。
The risk
認知推定部12は、リスク対象検出部11により検出されたリスク対象と、乗員センサ6により検出された運転者の状態とに基づき、運転者によるリスク対象の認知状況を推定する。例えば、認知推定部12は、リスク対象検出部11により検出されたリスク対象の相対位置の位置座標と、乗員センサ6により検出された運転者の視点及び視線方向を含む視線情報とに基づき、運転者がリスク対象を認知しているか否かを推定(判定)する。
The
例えば、認知推定部12は、乗員センサ6により検出された運転者の視点の位置座標を通る視線方向がリスク対象の存在する範囲の位置座標と交差する場合、運転者がリスク対象を認知できていると推定(判定)してよい。一方、乗員センサ6により検出された運転者の視点を通る視線方向がリスク対象の存在する範囲の位置座標と交差しない場合には、認知推定部12は、運転者がリスク対象を認知できていないと推定(判定)してよい。なお、認知推定部12は、乗員センサ6により検出された運転者の視線方向がリスク対象の位置座標と交差する場合であっても、リスク対象が運転者から見てフロントピラー32a,32bや同乗者等の死角に入っている場合には、運転者がリスク対象を認知できていないと推定してもよい。
For example, the
更に、認知推定部12は、リスク対象検出部11により検出されたリスク対象と、乗員センサ6により検出された同乗者の状態とに基づき、同乗者によるリスク対象の認知状況を推定する。例えば、認知推定部12は、リスク対象検出部11により検出されたリスク対象の相対位置の位置座標と、乗員センサ6により検出された同乗者の視点及び視線方向を含む視線情報とに基づき、同乗者がリスク対象を認知しているか否かを推定(判定)する。
Further, the
例えば、認知推定部12は、乗員センサ6により検出された同乗者の視点の位置座標を通る視線方向がリスク対象の存在する範囲の位置座標と交差する場合、同乗者がリスク対象を認知できていると推定してよい。一方、乗員センサ6により検出された同乗者の視点の位置座標を通る視線方向がリスク対象101の存在する範囲の位置座標と交差しない場合には、認知推定部12は、同乗者がリスク対象を認知できていないと推定してよい。なお、認知推定部12は、乗員センサ6により検出された同乗者の視線方向がリスク対象101の位置座標と交差する場合であっても、リスク対象が同乗者から見てフロントピラー32a,32bや運転者等の死角に入っている場合には、同乗者がリスク対象を認知できていないと推定してもよい。
For example, when the line-of-sight direction passing through the position coordinates of the viewpoint of the passenger detected by the
認知推定部12は、乗員センサ6により検出された運転者の視線方向がリスク対象を向いており、且つ乗員センサ6により検出された運転者の開眼率が所定の閾値以上の場合には、運転者が集中していることが想定されるため、運転者がリスク対象を認知できていると推定してもよい。一方、認知推定部12は、乗員センサ6により検出された運転者の開眼率が所定の閾値未満の場合には、運転者が漫然としており注意力が散漫であることが想定されるため、運転者の視線方向に関わらず、運転者がリスク対象を認知できていないと推定してもよい。
The
同様に、認知推定部12は、乗員センサ6により検出された同乗者の視線方向がリスク対象を向いており、且つ乗員センサ6により検出された同乗者の開眼率が所定の閾値以上の場合には、同乗者が集中していることが想定されるため、同乗者がリスク対象を認知できていると推定してもよい。一方、認知推定部12は、乗員センサ6により検出された同乗者の開眼率が所定の閾値未満の場合には、同乗者が漫然としており注意力が散漫であることが想定されるため、同乗者の視線方向に関わらず、同乗者がリスク対象を認知できていないと推定してもよい。
Similarly, in the
認知推定部12は、運転者の視線方向及び同乗者の視線方向の推定精度が比較的低い場合等において、乗員センサ6により検出された運転者及び同乗者の生体情報に基づき、運転者及び同乗者のリスク対象の認知状況を推定してもよい。例えば、認知推定部12は、乗員センサ6により運転者又は同乗者の心拍数の増加が検出された場合には、運転者又は同乗者がリスク対象を認知してリスク(不安)を感じたことが想定されるため、運転者又は同乗者がリスク対象を認知できていると推定する尤度を高めてもよい(リスク対象を認知できていると推定し易くしてもよい)。一方、認知推定部12は、乗員センサ6により運転者又は同乗者の心拍数の増加が検出されない場合には、運転者又は同乗者がリスク対象を認知できておらず、安心感が持続していることが想定されるため、運転者又は同乗者がリスク対象を認知できていないと推定する尤度を高めてもよい(リスク対象を認知できていないと推定し易くしてもよい)。
The
なお、運転者及び同乗者の視線方向における中心視及び周辺視等の視野を考慮してもよい。例えば、認知推定部12は、運転者の視線方向に対して所定の立体角の範囲内にリスク対象の存在する範囲の位置座標、或いはリスク対象の重心の位置座標等が存在する場合に、運転者がリスク対象を認知できていると推定してもよい。所定の立体角は、中心視及び周辺視等に基づき適宜設定可能である。同様に、認知推定部12は、同乗者の視線方向に対して所定の立体角の範囲内にリスク対象の存在する範囲の位置座標、或いはリスク対象101の重心の位置座標等が存在する場合に、同乗者がリスク対象を認知できていると推定してもよい。
In addition, the visual field such as the central view and the peripheral view in the line-of-sight direction of the driver and the passenger may be considered. For example, the
提示制御部13は、認知推定部12により推定された運転者及び同乗者によるリスク対象の認知状況に応じて、運転者によるリスク対象の認知状況を同乗者に対して提示する。提示制御部13は、例えば図2に示した発光部40の発光態様を制御して発光させることにより、運転者によるリスク対象の認知状況を提示してよい。発光部40の発光態様は、発光領域のサイズ、発光色、輝度、明度、点滅周期等を含む。
The
次に、図3及び図4を参照して、リスク対象検出部11、認知推定部12及び提示制御部13による処理の一例を説明する。図3は、自車両100が、矢印D0で示すように交差点を左折しようとしており、自車両100の旋回先の横断歩道を歩行者であるリスク対象101が横断しようとしている場面を示す。図3では、自車両100の運転者の視点P1及び視線方向D1、同乗者の視点P2及び視線方向D2を模式的に示している。運転者の視線方向D1はリスク対象101を向いており、運転者はリスク対象101を認知している。また、同乗者の視線方向D2もリスク対象101を向いており、同乗者もリスク対象101を認知している。即ち、図3及び図4は、運転者及び同乗者のいずれもがリスク対象101を認知している状況を示している。
Next, with reference to FIGS. 3 and 4, an example of processing by the risk
図3の走行シーンに対応する自車両100の車室内の様子を図4に示す。図4に示す運転者の視点P1及び視線方向D1、同乗者の視点P2及び視線方向D2は、図3に示す運転者の視点P1及び視線方向D1、同乗者の視点P2及び視線方向D2と対応している。ここでは、乗員センサ6により検出される運転者の視点P1の位置座標及び同乗者の視点P2の位置座標が3次元座標であり、運転者の視線方向D1及び同乗者の視線方向D2も3次元で設定されている場合を例示する。なお、運転者の視点P1の位置座標及び同乗者の視点P2の位置座標は、高さ情報を除いた水平方向の2次元の位置座標であってもよく、運転者の視線方向D1及び同乗者の視線方向D2も2次元で設定されていてもよい。
FIG. 4 shows the state of the vehicle interior of the
リスク対象検出部11は、周囲センサ5により検出されたリスク対象101を含む自車両100の周囲状況から、リスク対象101を検出する。乗員センサ6は、図3及び図4に示すように、運転者の視点P1の位置座標及び視線方向D1を検出する。運転者の視点P1の位置座標は、例えば運転者の両目の中央の位置座標に設定してもよい。更に、乗員センサ6は、同乗者の視点P2の位置座標及び視線方向D2を検出する。同乗者の視点P2の位置座標は、例えば同乗者の両目の中央の位置座標に設定してもよい。
The risk
認知推定部12は、周囲センサ5により検出されたリスク対象101と、乗員センサ6により検出された運転者及び同乗者の状態とに基づき、運転者及び同乗者のいずれもがリスク対象を認知している状況であると推定する。即ち、認知推定部12は、図3及び図4に示すように、乗員センサ6により検出された運転者の視点P1の位置座標を通る視線方向D1がリスク対象101の存在する範囲の位置座標と交差するため、運転者がリスク対象を認知できていると推定(判定)する。更に、認知推定部12は、乗員センサ6により検出された同乗者の視点P2の位置座標を通る視線方向D2がリスク対象101の存在する範囲の位置座標と交差するため、同乗者がリスク対象を認知できていると推定する。
The
提示制御部13は、認知推定部12により推定された運転者及び同乗者のそれぞれのリスク対象101の認知状況に基づき、運転者がリスク対象101を認知できていることを示すように、発光部40の発光領域41を青色や緑色等で発光させる。これにより、運転者がリスク対象101を認知できていることを、同乗者に対して容易に把握させることができる。なお、提示制御部13は、発光部40の発光を禁止し、発光しなくてもよい。例えば、同乗者がリスク対象101を認知しているか否かに関わらず、運転者がリスク対象101を認知できている場合には常に、発光部40の発光を禁止するように予め設定しておけばよい。
The
図4に示すように、発光部40は、リスク対象101の位置に寄らずに、発光領域41の位置を一律に設定してもよい。なお、図5に示すように、発光部40は、同乗者の視点P2から見て、リスク対象101の方向を示す位置に発光領域41を設定してもよい。例えば、リスク対象101の位置座標の水平成分と交差する同乗者の視線方向D2の水平成分が、発光部40の位置座標の水平成分と交差する位置に、発光領域41を設定してもよい。
As shown in FIG. 4, the
次に、図6は、図3と同様の走行シーンでの自車両100の車室内の様子であって、運転者がリスク対象101を認知しておらず、同乗者がリスク対象101を認知している状況を模式的に示している。この場合、認知推定部12は、乗員センサ6により検出された運転者の視点P1及び視線方向D1に基づき、運転者がリスク対象101を認知していないことを推定する。更に、認知推定部12は、乗員センサ6により検出された同乗者の視点P2及び視線方向D2に基づき、同乗者がリスク対象101を認知していることを推定する。
Next, FIG. 6 shows the inside of the
提示制御部13は、認知推定部12による推定結果に基づき、図6に示すように、図4に示した発光部40の発光態様とは異なる発光態様で、強調して発光させる。例えば、発光部40は、図4に示した場合よりも発光領域41の幅を広く設定し、図4に示した場合とは異なる黄色等の発光色で発光する。これにより、運転者がリスク対象を認知できていない状況を、同乗者に対して視覚的に容易に把握させることができる。このため、同乗者は、発話やジェスチャーにより運転者に注意喚起を行ったり、自動又は手動による急な運転動作を予測して事前に身構えたりすることができる。
Based on the estimation result by the
この場合も、発光部40は、リスク対象101の位置に寄らずに、発光領域41を一律に設定してもよい。なお、図7に示すように、発光部40は、同乗者の視点P2から見て、リスク対象101の方向を示す位置に発光領域41を設定してもよい。例えば、リスク対象101の位置座標の水平成分と交差する同乗者の視線方向D2の水平成分が、発光部40の位置座標の水平成分と交差する位置に、発光領域41を設定してもよい。
In this case as well, the
次に、図8は、図3と同様の走行シーンでの自車両100の車室内の様子であって、運転者がリスク対象101を認知しているが、同乗者がリスク対象101を認知していない状況を模式的に示している。この場合、認知推定部12は、乗員センサ6により検出された運転者の視点P1及び視線方向D1に基づき、運転者がリスク対象101を認知していることを推定する。更に、認知推定部12は、乗員センサ6により検出された同乗者の視点P2及び視線方向D2に基づき、同乗者がリスク対象101を認知していないことを推定する。
Next, FIG. 8 shows the inside of the
提示制御部13は、認知推定部12による推定結果に基づき、図8に示すように、発光部40による発光を禁止し、発光しない。これにより、運転者がリスク対象101を認知できているため、同乗者がリスク対象101を認知していなくても発光は行わず、不要に同乗者の注意を惹くことを抑制することができる。なお、この場合、提示制御部13は、図4と同様に、発光部40を青色や緑色等で発光させてもよい。
The
次に、図9は、図3と同様の走行シーンでの自車両100の車室内の様子であって、運転者及び同乗者のいずれもがリスク対象101を認知していない状況を模式的に示している。認知推定部12は、乗員センサ6により検出された運転者の視点P1及び視線方向D1に基づき、運転者がリスク対象101を認知していないことを推定する。更に、認知推定部12は、乗員センサ6により検出された同乗者の視点P2及び視線方向D2に基づき、同乗者がリスク対象101を認知していないことを推定する。
Next, FIG. 9 is a state of the passenger compartment of the
提示制御部13は、認知推定部12による推定結果に基づき、図9に示すように、図6に示した場合と異なる発光態様で、図6に示した場合よりも発光部40を強調して発光させる。例えば、発光部40を図6に示した場合よりも広い幅の発光領域41aで、赤色等の発光色で点滅させて発光させてよい。これにより、自車両100の周囲にリスク対象101が存在を同乗者に対して早期に認知させ、運転者がそのリスク対象101を認知できていないことを、同乗者に対して容易に把握させることができる。このため、同乗者は、発話やジェスチャーにより運転者に注意喚起を行ったり、自動又は手動による急な運転動作を予測して事前に身構えたりすることができる。なお、発光領域41aは、同乗者の前方で一律な位置で設定されていてもよく、同乗者の視点P2から見て、リスク対象101の方向を示す位置に発光領域41aを設定してもよい。
Based on the estimation result by the
更に、図9に示すように、発光部40が、同乗者に注意喚起及び警告するための発光領域41aに加えて、運転者に注意喚起及び警告するための発光領域41bを発光させてよい。これにより、自車両100の周囲にリスク対象101が存在することを、運転者に対して容易に把握させることができる。運転者に注意喚起及び警告するための発光領域41bは、例えば運転者の前方に設定される。
Further, as shown in FIG. 9, the
更に、提示制御部13は、発光部40を発光させると共に、出力装置8を構成するスピーカによる音声や、出力装置8を構成する振動装置による振動等により、運転者及び同乗者に対して注意喚起を行ってもよい。
Further, the
また、提示制御部13は、リスク対象101を認知できていない運転者及び同乗者がリスク対象の存在に気付き易いように、運転者の視線方向D1及び同乗者の視線方向D2の近傍に発光部40の発光領域を設定してもよい。例えば、運転者の視線方向D1の水平成分が、発光部40の位置座標の水平成分と交差する位置に、運転者に注意喚起及び警告するための発光領域を設定してもよい。更に、同乗者の視線方向D2の水平成分が、発光部40の位置座標の水平成分と交差する位置に、同乗者に注意喚起及び警告するための発光領域を設定してもよい。この場合の一例として、図10に示すように、運転者及び同乗者の両方に注意喚起及び警告するための1つの発光領域41を、例えば発光部40全体に設定してもよい。
Further, the
また、提示制御部13は、図11に示すように、リスク対象101を認知できていない同乗者に対してリスク対象101の方向を容易に把握させるために、同乗者の視点P2から見て、リスク対象101の存在する方向D3を示す位置に発光領域41aを設定してもよい。更に、リスク対象101を認知できていない運転者に対してリスク対象101の方向を容易に把握させるために、運転者の視点P1から見て、リスク対象101の存在する方向D4を示す位置に発光領域41bを設定してもよい。
Further, as shown in FIG. 11, the
(情報提示方法)
次に、図12のフローチャートを参照しながら、本発明の実施形態に係る情報提示方法の一例を説明する。ステップS1において、周囲センサ5が、リスク対象を含む自車両の周囲状況を検出する。リスク対象検出部11は、周囲センサ5による自車両の周囲状況の検出結果から、自車両の周囲に存在するリスク対象を検出する。ステップS2において、乗員センサ6が、運転者の視線情報等の、運転者の状態を検出する。ステップS3において、乗員センサ6が、同乗者の視線情報等の、同乗者の状態を検出する。
(Information presentation method)
Next, an example of the information presentation method according to the embodiment of the present invention will be described with reference to the flowchart of FIG. In step S1, the surrounding
ステップS4において、認知推定部12は、リスク対象検出部11により検出されたリスク対象と、乗員センサ6により検出された運転者の状態とに基づき、運転者によるリスク対象の認知状況を推定する。更に、認知推定部12は、リスク対象検出部11により検出されたリスク対象と、乗員センサ6により検出された同乗者の状態とに基づき、同乗者によるリスク対象の認知状況を推定する。そして、提示制御部13が、認知推定部12による推定結果に基づき、提示装置7の発光部40の発光態様を制御することにより、運転者によるリスク対象の認知状況を、同乗者に対して提示する。
In step S4, the
ステップS5において、コントローラ1は、自車両のイグニッションスイッチ(IGN)がオフになったか否かを判断する。イグニッションスイッチがオフになったと判断された場合に処理は終了する。一方、ステップS5においてイグニッションスイッチがオフでないと判断された場合に処理はステップS1へ戻る。
In step S5, the
次に、図12に示したステップS4の発光制御処理の一例を、図13のフローチャートを参照して説明する。ステップS41において、認知推定部12は、運転者がリスク対象を認知できているか否かを推定(判定)する。運転者がリスク対象を認知できていると判定された場合、ステップS42に移行する。
Next, an example of the light emission control process of step S4 shown in FIG. 12 will be described with reference to the flowchart of FIG. In step S41, the
ステップS42において、認知推定部12は、同乗者がリスク対象を認知できているか否かを推定(判定)する。同乗者がリスク対象を認知できていると判定された場合、ステップS43に移行する。ステップS43において、提示制御部13が、例えば同乗者から見てリスク対象の存在する方向の位置を発光領域41に設定し、運転者がリスク対象を認知していることを示す発光態様で、発光部40を青色等で発光させる。
In step S42, the
ステップS42の手順の説明に戻り、認知推定部12により、同乗者がリスク対象を認知していない推定された場合、ステップS44に移行する。ステップS43において、提示制御部13が、不要に同乗者の注意を惹かないように、発光部40の発光を禁止し、発光部40を発光させない。
Returning to the description of the procedure in step S42, if it is estimated by the
ステップS41の手順の説明に戻り、認知推定部12により、運転者がリスク対象を認知できていないと推定された場合、ステップS45に移行する。ステップS45において、認知推定部12は、同乗者がリスク対象を認知できているか否かを推定(判定)する。同乗者がリスク対象を認知できていると推定された場合、ステップS46に移行する。ステップS46において、提示制御部13が、同乗者から見て、リスク対象の方向が分かる位置に、運転者がリスク対象を認知していないことを示す発光態様で、発光部40を黄色等で発光させる。
Returning to the description of the procedure in step S41, if it is estimated by the
ステップS45の手順の説明に戻り、認知推定部12により、同乗者がリスク対象を認知できていないと推定された場合、ステップS47に移行する。ステップS47において、提示制御部13が、同乗者に対してリスクが高いことを示すように、発光部40を強調して赤色等で例えば点滅させる。
Returning to the description of the procedure in step S45, if it is estimated by the
(実施形態の効果)
本発明の実施形態によれば、周囲センサ(第1センサ)5が、自車両の周囲に存在するリスク対象を検出し、乗員センサ(第2センサ)6が、自車両の運転者の状態を検出する。そして、乗員センサ6によるリスク対象の検出結果と、周囲センサ5による運転者の状態の検出結果とに基づき、運転者によるリスク対象の認知状況を、同乗者に対して提示装置7により提示する。これにより、運転者によるリスク対象の認知状況を同乗者に対して容易に把握させることができるので、同乗者の安心感を高めることができる。また、自動運転のレベルによってはリスク対象を監視することが必要となるが、リスク対象を監視する役割を、運転者のみで担うのではなく、運転者及び同乗者で分担することができる。このため、運転者の監視負担を軽減することができ、運転者の安心感を高めることができる。
(Effect of embodiment)
According to the embodiment of the present invention, the surrounding sensor (first sensor) 5 detects a risk target existing around the own vehicle, and the occupant sensor (second sensor) 6 determines the state of the driver of the own vehicle. To detect. Then, based on the detection result of the risk target by the
更に、乗員センサ6が自車両の同乗者の状態を更に検出し、同乗者の状態の検出結果に基づき、運転者によるリスク対象の認知状況を、同乗者に対して提示する。これにより、同乗者の状態に応じて、運転者によるリスク対象の認知状況の提示態様を変更することができる。
Further, the
更に、提示装置7が、同乗者が視認可能な位置に配置された発光部40を有し、発光部40の発光態様により、運転者によるリスク対象の認知状況を提示する。これにより、発光部40の発光態様を変化させることで、運転者によるリスク対象の認知状況を同乗者に対して容易に把握させることができる。
Further, the presenting device 7 has a
更に、自車両とリスク対象との相対位置と、運転者及び同乗者のそれぞれの視線情報に基づき、運転者及び同乗者のそれぞれのリスク対象の認知状況を推定し、推定結果に応じて発光部40の発光態様を変更する。これにより、運転者と同乗者のリスク対象の認知状況の推定結果に応じて発光部40の発光態様を変更するので、運転者によるリスク対象の認知状況を同乗者に対して容易に把握させることができ、同乗者は安心して同乗することができる。
Furthermore, based on the relative position between the own vehicle and the risk target and the line-of-sight information of the driver and the passenger, the recognition status of each risk target of the driver and the passenger is estimated, and the light emitting unit is estimated according to the estimation result. The light emission mode of 40 is changed. As a result, the light emitting mode of the
更に、運転者及び同乗者のいずれもがリスク対象を認知していると推定された場合、発光部40を青色等で発光させる。これにより、同乗者がリスク対象を認知している際に、運転者がリスク対象を認知できていることを同乗者に対して容易に把握させることができ、同乗者は安心して同乗することができる。
Further, when it is estimated that both the driver and the passenger are aware of the risk target, the
更に、運転者がリスク対象を認知し、且つ同乗者がリスク対象を認知していないと推定された場合、発光部40による発光を禁止する。これにより、同乗者がリスク対象を認知していない際には、発光部40が発光しないため、不要に同乗者の注意を惹くことを抑制することができる。
Further, when it is estimated that the driver recognizes the risk target and the passenger does not recognize the risk target, the
更に、運転者がリスク対象を認知せず、且つ同乗者がリスク対象を認知していると推定された場合、運転者及び同乗者のいずれもがリスク対象を認知していると推定された場合とは異なる発光態様で、発光部40を発光させる。これにより、同乗者がリスク対象を認知している際に、運転者がリスク対象を認知できているか否かを同乗者に対して視覚的に容易に区別して把握させることができる。
Furthermore, when it is estimated that the driver does not recognize the risk target and the passenger is aware of the risk target, and it is estimated that both the driver and the passenger are aware of the risk target. The
更に、運転者及び同乗者のいずれもがリスク対象を認知していないと推定された場合、運転者がリスク対象を認知せず、且つ同乗者がリスク対象を認知していると推定された場合よりも強調して、発光部40を発光させる。これにより、運転者及び同乗者のいずれもがリスク対象を認知していない際には、強調した発光により、同乗者に対して注意喚起及び警告を行うことができる。このため、リスク対象の存在と共に、運転者がリスク対象を認知できていないことを同乗者に対して容易に把握させることができる。
Furthermore, when it is estimated that neither the driver nor the passenger is aware of the risk target, the driver is not aware of the risk target, and it is estimated that the passenger is aware of the risk target. The
更に、同乗者から見て、リスク対象が存在する方向を示す位置に発光部40の発光領域41を設定する。これにより、リスク対象が存在する方向を同乗者に対して容易に把握させることができる。
Further, the
更に、運転者の視線情報及び運転者の生理情報に基づき、運転者によるリスク対象の認知状況を推定する。これにより、運転者の視線情報のみに基づき推定する場合と比較して、運転者によるリスク対象の認知状況を高精度に推定し得る。 Furthermore, the recognition status of the risk target by the driver is estimated based on the driver's line-of-sight information and the driver's physiological information. As a result, it is possible to estimate the perceived state of the risk target by the driver with higher accuracy than in the case of estimating based only on the driver's line-of-sight information.
(第1変形例)
本発明の実施形態の第1変形例として、提示装置7の変形例を説明する。本発明の実施形態においては、提示装置7を構成する発光部40がフロントピラー32a,32bの間で車幅方向に帯状に延伸する場合を例示した。しかしながら、提示装置7を構成する発光部40の形状や配置位置は、同乗者が視認可能であれば限定されない。例えば図14に示すように、発光部40aが、同乗者の前方に配置された発光スポットであってもよい。図14では、運転者の前方にも発光部40bが配置されている。
(First modification)
As a first modification of the embodiment of the present invention, a modification of the presentation device 7 will be described. In the embodiment of the present invention, the case where the
また、本発明の実施形態においては、提示装置7が発光部40を有する場合を例示したが、提示装置7がヘッドアップディスプレイ(HUD)装置で構成されていてもよい。提示装置7を構成するHUD装置は、画像の光をフロントウインドウ31に投影する。フロントウインドウ31で反射された画像の光は、助手席に着座した同乗者により知覚される。同乗者は、HUD装置により投影された虚像を、フロントウインドウ31越しの前方状況に重畳して視認可能となる。即ち、提示装置7は、HUD装置により投影された虚像の表示態様を制御することで、運転者によるリスク対象の認知状況を、同乗者に対して把握させることができる。
Further, in the embodiment of the present invention, the case where the presenting device 7 has the
(第2変形例)
本発明の実施形態の第2変形例として、リスク対象検出部11がリスクレベルを算出する場合を説明する。リスク対象検出部11は、周囲センサ5により検出された周囲状況等に基づき、リスク対象毎に、運転者及び同乗者が注意すべき度合いであるリスクレベルを算出してよい。例えば、リスク対象検出部11は、自車両に対するリスク対象の相対位置、相対速度、相対加速度等に基づき、自車両とリスク対象との接触確率を算出し、接触確率が高いほどリスクレベルを高く算出してもよい。例えば、リスク対象検出部11は、自車両に対するリスク対象である他車両の衝突予測時間(TTC)又は車間時間(THW)を算出してもよい。TTCは、車間距離を他車両との相対速度で除算した値である。THWは、車間距離を他車両の速度で除算した値である。リスク対象検出部11は、THW及びTTCが小さいほど、リスク対象のリスクレベルを高くしてもよい。
(Second modification)
As a second modification of the embodiment of the present invention, a case where the risk
リスク対象検出部11は、リスク対象の衝撃度合いを算出し、衝撃度合いが高いほどリスクレベルを高く算出してもよい。例えば、リスク対象検出部11は、リスク対象の体積、又は自車両から見た場合の鉛直方向の平面におけるリスク対象の面積を算出し、リスク対象の体積又は面積が大きいほどリスクレベルを高く算出してもよい。
The risk
リスク対象検出部11は、リスク対象のリスクレベルが所定の閾値以上か否かを判定してよい。リスク対象検出部11は、リスク対象のリスクレベルが所定の閾値以上と判定された場合、その判定されたリスク対象を、認知推定部12により推定する運転者及び同乗者による認知対象として検出(決定)してよい。
The risk
また、図15に示すように、自車両100が交差点を左折する際に、歩行者等の複数のリスク対象101,102が存在する場合を考える。リスク対象検出部11は、リスク対象101,102毎にリスクレベルを算出する。この場合、自車両100により接近しているリスク対象101のリスクレベルがリスク対象102のリスクレベルよりも高く算出されてよい。リスク対象検出部11は、複数のリスク対象101,102がある場合には、リスクレベルが最も高いリスク対象101を、認知推定部12により推定する運転者及び同乗者による認知対象として検出(決定)してよい。
Further, as shown in FIG. 15, consider a case where a plurality of
認知推定部12は、運転者及び同乗者のそれぞれによるリスク対象101の認識状況を推定する。図15に対応する自車両100の車室内の様子を図16に示す。運転者の視線方向D1は、リスクレベルが相対的に低いリスク対象102を向いているため、認知推定部12は、運転者がリスク対象101を認識できていないと推定する。同乗者の視線方向D2は、リスクレベルが相対的に高いリスク対象101を向いているため、認知推定部12は、同乗者がリスク対象101を認識できていると推定する。提示制御部13による発光制御処理は、本発明の実施形態と同様であるので、重複した説明を省略する。
The
提示制御部13は、リスク対象検出部11により算出されたリスク対象のリスクレベルに応じて、発光部40の発光態様を変更してもよい。例えば、リスク対象のリスクレベルが高いほど発光部40の発光を強調させてよい。例えば、リスク対象のリスクレベルが高くなるに従い、発光部40の発光色を黄色、橙色、赤色の順で変化させてもよい。或いは、リスク対象のリスクレベルが高いほど、輝度や明度を高くしたり、発光領域のサイズを大きくしたり、点滅周期を短くしたりしてもよい。
The
次に、図12に示したステップS1に対応する、本発明の実施形態の第2変形例に係るリスク対象検出処理の一例を、図17のフローチャートを参照して説明する。ステップS11において、リスク対象検出部11は、周囲センサ5による検出結果から、リスク対象となる候補の検出の有無を判定する。ステップS11の手順を、リスク対象の候補が検出されたと判定されるまで繰り返し、リスク対象の候補が検出されたと判定された場合、ステップS12に移行する。
Next, an example of the risk target detection process according to the second modification of the embodiment of the present invention corresponding to step S1 shown in FIG. 12 will be described with reference to the flowchart of FIG. In step S11, the risk
ステップS12において、リスク対象検出部11は、リスク対象の候補のリスクレベルを算出する。ステップS13において、リスク対象検出部11は、リスク対象の候補のリスクレベルが閾値以上か否かを判定する。リスク対象の候補のリスクレベルが閾値未満と判定された場合、ステップS11の手順に戻る。一方、ステップS13において、リスク対象の候補のリスクレベルが閾値以上と判定された場合、ステップS14に移行する。
In step S12, the risk
ステップS14において、リスク対象検出部11は、リスクレベルが閾値以上のリスク対象の候補が複数存在するか否かを判定する。リスクレベルが閾値以上のリスク対象の候補が複数存在しないと判定された場合、ステップS15に移行する。ステップS15において、リスク対象検出部11は、リスクレベルが閾値以上のリスク対象の候補を、運転者及び同乗者が注意すべきリスク対象として選択する。
In step S14, the risk
一方、ステップS14において、リスクレベルが閾値以上のリスク対象の候補が複数存在すると判定された場合、ステップS16に移行する。ステップS16において、リスク対象検出部11は、複数のリスク対象の候補のリスクレベルを比較して、リスクレベルが最大のリスク対象の候補を、運転者及び同乗者が注意すべきリスク対象として選択する。これにより、より重要なリスク対象を優先的に、運転者及び同乗者に対して認知させることができる。
On the other hand, if it is determined in step S14 that there are a plurality of risk target candidates having a risk level equal to or higher than the threshold value, the process proceeds to step S16. In step S16, the risk
本発明の実施形態の第2変形例によれば、周囲センサ5によるリスク対象の検出結果に基づき、リスク対象のリスクレベルを算出し、リスクレベルに応じて発光部40の発光態様を変更する。これにより、リスク対象のリスクレベル(注意すべき度合い)を同乗者に対して容易に把握させることができる。
According to the second modification of the embodiment of the present invention, the risk level of the risk target is calculated based on the detection result of the risk target by the surrounding
(第3変形例)
本発明の実施形態の第3変形例として、同乗者の状態を推定しない場合を説明する。本発明の実施形態においては、認知推定部12が、運転者及び同乗者のそれぞれの状態を推定し、提示制御部13が、認知推定部12による運転者及び同乗者のそれぞれの状態の推定結果に基づき、発光部40の発光態様を制御する場合を例示した。しかし、認知推定部12が、同乗者の状態を推定せずに運転者のみの状態を推定し、提示制御部13が、認知推定部12による運転者のみの状態の推定結果に基づき、発光部40の発光態様を制御してもよい。
(Third modification example)
As a third modification of the embodiment of the present invention, a case where the state of the passenger is not estimated will be described. In the embodiment of the present invention, the
即ち、同乗者によるリスク対象の認知状況に関わらず、運転者によるリスク対象の認知状況のみに基づき、発光部40の発光態様を制御してもよい。この場合、同乗者によるリスク対象の認知状況に関わらず、運転者がリスク対象を認知できている場合と、運転者がリスク対象を認知できていない場合とで、発光部40の発光態様を異ならせればよい。
That is, regardless of the recognition status of the risk target by the passenger, the light emitting mode of the
本発明の実施形態の第3変形例に係る情報提供方法では、図12に示したステップS3の同乗者の状態を推定するステップを省略してもよい。図12に示したステップS4に対応する本発明の実施形態の第3変形例に係る発光制御処理の一例を、図17に示すフローチャートを参照して説明する。 In the information providing method according to the third modification of the embodiment of the present invention, the step of estimating the state of the passenger in step S3 shown in FIG. 12 may be omitted. An example of the light emission control process according to the third modification of the embodiment of the present invention corresponding to step S4 shown in FIG. 12 will be described with reference to the flowchart shown in FIG.
ステップS51において、認知推定部12は、運転者がリスク対象を認知できているか否かを推定(判定)する。運転者がリスク対象を認知できていると推定された場合、ステップS52に移行する。ステップS52において、提示制御部13は、発光部40の発光を禁止する。或いは、提示制御部13は、運転者がリスク対象を認知していることを示すように青色等で発光部40を発光させてよい。
In step S51, the
ステップS51の手順の説明に戻り、認知推定部12により、運転者がリスク対象を認知できていないと推定された場合、ステップS53に移行する。ステップS53において、提示制御部13は、ステップS52の発光態様とは異なる発光態様で、例えば発光部40を黄色等で発光させる。
Returning to the description of the procedure in step S51, if it is estimated by the
本発明の実施形態の第3変形例によれば、同乗者の状態を推定しない場合であっても、乗員センサ6によるリスク対象の検出結果と、周囲センサ5による運転者の状態の検出結果とに基づき、運転者によるリスク対象の認知状況を、同乗者に対して提示装置7により提示する。これにより、運転者によるリスク対象の認知状況を同乗者に対して容易に把握させることができるので、同乗者の安心感を高めることができる。
According to the third modification of the embodiment of the present invention, the detection result of the risk target by the
(その他の実施形態)
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替の実施形態、実施例及び運用技術が明らかとなろう。
(Other embodiments)
As mentioned above, the invention has been described by embodiment, but the statements and drawings that form part of this disclosure should not be understood to limit the invention. This disclosure will reveal to those skilled in the art various alternative embodiments, examples and operational techniques.
例えば、本発明の実施形態に係る情報提供方法及び情報提供装置は自動運転及び手動運転のいずれにも適用可能であるが、自動運転の場合には手動運転の場合よりも運転者の注意力が低下し易く、運転者がリスク対象を認知できていない頻度も増加することが想定される。そこで、自車両が自動運転の場合には、自車両が手動運転の場合よりもリスクレベルを高く算出する。これにより、自動運転時は、手動運転時よりも注意力が散漫となり易いが、同一条件のリスク対象であっても自動運転時には手動運転時よりもリスクレベルを高く算出することで、同乗者に対して警告及び注意喚起を行う場合のタイミングや頻度を増加させて、同乗者の集中力を向上させることができる。 For example, the information providing method and the information providing device according to the embodiment of the present invention can be applied to both automatic driving and manual driving, but in the case of automatic driving, the driver's attention is higher than in the case of manual driving. It is likely to decrease, and it is expected that the frequency with which the driver is not aware of the risk target will increase. Therefore, when the own vehicle is automatically driven, the risk level is calculated higher than when the own vehicle is manually driven. As a result, attention is more likely to be distracted during automatic driving than during manual driving, but even if the risk target is the same, the risk level can be calculated higher during automatic driving than during manual driving. On the other hand, it is possible to improve the concentration of passengers by increasing the timing and frequency of issuing warnings and alerts.
また、本発明の実施形態においては、助手席に着座した同乗者に対して提示する場合を例示したが、後部座席に着座した同乗者に対して提示してもよい。この場合、提示装置7が後部座席に着座した同乗者に視認可能な位置に配置される。同乗者が助手席に着座する場合には、同乗者が視認可能な位置は、同乗者の前方の運転席又は助手席の背面や、同乗者側のリアドアのドアトリムの上部等であってもよい。また、自車両100が走行中のみならず、駐車中にも適用することができる。
Further, in the embodiment of the present invention, the case of presenting to the passenger seated in the passenger seat is illustrated, but the presenting may be performed to the passenger seated in the rear seat. In this case, the presentation device 7 is arranged at a position visible to the passenger seated in the back seat. When the passenger is seated in the passenger seat, the position visible to the passenger may be the driver's seat in front of the passenger or the back of the passenger seat, the upper part of the door trim of the rear door on the passenger side, or the like. .. Further, it can be applied not only when the
このように、本発明は、ここで記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。 As described above, it goes without saying that the present invention includes various embodiments not described here. Therefore, the technical scope of the present invention is defined only by the matters specifying the invention relating to the reasonable claims from the above description.
1…コントローラ
2…記憶装置
3…測位装置
4…車両センサ
5…周囲センサ
6…乗員センサ
7…提示装置
8…出力装置
9…車両制御装置
10…アクチュエータ
11…リスク対象検出部
12…認知推定部
13…提示制御部
21…地図記憶部
31…フロントウインドウ
32a,32b…フロントピラー
40,40a,40b…発光部
41…発光領域
100…自車両
101,102…リスク対象
1 ... Controller 2 ...
Claims (13)
第2センサが、前記車両の運転者の状態を検出し、
前記リスク対象の検出結果と、前記運転者の状態の検出結果とに基づき、前記運転者による前記リスク対象の認知状況を推定し、
前記運転者が前記リスク対象を認知していると推定された場合に、前記運転者による前記リスク対象の認知状況を、前記車両の同乗者に対して提示装置により提示する
ことを特徴とする情報提示方法。 The first sensor detects the risk target existing around the vehicle and
The second sensor detects the state of the driver of the vehicle and
Based on the detection result of the risk target and the detection result of the driver's condition, the recognition status of the risk target by the driver is estimated.
Information characterized in that, when it is presumed that the driver is aware of the risk target, the recognition status of the risk target by the driver is presented to the passenger of the vehicle by a presentation device. Presentation method.
第2センサが、前記車両の運転者及び同乗者の状態を検出し、
前記リスク対象の検出結果と、前記運転者及び前記同乗者の状態の検出結果とに基づき、前記運転者及び前記同乗者のそれぞれによる前記リスク対象の認知状況を推定し、
前記運転者及び前記同乗者のいずれもが前記リスク対象を認知していると推定された場合、前記運転者による前記リスク対象の認知状況を、前記同乗者に対して提示装置により提示することを特徴とする情報提示方法。 The first sensor detects the risk target existing around the vehicle and
The second sensor detects the state of the driver and passengers of the vehicle,
Based on the detection result of the risk target and the detection result of the state of the driver and the passenger, the recognition status of the risk target by each of the driver and the passenger is estimated.
When it is estimated that both the driver and the passenger are aware of the risk target, the presenting device is used to present the recognition status of the risk target by the driver to the passenger. Characteristic information presentation method.
第2センサが、前記車両の運転者及び同乗者の状態を検出し、
前記リスク対象の検出結果と、前記運転者及び前記同乗者の状態の検出結果とに基づき、前記運転者及び前記同乗者のそれぞれによる前記リスク対象の認知状況を推定し、
前記運転者及び前記同乗者のいずれもが前記リスク対象を認知していないと推定された場合、前記運転者が前記リスク対象を認知せず、且つ前記同乗者が前記リスク対象を認知していると推定された場合よりも強調して、前記運転者による前記リスク対象の認知状況を、前記同乗者に対して提示装置により提示することを特徴とする情報提示方法。 The first sensor detects the risk target existing around the vehicle and
The second sensor detects the state of the driver and passengers of the vehicle,
Based on the detection result of the risk target and the detection result of the state of the driver and the passenger, the recognition status of the risk target by each of the driver and the passenger is estimated.
If it is estimated that neither the driver nor the passenger is aware of the risk target, the driver is not aware of the risk target and the passenger is aware of the risk target. An information presentation method characterized by presenting the perceived status of the risk target by the driver to the passenger by a presentation device, with emphasis on the case where it is presumed to be.
第2センサが、前記車両の運転者の状態を検出し、
前記リスク対象の検出結果と、前記運転者の状態の検出結果とに基づき、前記運転者による前記リスク対象の認知状況を、前記車両の同乗者に対して提示装置により提示し、
前記リスク対象の検出結果に基づき、前記リスク対象のリスクレベルを算出し、
前記リスクレベルに応じて前記提示装置による提示態様を変更する
ことを特徴とする情報提示方法。 The first sensor detects the risk target existing around the vehicle and
The second sensor detects the state of the driver of the vehicle and
Based on the detection result of the risk target and the detection result of the driver's condition, the recognition status of the risk target by the driver is presented to the passenger of the vehicle by the presenting device.
Based on the detection result of the risk target, the risk level of the risk target is calculated.
An information presentation method comprising changing the presentation mode by the presentation device according to the risk level.
前記同乗者の状態の検出結果に基づき、前記運転者による前記リスク対象の認知状況を、前記同乗者に対して提示する
ことを特徴とする請求項1又は4に記載の情報提示方法。 The second sensor further detects the state of the passenger, and the second sensor further detects the state of the passenger.
The information presentation method according to claim 1 or 4 , wherein the driver presents the recognition status of the risk target to the passenger based on the detection result of the passenger's condition.
前記発光部の発光態様により、前記運転者による前記リスク対象の認知状況を、前記同乗者に対して提示する
ことを特徴とする請求項1~5のいずれか1項に記載の情報提示方法。 The presenting device has a light emitting unit arranged at a position visible to the passenger.
The information presentation method according to any one of claims 1 to 5 , wherein the driver presents the recognition status of the risk target to the passenger according to the light emitting mode of the light emitting unit.
前記推定結果に応じて前記発光部の発光態様を変更する
ことを特徴とする請求項6に記載の情報提示方法。 Based on the relative position between the vehicle and the risk target and the line-of-sight information of the driver and the passenger, the recognition status of the risk target of the driver and the passenger is estimated.
The information presentation method according to claim 6 , wherein the light emitting mode of the light emitting unit is changed according to the estimation result.
前記車両の運転者の状態を検出する第2センサと、
前記車両の同乗者が視認可能な位置に配置された提示装置と、
前記リスク対象の検出結果と、前記運転者の状態の検出結果とに基づき、前記運転者による前記リスク対象の認知状況を推定し、前記運転者が前記リスク対象を認知していると推定された場合に、前記運転者による前記リスク対象の認知状況を、前記同乗者に対して前記提示装置により提示させるコントローラ
とを備えることを特徴とする情報提示装置。 The first sensor that detects risk targets around the vehicle,
The second sensor that detects the state of the driver of the vehicle and
A presentation device arranged at a position visible to the passengers of the vehicle, and
Based on the detection result of the risk target and the detection result of the state of the driver, the recognition status of the risk target by the driver is estimated, and it is estimated that the driver recognizes the risk target. In this case, the information presenting device is provided with a controller that causes the passenger to present the perceived status of the risk target by the driver by the presenting device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018111148A JP7101053B2 (en) | 2018-06-11 | 2018-06-11 | Information presentation method and information presentation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018111148A JP7101053B2 (en) | 2018-06-11 | 2018-06-11 | Information presentation method and information presentation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019215620A JP2019215620A (en) | 2019-12-19 |
JP7101053B2 true JP7101053B2 (en) | 2022-07-14 |
Family
ID=68919571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018111148A Active JP7101053B2 (en) | 2018-06-11 | 2018-06-11 | Information presentation method and information presentation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7101053B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022190630A1 (en) * | 2021-03-12 | 2022-09-15 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014170987A1 (en) | 2013-04-18 | 2014-10-23 | 三菱電機株式会社 | Moving body state notification device, server device, and moving body state notification method |
JP2018156173A (en) | 2017-03-15 | 2018-10-04 | 株式会社Subaru | Display system in vehicle and method for controlling display system in vehicle |
-
2018
- 2018-06-11 JP JP2018111148A patent/JP7101053B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014170987A1 (en) | 2013-04-18 | 2014-10-23 | 三菱電機株式会社 | Moving body state notification device, server device, and moving body state notification method |
JP2018156173A (en) | 2017-03-15 | 2018-10-04 | 株式会社Subaru | Display system in vehicle and method for controlling display system in vehicle |
Also Published As
Publication number | Publication date |
---|---|
JP2019215620A (en) | 2019-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11008016B2 (en) | Display system, display method, and storage medium | |
JP6319349B2 (en) | Information presentation device | |
US10595176B1 (en) | Virtual lane lines for connected vehicles | |
JP6737600B2 (en) | Method of operating an autonomous moving body in a field-of-view environment | |
EP3533665B1 (en) | Apparatus that presents result of recognition of recognition target | |
JP7189329B2 (en) | Vehicle control method and vehicle control device | |
JP6680136B2 (en) | Exterior display processing device and exterior display system | |
US20180276986A1 (en) | Vehicle-to-human communication in an autonomous vehicle operation | |
US20130058116A1 (en) | Method and device for changing a light emission of at least one headlight of a vehicle | |
EP3216667A1 (en) | Control system for vehicle | |
US11900812B2 (en) | Vehicle control device | |
CN109841088B (en) | Vehicle driving assistance system and method | |
US11021103B2 (en) | Method for enriching a field of view of a driver of a transportation vehicle with additional information, device for use in an observer transportation vehicle, device for use in an object, and transportation vehicle | |
CN112771592B (en) | Method for warning a driver of a motor vehicle, control device and motor vehicle | |
CN109383367B (en) | Vehicle exterior notification device | |
JP2020164038A (en) | Vehicle control system | |
KR20200125910A (en) | Graphical user interface for display of autonomous vehicle behaviors | |
JP2022060078A (en) | Drive support device | |
US20230399004A1 (en) | Ar display device for vehicle and method for operating same | |
JP2020135044A (en) | Automatic driving system | |
JP7101053B2 (en) | Information presentation method and information presentation device | |
EP2797027A1 (en) | A vehicle driver alert arrangement, a vehicle and a method for alerting a vehicle driver | |
JP2021149319A (en) | Display control device, display control method, and program | |
CN111746389A (en) | Vehicle control system | |
CN115257794A (en) | System and method for controlling head-up display in vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7101053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |