JP7423388B2 - 情報提供装置 - Google Patents

情報提供装置 Download PDF

Info

Publication number
JP7423388B2
JP7423388B2 JP2020065022A JP2020065022A JP7423388B2 JP 7423388 B2 JP7423388 B2 JP 7423388B2 JP 2020065022 A JP2020065022 A JP 2020065022A JP 2020065022 A JP2020065022 A JP 2020065022A JP 7423388 B2 JP7423388 B2 JP 7423388B2
Authority
JP
Japan
Prior art keywords
information
vehicle
unit
display
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020065022A
Other languages
English (en)
Other versions
JP2021160598A (ja
Inventor
夕紀 青木
尚 村山
正英 小林
康一 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020065022A priority Critical patent/JP7423388B2/ja
Publication of JP2021160598A publication Critical patent/JP2021160598A/ja
Application granted granted Critical
Publication of JP7423388B2 publication Critical patent/JP7423388B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instrument Panels (AREA)

Description

本発明は、自車両の乗員に前方視界に係る情報の提供を行う情報提供装置に関する。
例えば特許文献1には、運転者にとって有用な後方視界の画像を、運転状況に応じて適切に、かつ運転者が認識しやすい態様で表示することができる運転支援装置の発明が開示されている。
特許文献1に係る運転支援装置は、表示部と、撮像部と、運転状況検出部と、一視点の基準画像を生成する基準画像生成部と、基準画像から表示部に表示する表示画像を変換する表示画像変換部と、表示部に表示画像を表示する表示制御部と、を備える。表示画像変換部は、通常走行時には自車両の真後ろの後方視界を含む第1の表示画像を表示画像として変換する一方、通常走行でない場合、運転状況検出部の検出結果に基づいて、自車両の後側方の後方視界を含む第2の表示画像を変換する。表示制御部は、表示画像の切替えを行う際に、第1の表示画像のうち第2の表示画像に含まれる部分の表示位置を保持する。
特許文献1に係る運転支援装置の発明によれば、運転者にとって有用な後方視界の画像を、運転状況に応じて適切に、かつ運転者が認識しやすい態様で表示することができる。
特開2017-117120号公報
しかしながら、特許文献1に係る運転支援装置の発明には、車室内の乗員の視点位置を含む着座状態に基づいて表示画面に表示される表示画像の切替えを行うことは開示も示唆もされていない。
そのため、乗員が自然な体位でフロントガラス越しに広がる自車両の前方視界に関する風景を視た際において、車室内の乗員の例えば鉛直方向の視点位置によっては、前方視界に関する風景に係る下方見切りラインと、表示画面に表示された前方視界に関する風景画像に係る下方見切りラインとの間に位置ズレを生じる場合がある。すると、同じ前方視界に関する風景及び風景画像を交互に見た場合に、乗員に違和感を抱かせるおそれがあった。
本発明は、前記事情に鑑みてなされたものであり、同じ前方視界に関する風景及び風景画像を交互に見た場合であっても、乗員に違和感を抱かせることのない風景情報の提供が可能となる情報提供装置を提供することを課題とする。
上記課題を解決するために、本発明(1)に係る情報提供装置は、自車両の前方視界に関する風景画像の情報を取得する情報取得部と、車室内に設けられ、前記情報取得部により取得した前記前方視界に関する風景画像が表示される表示部と、前記表示部の表示制御を行う表示制御部と、を備え、前記表示部に表示された前記風景画像の情報を乗員に提供する情報提供装置であって、前記情報取得部は、乗員の着座状態及び視点位置、助手席乗員の覚醒状態の情報をさらに取得し、前記情報取得部により取得した乗員の着座状態に基づいて、当該乗員の前方視界に関する風景に係る第1見切り部の座標を推定する推定部と、前記推定部により推定された前記第1見切り部の座標に基づいて、前記情報取得部により取得した前記前方視界に関する風景画像を、当該風景画像に係る第2見切り部が前記風景に係る前記第1見切り部に基づき区画された見切り領域を有する風景画像に変換する変換部と、をさらに備え、前記表示制御部は、前記変換部により変換された前記見切り領域を有する風景画像を、前記表示部に表示させ、前記推定部は、前記情報取得部により取得した助手席乗員の視点位置に基づいて、当該助手席乗員の前方視界に関する風景に係る第1見切り部の座標を推定するところ、前記情報取得部により取得した助手席乗員の覚醒状態が所定の覚醒閾値未満である場合に、前記情報取得部により取得した運転席乗員の視点位置に基づいて、当該運転席乗員の前方視界に関する風景に係る第1見切り部の座標を推定することを最も主要な特徴とする。
本発明によれば、同じ前方視界に関する風景及び風景画像を交互に見た場合であっても、乗員に違和感を抱かせることのない風景情報の提供を行うことができる。
本発明の実施形態に係る情報提供装置が備わる車両制御装置を備える自動運転車の全体構成図である。 本発明の実施形態に係る情報提供装置が備わる車両制御装置及びその周辺部の構成を表す機能ブロック構成図である。 車両制御装置に備わるHMIの概略構成図である。 自動運転車の車室前部構造を表す図である。 本発明の実施形態に係る情報提供装置が有する風景画像変換機能を概念的に表すブロック構成図である。 情報提供装置が有する風景画像変換機能に係る実行部を概念的に表すブロック構成図である。 情報提供装置の動作説明に供するフローチャート図である。 カメラにより撮像した前方視界に関する風景画像を概念的に表す図である。 乗員の前方視界に関する風景を概念的に表す図である。 マルチインフォメーションパネルに表示される乗員の前方視界に関する風景画像を概念的に表す図である。 自車両の前方視界に関する風景画像が占める領域のなかから、助手席乗員及び運転席乗員のそれぞれの視点位置に基づき変換された見切り領域をそれぞれ有する風景画像を対比して概念的に表す説明図である。
以下、本発明の実施形態に係る情報提供装置について、図面を参照して詳細に説明する。
なお、以下に示す図面において、共通の機能を有する部材には共通の参照符号を付するものとする。また、部材のサイズ及び形状は、説明の便宜のため、変形又は誇張して模式的に表す場合がある。
本発明の実施形態に係る情報提供装置300が備わる車両制御装置100を備える自動運転車(以下、「自車両」と称する場合がある。)Mの説明において、自車両Mについて左右の表現を用いる場合、自車両Mの進行方向前方を基準とする。具体的には、例えば、自車両Mが右ハンドル仕様のケースに置いて、運転席側を右側、助手席側を左側と呼ぶことにする。
〔自動運転車(自車両)Mの構成〕
はじめに、本発明の実施形態に係る情報提供装置300が備わる車両制御装置100を備える自動運転車Mの構成について、図1を参照して説明する。
図1は、本発明の実施形態に係る情報提供装置300が備わる車両制御装置100を備える自動運転車Mの全体構成図である。
本発明の実施形態に係る情報提供装置300が備わる車両制御装置100が搭載される自車両Mは、図1に示すように、例えば、二輪、三輪、四輪等の自動車である。
自車両Mとしては、ディーゼルエンジン・ガソリンエンジン等の内燃機関を動力源とした自動車、電動機を動力源とした電気自動車、内燃機関及び電動機を兼ね備えたハイブリッド自動車等を含む。このうち、電気自動車は、例えば、二次電池、水素燃料電池、金属燃料電池、アルコール燃料電池等の電池により放電される電力を使用して駆動される。
自車両Mには、図1に示すように、自車両Mの周囲に存する物体や標識を含む物標に関する外界情報を検知する機能を有する外界センサ10、自車両Mの現在位置を地図上にマッピングすると共に目的地までの経路案内等を行う機能を有するナビゲーション装置20、及び、自車両Mの操舵・加減速を含む自車両Mの自律走行制御等を行う機能を有する車両制御装置100が搭載されている。
これらの装置や機器は、例えばCAN(Controller Area Network)等の通信媒体を介して相互にデータ通信可能に接続して構成されている。
[外界センサ10]
外界センサ10は、カメラ11、レーダ13、及びライダ15を含んで構成されている。
カメラ11は、自車両前方の斜め下方に傾斜した光軸を有し、自車両Mの進行方向画像を撮像する機能を有する。カメラ11としては、例えば、CMOS(Complementary Metal Oxide Semiconductor)カメラやCCD(Charge Coupled Device)カメラ等を適宜用いることができる。カメラ11は、自車両Mの車室内におけるバックミラー(不図示)近傍、及び自車両Mの車室外における右側ドア前部・左側ドア前部などに設けられる。
カメラ11は、例えば、自車両Mにおける進行方向前方・右後側方・左後側方の様子を周期的に繰り返し撮像する。本実施形態において、バックミラー近傍に設けたカメラ11は、一対の単眼カメラを並設してなる。カメラ11はステレオカメラであってもよい。
カメラ11により撮像された自車両Mの進行方向前方・右後側方・左後側方の画像情報は、通信媒体を介して車両制御装置100へ送られる。
レーダ13は、自車両Mの前方を走行する追従対象となる前走車を含む物標にレーダ波を照射する一方、物標で反射されたレーダ波を受信することにより、物標までの距離や物標の方位を含む物標の分布情報を取得する機能を有する。レーダ波としては、レーザ、マイクロ波、ミリ波、超音波などを適宜用いることができる。
レーダ13は、本実施形態において、図1に示すように、フロント側に3つ、リア側に2つの都合5つ設けられている。レーダ13による物標の分布情報は、通信媒体を介して車両制御装置100へ送られる。
ライダ15(LIDAR:Light Detection and Ranging)は、例えば、照射光に対する散乱光の検出に要する時間を計測することにより、物標の有無、及び物標までの距離を検知する機能を有する。ライダ15は、本実施形態において、図1に示すように、フロント側に2つ、リア側に3つの都合5つ設けられている。ライダ15による物標の分布情報は、通信媒体を介して車両制御装置100へ送られる。
[ナビゲーション装置20]
ナビゲーション装置20は、GNSS(Global Navigation Satellite System)受信機、地図情報(ナビ地図)、ヒューマンマシンインターフェースとして機能するタッチパネル式の内部表示装置61、スピーカ63(いずれも図3参照)、マイク等を備えて構成される。ナビゲーション装置20は、GNSS受信機によって自車両Mの現在位置を割り出すと共に、現在位置からユーザによって指定された目的地までの経路を導き出す役割を果たす。
ナビゲーション装置20により導出された経路は、車両制御装置100の目標車線決定部110(後記)に提供される。自車両Mの現在位置は、車両センサ30(図2参照)の出力を利用したINS(Inertial Navigation System)によって特定又は補完されてもよい。また、ナビゲーション装置20は、車両制御装置100が手動運転モードを実行している際に、目的地に至る経路について音声や地図表示によって案内を行う。
なお、自車両Mの現在位置を割り出すための機能は、ナビゲーション装置20とは独立して設けられてもよい。また、ナビゲーション装置20は、例えば、ユーザの担持するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。この場合、端末装置と車両制御装置100との間で、無線又は有線による通信によって情報の送受信が行われる。
〔情報提供装置300が備わる車両制御装置100及びその周辺部構成〕
次に、自車両Mに搭載される、本発明の実施形態に係る情報提供装置300が備わる車両制御装置100及びその周辺部構成について、図2を参照して説明する。
図2は、本発明の実施形態に係る情報提供装置300が備わる車両制御装置100及びその周辺部の構成を表す機能ブロック構成図である。
自車両Mには、前記した外界センサ10、ナビゲーション装置20、及び車両制御装置100の他に、図2に示すように、通信装置25、車両センサ30、HMI(Human Machine Interface)35、走行駆動力出力装置200、ステアリング装置210、ブレーキ装置220、が搭載されている。
通信装置25、車両センサ30、HMI35、走行駆動力出力装置200、ステアリング装置210、及びブレーキ装置220は、車両制御装置100との間で通信媒体を介して相互にデータ通信可能に接続して構成されている。
[通信装置25]
通信装置25は、例えば、セルラー網、Wi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)等の無線通信媒体を介して通信を行う機能を有する。
通信装置25は、例えば、VICS(Vehicle Information and Communication System)(登録商標)などの道路の交通状況を監視するシステムの情報提供用サーバと無線通信を行い、自車両Mが走行中の道路や走行予定の道路の交通状況を示す交通情報を取得する。交通情報には、前方の渋滞情報、渋滞地点を通過するための所要時間情報、事故・故障車・工事情報、速度規制・車線規制情報、駐車場の位置情報、駐車場・サービスエリア・パーキングエリアの満車・空車情報などの情報が含まれる。
通信装置25は、道路の側帯などに設けられた無線ビーコンと通信を行ったり、自車両Mの周囲を走行する他車両と車車間通信を行ったりすることで、前記交通情報を取得してもよい。
また、通信装置25は、例えば、信号情報活用運転支援システム(TSPS:Traffic Signal Prediction Systems)の情報提供用サーバと無線通信を行い、自車両Mが走行中又は走行予定の道路に設けられた信号機に係る信号情報を取得する。TSPSは、信号機の信号情報を用いて信号交差点を円滑に通行するための運転を支援する役割を果たす。
通信装置25は、道路の側帯などに設けられた光ビーコンと通信を行ったり、自車両Mの周囲を走行する他車両と車車間通信を行ったりすることで、前記信号情報を取得してもよい。
[車両センサ30]
車両センサ30は、自車両Mに関する各種情報を検出する機能を有する。車両センサ30は、自車両Mの車速を検出する車速センサ、自車両Mの加速度を検出する加速度センサ、自車両Mの鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ、自車両Mの傾斜角度を検出する傾斜角センサ、自車両Mの存する場所の照度を検出する照度センサ、自車両Mの存する場所の雨滴の量を検出する雨滴センサ等を含む。
[HMI35の構成]
次に、HMI35について、図3、図4を参照して説明する。
図3は、本発明の実施形態に係る車両制御装置100に接続されるHMI35の概略構成図である。図4は、車両制御装置100を備える車両Mの車室前部構造を表す図である。
HMI35は、図3に示すように、運転操作系の構成部材と、非運転操作系の構成部材と、を備える。これらの境界は明確なものではなく、運転操作系の構成部材が非運転操作系の機能を備える構成(又はその逆)を採用しても構わない。
HMI35は、運転操作系の構成部材として、図3に示すように、アクセルペダル41、アクセル開度センサ43、及びアクセルペダル反力出力装置45と、ブレーキペダル47及びブレーキ踏量センサ49と、シフトレバー51及びシフト位置センサ53と、ステアリングホイール55、ステアリング操舵角センサ57及びステアリングトルクセンサ58と、その他運転操作デバイス59とを含む。
アクセルペダル41は、運転者による加速指示(又は戻し操作による減速指示)を受け付けるための加速操作子である。アクセル開度センサ43は、アクセルペダル41の踏み込み量を検出し、踏み込み量を示すアクセル開度信号を車両制御装置100に出力する。
なお、アクセル開度信号を車両制御装置100に出力するのに代えて、走行駆動力出力装置200、ステアリング装置210、又はブレーキ装置220に直接出力する構成を採用してもよい。以下に説明する他の運転操作系の構成についても同様である。アクセルペダル反力出力装置45は、例えば車両制御装置100からの指示に応じて、アクセルペダル41に対して操作方向と反対向きの力(操作反力)を出力する。
ブレーキペダル47は、運転者による減速指示を受け付けるための減速操作子である。ブレーキ踏量センサ49は、ブレーキペダル47の踏み込み量(又は踏み込み力)を検出し、検出結果を示すブレーキ信号を車両制御装置100に出力する。
シフトレバー51は、運転者によるシフト段の変更指示を受け付けるための変速操作子である。シフト位置センサ53は、運転者により指示されたシフト段を検出し、検出結果を示すシフト位置信号を車両制御装置100に出力する。
ステアリングホイール55は、運転者による旋回指示を受け付けるための操舵操作子である。ステアリング操舵角センサ57は、ステアリングホイール55の操作角を検出し、検出結果を示すステアリング操舵角信号を車両制御装置100に出力する。ステアリングトルクセンサ58は、ステアリングホイール55に加えられたトルクを検出し、検出結果を示すステアリングトルク信号を車両制御装置100に出力する。
その他運転操作デバイス59は、例えば、ジョイスティック、ボタン、ダイヤルスイッチ、GUI(Graphical User Interface)スイッチなどである。その他運転操作デバイス59は、加速指示、減速指示、旋回指示などを受け付け、車両制御装置100に出力する。
HMI35は、非運転操作系の構成部材として、図3に示すように、例えば、内部表示装置61、スピーカ63、接触操作検出装置65及びコンテンツ再生装置67と、各種操作スイッチ69と、シート73及びシート駆動装置75と、ウインドウガラス77及びウインドウ駆動装置79と、車室内カメラ81と、外部表示装置83と、を含む。
内部表示装置61は、車室内の乗員宛に各種情報を表示する機能を有する、好ましくはタッチパネル式の表示装置である。内部表示装置61は、図4に示すように、インストルメントパネル60のうち、運転席に正対する位置に設けられるメータパネル85と、運転席及び助手席にわたって対向するように設けられる、車幅方向(図4のY軸方向)に横長のマルチインフォメーションパネル87と、車幅方向の運転席側に設けられる右側パネル89aと、車幅方向の助手席側に設けられる左側パネル89bと、を含む。なお、内部表示装置61を、後部座席に対向する位置(全部座席の背面側)に追加的に設けても構わない。
メータパネル85には、例えば、スピードメータ、タコメータ、オドメータ、シフト位置情報、灯火類の点灯状況情報等が表示される。
マルチインフォメーションパネル87には、例えば、前方視界に関する風景画像の情報、自車両M周辺の地図情報、地図上における自車両Mの現在位置情報、自車両Mの現在の走行路・予定経路に関する交通情報(信号情報を含む)、自車両Mの周囲に存する交通参加者(歩行者・自転車・オートバイ・他車両等を含む)に関する交通参加者情報、交通参加者に向けて発するメッセージ等の各種情報等が表示される。
右側パネル89aには、自車両Mの右側に設けたカメラ11により撮像した自車両Mの右側における後方及び下方の画像情報が表示される。
左側パネル89bには、自車両Mの左側に設けたカメラ11により撮像した自車両Mの左側における後方及び下方の画像情報が表示される。
内部表示装置61は、特に限定されないが、例えば、LCD(Liquid Crystal Display)、有機EL(Electroluminescence)などによって構成される。内部表示装置61は、ウインドウガラス77に所要の画像を投影するHUD(Head Up Display)によって構成しても構わない。
スピーカ63は、音声を出力する機能を有する。スピーカ63は、例えば、車室内のインストルメントパネル60、ドアパネル、リアパーセルシェルフ(いずれも不図示)等の適宜の位置に適宜の数だけ設けられる。
接触操作検出装置65は、内部表示装置61がタッチパネル式である場合に、内部表示装置61の表示画面におけるタッチ位置を検出し、検出したタッチ位置の情報を車両制御装置100に出力する機能を有する。なお、内部表示装置61がタッチパネル式ではない場合、接触操作検出装置65はこれを省略することができる。
コンテンツ再生装置67は、例えば、DVD(Digital Versatile Disc)再生装置、CD(Compact Disc)再生装置、テレビジョン受信機、各種案内画像の生成装置などを含む。内部表示装置61、スピーカ63、接触操作検出装置65及びコンテンツ再生装置67は、一部又は全部がナビゲーション装置20と共通する構成であってもよい。
各種操作スイッチ69は、車室内における適宜の位置に配設される。各種操作スイッチ69には、自動運転の即時開始(又は将来の開始)及び停止を指示する自動運転切替スイッチ71を含む。自動運転切替スイッチ71は、GUI(Graphical User Interface)スイッチ、機械式スイッチのいずれであってもよい。また、各種操作スイッチ69は、シート駆動装置75やウインドウ駆動装置79を駆動するためのスイッチを含んでもよい。
シート73は、自車両Mの乗員が着座する座席である。シート駆動装置75は、シート73のリクライニング角、前後方向位置、ヨー角などを自在に駆動する。ウインドウガラス77は、例えば各ドアに設けられる。ウインドウ駆動装置79は、ウインドウガラス77を開閉駆動する。
車室内カメラ81は、CCDやCMOS等の固体撮像素子を利用したデジタルカメラである。車室内カメラ81は、バックミラーやステアリングボス部(いずれも不図示)、インストルメントパネル60など、運転席に着座している乗員(運転者)及び助手席乗員の少なくとも頭部(特にアイポイント)を撮像可能な位置に設けられる。車室内カメラ81は、例えば、運転席及び助手席の乗員を含む車室内の様子を周期的に繰り返し撮像する。
外部表示装置83は、自車両Mの周囲に存する交通参加者(歩行者・自転車・オートバイ・他車両等を含む)宛に各種情報を表示する機能を有する。外部表示装置83は、自車両Mにおけるフロントグリルのうち、車幅方向に離間して設けられる右前部灯火部及び左前部灯火部、並びに、左右の前部灯火部の間に設けられる前部表示部(いずれも不図示)を備える。
〔車両制御装置100の構成〕
次に、図2に戻って、車両制御装置100の構成について説明する。
車両制御装置100は、例えば、一以上のプロセッサ又は同等の機能を有するハードウェアにより実現される。車両制御装置100は、CPU(Central Processing Unit)などのプロセッサ、記憶装置、及び通信インターフェースが内部バスによって接続されたECU(Electronic Control Unit)、又はMPU(Micro-Processing Unit)などが組み合わされた構成であってよい。
車両制御装置100は、目標車線決定部110と、運転支援制御部120と、走行制御部160と、HMI制御部170と、記憶部180と、を備える。
目標車線決定部110、運転支援制御部120の各部の機能、及び走行制御部160のうち一部又は全部の機能は、プロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの機能のうち一部又は全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。
以降の説明において、「○○部は」と主体を記した場合、運転支援制御部120が必要に応じROM・EEPROM(Electrically Erasable Programmable Read-Only Memory)から各プログラムを読み出した上でRAMにロードし、各機能(後記)を実行するものとする。各プログラムは、予め記憶部180に記憶されていてもよいし、他の記憶媒体又は通信媒体を介して、必要に応じて車両制御装置100に取り込まれてもよい。
[目標車線決定部110]
目標車線決定部110は、例えば、MPU(Micro Processing Unit)により実現される。目標車線決定部110は、ナビゲーション装置20から提供された経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、高精度地図情報181を参照してブロックごとに目標車線を決定する。目標車線決定部110は、例えば、左から何番目の車線を走行するといった決定を行う。目標車線決定部110は、例えば、経路において分岐箇所や合流箇所などが存在する場合、自車両Mが、分岐先に進行するための合理的な走行経路を走行できるように、目標車線を決定する。目標車線決定部110により決定された目標車線は、目標車線情報182として記憶部180に記憶される。
[運転支援制御部120]
運転支援制御部120は、運転支援モード制御部130と、認識部140と、切替制御部150と、を備える。
<運転支援モード制御部130>
運転支援モード制御部130は、HMI35に対する運転者の操作、行動計画生成部144により決定されたイベント、軌道生成部147により決定された走行態様などに基づいて、運転支援制御部120が実行する自動運転モード(自動運転支援状態)を決定する。自動運転モードは、HMI制御部170に通知される。
何れの自動運転モードにおいても、HMI35における運転操作系の構成要素に対する操作によって、下位の自動運転モードに切替える(オーバーライドする)ことができる。
オーバーライドは、例えば、自車両Mの運転者によるHMI35の運転操作系の構成要素に対する操作が、所定時間を超えて継続した場合、所定の操作変化量(例えばアクセルペダル41によるアクセル開度、ブレーキペダル47によるブレーキ踏量、ステアリングホイール55によるステアリング操舵角)を超える場合、又は、運転操作系の構成要素に対する操作を所定の回数を超えて行った場合などに開始される。
<認識部140>
認識部140は、自車位置認識部141と、外界認識部142と、エリア特定部143と、行動計画生成部144と、軌道生成部147と、を備える。
<自車位置認識部141>
自車位置認識部141は、記憶部180に格納された高精度地図情報181と、カメラ11、レーダ13、ライダ15、ナビゲーション装置20、又は車両センサ30から入力される情報とに基づいて、自車両Mが走行している走行車線、及び、走行車線に対する自車両Mの相対位置を認識する。
自車位置認識部141は、高精度地図情報181から認識される道路区画線のパターン(例えば実線と破線の配列)と、カメラ11によって撮像された画像から認識される自車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置20から取得される自車両Mの現在位置やINSによる処理結果が加味されてもよい。
<外界認識部142>
外界認識部142は、図2に示すように、カメラ11、レーダ13、ライダ15を含む外界センサ10から入力される外界情報に基づいて、例えば、周辺車両の位置・車速・加速度を含む外界状態を認識する。周辺車両とは、例えば、自車両Mの周辺を走行する車両であって、自車両Mと同じ方向に走行する他車両(前走車及び後走車;詳しくは後記)である。
周辺車両の位置は、他車両の重心やコーナー等の代表点で表されてもよいし、他車両の輪郭で表現された領域で表されてもよい。周辺車両の状態とは、上記各種機器の情報に基づいて把握される、周辺車両の速度・加速度、車線変更をしているか否か(あるいは車線変更をしようとしているか否か)を含んでもよい。また、外界認識部142は、前走車及び後走車を含む周辺車両に加えて、ガードレール、電柱、駐車車両、歩行者、交通標識を含む物標の位置を認識する構成を採用してもよい。
本発明の実施形態において、周辺車両のうち自車両Mと共通の走行レーンかつ自車両Mの直前を走行する車両であって、追従走行制御において追従対象となる車両を「前走車」と呼ぶ。また、周辺車両のうち自車両Mと共通の走行レーンかつ自車両Mの直後を走行する車両を「後走車」と呼ぶ。
<エリア特定部143>
エリア特定部143は、自車両Mの周辺に存する特定エリア(インターチェンジ:IC/ジャンクション:JCT/車線の増加・減少地点)に係る情報を地図情報に基づき取得する。これにより、エリア特定部143は、前走車を含む前方車両に隠れて進行方向画像を外界センサ10を介して取得できない場合でも、自車両Mの円滑な進行を補助する特定エリアに係る情報を取得することができる。
なお、エリア特定部143は、地図情報に基づく特定エリアに係る情報の取得に代えて、外界センサ10を介して取得した進行方向画像に基づく画像処理によって物標を同定することにより、又は、外界認識部142の内部処理によって進行方向画像の輪郭に基づいて物標を認識することにより、前記特定エリアに係る情報を取得しても構わない。
また、後記するように、通信装置25が入手したVICS情報を用いて、エリア特定部143が取得した特定エリアに係る情報の精度を高める構成を採用しても構わない。
<行動計画生成部144>
行動計画生成部144は、自動運転のスタート地点、及び/又は自動運転の目的地を設定する。自動運転のスタート地点は、自車両Mの現在位置であってもよいし、自動運転を指示する操作がなされた地点であってもよい。行動計画生成部144は、そのスタート地点と自動運転の目的地との間の区間において、行動計画を生成する。なお、これに限らず、行動計画生成部144は、任意の区間について行動計画を生成してもよい。
行動計画は、例えば、順次実行される複数のイベントで構成される。複数のイベントには、例えば、自車両Mを減速させる減速イベントや、自車両Mを加速させる加速イベント、走行車線を逸脱しないように自車両Mを走行させるレーンキープイベント、走行車線を変更させる車線変更イベント、自車両Mに前走車を追い越させる追い越しイベント、分岐ポイントにおいて所望の車線に変更させたり、現在の走行車線を逸脱しないように自車両Mを走行させたりする分岐イベント、本線に合流するための合流車線において自車両Mを加減速させ、走行車線を変更させる合流イベント、自動運転の開始地点で手動運転モードから自動運転モード(自動運転支援状態)に移行させたり、自動運転の終了予定地点で自動運転モードから手動運転モードに移行させたりするハンドオーバイベント等が含まれる。
行動計画生成部144は、目標車線決定部110により決定された目標車線が切替わる箇所において、車線変更イベント、分岐イベント、又は合流イベントを設定する。行動計画生成部144によって生成された行動計画を示す情報は、行動計画情報183として記憶部180に格納される。
行動計画生成部144は、モード変更部145と、報知制御部146とを備える。
<モード変更部145>
モード変更部145は、例えば、外界認識部142による自車両Mの進行方向に存する物標に認識結果に基づいて、予め設定される複数段階の自動運転モード及び手動運転モードを含む運転モードのなかから、前記認識結果に相応しい運転モードを選択し、当該選択した運転モードを用いて自車両Mの運転動作を行わせる。
<報知制御部146>
報知制御部146は、モード変更部145によって自車両Mの運転モードが遷移された場合、自車両Mの運転モードが遷移した旨を報知する。報知制御部146は、例えば、記憶部180に予め記憶される音声情報をスピーカ63に出力させることにより、自車両Mの運転モードが遷移した旨を報知する。
なお、自車両Mの運転モードの遷移を運転者に報知することが可能であれば、音声による報知に限らず、表示、発光、振動、又はこれらの組合わせによって前記報知を行っても構わない。
<軌道生成部147>
軌道生成部147は、行動計画生成部144で生成された行動計画に基づいて、自車両Mの走行すべき軌道を生成する。
<切替制御部150>
切替制御部150は、図2に示すように、自動運転切替スイッチ71(図3参照)から入力される信号、その他に基づいて自動運転モード及び手動運転モードを相互に切替える。また、切替制御部150は、HMI35における運転操作系の構成要素に対する加速、減速又は操舵を指示する操作に基づいて、その時の自動運転モードを下位の運転モードに切替える。例えば、切替制御部150は、HMI35における運転操作系の構成要素から入力された信号の示す操作量が閾値を超えた状態が、基準時間以上継続した場合に、その時の自動運転モードを下位の運転モードに切替える(オーバーライド)。
また、切替制御部150は、オーバーライドによる下位の運転モードへの切替えの後、所定時間の間、HMI35における運転操作系の構成要素に対する操作が検出されなかった場合に、元の自動運転モードに復帰させる切替え制御を行ってもよい。
<走行制御部160>
走行制御部160は、軌道生成部147によって生成された自車両Mの走行すべき軌道を、予定の時刻通りに自車両Mが通過するように、走行駆動力出力装置200、ステアリング装置210、及びブレーキ装置220の制御を行うことにより、自車両Mの走行制御を行う。
<HMI制御部170>
HMI制御部170は、運転支援制御部120により自車両Mの自動運転モードに係る設定情報が通知されると、モード別操作可否情報184(後記図11参照)を参照して、自動運転モードの設定内容に応じてHMI35を制御する。
HMI制御部170は、図2に示すように、運転支援制御部120から取得した自車両Mの運転モードの情報に基づき、また、モード別操作可否情報184を参照することで、使用が許可される装置(ナビゲーション装置20及びHMI35の一部又は全部)と、使用が許可されない装置とを判別する。また、HMI制御部170は、前記判別結果に基づいて、運転操作系のHMI35又はナビゲーション装置20に関する運転者操作の受け付け可否を制御する。
例えば、車両制御装置100の実行する運転モードが手動運転モードである場合、HMI制御部170は、運転操作系のHMI35(例えば、アクセルペダル41、ブレーキペダル47、シフトレバー51、及びステアリングホイール55等;図3参照)に関する運転者操作を受け付ける。
HMI制御部170は、表示制御部171を備える。
<表示制御部171>
表示制御部171は、内部表示装置61及び外部表示装置83に関する表示制御を行う。具体的には、例えば、表示制御部171は、車両制御装置100の実行する運転モードが自動化度の高い自動運転モードである場合に、自車両Mの周囲に存する交通参加者に対する注意喚起・警告・運転補助等の情報を内部表示装置61及び/又は外部表示装置83に表示させる制御を行う。
また、表示制御部171は、変換部315(図5参照)により変換された見切り領域を有する風景画像を、内部表示装置61(表示部)に表示させる制御を行う。これについて、詳しくは後記する。
<記憶部180>
記憶部180には、例えば、高精度地図情報181、目標車線情報182、行動計画情報183、モード別操作可否情報184などの情報が格納される。記憶部180は、ROM(Read Only Memory)やRAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等で実現される。プロセッサが実行するプログラムは、予め記憶部180に格納されていてもよいし、車載インターネット設備等を介して外部装置からダウンロードされてもよい。また、プログラムは、そのプログラムを格納した可搬型記憶媒体が図示しないドライブ装置に装着されることで記憶部180にインストールされてもよい。
高精度地図情報181は、ナビゲーション装置20に通常備わる地図情報と比べて高精度な地図情報である。高精度地図情報181は、例えば、車線の中央の情報、車線の境界の情報等を含んでいる。前記車線の境界には、レーンマークの種別・色・長さ・路幅・路肩幅・本線幅・車線幅・境界位置・境界種別(ガードレール・植栽・縁石)・ゼブラゾーンなどがあり、これらの境界が高精度地図内に含まれている。
また、高精度地図情報181には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報などが含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、各車線の幅員、道路の勾配、道路の位置(経度、緯度、高さを含む3次元座標)、車線のカーブ曲率、車線の合流及び分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。交通規制情報には、工事や交通事故、渋滞等によって車線が封鎖されているといった情報が含まれる。
[走行駆動力出力装置200、ステアリング装置210、及びブレーキ装置220]
車両制御装置100は、図2に示すように、走行制御部160による走行制御指令に従って、走行駆動力出力装置200、ステアリング装置210、及びブレーキ装置220の駆動を制御する。
<走行駆動力出力装置200>
走行駆動力出力装置200は、自車両Mが走行するための駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、自車両Mが内燃機関エンジンを動力源とした自動車である場合、内燃機関エンジン、変速機、及び内燃機関エンジンを制御するエンジンECU(Electronic Control Unit:いずれも不図示)を備える。
また、走行駆動力出力装置200は、自車両Mが電動機を動力源とした電気自動車である場合、走行用モータ及び走行用モータを制御するモータECU(いずれも不図示)を備える。
さらに、走行駆動力出力装置200は、自車両Mがハイブリッド自動車である場合、内燃機関エンジン、変速機、エンジンECU、走行用モータ、及びモータECU(いずれも不図示)を備える。
走行駆動力出力装置200が内燃機関エンジンのみを含む場合、エンジンECUは、後述する走行制御部160から入力される情報に従って、内燃機関エンジンのスロットル開度やシフト段等を調整する。
走行駆動力出力装置200が走行用モータのみを含む場合、モータECUは、走行制御部160から入力される情報に従って、走行用モータに与えるPWM信号のデューティ比を調整する。
走行駆動力出力装置200が内燃機関エンジン及び走行用モータを含む場合、エンジンECU及びモータECUは、走行制御部160から入力される情報に従って、互いに協調して走行駆動力を制御する。
<ステアリング装置210>
ステアリング装置210は、例えば、ステアリングECUと、電動モータ(いずれも不図示)とを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、車両制御装置100から入力される情報、又は入力されるステアリング操舵角又はステアリングトルクの情報に従って電動モータを駆動し、転舵輪の向きを変更させる。
<ブレーキ装置220>
ブレーキ装置220は、例えば、ブレーキキャリパと、ブレーキキャリパに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、制動制御部とを備える電動サーボブレーキ装置(いずれも不図示)である。電動サーボブレーキ装置の制動制御部は、走行制御部160から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。電動サーボブレーキ装置は、ブレーキペダル47の操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてもよい。
なお、ブレーキ装置220は、上記説明した電動サーボブレーキ装置に限らず、電子制御式油圧ブレーキ装置であってもよい。電子制御式油圧ブレーキ装置は、走行制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する。また、ブレーキ装置220は、走行駆動力出力装置200に含まれ得る走行用モータによる回生ブレーキを含んでもよい。
[情報提供装置300のブロック構成]
次に、前述した車両制御装置100に備わる本発明の実施形態に係る情報提供装置300のブロック構成について、図5及び図6を参照して説明する。
図5は、本発明の実施形態に係る情報提供装置300が有する風景画像変換機能を概念的に表すブロック構成図である。図6は、情報提供装置300が有する風景画像変換機能に係る実行部を概念的に表すブロック構成図である。
本発明の実施形態に係る車両制御装置300は、図5に示すように、情報取得部311、推定部313、変換部315、前記表示制御部171、及び、前記マルチインフォメーションパネル87を備えて構成されている。
<情報取得部311>
情報取得部311は、図5に示すように、外界センサ10のうちカメラ11により撮像された自車両Mの前方視界に関する風景画像の情報、及び、乗員の視点位置EP(アイポイント:図6参照)を含む着座状態の情報を取得する。
ここで、本発明において乗員とは、主として助手席の乗員を、副次的に運転席の乗員(運転者)を想定している。乗員の視点位置(アイポイント)EPを含む着座状態の情報は、例えば、車室内カメラ81により乗員の頭部付近の画像を撮影し、この撮影画像に対して画像処理を施すことにより、乗員の視点位置EPを抽出すればよい。
また、情報取得部311は、乗員の覚醒状態の情報、及び、マルチインフォメーションパネル(MIP)86に対する乗員の頭部の相対距離の情報を取得する。乗員の覚醒状態の情報は、例えば、車室内カメラ81により乗員の頭部付近の画像を撮影し、この撮影画像に対して画像処理を施すことにより、乗員のまぶたの開閉状態を抽出する。そして、乗員のまぶたが閉じている状態の場合に、乗員の覚醒状態が所定の覚醒閾値未満であると判定すればよい。なお、以下の説明において、特に断らない限り、「乗員」とは専ら自車両Mの「助手席乗員」を意味するものとする。
情報取得部311は、図2に示す車両制御装置100のうち認識部140に内包される機能部である。
<推定部313>
推定部313は、情報取得部311により取得した乗員の視点位置EP(アイポイント)を含む着座状態に基づいて、車室内の乗員が自然な体位で前部ウインドウガラス77越しに広がる自車両Mの前方視界に関する風景を視た際において、当該乗員の前方視界に関する風景に係る第1下方見切り部331(例えば図6参照、詳しくは後記する。)の座標を推定する。
推定部313は、図2に示す車両制御装置100のうち認識部140に内包される機能部である。
<変換部315>
変換部315は、図6に示すように、推定部313により推定された第1下方見切り部331の座標に基づいて、情報取得部313により取得した前方視界に関する風景画像を、当該風景画像に係る第2下方見切り部333が風景に係る第1下方見切り部331に基づき区画された見切り領域335を有する風景画像に変換する。第2下方見切り部333、見切り領域335について、詳しくは後記する。
変換部315は、図2に示す車両制御装置100のうち認識部140に内包される機能部である。
<表示制御部171>
表示制御部171(図2及び図5参照)は、基本的に、MIP(表示部)87の表示制御を行う。特に、表示制御部171は、図6に示すように、変換部315により変換された見切り領域335を有する風景画像をMIP87に表示させる。
乗員の前方視界に関する風景に係る第1下方見切り部331とは、図6に示すように、乗員が自然な体位でフロントガラス77越しに広がる自車両Mの前方視界に関する風景を同乗員の視点位置EPから視た際に、同乗員の視線が収束する消失点VPと呼ばれる概念を導入し、この消失点VPに基づき設定される略水平な部分(下方見切りライン)である。
また、風景画像に係る第2下方見切り部333とは、図6に示すように、MIP87に風景画像を表示させる際に、MIP87における矩形状の表示画面の周囲を仕切る枠部337によって同風景画像の下方側が遮られる(見切られる)ところ、その見切られる略水平な部分(下方見切りライン)を意味する。
また、見切り領域335とは、前方視界に関する風景画像のなかから、当該風景画像に係る第2下方見切り部333を風景に係る第1下方見切り部331に重ね合わせて矩形状に切り取った風景画像の領域である。
さて、第1下方見切り部331は、乗員の視点位置EPが上側に移動すると、この移動に伴って上側に移動する一方、乗員の視点位置EPが下側に移動すると、この移動に伴って下側に移動する。
これは、同じ前方視界に関する風景を視ているにも関わらず、乗員の視点位置EPが上下方向に変化すると、その変化の度合いに応じて、自車両Mの前方視界に関する風景の見え方が変わることを意味する。
同様に、カメラ11により撮像された自車両Mの前方視界に関する風景画像をMIP87に表示させるケースでは、前部ウインドウガラス77越しに乗員が視る前方視界に関する風景と、MIP87に表示される風景画像とでは、見え方が異なるおそれがある。
そこで、本発明の実施形態に係る情報提供装置300では、前部ウインドウガラス77越しに乗員が視る前方視界に関する風景と、MIP87に表示される風景画像とを交互に見た場合であっても、乗員に違和感を抱かせることのない風景情報の提供を目的として、推定部313は、乗員の視点位置EPに基づいて、乗員の前方視界に関する風景に係る第1見切り部(例えば、第1下方見切り部331)の座標を推定する。
次いで、変換部315は、この推定結果に基づいて、前方視界に関する風景画像を、当該風景画像に係る第2見切り部(例えば、第2下方見切り部333)が風景に係る第1見切り部(例えば、第1下方見切り部331)に基づき区画された見切り領域335を有する風景画像に変換することとした。
[情報提供装置300の動作]
次に、本発明の実施形態に係る情報提供装置300の動作について、図7、図8A~図8Cを適宜参照して説明する。
図7は、情報提供装置300の動作説明に供するフローチャート図である。図8Aは、カメラ11により撮像した前方視界に関する風景画像を概念的に表す図である。図8Bは、乗員の前方視界に関する風景を概念的に表す図である。図8Cは、マルチインフォメーションパネル(MIP)87に表示される乗員の前方視界に関する風景画像を概念的に表す図である。
前提として、情報提供装置300が搭載された自動運転車(自車両)Mは、予め設定されたあるレベルの自動運転モードで走行しているものとする。
図7に示すステップS11において、情報取得部311は、外界センサ10のうちカメラ11により撮像された自車両Mの前方視界に関する風景画像(図8A参照)の情報を取得する。
ステップS12において、情報取得部311は、乗員の視点位置EP(アイポイント)を含む着座状態の情報を取得する。
ステップS13において、推定部313は、ステップS12により取得した乗員の視点位置EP(アイポイント)を含む着座状態に基づいて、当該乗員の前方視界に関する風景に係る第1下方見切り部331(図8B参照)の座標を推定する。
ステップS14において、変換部315は、ステップS13の推定部313により推定された第1下方見切り部331の座標に基づいて、ステップS11の情報取得部313により取得した前方視界に関する風景画像を、当該風景画像に係る第2下方見切り部333が風景に係る第1下方見切り部331に基づき区画された見切り領域335(図8B参照)を有する風景画像に変換する。
ステップS15において、表示制御部171は、図8Cに示すように、ステップS14の変換部315により変換された見切り領域335を有する風景画像をMIP87に表示させる。
〔本発明の実施形態に係る情報提供装置300の作用効果〕
次に、本発明の実施形態に係る情報提供装置300の作用効果について説明する。
(1)の観点に基づく情報提供装置300は、自車両Mの前方視界に関する風景画像の情報を取得する情報取得部311と、車室内に設けられ、情報取得部311により取得した前方視界に関する風景画像が表示されるMIP(表示部)87と、MIP87の表示制御を行う表示制御部171と、を備え、MIP87に表示された風景画像の情報を乗員に提供する情報提供装置である。
(1)の観点に基づく情報提供装置300において、情報取得部311は、乗員の着座状態の情報をさらに取得する。
(1)の観点に基づく情報提供装置300は、情報取得部311により取得した乗員の着座状態に基づいて、当該乗員の前方視界に関する風景に係る第1見切り部(例えば、第1下方見切り部331;以下、「第1見切り部」として「第1下方見切り部331」を採用した例をあげて説明する。)の座標を推定する推定部313と、推定部313により推定された第1下方見切り部331の座標に基づいて、情報取得部311により取得した前方視界に関する風景画像を、当該風景画像に係る第2見切り部(例えば、第2下方見切り部333;以下、「第2見切り部」として「第2下方見切り部333」を採用した例をあげて例で説明する。)が風景に係る第1下方見切り部331に基づき区画された見切り領域335を有する風景画像に変換する変換部315と、をさらに備える。
表示制御部171は、変換部315により変換された見切り領域335を有する風景画像を、MIP87に表示させる構成を採用することとした。
(1)の観点に基づく情報提供装置300では、推定部313は、情報取得部311により取得した乗員の着座状態に基づいて、当該乗員の前方視界に関する風景に係る第1下方見切り部331の座標を推定する。変換部315は、推定部313により推定された第1下方見切り部331の座標に基づいて、情報取得部311により取得した前方視界に関する風景画像を、当該風景画像に係る第2下方見切り部333が風景に係る第1下方見切り部331に基づき区画された見切り領域335を有する風景画像に変換する。
表示制御部171は、変換部315により変換された見切り領域335を有する風景画像を、MIP87に表示させる。
(1)の観点に基づく情報提供装置300によれば、変換部315は、前方視界に関する風景画像を、当該風景画像に係る第2見切り部(例えば、第2下方見切り部333)が風景に係る第1見切り部(例えば、第1下方見切り部331)に基づき区画された見切り領域335を有する風景画像に変換し、表示制御部171は、変換部315により変換された見切り領域335を有する風景画像を、MIP87に表示させるため、同じ前方視界に関する風景及び風景画像を交互に見た場合であっても、乗員に違和感を抱かせることのない風景情報の提供を行うことができる。
(2)の観点に基づく情報提供装置300は、(1)の観点に基づく情報提供装置300であって、情報取得部311は、乗員の視点位置EPの情報をさらに取得し、推定部313は、情報取得部311により取得した助手席乗員の視点位置EPに基づいて、当該助手席乗員の前方視界に関する風景に係る第1見切り部(例えば、第1下方見切り部331)の座標を推定する構成を採用しても構わない。
(2)の観点に基づく情報提供装置300によれば、推定部313は、情報取得部311により取得した助手席乗員の視点位置EPに基づいて、当該助手席乗員の前方視界に関する風景に係る第1見切り部(例えば、第1下方見切り部331)の座標を推定するため、(1)の観点に基づく情報提供装置300と比べて、助手席乗員向けの前方視界に関する風景情報提供サービスの充実を図ることができる。
(3)の観点に基づく情報提供装置300は、(2)の観点に基づく情報提供装置300であって、情報取得部311は、助手席乗員の覚醒状態の情報をさらに取得し、推定部313は、情報取得部311により取得した助手席乗員の覚醒状態が所定の覚醒閾値未満である場合に、情報取得部311により取得した運転席乗員の視点位置EPに基づいて、当該乗員の前方視界に関する風景に係る第1見切り部(例えば、第1下方見切り部331)の座標を推定する構成を採用しても構わない。
ここで、助手席乗員及び運転席乗員間の鉛直方向の視点位置差が生じているケースにおいて、助手席乗員の視点位置EP1に基づき変換された見切り領域335Aを有する風景画像と、運転席乗員の視点位置EP2に基づき変換された見切り領域335Bを有する風景画像とを対比して、図9を参照して説明する。
図9は、自車両Mの前方視界に関する風景画像が占める領域のなかから、助手席乗員及び運転席乗員のそれぞれの視点位置EP1,EP2に基づき変換された見切り領域335A,335Bをそれぞれ有する風景画像を対比して概念的に表す説明図である。なお、助手席乗員の横方向視野と、運転席乗員の横方向視野とは、実質的に同等であるものとする。また、助手席乗員及び運転席乗員のそれぞれの着座位置は、一般的な車両の座席間隔に従う位置に設定されているものとする。
図9に示す例では、自車両Mの前方視界に関する風景画像が占める領域において、助手席乗員の視点位置EP1に基づき変換された見切り領域335Aを有する風景画像は、運転席乗員の視点位置EP2に基づき変換された見切り領域335Bを有する風景画像に対し、紙面を正視した状態で左下方向にオフセットしている。
これは、助手席乗員及び運転席乗員間の鉛直方向の視点位置差が生じていること、及び、助手席乗員及び運転席乗員が横方向に離れて着座していることに基づく。
(3)の観点に基づく情報提供装置300によれば、推定部313は、助手席乗員の覚醒状態が所定の覚醒閾値未満である場合に、運転席乗員の視点位置EPに基づいて、当該乗員の前方視界に関する風景に係る第1見切り部(例えば、第1下方見切り部331)の座標を推定するため、(2)の観点に基づく情報提供装置300と比べて、助手席乗員向けの前方視界に関する風景情報提供(図9の見切り領域335Aを有する風景画像を参照)を最優先する一方、運転席乗員向けの前方視界に関する風景情報提供(図9の見切り領域335Bを有する風景画像を参照)を次優先として、風景情報提供サービスの充実を図ることができる。
また、(4)の観点に基づく情報提供装置300は、(2)又は(3)の観点に基づく情報提供装置300であって、情報取得部311は、少なくとも鉛直方向における乗員の視点位置EPの変更が生じた際、当該変更後における乗員の視点位置EPが所定の継続時間を超えて変わらない場合に、当該変更後における乗員の視点位置EPの情報を更新取得する構成を採用してもよい。
(4)の観点に基づく情報提供装置300によれば、情報取得部311は、少なくとも鉛直方向における乗員の視点位置EPの変更が生じた際、当該変更後における乗員の視点位置EPが所定の継続時間を超えて変わらない場合に、当該変更後における乗員の視点位置EPの情報を更新取得するため、(2)又は(3)の観点に基づく情報提供装置300と比べて、短時間のうちに乗員の視点位置EPが目まぐるしく変わるようなケースでは、MIP87の表示内容はそのまま維持される。
その結果、短時間のうちに乗員の視点位置EPが目まぐるしく変わるようなケースが生じた場合であっても、MIP87の表示内容に混乱を来すことなく、風景情報提供サービスを安定して享受することができる。
(5)の観点に基づく情報提供装置300は、(2)~(4)のいずれか一の観点に基づく情報提供装置300であって、情報提供部331は、MIP87に対する乗員の頭部の相対距離の情報をさらに取得し、表示制御部171は、MIP87に対する乗員の頭部の相対距離に基づいて、変換部315により変換された見切り領域335を有する風景画像を、その縮尺を拡大又は縮小させて、MIP87に表示させる構成を採用しても構わない。
(5)の観点に基づく情報提供装置300では、例えば、MIP87に対する乗員の頭部の相対距離が比較的近い場合には、表示制御部171は、変換部315により変換された見切り領域335を有する風景画像を、その縮尺を縮小させてMIP87に表示させる。一方、MIP87に対する乗員の頭部の相対距離が比較的遠い場合には、表示制御部171は、変換部315により変換された見切り領域335を有する風景画像を、その縮尺を拡大させてMIP87に表示させる。
(5)の観点に基づく情報提供装置300によれば、変換部315により変換された見切り領域335を有する風景画像の縮尺を、MIP87に対する乗員の頭部の相対距離の遠近に基づいて拡大又は縮小させるため、(2)~(4)のいずれか一の観点に基づく情報提供装置300と比べて、乗員の見易さを考慮した風景情報提供サービスを享受することができる。
〔その他の実施形態〕
以上説明した複数の実施形態は、本発明の具現化の例を示したものである。したがって、これらによって本発明の技術的範囲が限定的に解釈されることがあってはならない。本発明はその要旨又はその主要な特徴から逸脱することなく、様々な形態で実施することができるからである。
例えば、本発明の実施形態に係る情報提供装置300の説明において、乗員の前方視界に関する風景に係る第1見切り部として第1下方見切り部331を例示して説明したが、本発明はこの例に限定されない。
乗員の前方視界に関する風景に係る第1見切り部として、乗員の前方視界に関する風景において左右の側方を見切る第1側方見切り部を採用しても構わない。
同様に、乗員の前方視界に関する風景に係る第1見切り部として、乗員の前方視界に関する風景において上方を見切る第1上方見切り部を採用しても構わない。
また、本発明の実施形態に係る情報提供装置300の説明において、(2)の観点に基づく情報提供装置300では、推定部313は、情報取得部311により取得した助手席乗員の視点位置EPに基づいて、当該助手席乗員の前方視界に関する風景に係る第1見切り部(例えば、第1下方見切り部331)の座標を推定する態様を例示して説明したが、本発明はこの例に限定されない。
例えば、助手席乗員が子どもである場合には、乗員(子ども)の前方視界に関する風景は、フロントダッシュボード、ボンネット等の車両構造部材によって、同風景の下方側が大きく遮られる。このような場合にまで、前記した(2)の観点に基づく(乗員が大人である際の)情報提供装置300の構成を適用すると、乗員(子ども)提供される風景画像は空の方角を向くような不適切なものになりかねない。
そこで、このような(助手席乗員の視点位置EPから乗員が子どもであると判定された)場合には、推定部313は、助手席乗員(子ども)の視点位置EPを用いることなく、子ども用に予め設定された、助手席乗員(子ども)の前方視界に関する風景に係る第1見切り部(例えば、第1下方見切り部331)の座標を推定する態様を採用すればよい。このように構成すれば、助手席乗員(子ども)に違和感を抱かせることのない風景情報の提供サービスを遂行することができる。
また、本発明の実施形態に係る情報提供装置300の説明において、変換部315により変換された見切り領域335を有する風景画像の縮尺を、MIP87に対する乗員の頭部の相対距離の遠近に基づいて拡大又は縮小させる例をあげて説明したが、本発明はこの例に限定されない。
変換部315により変換された見切り領域335を有する風景画像の縮尺を、自動運転レベルに応じて拡大又は縮小させる構成を採用しても構わない。
最後に、本発明は、前記した実施形態に係る1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1以上のプロセッサがプログラムを読出し実行する形態でも実現することができる。また、1以上の機能を実現するハードウェア回路(例えば、ASIC)によって実現しても構わない。各機能を実現するプログラムを含む情報は、メモリ、ハードディスク等の記録装置、メモリカード、光ディスク等の記録媒体に保持することができる。
87 マルチインフォメーションパネル(表示部)
171 表示制御部
300 情報提供装置
311 情報取得部
313 推定部
315 変換部
331 第1下方見切り部(第1見切り部)
333 第2下方見切り部(第2見切り部)
335 見切り領域
EP 乗員の視点位置
M 自車両(自動運転車)

Claims (3)

  1. 自車両の前方視界に関する風景画像の情報を取得する情報取得部と、
    車室内に設けられ、前記情報取得部により取得した前記前方視界に関する風景画像が表示される表示部と、
    前記表示部の表示制御を行う表示制御部と、を備え、前記表示部に表示された前記風景画像の情報を乗員に提供する情報提供装置であって、
    前記情報取得部は、乗員の着座状態及び視点位置、助手席乗員の覚醒状態の情報をさらに取得し、
    前記情報取得部により取得した乗員の着座状態に基づいて、当該乗員の前方視界に関する風景に係る第1見切り部の座標を推定する推定部と、
    前記推定部により推定された前記第1見切り部の座標に基づいて、前記情報取得部により取得した前記前方視界に関する風景画像を、当該風景画像に係る第2見切り部が前記風景に係る前記第1見切り部に基づき区画された見切り領域を有する風景画像に変換する変換部と、をさらに備え、
    前記表示制御部は、前記変換部により変換された前記見切り領域を有する風景画像を、前記表示部に表示させ、
    前記推定部は、前記情報取得部により取得した助手席乗員の視点位置に基づいて、当該助手席乗員の前方視界に関する風景に係る第1見切り部の座標を推定するところ、前記情報取得部により取得した助手席乗員の覚醒状態が所定の覚醒閾値未満である場合に、前記情報取得部により取得した運転席乗員の視点位置に基づいて、当該運転席乗員の前方視界に関する風景に係る第1見切り部の座標を推定する
    ことを特徴とする情報提供装置。
  2. 請求項1に記載の情報提供装置であって、
    前記情報取得部は、少なくとも鉛直方向における乗員の視点位置の変更が生じた際、当該変更後における乗員の視点位置が所定の継続時間を超えて変わらない場合に、当該変更後における乗員の視点位置の情報を更新取得する
    ことを特徴とする情報提供装置。
  3. 請求項1又は2に記載の情報提供装置であって、
    前記情報取得部は、前記表示部に対する乗員の頭部の相対距離の情報をさらに取得し、
    前記表示制御部は、前記表示部に対する乗員の頭部の相対距離に基づいて、前記変換部により変換された前記見切り領域を有する風景画像を、その縮尺を拡大又は縮小させて、前記表示部に表示させる
    ことを特徴とする情報提供装置。
JP2020065022A 2020-03-31 2020-03-31 情報提供装置 Active JP7423388B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020065022A JP7423388B2 (ja) 2020-03-31 2020-03-31 情報提供装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020065022A JP7423388B2 (ja) 2020-03-31 2020-03-31 情報提供装置

Publications (2)

Publication Number Publication Date
JP2021160598A JP2021160598A (ja) 2021-10-11
JP7423388B2 true JP7423388B2 (ja) 2024-01-29

Family

ID=78004212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020065022A Active JP7423388B2 (ja) 2020-03-31 2020-03-31 情報提供装置

Country Status (1)

Country Link
JP (1) JP7423388B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182591A (ja) 2007-01-25 2008-08-07 Sanyo Electric Co Ltd 画像提供装置、車両、および画像提供方法
JP2011188028A (ja) 2010-03-04 2011-09-22 Denso Corp 車両用周辺監視システム
JP2013055385A (ja) 2011-09-01 2013-03-21 Toyota Motor Corp 車両周辺表示装置
JP2016118859A (ja) 2014-12-19 2016-06-30 パイオニア株式会社 情報表示装置、制御方法、プログラム、及び記憶媒体
JP2019038372A (ja) 2017-08-25 2019-03-14 株式会社Subaru 画像表示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11151997A (ja) * 1997-11-20 1999-06-08 Nissan Motor Co Ltd 車両用操作装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008182591A (ja) 2007-01-25 2008-08-07 Sanyo Electric Co Ltd 画像提供装置、車両、および画像提供方法
JP2011188028A (ja) 2010-03-04 2011-09-22 Denso Corp 車両用周辺監視システム
JP2013055385A (ja) 2011-09-01 2013-03-21 Toyota Motor Corp 車両周辺表示装置
JP2016118859A (ja) 2014-12-19 2016-06-30 パイオニア株式会社 情報表示装置、制御方法、プログラム、及び記憶媒体
JP2019038372A (ja) 2017-08-25 2019-03-14 株式会社Subaru 画像表示装置

Also Published As

Publication number Publication date
JP2021160598A (ja) 2021-10-11

Similar Documents

Publication Publication Date Title
JP6390035B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6368959B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6354085B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6387548B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6745334B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6689365B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP6847094B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2017187622A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JPWO2017158772A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2017158764A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP7478570B2 (ja) 車両制御装置
JP2017199317A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN113044035B (zh) 自动驾驶车辆用信息提示装置
JP7423837B2 (ja) 自動運転車用情報提示装置
JP7157780B2 (ja) 自動運転車用情報提示装置
JP7158368B2 (ja) 自動運転車用情報提示装置
JP6971300B2 (ja) 車両制御装置、車両制御方法及びプログラム
JP7088899B2 (ja) 自動運転車用情報提示装置
JP7101161B2 (ja) 車両制御装置、車両制御方法及びプログラム
JP7423388B2 (ja) 情報提供装置
CN113044028A (zh) 自动驾驶车辆用信息提示装置
JP2021107772A (ja) 車両用報知装置、車両用報知方法及びプログラム
JP2021138217A (ja) 移動体用情報処理システム及び移動体用情報処理方法
JP2021138218A (ja) 移動体用情報処理システム及び移動体用情報処理方法
JP2021092979A (ja) 自動運転車用情報提示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240117

R150 Certificate of patent or registration of utility model

Ref document number: 7423388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150