JP7278829B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、車両で用いられる情報処理装置及び情報処理方法に関するものである。

車両の運転中、ドライバの視界の範囲では周辺の状況の全てを視認することができず、死角となってしまうエリアがある。ドライバの視界を補助する自動車用情報表示装置としては、ドライバが装着するゴーグルに、死角エリアの情報を含む文字情報を表示するものがあった（特許文献１）。

特開平７－２９４８４２号公報

しかしながら、特許文献１の自動車用情報表示装置は、文字情報のみを画面上の所定の位置に表示するものなので、ドライバが車両の周辺の状況を直感的に把握し難いという問題があった。

本発明が解決しようとする課題は、最小限の視線移動で、ドライバが車両の周囲の状況を直感的に把握することができる情報処理装置及び情報処理方法を提供することである。

本発明は、車両の周囲に存在するオブジェクトのイメージを、車両がバック駐車又は縦列駐車を行っているときは、拡張現実映像の上側、右側及び左側に配置し、車両が前進しているときは、拡張現実映像の右側及び左側に配置して、ドライバが視認可能な拡張現実映像を生成することによって上記課題を解決する。

本発明によれば、ドライバが車両の周囲のオブジェクトのイメージを拡張現実映像として視認することができるので、最小限の視線移動で、ドライバが車両の周囲の状況を直感的に把握することができるという効果を奏する。

この発明の実施の形態に係る情報処理装置の構成を示すブロック図である。 図１に示す情報処理装置による仮想エリアの設定の例及び車両の周辺に存在するオブジェクトの例を示す図である。 図２Ａに示す状況において、ドライバの装着するＨＭＤのモニターに表示される拡張現実映像の例を示す図である。 図１に示す情報処理装置による情報処理方法を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。
図１に示すように、車両１０１には、ドライバ１が乗車している。ドライバ１は車両１０１を運転しながら、ＡＲ（拡張現実）システムに使用されるＨＭＤ（ヘッドマウントディスプレイ）２０を装着している。車両１０１は、ＨＭＤ２０に拡張現実映像を表示するために各種の情報を処理する情報処理装置１００を有している。

情報処理装置１００は、車両１０１から運転状態情報を取得する車両状態入力部１０を有している。車両状態入力部１０は、舵角センサ１１、ペダルセンサ１２及びトランスミッションセンサ１３を含む。舵角センサ１１は、ハンドルの舵角を検知する。ペダルセンサ１２は、アクセルペダル及びブレーキペダルの踏み込み状態を検知する。トランスミッションセンサ１３は、変速機の入力ポジション（前進、後退又は中立）を検知する。これにより、車両状態入力部１０は、車両１０１の進行方向を示す情報、車両１０１の前進又は後進を示す情報及び車両１０１が運転状態にあることを示す情報を取得することができる。
なお、車両１０１の進行方向を示す情報とは、車両１０１が方角的にどの程度の角度で進んでいるかを示す情報である。

また、情報処理装置１００には、ＨＭＤ２０も含まれる。ＨＭＤ２０は、視界方向検知部３０及び表示部４０を有する。視界方向検知部３０は、ドライバ１の頭部又は視線の向きを検知するためのカメラ３１、加速度センサ３２及びジャイロセンサ３３を有する。視界方向検知部３０は、ドライバ１の頭部又は視線の向きに基づいて、ドライバ１の視界方向を検出する。表示部４０は、ドライバ１に視覚情報を提供するモニター４１と、ドライバ１に音声情報を提供するスピーカー４２とを有する。

さらに、情報処理装置１００は、通信部５０を有する。通信部５０は、道路交通情報及び天候情報等を取得するのに用いられる。

また、情報処理装置１００は、オブジェクト情報入力部６０を有する。オブジェクト情報入力部６０は、カメラ６１、超音波センサ６２、レーダ６３及びＧＰＳ６４を有する。オブジェクト情報入力部６０は、カメラ６１、超音波センサ６２、レーダ６３及びＧＰＳ６４を用いて、車両１０１の周囲のオブジェクト７０に関するオブジェクトデータを取得する。カメラ６１は、車両１０１の前後左右に、各々、外向きに取り付けられている。超音波センサ６２及びレーダ６３は、車両１０１の周辺に存在するオブジェクト７０の位置を検知する。ＧＰＳ６４は、道路における車両１０１の自己位置を測定する。
なお、オブジェクト７０は、例えば、歩行者、他車両、自転車又は障害物等である。障害物には、ガードレール、トンネル内壁、建物の壁、電柱又は料金所等が含まれる。

また、情報処理装置１００は、コントローラ８０を有する。コントローラ８０は、車両状態入力部１０によって取得された運転状態情報と、視界方向検知部３０によって検知された視界方向とに応じて、車両１０１の周囲に複数の仮想エリアを設定する。また、コントローラ８０は、オブジェクト情報入力部６０から、オブジェクト７０に関するオブジェクトデータを、複数の仮想エリアの各々について取得する。コントローラ８０は、オブジェクトデータに基づき、車両１０１に対するオブジェクト７０の相対位置及び相対速度を算出するとともに、オブジェクト７０の危険度を算出する。なお、本実施形態の危険度とは、車両１０１とオブジェクト７０との衝突の可能性をいう。オブジェクト７０の危険度は、通信部５０から取得した道路交通情報及び天候情報によって調整される。具体的には、雨天時には、オブジェクト７０の危険度は晴天時よりも高めに算出される。さらに、コントローラ８０は、複数の仮想エリアの各々に存在するオブジェクト７０のイメージを、対応する仮想エリア毎に各々異なる領域に表示されるように配置して、拡張現実映像９０を生成する。コントローラ８０によって生成された拡張現実映像９０は、ドライバ１が視認可能となるように、表示部４０のモニター４１に表示される。
コントローラ８０は、エリア設定部及び出力部を構成する。

次に、情報処理装置１００のコントローラ８０によって生成される拡張現実映像９０の例について、図２Ａ，２Ｂを用いて説明する。なお、図２Ａにおいて、図面上における上側が車両１０１の前進方向であり、図面上における下側が車両１０１の後進方向である。また、図２Ａに示す状況では、ドライバ１は、後ろを振り返って車両１０１の後進方向を確認しながらバック駐車を行っている。従って、車両１０１は後進しており、ドライバ１の視界方向Ｄは、車両１０１の後進方向と一致する。

図２Ａに示すように、コントローラ８０は、車両１０１の周辺に３つの仮想エリアを設定する。仮想エリアは、ドライバ１の視界方向Ｄに対する後側、すなわち車両１０１の前進方向に位置する後側領域Ｂと、視界方向Ｄに対して右側に位置する右側領域Ｒと、視界方向Ｄに対して左側に位置する左側領域Ｌとからなる。また、後側領域Ｂ、右側領域Ｒ及び左側領域Ｌは、ドライバ１の視域Ｆよりも外側の領域、すなわち、ドライバ１の死角エリア内に設定される。

図２Ａに示す例では、ドライバ１の視界方向Ｄには、駐車中の他車両７１及び三角コーン７４が存在している。また、左側領域Ｌには、前進して走行する他車両７２が通過中である。また、後側領域Ｂでは、歩行者７３が車両１０１の前進方向を横切っている。なお、右側領域Ｒにはオブジェクトは存在しない。

図２Ｂは、図２Ａに示す状況において、ドライバ１が装着するＨＭＤ２０のモニター４１に表示される拡張現実映像９０を示している。拡張現実映像９０の左側には、左側ワイプ窓９１が表示される。拡張現実映像９０の右側には、右側ワイプ窓９３が表示される。さらに、拡張現実映像９０の正面上側には、上側ワイプ窓９２が表示される。そして、左側ワイプ窓９１の内側には、左側領域Ｌに存在する他車両７２のイメージ７２ａが表示されている。また、上側ワイプ窓９２には、後側領域Ｂに存在する歩行者７３のイメージ７３ａが表示されている。

ここで、他車両７２のイメージ７２ａ及び歩行者７３のイメージ７３ａは、オブジェクト情報入力部６０のカメラ６１によって撮像される映像に基づいて生成される。なお、ドライバ１の視界方向Ｄが、車両１０１の前後左右に取り付けられた各カメラ６１の撮像方向と一致しない場合は、ライトフィールドレンダリングなどの中間視点画像生成技術を利用して、各カメラ６１同士の中間映像が生成される。また、他車両７２のイメージ７２ａ及び歩行者７３のイメージ７３ａは、反転して表示される。

また、他車両７２の危険度が高いと判断される時は、左側ワイプ窓９１は、点滅して表示されるか、又は、破線に示すように拡大されて表示される。また、同様に、歩行者７３の危険度が高いと判断される時は、上側ワイプ窓９２は、点滅して表示されるか、又は、破線に示すように拡大されて表示される。なお、右側領域Ｒにはオブジェクトが存在しないため、右側ワイプ窓９３の内側にはオブジェクトのイメージは表示されない。また、拡張現実映像９０は、ドライバ１が直接的に視認している風景に重畳して表示される。そのため、ドライバ１は、左側ワイプ窓９１，上側ワイプ窓９２及び右側ワイプ窓９３の各々の内側に表示された映像を視認するとともに、視域Ｆに存在する他車両７１及び三角コーン７４も直接視認している。なお、左側ワイプ窓９１，上側ワイプ窓９２及び右側ワイプ窓９３の各々の内側の映像は透過表示となっているため、図２Ｂに示すように、他車両７１に右側ワイプ窓９３が重なった場合でも、ドライバ１は他車両７１を視認することができる。

次に、図３を用いて、情報処理装置１００のコントローラ８０による情報処理方法について、説明する。
まず、ドライバ１が、ＨＭＤ２０を装着してＡＲシステムの利用を開始する。そして、ステップＳ１において、コントローラ８０は、車両状態入力部１０から取得した情報に基づいて、車両１０１がバック駐車又は縦列駐車を行っているか否かを判定する。車両１０１がバック駐車又は縦列駐車を行っている時、ドライバ１は、頻繁に顔又は視線を動かして周囲を確認しなければならない運転状態にある。そのため、コントローラ８０は、視界方向検知部３０によって検出されたドライバ１の顔又は視線の向きに基づき、ドライバ１が頻繁に後方を確認していると判断された場合に、車両１０１は、バック駐車又は縦列駐車を行っていると判定してもよい。

ステップＳ１において、車両１０１がバック駐車又は縦列駐車を行っていると判断された場合、制御は、ステップＳ２に移る。ステップＳ２において、コントローラ８０は、後側領域Ｂ、左側領域Ｌ及び右側領域Ｒの各々に存在するオブジェクト７０の危険度が所定値以上であるか否かを判定する。なお、各々のオブジェクト７０の危険度は、オブジェクト情報入力部６０から取得した情報に基づき算出される。具体的には、コントローラ８０は、仮に車両１０１がブレーキをかけずに直進したとする場合にオブジェクト７０と衝突するまでにかかると推定される衝突推定時間を算出し、この衝突推定時間に基づいてオブジェクト７０の危険度を求めることができる。

死角エリアに危険度の高いオブジェクトが存在しない場合、制御は、ステップＳ３に移る。ステップＳ３において、コントローラ８０は、ＨＭＤ２０のモニター２１に表示される左側ワイプ窓９１、上側ワイプ窓９２及び右側ワイプ窓９３の各々が、予め設定された下限値に応じた最小の大きさであるか否かを判定する。そして、ステップＳ４において、左側ワイプ窓９１、上側ワイプ窓９２及び右側ワイプ窓９３の少なくともいずれかが最小の大きさでない場合は、コントローラ８０は、左側ワイプ窓９１、上側ワイプ窓９２及び右側ワイプ窓９３の大きさを、最小になるまで縮小する。

一方、ステップＳ２において、死角エリアに危険度の高いオブジェクト７０が存在すると判断された場合、制御は、ステップＳ５に移る。ステップＳ５において、コントローラ８０は、危険度が高いオブジェクト７０のイメージを強調表示して出力する。具体的には、オブジェクト７０のイメージが表示されるワイプ窓の枠を点滅表示したり、オブジェクト７０のイメージの周囲を目立つ色の四角い枠で囲うように表示したり、オブジェクト７０のイメージの透過度を下げたりする。

次に、ステップＳ６において、危険度が高いオブジェクト７０のイメージを強調表示した状態で、一定時間が経過したか否かが判定される。ステップＳ６で、一定時間が経過していると判断された場合は、ステップＳ７において、オブジェクト７０の危険度が充分に低下したか否かが判定される。具体的には、車両１０１とオブジェクト７０との衝突推定時間が所定の閾値以上になった場合に、オブジェクト７０の危険度は充分に低下したと判断される。

ステップＳ６において、オブジェクト７０の危険度が充分に低下したと判断された場合、制御はステップＳ３，Ｓ４に移り、各々のワイプ窓の大きさは縮小される。一方、ステップＳ６において、オブジェクト７０の危険度が充分に低下していないと判断された場合、制御はステップＳ８に移る。ステップＳ８において、コントローラ８０は、危険度が高いオブジェクト７０が表示されるワイプ窓が、予め設定された上限値に応じた最大の大きさであるか否かを判定する。そして、危険度が高いオブジェクト７０に対応するワイプ窓が最大の大きさでない場合、ステップＳ９において、コントローラ８０は、該当するワイプ窓の大きさを拡大する。そして、制御は、ステップＳ７に戻り、オブジェクト７０の危険度が充分に低下するか、又は、該当するワイプ窓の大きさが最大になるまで、コントローラ８０は、ワイプ窓の大きさを拡大させ続ける。なお、コントローラ８０は、ワイプ窓の大きさを拡大させるとともに、ワイプ窓の透過度を低下させてもよい。

ワイプ窓の大きさを最大まで拡大させた後、ステップＳ１１において、オブジェクト７０の危険度が充分に低下したと判断された場合は、コントローラ８０は、ステップＳ１１において、ワイプ窓の大きさ及び配置を標準状態に戻す。

そして、ステップＳ１２において、ドライバ１がＡＲシステムの利用を終了したと判断された場合は、コントローラ８０は制御を終了する。

以上より、この実施の形態に係る情報処理装置１００は、車両１０１の周囲のオブジェクト７０のイメージを、対応する仮想エリア毎に各々異なる領域に表示されるように配置して、ドライバ１が視認可能な拡張現実映像９０を生成する。これにより、ドライバ１が、車両１０１の周囲のオブジェクト７０をイメージとして直感的に認識することができ、運転の安全性が向上する。また、複数のオブジェクト７０は、拡張現実映像９０にまとめて表示されるため、ドライバ１は最小限の視線移動で車両１０１の周囲の状況を把握することができる。

また、車両状態入力部１０が取得する運転状態情報は、車両１０１の進行方向を示す情報、車両１０１の前進又は後進を示す情報及び車両１０１が運転状態にあることを示す情報のうちの少なくともいずれか１つを含む。これにより、情報処理装置１００は、車両１０１がバック駐車又は縦列駐車等の特に注意を要する運転状態なのか、通常の前進状態なのかを認識することができる。従って、運転状態に応じて、より最適な表示形態で、オブジェクト７０を拡張現実映像９０に表示することができる。例えば、車両１０１が通常の道路を前進している場合は、真後ろには危険がそもそも少ないとして、左側領域Ｌ及び右側領域Ｒのみを仮想エリアをして設定し、拡張現実映像９０には左側ワイプ窓９１及び右側ワイプ窓９３のみを表示させることができる。一方、車両１０１がバック駐車又は縦列駐車を行っている時は、図２Ｂに示すように、左側ワイプ窓９１及び右側ワイプ窓９３に加えて、後側領域Ｂに対応する上側ワイプ窓９２を、拡張現実映像９０に表示させる。

また、コントローラ８０は、３つの仮想エリアである後側領域Ｂ、右側領域Ｒ及び左側領域Ｌを、ドライバ１の死角エリアに設定する。これにより、ドライバ１は、拡張現実映像９０の左側ワイプ窓９１、上側ワイプ窓９２及び右側ワイプ窓９３を介して、死角エリアにあるオブジェクト７０を、最小限の視線移動で直感的に把握することができる。

また、仮想エリアが、後側領域Ｂ、右側領域Ｒ及び左側領域Ｌの３つの領域として設定されることにより、確認しなければならない仮想エリアの数が、ドライバ１が直感的に把握しやすい範囲の数となっている。また、３つの仮想エリアである後側領域Ｂ、右側領域Ｒ及び左側領域Ｌは、ドライバ１の視界方向Ｄに関して対称的に配置されているため、ドライバ１にとってはより直感的に把握しやすくなっている。

さらに、後側領域Ｂが上側ワイプ窓９２に、右側領域Ｒが右側ワイプ窓９３に、左側領域Ｌが左側ワイプ窓９１に、各々配置されて表示されることにより、ドライバ１は、サイドミラー及びバックミラーを見る感覚で周囲のオブジェクト７０を確認することができる。

また、図２Ｂに示すように、コントローラ８０は、車両１０１の周囲のオブジェクト７０を反転して、拡張現実映像９０に反映する。これにより、ドライバ１は、ミラーを見る感覚で、より直感的に周囲のオブジェクト７０を確認することができる。

また、拡張現実映像９０に表示されるオブジェクト７０は、車両１０１の周囲に存在する他車両、歩行者又は障害物であるため、ドライバ１は、特に注意すべきオブジェクト７０のみ視認することができ、周囲の状況に配慮しながら、運転に集中することができる。

また、拡張現実映像９０におけるオブジェクト７０のイメージは、オブジェクト７０の危険度に応じて、表示態様が変化する。特に、オブジェクト７０の危険度が高い程、オブジェクト７０のイメージは拡大して表示されるため、ドライバ１は、より効率的かつ直感的に、オブジェクト７０の危険度を把握することができる。

また、表示部としてのＨＭＤ２０は、ウェアラブル装置であるため、限られた車内空間で場所を取らずに、ドライバ１に視覚的な情報を提供することができる。

なお、この実施の形態において、コントローラ８０は３つの仮想エリアを設定するが、これに限定されず、仮想エリアの数は複数であればよいものとする。また、この実施の形態において、コントローラ８０が設定する仮想エリアは、ドライバ１の死角エリアの一部をカバーしているが、死角エリアを全方位的にカバーしていてもよい。また、仮想エリアは、ドライバ１の死角エリアを一部に含んでいればよく、ドライバ１の視域Ｆの一部と重なり合っていてもよい。

また、モニター４１に表示されるオブジェクト７０のイメージは、オブジェクト７０の危険度に応じて表示態様が変化するが、これに加えて、オブジェクト７０の危険度が特に高い場合にスピーカー４２から警告音声を流してもよい。また、仮想音場を設定し、あたかもオブジェクト７０から音が発せられているかのように、スピーカー４２から流れる音声を調整してもよい。

また、表示部としてのウェアラブル装置は、ＨＭＤ２０に限定されず、ＡＲグラスであってもよい。また、ＨＭＤ２０のモニター４１に表示される映像は、拡張現実映像９０に限定されず、ワイプ窓の外側の映像も全てＣＧで置き換えたＶＲ（仮想現実）映像であってもよい。

また、車両状態入力部１０は、舵角センサ１１又はペダルセンサ１２等の車載センサに限定されず、車内に設けられたカメラでもよい。すなわち、カメラによってドライバ１の姿勢を検出し、ドライバ１が背後を振り向いていることを検知した場合に、バック駐車を行っていることを検出してもよい。

上記のＨＭＤ２０は、本発明に係る視界方向検知部及び表示部に相当する。上記のコントローラ８０は、本発明に係るエリア設定部及び出力部に相当する。

１００…情報処理装置
１０１…車両
１…ドライバ
１０…車両状態入力部
２０…ＨＭＤ（視界方向検知部、表示部）
３０…視界方向検知部
４０…表示部
６０…オブジェクト情報入力部
７０…オブジェクト
８０…コントローラ（エリア設定部、出力部）
９０…拡張現実映像
Ｄ…視界方向
Ｂ…後側領域（仮想エリア）
Ｒ…右側領域（仮想エリア）
Ｌ…左側領域（仮想エリア）

Claims (9)

1. 車両から運転状態情報を取得する車両状態入力部と、
   前記車両を運転するドライバの頭部又は視線の向きに基づいて前記ドライバの視界方向を検知する視界方向検知部と、
   前記車両の周囲のオブジェクトに関するオブジェクトデータを取得するオブジェクト情報入力部と、
   前記運転状態情報及び前記ドライバの前記視界方向に応じて、前記車両の周囲に複数の仮想エリアを設定するエリア設定部と、
   前記オブジェクトデータに基づいて、前記仮想エリア毎の前記オブジェクトのイメージを、各々異なる領域に表示されるように配置して、拡張現実映像を生成する出力部と、
   前記出力部によって生成された前記拡張現実映像を前記ドライバが視認可能となるように表示する表示部とを備え、
   前記車両がバック駐車又は縦列駐車を行っているときは、
   前記エリア設定部は、前記ドライバの前記視界方向に対して後側に位置する後側領域と、前記視界方向に対して右側に位置する右側領域と、前記視界方向に対して左側に位置する左側領域とからなる３つの前記仮想エリアを設定し、
   前記出力部は、前記後側領域に対応するイメージを前記拡張現実映像の上側に配置し、前記右側領域に対応するイメージを前記拡張現実映像の右側に配置し、前記左側領域に対応するイメージを前記拡張現実映像の左側に配置して、前記拡張現実映像を生成し、
   前記車両が前進しているときは、
   前記エリア設定部は、前記右側領域と前記左側領域とからなる２つの前記仮想エリアを設定し、
   前記出力部は、前記右側領域に対応するイメージを前記拡張現実映像の右側に配置し、前記左側領域に対応するイメージを前記拡張現実映像の左側に配置して、前記拡張現実映像を生成する情報処理装置。
2. 前記車両状態入力部が取得する前記運転状態情報は、前記車両の進行方向を示す情報、前記車両の前進又は後進を示す情報及び前記車両が運転状態にあることを示す情報のうちの少なくともいずれか１つを含む、請求項１に記載の情報処理装置。
3. 前記エリア設定部は、前記複数の仮想エリアの各々を、前記ドライバの死角エリアを含むように設定する、請求項１又は２に記載の情報処理装置。
4. 前記出力部は、前記オブジェクトのイメージを反転させて、前記拡張現実映像に反映する、請求項１～３のいずれか一項に記載の情報処理装置。
5. 前記オブジェクトは、前記車両の周囲に存在する他車両、歩行者又は障害物である、請求項１～４のいずれか一項に記載の情報処理装置。
6. 前記拡張現実映像における前記オブジェクトのイメージは、前記オブジェクトの危険度に応じて、表示態様が変化する、請求項１～５のいずれか一項に記載の情報処理装置。
7. 前記拡張現実映像における前記オブジェクトのイメージは、前記オブジェクトの危険度が高い程、拡大して表示される、請求項６に記載の情報処理装置。
8. 前記表示部は、ウェアラブル装置である、請求項１～７のいずれか一項に記載の情報処理装置。
9. 車両から運転状態情報を取得するステップと、
   前記車両を運転するドライバの頭部又は視線の向きに基づいて前記ドライバの視界方向を検知するステップと、
   前記車両の周囲のオブジェクトに関するオブジェクトデータを取得するステップと、
   前記運転状態情報及び前記ドライバの前記視界方向に応じて、前記車両の周囲に複数の仮想エリアを設定するステップと、
   前記オブジェクトデータに基づいて、前記仮想エリア毎の前記オブジェクトのイメージを、各々異なる領域に表示されるように配置して、拡張現実映像を生成するステップと、
   前記拡張現実映像を前記ドライバが視認可能となるように表示するステップとを備え、
   前記車両がバック駐車又は縦列駐車を行っているときは、
   前記ドライバの前記視界方向に対して後側に位置する後側領域と、前記視界方向に対して右側に位置する右側領域と、前記視界方向に対して左側に位置する左側領域とからなる３つの前記仮想エリアを設定し、
   前記後側領域に対応するイメージを前記拡張現実映像の上側に配置し、前記右側領域に対応するイメージを前記拡張現実映像の右側に配置し、前記左側領域に対応するイメージを前記拡張現実映像の左側に配置して、前記拡張現実映像を生成し、
   前記車両が前進しているときは、
   前記右側領域と前記左側領域とからなる２つの前記仮想エリアを設定し、
   前記右側領域に対応するイメージを前記拡張現実映像の右側に配置し、前記左側領域に対応するイメージを前記拡張現実映像の左側に配置して、前記拡張現実映像を生成する、情報処理方法。

Images