JP7321787B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、仮想のオブジェクトの映像の表示態様を制御する情報処理装置及び情報処理方法に関するものである。

特許文献１には、車両のフロントガラス又はホログラム積層体に情報を投影する情報処理装置が記載されている。車両のフロントガラス等に映像を投影する場合、運転の安全を確保するために、映像の透過率を高くする必要があった。

特開平９－２２２５８３号公報

しかしながら、特許文献１の情報処理装置では、安全性の確保のために映像の透過率を高くしてしまうと、仮想現実としてのリアリティが損なわれてしまうおそれがある。

本発明が解決しようとする課題は、車両に乗車するユーザの安全を確保しつつ、リアリティのある仮想現実映像を表示することができる情報処理装置及び情報処理方法を提供することである。

本発明は、視認性確保エリアを特定し、視認性確保エリアにおける第２オブジェクトに対するユーザの視認性が維持されるように、第１オブジェクト表示部に表示される仮想の第１オブジェクトの映像の表示態様を制御し、第２オブジェクトの色情報に重要性があると判定した場合は、第１オブジェクトの色が第２オブジェクトの色と同じ色相にならないように、第１オブジェクトの色を編集することによって上記課題を解決する。

本発明によれば、視認性確保エリアでのみ仮想の第１オブジェクトの映像の表示態様を制御するので、車両に乗車するユーザの安全を確保しつつ、リアリティのある仮想現実映像を表示することができるという効果を奏する。

ユーザと、第１オブジェクトと、第２オブジェクトとの関係を示す図である。 本発明の実施の形態に係る情報処理装置の構成を示すブロック図である。 図１に示す例で、第１オブジェクトの映像が第２オブジェクトに重畳して表示された状態を示す図である。 図３Ａに示す場合に、図２に示す情報処理装置を用いて、第１オブジェクトの映像の表示態様を変更した状態を示す図である。 図２に示す情報処理装置を用いて第１オブジェクトの映像を表示する方法を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。
図１に示す例では、ＡＲゴーグル１０を装着したユーザ５が車両３に乗車している。ユーザ５は車両３の運転を行うドライバーである。ユーザ５はＡＲゴーグル１０を介して仮想の第１オブジェクト１ａ，１ｂを視認する。第１オブジェクト１ａ，１ｂの映像は、車両３の速度情報、周辺情報、渋滞情報、ナビ画面、ルートガイダンスの矢印、アバター等、ユーザ５の運転操作を補助するための情報を含む仮想現実映像である。また、車両３の前方には、第２オブジェクト２としての信号機が設置されている。
なお、図１に示す第１オブジェクト１ａ，１ｂの位置及び大きさは、ユーザ５の視点位置５ａから見た仮想的な位置及び大きさである。

図２に示すように、ＡＲゴーグル１０に第１オブジェクト１ａ，１ｂの映像を表示するための情報処理装置１００は、第２オブジェクト検出部２０、視認性確保エリア特定部３０、表示制御部４０及び第１オブジェクト表示部としてのＡＲゴーグル１０を有している。情報処理装置１００を構成するＣＰＵは、第２オブジェクト検出部２０、視認性確保エリア特定部３０及び表示制御部４０の各々の機能を発揮するためのプログラムを実行する。なお、第１オブジェクト表示部は、ユーザ５が装着可能なウェアラブル装置であればよく、ＡＲゴーグル１０に限定されず、ＨＭＤ（ヘッドマウントディスプレイ）であってもよい。

ここで、図１に示す例において、情報処理装置１００の第２オブジェクト検出部２０は、車両３の外部の信号機、すなわち、実在する第２オブジェクト２を検出する。第２オブジェクト２は、ユーザ５の運転の安全の確保のために視認が必要な車外又は車内のオブジェクトである。すなわち、第２オブジェクト２は、車両３の運転操作を行うために必要な情報を含むオブジェクト、または、車両３の運転操作を行うための操作オブジェクトである。第２オブジェクト検出部２０は、カメラ等の車載センサ又はＡＲゴーグル１０に搭載されたカメラを備える。すなわち、第２オブジェクト検出部２０は、信号機を画像認識してメモリに格納されたデータと照合し、第２オブジェクト２として検出する。また、第２オブジェクト検出部２０は、ＧＰＳを有しており、地図データを照合して信号機の座標位置を把握することで、第２オブジェクト２としての信号機を検出することもできる。

そして、視認性確保エリア特定部３０は、第２オブジェクト検出部２０によって検出された第２オブジェクト２の位置に応じて視認性確保エリア２１を特定する。図１に示すように、視認性確保エリア２１は、第２オブジェクト２の周辺領域を底面とし、かつ、ユーザ５の視点位置５ａを頂点とした錐形状の三次元エリアである。視認性確保エリア２１は、第２オブジェクト２に対するユーザ５の視認性に影響を与えるエリアである。なお、第２オブジェクト検出部２０の検出誤差を考慮して、視認性確保エリア２１の錐形状の底面の領域は、実際の第２オブジェクト２のサイズよりも大きく設定される。

また、視認性確保エリア特定部３０は、視認性確保エリア２１を第２オブジェクト２の位置とユーザ５の視点位置５ａとに基づいて設定する。さらに、図２に示すように、視認性確保エリア特定部３０は、ユーザ５の頭部の位置及び向きに基づいてユーザ５の視点位置５ａを検出する視点検出部３１を有する。視点検出部３１は、例えば、車両３の内部に設置されたカメラ又はＡＲゴーグル１０に取り付けられたセンサである。また、視認性確保エリア２１の位置及び大きさは、ＡＲゴーグル１０の位置又は大きさに応じて変わる。なお、視認性確保エリア２１は、ＡＲゴーグル１０の画面上で、ユーザ５の視点から見た所定の二次元エリアに変換される。すなわち、視認性確保エリア２１は、第１オブジェクト表示部であるＡＲゴーグル１０における表示領域において設定される。
また、視認性確保エリア特定部３０の視点検出部３１は、ユーザ５の頭部に限らず、ユーザ５の上体の少なくとも一部の位置及び向きに基づいてユーザ５の視点位置５ａを検出してもよい。

表示制御部４０は、ＡＲゴーグル１０に表示される第１オブジェクト１ａ，１ｂの映像の表示態様を制御する。具体的には、図３Ａに示すユーザ５の視界６において、第１オブジェクト１ａの映像は第２オブジェクト２に重畳して配置されている。このような場合、表示制御部４０は、図３Ｂに示すように、第１オブジェクト１ａの映像の一部を消し込み、視認性確保エリア２１において第２オブジェクト２に対するユーザ５の視認性が維持されるようにする。

次に、情報処理装置１００による第１オブジェクト１ａ，１ｂの表示方法について、図４を用いて、より詳細に説明する。
図４に示すように、ステップＳ１において、情報処理装置１００は、ＡＲゴーグル１０に表示されるべき仮想の第１オブジェクト１ａ，１ｂが有るか否かを判定する。第１オブジェクトが無い場合は、情報処理装置１００は制御を終了する。

一方、ＡＲゴーグル１０に表示されるべき第１オブジェクト１ａ，１ｂが有る場合、制御は、ステップＳ２に移る。ステップＳ２において、情報処理装置１００は、第２オブジェクト検出部２０が車両３の外部の第２オブジェクト２を検出したか否かを判定する。車両３の外部に第２オブジェクト２を検出されなかった場合、制御はステップＳ４に移る。また、車両３の外部に第２オブジェクト２を検出された場合、制御はステップＳ３に移る。なお、車両３の外部の第２オブジェクト２は、ユーザ５の運転の安全のために視認が必要な実在のオブジェクトであり、例えば、交通標識、道路標識、信号機、歩行者、障害物又は道路上のマーカである。

ステップＳ３において、情報処理装置１００の視認性確保エリア特定部３０は、車両３の外部の第２オブジェクト２に対応して第１視認性確保エリアを特定する。情報処理装置１００の視認性確保エリア特定部３０は、第２オブジェクト２の位置及び大きさを、ユーザ５の視点位置５ａを基準にした座標に変換し、第１視認性確保エリアを特定する。

次に、ステップＳ４において、情報処理装置１００の視認性確保エリア特定部３０は、車両３の内部の第２オブジェクト２に対応して第２視認性確保エリアを特定する。なお、情報処理装置１００の第２オブジェクト検出部２０は、予め記憶された第２オブジェクト２のＣＡＤデータを参照して、車両３の内部の第２オブジェクト２を検出する。すなわち、視認性確保エリア特定部３０は、ユーザ５の視点位置５ａと、予め記憶された車内の第２オブジェクト２のＣＡＤデータの位置及び大きさとに基づいて、第２視認性確保エリアを特定する。

ここで、車両３の内部の第２オブジェクト２は、車両３の外部の第２オブジェクト２と同様、ユーザ５の運転の安全のために視認が必要な実在のオブジェクトである。具体的には、車両３の内部の第２オブジェクト２は、運転操作に使用される操作部又は運転操作を補助する補助部である。ここで、操作部とは、例えば、ハンドル、ブレーキ、シフトレバー又はアクセルである。また、補助部とは、例えば、ミラー、メータ又はナビゲーション機器である。また、窓開閉スイッチ、エアコン制御操作部等も第２オブジェクト２として検出される。

なお、車両３の内部の第２オブジェクト２がハンドル等、設置位置の調整機構を有するものである場合には、第２オブジェクト２の位置の変化量が車内センサによって計測される。そして、視認性確保エリア特定部３０は、予め記憶された第２オブジェクト２の基準位置に、計測された変化量を加算することによって、第２オブジェクト２の正確な位置に応じた第２視認性確保エリアを特定する。

次に、ステップＳ５において、情報処理装置１００は、第１オブジェクト１ａ，１ｂの映像を予め決められた所定の位置に表示した場合、第１オブジェクト１ａ，１ｂの映像と第１視認性確保エリア又は第２視認性確保エリアとが干渉するか否かを判定する。第１オブジェクト１ａ，１ｂの映像と第１視認性確保エリア又は第２視認性確保エリアとが干渉しない場合、制御はステップＳ７に移り、情報処理装置１００は、第１オブジェクト１ａ，１ｂの映像を、表示態様を変更することなく、所定の位置に表示する。

図３Ａに示すように、第１オブジェクト１ａ，１ｂと第１視認性確保エリア又は第２視認性確保エリアとが干渉する場合、情報処理装置１００の表示制御部４０は、ステップＳ６において、第１オブジェクト１ａ，１ｂの映像の表示態様を変更する。具体的には、情報処理装置１００の表示制御部４０は、第１視認性確保エリア又は第２視認性確保エリアに第１オブジェクト１ａ，１ｂの映像が表示されないように、第１オブジェクト１ａ，１ｂの位置を移動させたり、第１オブジェクト１ａ，１ｂを変形させたりする。または、第１オブジェクト１ａ，１ｂの映像が第１視認性確保エリア又は第２視認性確保エリアに重畳しないように、図３Ｂに示すように、表示制御部４０は、第１オブジェクト１ａ，１ｂの映像の少なくとも一部を消し込む。または、表示制御部４０は、第１視認性確保エリア又は第２視認性確保エリアに重畳して表示される第１オブジェクト１ａ，１ｂの映像の少なくとも一部の透過率が所定値以上になるように、第１オブジェクト１ａ，１ｂの映像の表示態様を制御する。なお、「所定値以上の透過率」とは、第１オブジェクト１ａ，１ｂの映像が第２オブジェクト２に重畳していた場合であってもユーザ５が充分に第２オブジェクト２を視認することができる程度に高い透過率をいう。

以上より、この実施の形態の情報処理装置１００の視認性確保エリア特定部３０は、実在の第２オブジェクト２に対するユーザ５の視認性に影響を与えるエリアを視認性確保エリア２１として特定する。そして、情報処理装置１００の表示制御部４０は、視認性確保エリア２１において第２オブジェクト２に対するユーザ５の視認性が維持されるように、第１オブジェクト表示部としてのＡＲゴーグル１０に表示される第１オブジェクト１ａ，１ｂの映像の表示態様を制御する。これにより、視認性確保エリア２１以外の領域では、仮想の第１オブジェクト１ａ，１ｂの映像の透過率を上げる必要がない。一方、表示制御部４０は、視認性確保エリア２１においてのみ第１オブジェクト１ａ，１ｂの映像の表示態様を変更して、第２オブジェクト２に対するユーザ５の視認性を維持することができる。これにより、情報処理装置１００は、ユーザ５の運転の安全を確保しつつ、リアリティのある仮想現実映像としての第１オブジェクト１ａ，１ｂの映像をＡＲゴーグル１０に表示することができる。

また、表示制御部４０は、視認性確保エリア２１には第１オブジェクト１ａ，１ｂの映像が表示されないように、視認性確保エリア２１に重畳して表示される第１オブジェクト１ａ，１ｂの映像の少なくとも一部を消し込む。これにより、情報処理装置１００は、第２オブジェクト２に対するユーザ５の視認性を維持することができ、ユーザ５の運転の安全を確保することできる。また、その一方で、情報処理装置１００は、視認性確保エリア２１以外の領域では第１オブジェクト１ａ，１ｂのリアリティが損なわれないように、第１オブジェクト１ａ，１ｂの映像をＡＲゴーグル１０に表示することができる。

また、表示制御部４０は、視認性確保エリア２１には第１オブジェクト１ａ，１ｂの映像が表示されないように、視認性確保エリア２１に重畳する第１オブジェクト１ａ，１ｂの映像の位置を移動させたり、変形したりして、表示態様を変更することができる。これにより、第１オブジェクト１ａ，１ｂのリアリティを損なうことなく、より確実にユーザ５の運転の安全を確保することができる。

また、表示制御部４０は、視認性確保エリア２１に重畳して表示される第１オブジェクト１ａ，１ｂの映像の少なくとも一部の透過率が所定値以上になるように、第１オブジェクト１ａ，１ｂの映像の表示態様を制御することもできる。ここで、第１オブジェクト１ａ，１ｂがルートガイダンスの矢印等、位置情報が重要となるオブジェクトである場合は、第１オブジェクト１ａ，１ｂの映像を移動させたり、変形したり、消し込んだりするよりも、透過率を上げる方がより好ましい。これにより、ユーザ５の運転の安全が確保される一方で、ユーザ５は、第１オブジェクト１ａ，１ｂの位置及びガイドの方向を確実に把握することができる。

また、視認性確保エリア２１は、第１オブジェクト表示部であるＡＲゴーグル１０における表示領域において設定される。これにより、表示制御部４０は、より適切に、ＡＲゴーグル１０に表示される第１オブジェクト１ａ，１ｂの映像の表示態様を制御することができる。

また、視認性確保エリア特定部３０は、視認性確保エリア２１を第２オブジェクト２の位置とユーザ５の視点位置５ａとに基づいて特定する。また、視認性確保エリア特定部３０は、ユーザ５の上体の少なくとも一部の位置及び向きに基づいてユーザ５の視点位置５ａを検出する視点検出部３１を有する。これによって、視認性確保エリア特定部３０は、ユーザ５の視点位置５ａに応じて、より適切な視認性確保エリア２１を特定することができる。

また、視認性確保エリア２１の位置及び大きさは、ＡＲゴーグル１０等の第１オブジェクト表示部の位置又は大きさに応じて変わる。これにより、視認性確保エリア特定部３０は、第１オブジェクト表示部との関係に応じて、より適切な視認性確保エリア２１を特定することができる。

さらに、車両３の内部に存在する第２オブジェクト２は、車両３の内部に設けられたハンドル、ブレーキ、アクセル又はミラーのうち少なくともいずれか１つを含むが、これに限らず、運転者により車両の運転操作に必要とされる手段を示す操作オブジェクトであればよい。また、車両３の外部に存在する第２オブジェクト２は、車両３の外部に設けられた交通標識、道路標識又は信号機のうち少なくともいずれか１つを含むが、これに限らず、車両の運転操作の判断に必要とされる情報を示すオブジェクトであればよい。これにより、運転に必要とされるオブジェクトが確実に第２オブジェクト２として検出されるため、ユーザ５は仮想の第１オブジェクト１ａ，１ｂを見ながら、第２オブジェクト２を確認することができ、ユーザ５の運転の安全が維持される。

また、第１オブジェクト１ａ，１ｂの映像は、ユーザ５の運転操作を補助するための情報を含む映像である。これにより、ユーザ５は運転操作の判断に必要な情報を確実に取得することができる。

また、この実施の形態では、第１オブジェクト表示部は、ユーザ５が装着可能なウェアラブル装置であるが、これに限定されず、車両３の内部に設置されるＡＲ－ＨＵＤ（仮想現実ヘッドアップディスプレイ）等の透過型ディスプレイであってもよい。また、第１オブジェクト表示部は、フロントガラスであってもよい。なお、第１オブジェクト表示部が透過型ディスプレイ又はフロントガラスである場合も、視認性確保エリア２１の位置及び大きさは、第１オブジェクト表示部の位置又は大きさに応じて変わる。

なお、表示制御部４０は、視認性確保エリア２１に重畳する第１オブジェクト１ａ，１ｂを輪郭のみ表示してもよい。
また、第２オブジェクト２の色情報に重要性がある場合、表示制御部４０は、第１オブジェクト１ａ，１ｂの色が第２オブジェクト２の色と同じ色相にならないように、第１オブジェクト１ａ，１ｂの色を編集してもよい。具体的には、第２オブジェクト２としての信号機の信号が赤である時に、表示制御部４０は、第１オブジェクト１ａ，１ｂの色を暖色系以外の色に変更し、信号機の色情報をより目立たせることができる。
また、表示制御部４０は、第１オブジェクト１ａ，１ｂに含まれる情報の重要性が低い場合は、視認性確保エリア２１に重畳する第１オブジェクト１ａ，１ｂの映像の表示をキャンセルしてもよい。

１００…情報処理装置
１ａ，１ｂ…第１オブジェクト
２…第２オブジェクト
３…車両
５…ユーザ
５ａ…ユーザの視点位置
１０…ＡＲゴーグル（第１オブジェクト表示部）
２０…第２オブジェクト検出部
２１…視認性確保エリア
３０…視認性確保エリア特定部
３１…視点検出部
４０…表示制御部

Claims (14)

1. 車両に乗車しているユーザに視認可能な仮想の第１オブジェクトの映像が表示される第１オブジェクト表示部と、
   前記車両の外部又は内部に実在する第２オブジェクトを検出する第２オブジェクト検出部と、
   前記ユーザが前記第２オブジェクトを見た時に、前記第２オブジェクトに対する前記ユーザの視認性に影響を与えるエリアを視認性確保エリアとして特定する視認性確保エリア特定部と、
   前記視認性確保エリアにおいて前記第２オブジェクトに対する前記ユーザの視認性が維持されるように、前記第１オブジェクト表示部に表示される前記第１オブジェクトの映像の表示態様を制御する表示制御部とを備え、
   前記表示制御部は、前記第２オブジェクトの色情報に重要性があると判定した場合は、前記第１オブジェクトの色が前記第２オブジェクトの色と同じ色相にならないように、前記第１オブジェクトの色を編集する、情報処理装置。
2. 前記表示制御部は、前記視認性確保エリアには前記第１オブジェクトの映像が表示されないように前記第１オブジェクトの映像の表示態様を制御する、請求項１に記載の情報処理装置。
3. 前記視認性確保エリアに前記第１オブジェクトの映像が重畳すると判断された場合、前記表示制御部は、前記第１オブジェクトの映像が前記視認性確保エリアに重畳しないように、前記第１オブジェクトの映像の位置を移動させるか、前記第１オブジェクトの映像を変形させるか、又は、前記第１オブジェクトの映像の少なくとも一部を消し込むように前記第１オブジェクトの映像の表示態様を制御する、請求項２に記載の情報処理装置。
4. 前記視認性確保エリアは、前記第１オブジェクト表示部における表示領域において設定される、請求項１に記載の情報処理装置。
5. 前記第２オブジェクトは、前記車両の運転操作を行うために必要な情報を含むオブジェクト、または、前記車両の運転操作を行うための操作オブジェクトである、請求項１に記載の情報処理装置。
6. 前記表示制御部は、前記視認性確保エリアに重畳して表示される第１オブジェクトの映像の少なくとも一部の透過率が所定値以上になるように、前記第１オブジェクトの映像の表示態様を制御する、請求項１に記載の情報処理装置。
7. 前記第１オブジェクト表示部は、前記ユーザが装着可能なウェアラブル装置である、請求項１～６のいずれか一項に記載の情報処理装置。
8. 前記第１オブジェクト表示部は、前記車両の内部に設置される透過型ディスプレイである、請求項１～６のいずれか一項に記載の情報処理装置。
9. 前記視認性確保エリア特定部は、前記視認性確保エリアを前記第２オブジェクトの位置と前記ユーザの視点位置とに基づいて特定する、請求項１～８のいずれか一項に記載の情報処理装置。
10. 前記視認性確保エリア特定部は、前記ユーザの上体の少なくとも一部の位置及び向きに基づいて前記ユーザの視点位置を検出する視点検出部を有する、請求項９に記載の情報処理装置。
11. 前記第２オブジェクトは、前記車両の内部に設けられたハンドル、ブレーキ、アクセル又はミラーのうち少なくともいずれか１つを含む、請求項１～１０のいずれか一項に記載の情報処理装置。
12. 前記第２オブジェクトは、前記車両の外部に設けられた交通標識、道路標識又は信号機のうち少なくともいずれか１つを含む、請求項１～１０のいずれか一項に記載の情報処理装置。
13. 前記第１オブジェクトの映像は、前記ユーザの運転操作を補助するための情報を含む映像である、請求項１～１２のいずれか一項に記載の情報処理装置。
14. 車両に乗車しているユーザに対して、仮想の第１オブジェクトの映像を視認可能に表示するための情報処理方法であって、
    車両の外部又は内部に存在する第２オブジェクトを検出し、
    前記ユーザが前記第２オブジェクトを見た時に、前記第２オブジェクトに対する前記ユーザの視認性に影響を与えるエリアを視認性確保エリアとして特定し、
    前記視認性確保エリアにおいて前記第２オブジェクトに対する前記ユーザの視認性が維持されるように、前記第１オブジェクトの映像の表示態様を制御し、
    前記第２オブジェクトの色情報に重要性があると判定した場合は、前記第１オブジェクトの色が前記第２オブジェクトの色と同じ色相にならないように、前記第１オブジェクトの色を編集する、情報処理方法。
    

Images