JP7214548B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置及び情報処理方法に関するものである。

ＨＭＤ（ヘッドマウントディスプレイ）を装着したユーザが複合現実空間の仮想オブジェクトを視認する場合、仮想オブジェクトの映像が、実空間の地面又は建物などの実オブジェクトに干渉してしまうおそれがある。特許文献１には、仮想オブジェクトと実オブジェクトとの幾何学的整合性に矛盾がある場合に、不整合を検出することができる情報処理装置が記載されている。

特開２０１８－１０６６６１号公報

しかしながら、特許文献１の情報処理装置では、人の操作によって動作する仮想オブジェクトの動きが考慮されていないため、仮想オブジェクトと実オブジェクトとの干渉を事前に予測して、仮想オブジェクトの動作又は位置を補正することができないという問題があった。

一方、全ての実オブジェクトと整合性を取るために、仮想オブジェクトの動作又は位置を補正すると、仮想オブジェクトの動作の自由度が過度に制限されてしまうおそれがある。

本発明が解決しようとする課題は、仮想オブジェクトの動作の自由度を確保するとともに、特に高い整合性が必要とされる領域において仮想オブジェクトと実オブジェクトとの整合性を取ることができる情報処理装置及び情報処理方法を提供することである。

本発明は、特に高い整合性が必要とされる領域を高整合性領域として設定し、仮想オブジェクトが高整合性領域に近づいた時又は重なり合った時に、仮想オブジェクトの動作又は位置を補正することによって上記課題を解決する。

本発明によれば、仮想オブジェクトの動作の自由度を確保するとともに、高整合性領域において、仮想オブジェクトと実オブジェクトとの整合性を取ることができるという効果を奏する。

車両の室内空間における、第１ユーザのアバターの表示態様の一例を示す図である。 本発明の実施の形態に係る情報処理装置の構成を示すブロック図である。 図２に示す情報処理装置による情報処理方法のうち、高整合性領域の設定方法のフローを示す図である。 図２に示す情報処理装置を用いて認識される高整合性領域を示す図である。 図２に示す情報処理装置を用いて、高整合性領域を設定する態様の一例を示す図である。 図２に示す情報処理装置を用いて、高整合性領域を設定する態様の一例を示す図である。 図２に示す情報処理装置による情報処理方法のうち、高整合性領域の結合処理の方法を示すフローを示す図である。 図２に示す情報処理装置を用いて、隣接する２つの高整合性領域を結合する態様の一例を示す図である。 図２に示す情報処理装置を用いて、重なり合う２つの高整合性領域を結合する態様の一例を示す図である。 図２に示す情報処理装置による情報処理方法のうち、第１ユーザのアバターの動作の補正方法のフローを示す図である。 図２に示す情報処理装置を用いて、第１ユーザのアバターの指の動作を補正する態様の一例を示す図である。 図２に示す情報処理装置を用いて、第１ユーザのアバターの指の位置を補正する態様の一例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。
図１に示すように、車両３０の室内空間３１には、運転席シート２１，助手席シート１１、ダッシュボード３２などが設けられる。運転席シート２１には、ドライバ２０が着座している。ドライバ２０は、ＨＭＤ１３０を装着している。ドライバ２０は、ＨＭＤ１３０を通して、実際には室内空間３１に存在しない仮想の人物のアバター１０を視認することができる。アバター１０は、助手席シート１１に着座した姿勢で表示されている。アバター１０は、実際の室内空間３１の風景に重畳するように、ＨＭＤ１３０に表示される。なお、アバター１０は、車両３０から離れた遠隔地の空間７０にいる車外ユーザ７１を示す仮想オブジェクトである。
ここで、車外ユーザ７１は第１ユーザであり、ドライバ２０は第２ユーザである。また、運転席シート２１，助手席シート１１、ダッシュボード３２、車両３０の内壁、天井、床などを含む室内空間３１の内装及び設備は、実オブジェクトを構成する。また、室内空間３１は実空間を構成する。また、ドライバ２０が装着するＨＭＤ１３０は、表示装置を構成する。

車外ユーザ７１は、ＨＭＤ１１１を装着し、両手の各々にトラッカ１１２を把持している。ＨＭＤ１１１には、ドライバ２０も含めて、車両３０の室内空間３１の風景の三次元映像が、仮想現実として表示される。車外ユーザ７１の姿勢は、ＨＭＤ１１１及びトラッカ１１２によって検出され、アバター１０の姿勢に反映される。なお、ＨＭＤ１１１及びトラッカ１１２が検出する車外ユーザ７１の姿勢には、車外ユーザ７１の手の動作及び位置が含まれる。図１に示す例では、車外ユーザ７１が右手に把持したトラッカ１１２を操作することにより、アバター１０は、ダッシュボード３２の操作部２に向かって右腕を伸ばす動作をしている。操作部２は、車両３０の車載機器を操作するための操作ボタンである。操作部２を介して操作される車載機器は、運転操作関連機器、室内環境調整機器又は情報機器のいずれかである。具体的には、運転操作関連機器は、ハンドル、アクセル、ブレーキ、シフトレバーなどである。室内環境調整機器は、パワーウィンドウ、空調システム、ルームランプ、座席位置調整ユニット、シートヒータなどである。情報機器は、ナビゲーショシステム、ラジオ、音量調節ユニット又はその他の車載情報端末である。
ここで、操作部２は、高整合性オブジェクトを構成する。

図２を用いて、ドライバ２０が装着するＨＭＤ１３０にアバター１０の映像を出力する情報処理装置１００の全体的な構成について説明する。
情報処理装置１００は、姿勢取得部１１０、映像出力部１２０、ＨＭＤ１３０、実空間情報処理部１４０及び表示制御部１５０を有している。映像出力部１２０、実空間情報処理部１４０及び表示制御部１５０は、ＨＭＤ１３０に搭載されている。また、姿勢取得部１１０は、車外ユーザ７１に装着されるＨＭＤ１１１及びトラッカ１１２を含む。ＨＭＤ１１１及びトラッカ１１２によって検出された車外ユーザ７１の姿勢に関する情報は、ドライバ２０が装着するＨＭＤ１３０に搭載された表示制御部１５０に送信される。

実空間情報処理部１４０は、実空間情報取得部１４１、操作部位置取得部１４２、高整合性領域設定部１４３及び出力部１４４を有する。実空間情報取得部１４１は、ＨＭＤ１３０に取り付けられたレーザスキャナであり、車両３０の室内空間３１の実オブジェクトの三次元形状を点群として取得する。また、操作部位置取得部１４２は、ＨＭＤ１３０に取り付けられた光学センサである。操作部位置取得部１４２は、実オブジェクトの一部である操作部２を、画像認識、点群のセグメンテーション又はマーカ認識によって認識し、操作部２を高整合性オブジェクトとして判定する。さらに、操作部位置取得部１４２は、操作部２の位置を取得する。なお、ＨＭＤ１３０に取り付けられた１つの光学センサが、実空間情報取得部１４１を構成する機能と操作部位置取得部１４２を構成する機能とを、同時に有していてもよい。
ここで、操作部位置取得部１４２は、高整合性オブジェクト位置取得部を構成する。

高整合性領域設定部１４３は、実空間情報取得部１４１及び操作部位置取得部１４２から取得したデータに基づいて、操作部２の周囲に、操作部２を含む高整合性領域を設定する。出力部１４４は、車両３０の室内空間３１の内装などの情報、操作部２の位置情報及び高整合性領域の情報を、車外ユーザ７１のＨＭＤ１１１及びドライバ２０のＨＭＤ１３０の表示制御部１５０に出力する。

表示制御部１５０は、アバター１０の位置及び動作を補正すべきか否かを判定する補正判定部１５１と、補正判定部１５１による判定に基づいてアバター１０の位置及び動作の補正を行う補正処理部１５２とを有する。

以下、図３～１０を参照して、情報処理装置１００による情報処理方法、特に高整合性領域３の設定方法について説明する。
図３に示すように、情報処理装置１００の実空間情報取得部１４１は、ステップＳ１において、車両３０の室内空間３１の実オブジェクトの形状を認識する。次に、情報処理装置１００の操作部位置取得部１４２は、ステップＳ２において、操作部２の位置を認識する。さらに、情報処理装置１００の操作部位置取得部１４２は、ステップＳ３において、室内空間３１の実オブジェクトの中に操作部２があるかどうかを判定する。室内空間３１に操作部２がある場合、高整合性領域設定部１４３は、操作部２の周囲に高整合性領域３を設定する。

図３に示す情報処理方法によって、図４に示すように、ＨＭＤ１３０に搭載された実空間情報取得部１４１は、室内空間３１の実オブジェクトの三次元形状を点群１として取得する。なお、図４では、説明の便宜上、点群１を平面として表しているが、実際には実オブジェクトの各々の表面形状に沿った凹凸形状を有している。また、操作部位置取得部１４２は、点群１の中での操作部２の位置を認識する。そして、高整合性領域設定部１４３は、図５Ａ，５Ｂに示すように、実空間情報取得部１４１によって取得された点群１に対応させて、操作部２を含む高整合性領域３を設定する。高整合性領域３は、点群１の上に形成される領域である。また、高整合性領域３は、図５Ａに示すように、長方形状でもよく、図５Ｂに示すように、円形状でもよい。高整合性領域３は、各々の操作部２の大きさに応じた所定の比率に基づいて、範囲を決定される。

次に、複数の高整合性領域３が互いに隣接し合っているか、又は重なり合っている場合の、高整合性領域３の結合処理の方法について、図６，７Ａ，７Ｂを参照して説明する。
図６に示すように、まず、情報処理装置１００の実空間情報処理部１４０は、ステップＳ１１において、室内空間３１の実オブジェクトの形状と操作部２の位置とを取得し、ステップＳ１２において、高整合性領域３を設定する。さらに、実空間情報処理部１４０の高整合性領域設定部１４３は、ステップＳ１３において、複数の高整合性領域３が互いに隣接し合っているか否か、又は、高整合性領域３同士が重なり合っているか否かを判定する。複数の高整合性領域３が互いに隣接し合っている、又は、高整合性領域３同士が重なり合っている場合、高整合性領域設定部１４３は、ステップＳ１４において、複数の高整合性領域３の結合処理を行う。

具体的には、図７Ａに示すように、操作部２ａ，２ｂの各々の周囲に設定された高整合性領域３ａ，３ｂの間隔が所定の距離Ｄ以下の時に、高整合性領域３ａ，３ｂ同士は互いに隣接し合っていると判定され、結合される。また、図７Ｂに示すように、操作部２ｃ，２ｄの各々の周囲に設定された高整合性領域３ｃ，３ｄが互いに重なり合う場合にも、高整合性領域３ｃ，３ｄは結合されて１つの高整合性領域３として設定される。また、３つ以上の操作部が密集している箇所では、各々の高整合性領域をまとめて結合して、１つの高整合性領域としてもよい。なお、図７Ａ，７Ｂでは、各々の高整合性領域の二次元的な位置関係が表されているが、複数の高整合性領域が互いに奥行き方向に離間している場合は、高整合性領域同士を結合させなくともよい。また、各々の高整合性領域の補正処理の方法が異なる場合は、互いに隣接し合い、又は、重なり合っていても、これらの高整合性領域同士は結合させないものとする。

次に、高整合性領域３に対するアバター１０の動作制限の方法について、図８～１０を参照して説明する。
まず、ステップＳ２１において、映像出力部１２０は、ドライバ２０が装着するＨＭＤ１３０に対して、車外ユーザ７１の姿勢を反映させたアバター１０の映像を出力し、アバター１０の表示が開始される。次に、ステップＳ２２において、表示制御部１５０は、姿勢取得部１１０からアバター１０の位置を取得する。また、表示制御部１５０は、実空間情報処理部１４０から高整合性領域３の位置を取得し、ステップＳ２３において、アバター１０と高整合性領域３との距離Ｘが基準距離以下か否かを判定する。アバター１０と高整合性領域３との距離Ｘが基準距離以下である場合、表示制御部１５０は、ステップＳ２４において、アバター１０の動作を制限する。一方、アバター１０と高整合性領域３との距離Ｘが基準距離よりも大きい場合、表示制御部１５０は、ステップＳ２５において、アバター１０の動作の制限を解除する。
なお、基準距離とは、車外ユーザ７１による操作部２へのアクセスの意思が明確に認識可能な程度に、アバター１０が高整合性領域３に近接する距離をいう。

具体的には、図９に示すように、アバター１０の手の指１０ａと高整合性領域３との距離Ｘが基準距離以下の場合に、矢印の方向に移動する指１０ａの動作は補正され、制限される。これにより、アバター１０の指１０ａが高整合性領域３を突き抜けてしまうことが防止され、ドライバ２０のＨＭＤ１３０には、アバター１０の指１０ａが高整合性領域３に自然に接触している映像が表示される。また、図１０に示すように、アバター１０の指１０ａと高整合性領域３との距離Ｘが基準距離以下の場合、アバター１０の指１０ａが操作部２に吸い付けられて接触するように、表示制御部１５０は指１０ａの位置を補正してもよい。

また、アバター１０の指１０ａと高整合性領域３とが重なり合う時、すなわち、アバター１０の指１０ａが高整合性領域３を突き抜けた状態にある時は、表示制御部１５０はアバター１０の指１０ａが高整合性領域３に接するように、指１０ａの位置を補正する。

さらに、図８に示すように、情報処理装置１００は、ステップＳ２６において、ＨＭＤ１３０へのアバター１０の表示を継続するか否かを判定する。例えば、車外ユーザ７１のＨＭＤ１１１又はドライバ２０のＨＭＤ１３０の電源がＯＦＦになった場合、アバター１０の表示は継続されないと判定され、ステップＳ２７において、アバター１０の表示は終了する。一方、ステップＳ２６において、アバター１０の表示が継続されると判断された場合、制御は、ステップＳ２２に戻る。

以上より、本実施の形態の情報処理装置１００は、操作部２を含む所定の領域を、特に高い整合性が必要とされる高整合性領域３として設定する。情報処理装置１００は、アバター１０の手の指１０ａと高整合性領域３とが近接し、又は、重なり合う時、アバター１０の指１０ａの動作又は位置を補正する。これにより、情報処理装置１００は、操作部２の周囲で、アバター１０と実オブジェクトとの整合性を取ることができる。従って、車外ユーザ７１による操作部２へのアクセスの意図が、視覚的により確実にドライバ２０に伝わる。また、車外ユーザ７１がアバター１０を介して操作しているのが、どの機器を操作する操作部２なのか、ドライバ２０が明確に視認し、特定することができる。また、ドライバ２０がＨＭＤ１３０を介してアバター１０を見た時に、アバター１０の動作がより自然に感じられ、拡張現実への没入感を高めることができる。さらに、特に整合性が必要な操作部２の周囲のみを高整合性領域３として設定するため、アバター１０の動作の制限範囲を最小限に抑えることができ、狭い室内空間３１でもアバター１０の動作の自由度を確保することができる。また、アバター１０の動作又は位置を補正する範囲が限られているため、情報処理装置１００の演算負荷の増大を抑制することができる。

また、操作部２を介して操作される車載機器は、運転操作関連機器、室内環境調整機器又は情報機器である。これにより、車外ユーザ７１が車載機器を操作して、運転中のドライバ２０に替わって室内空間３１の環境を調整したり、ドライバ２０の運転を補助したりすることができる。

表示制御部１５０は、アバター１０の指１０ａが操作部２の表面に接触するように、アバター１０の指１０ａの動作又は位置を補正する。これにより、車外ユーザ７１による操作部２へのアクセスの意図を、より違和感なく、確実に、ドライバ２０に伝えることができる。

また、映像出力部１２０は、アバター１０の映像を、ドライバ２０が装着するＨＭＤ１３０に表示されるように出力する。これにより、ドライバ２０はＨＭＤ１３０を介して、アバター１０の動作を認識し、車外ユーザ７１が操作部２にアクセスしようとする意思を視覚的に確認することができる。

また、表示制御部１５０は、互いに隣接し合う又は重なり合う複数の高整合性領域３を結合させる。これにより、情報処理装置１００の演算負荷を低減させることができる。また、車外ユーザ７１が隣り合う複数の操作部２を各々順番に操作する場合、複数の高整合性領域３が互いに結合されていれば、アバター１０の指１０ａは、結合された１つの高整合性領域３に沿って移動する。そのため、車外ユーザ７１が複数の操作部２を操作している間、常にアバター１０の指１０ａと実オブジェクトとの整合性が維持されるので、ドライバ２０から見たアバター１０の動作がより分かりやすく、自然なものとなる。

なお、本実施の形態において、実空間は車両３０の室内空間３１であるが、これに限定されず、建物内の室内空間であってもよい。室内空間の高整合性オブジェクトは、エアコンの温度調整器機など、室内空間の環境を制御する操作部であることが好ましい。また、実空間は、室内空間に限定されず、屋外の空間であってもよい。

仮想オブジェクトは、人物のアバターに限定されず、動物又はロボットなどのキャラクターを模したものであってもよい。

表示制御部１５０は、アバター１０と高整合性領域３との間隔が所定の基準距離以下である時、又は、アバター１０と高整合性領域３とが重なり合う時、アバター１０の少なくとも一部の表示形態を補正してもよい。具体的には、完全に開かれた状態のアバター１０の手と高整合性領域３との間隔が所定の基準距離以下になった時に、表示制御部１５０は、アバター１０の手が人差し指のみを突き出した状態で握られた形になるよう、アバター１０の手の表示形態を補正する。これにより、アバター１０の指１０ａが操作部２を指していることが明確になり、車外ユーザ７１が操作部２に触れようとしている意思を、ドライバ２０がより正確に確認することができる。

表示制御部１５０が動作又は位置を補正する対象は、アバター１０の手又は指など、実際に操作を実行する部位のみであってもよく、また、アバター１０全体を補正の対象としてもよい。

図４、５及び９に示す高整合性領域３は、二次元的な範囲を持つ領域として記載されているが、これに限定されず、操作部２を中心にした球形状又は立方体形状など、三次元的に広がった立体的な範囲を高整合性領域としてもよい。

アバター１０の指１０ａが互いに離間した２つ以上の高整合性領域３の間を移動する場合、指１０ａの動作をより滑らかになるように補正し、高整合性領域３とそれ以外の領域との境界を通過する時の指１０ａの動作の急変を防止してもよい。

ドライバ２０が装着する表示装置は、ＨＭＤ１３０に限定されず、ＡＲゴーグル又はスマートコンタクトレンズであってもよい。

図１、４、５Ａ、５Ｂ、７Ａ及び７Ｂでは、操作部２の操作ボタンは、各々１つだけ図示されているが、これに限定されず、操作部２は２つ以上の操作ボタン又はタッチパネルにより構成されていてもよい。

本実施の形態では、車外ユーザ７１の姿勢は、ＨＭＤ１１１及びトラッカ１１２によって検知されるが、アバター１０の操作に用いられるコントローラによって、車外ユーザ７１の姿勢が検知されてもよい。

上記の操作部２は、本発明に係る高整合性オブジェクトに相当する。上記のアバター１０は、本発明に係る仮想オブジェクトに相当する。上記の車外ユーザ７１は、本発明に係る第１ユーザに相当する。上記のドライバ２０は、本発明に係る第２ユーザに相当する。上記の室内空間３１は、本発明に係る実空間に相当する。上記のＨＭＤ１１１及びトラッカ１１２は、本発明に係る姿勢取得部に相当する。上記のＨＭＤ１３０は、本発明に係る表示装置に相当する。上記の操作部位置取得部１４２は、本発明に係る高整合性オブジェクト位置取得部に相当する。

１００…情報処理装置
２…操作部（高整合性オブジェクト）
３…高整合性領域
１０…アバター（仮想オブジェクト）
１０ａ…アバターの手の指
２０…ドライバ（第２ユーザ）
３０…車両
３１…室内空間（実空間）
７１…車外ユーザ（第１ユーザ）
１１０…姿勢取得部
１１１…ＨＭＤ（姿勢取得部）
１１２…トラッカ（姿勢取得部）
１２０…映像出力部
１３０…ＨＭＤ（表示装置）
１４１…実空間情報取得部
１４２…操作部位置取得部（高整合性オブジェクト位置取得部）
１４３…高整合性領域設定部
１５０…表示制御部

Claims (9)

1. 第１ユーザの姿勢を検知する姿勢取得部と、
   前記姿勢取得部によって検知された前記第１ユーザの姿勢に基づいて、第２ユーザに視認可能な仮想オブジェクトの映像を出力する映像出力部と、
   前記第２ユーザが存在する実空間の実オブジェクトの形状を検知する実空間情報取得部と、
   前記実空間情報取得部が検知した前記実オブジェクトの少なくとも一部を高整合性オブジェクトとして判定して、前記高整合性オブジェクトの位置を取得する高整合性オブジェクト位置取得部と、
   前記高整合性オブジェクトを含む所定の領域を高整合性領域として設定する高整合性領域設定部と、
   前記仮想オブジェクトと前記高整合性領域との間隔が所定の基準距離以下である時、又は、前記仮想オブジェクトと前記高整合性領域とが重なり合う時、前記仮想オブジェクトの少なくとも一部の動作又は位置を補正する表示制御部とを備える、情報処理装置。
2. 前記第２ユーザが存在する前記実空間は、室内空間であり、
   前記高整合性オブジェクトは、前記室内空間の環境を制御する操作部である、請求項１に記載の情報処理装置。
3. 前記第２ユーザが存在する前記実空間は、車両の室内空間であり、
   前記高整合性オブジェクトは、前記車両の車載機器を操作するための操作部であり、
   前記車載機器は、運転操作関連機器、室内環境調整機器又は情報機器のいずれかである、請求項１に記載の情報処理装置。
4. 前記表示制御部は、前記仮想オブジェクトの少なくとも一部が前記高整合性オブジェクトの表面に接触するように、前記仮想オブジェクトの少なくとも一部の動作又は位置を補正する、請求項１～３のいずれか一項に記載の情報処理装置。
5. 前記仮想オブジェクトは、前記第１ユーザを示す人物のアバターであり、
   前記表示制御部は、前記アバターの手の指と前記高整合性領域との間隔が所定の基準距離以下である時、又は、前記アバターの指と前記高整合性領域とが重なり合う時、前記アバターの指の動作又は位置を補正する、請求項１～４のいずれか一項に記載の情報処理装置。
6. 前記映像出力部は、前記仮想オブジェクトの映像を、前記第２ユーザが装着する表示装置に表示されるように出力する、請求項１～５のいずれか一項に記載の情報処理装置。
7. 前記表示制御部は、前記仮想オブジェクトと前記高整合性領域との間隔が所定の基準距離以下である時、又は、前記仮想オブジェクトと前記高整合性領域とが重なり合う時、前記仮想オブジェクトの少なくとも一部の表示形態を補正する、請求項１～６のいずれか一項に記載の情報処理装置。
8. 前記表示制御部は、互いに隣接し合う又は重なり合う複数の前記高整合性領域を結合させる、請求項１～７のいずれか一項に記載の情報処理装置。
9. 第１ユーザの姿勢を検知するステップと、
   前記第１ユーザの姿勢に基づいて、第２ユーザに視認可能な仮想オブジェクトの映像を出力するステップと、
   前記第２ユーザが存在する実空間の実オブジェクトの形状を検知するステップと、
   前記実オブジェクトの少なくとも一部を高整合性オブジェクトとして判定して、前記高整合性オブジェクトの位置を取得するステップと、
   前記高整合性オブジェクトを含む所定の領域を高整合性領域として設定するステップと、
   前記仮想オブジェクトと前記高整合性領域との間隔が所定の距離以下である時、又は、前記仮想オブジェクトと前記高整合性領域とが重なり合う時、前記仮想オブジェクトの少なくとも一部の動作又は位置を補正するステップとを備える、情報処理方法。

Images