JP7446880B2 - 画像提示装置及び画像提示方法 - Google Patents

Description

本発明は、画像提示装置及び画像提示方法に関するものである。

仮想空間に、各ユーザによって指定可能な複数の座席を定義し、複数の座席のうち、アバターの配置のために推奨座席を選択し、仮想空間におけるアバターの配置の候補として提示する技術が知られている。

例えば、特許文献１記載の技術は、ユーザが視認可能なオブジェクトと複数の座席を含む仮想空間において、あるユーザに対応するアバターが指定済座席に着席した上で、所定の条件に従って、新たに着席するアバターのための推奨座席を選択する。推奨座席を選択する条件は、選択される座席に新たにアバターが配置された後も、既に指定済み座席に着席しているアバターからオブジェクトまでの視界のうち、新たに着席するアバターによって遮られる割合が一定値以下となることである。

特開２０１８－１４７３５５号公報

しかしながら、現実空間情報及び仮想空間情報に基づいて構築される拡張現実（ＡＲ）空間をユーザに提示する装置に、特許文献１に記載の技術を適用する場合には、以下のような問題がある。すなわち、特許文献１に記載の技術は、仮想空間の座席状態を管理して仮想空間のアバターを配置するだけであるため、現実空間の座席状態を管理して仮想空間のアバターが現実空間の座席に存在するような拡張現実空間をユーザに提示することができないという問題である。

本発明が解決しようとする課題は、現実空間の座席状態を管理して仮想空間のアバターが現実空間の座席に存在するような拡張現実空間をユーザに提示できる画像提示装置を提供することである。

本発明は、空間内に位置する複数の座席それぞれの着座の可否に関する座席情報を取得し、座席情報に基づいて、着座が可能である座席を第１座席として、空間から離れた場所にいる第１ユーザに割り付け、複数の座席のいずれかひとつに着座している第２ユーザの視界に含まれる映像の情報に基づいて、視界又は視界に対応する実画像上において、第１座席の位置に、第１ユーザに関連付けられたキャラクター画像が重畳されるように画像提示制御を行うことによって上記課題を解決する。

本発明によれば、現実空間の座席状態を管理して仮想空間のアバターが現実空間の座席に存在するような拡張現実空間をユーザに提示することができる。

図１は、第１実施形態における画像提示装置の一実施形態を示すブロック図である。 図２は、本実施形態の画像提示装置が適用される場面の一例を示す図である。 図３は、本実施形態の画像提示装置により画像提示制御が実行された状況の一例を示す図である。 図４は、第１実施形態における画像提示制御の処理手順を示すフローチャートである。 図５は、第２実施形態における画像提示装置の一実施形態を示すブロック図である。 図６は、第２実施形態における画像提示制御の処理手順を示すフローチャートである。

≪第１実施形態≫
以下、本願発明の実施形態を図面に基づいて説明する。

図１は、本実施形態にかかる画像提示装置を備える画像提示システムの一実施形態を示すブロック図である。図１で示されるように、画像提示システム１は、画像提示装置２０と第１提示端末１００と第１提示端末１００を備える。画像提示装置２０は、例えば、所定の空間内に設置された装置で、第２提示端末２００と有線または無線で通信可能である。画像提示装置２０は、第２提示端末２００を介して、第２提示端末２００を利用するユーザに拡張現実（ＡＲ）空間を提示させる提示制御を行う。拡張現実空間は、現実空間情報と仮想空間情報に基づいて構築された空間である。具体的には、拡張現実空間は、現実空間の映像に仮想オブジェクトを重畳表示することで、現実空間が視覚的に拡張された空間である。また、画像提示装置２０は、第１提示端末１００と有線または無線で通信可能である。画像提示装置２０は、第１提示端末１００を介して、仮想現実（ＶＲ）空間を提示させる制御を行う。仮想現実空間は、コンピュータによって構築された仮想の空間である。

本実施形態では、画像提示装置２０は、車両２内に配置される装置である。画像提示装置２０は、車両２内の複数の座席の座席状態を管理して、車両２の空間から離れた場所にいる第１ユーザに車両２内の座席を割り付ける。そして、画像提示装置２０は、車両２内に乗車している第２ユーザが装着する第２提示端末２００を介して、車両２内の現実空間に第１ユーザのキャラクターが表示された拡張現実空間を第２ユーザに提示する。第２提示端末２００は、第２ユーザによって装着されるヘッドマウントディスプレイであり、第２ユーザの目の前に位置するディスプレイを有する。ディスプレイには、透過型ディスプレイと非透過型ディスプレイがある。透過型ディスプレイの場合、ディスプレイの後ろの映像が透けて見えるため、第２ユーザは映像、すなわち、光線の屈折・反射によって生成される像を直接視認することができる。非透過型ディスプレイの場合、第２ユーザの眼の前に配置されたディスプレイによって第２ユーザの視界は遮られるため、第２ユーザはディスプレイの後ろの映像を直接視認することができず、ディスプレイに表示される、視界の映像が撮像された撮像画像、すなわち、電気的変換によって再現した像を視認する。また、画像提示装置２０は、第１ユーザが装着する第１提示端末１００を介して、車両２内の空間情報に基づいて構築された仮想空間を第１ユーザに提示する。これにより、第２ユーザは、第１ユーザと同じ車両２内の空間情報を共有することができる。第１提示端末１００は、非透過型ディスプレイを有するヘッドマウントディスプレイである。また、第１ユーザと第２ユーザは、マイクやヘッドホンを用いてお互いにコミュニケーションをとることができる。本実施形態では、車両２の空間情報に基づいて構築された仮想空間を提示するＶＲシステムを第１ユーザが起動した場面を想定している。具体的には、本実施形態では、第１ユーザが当該ＶＲシステムを起動すると、車両２内に位置する複数の座席からいずれかの座席を第１ユーザに割り付けて、割り付けられた座席の位置に応じて、車両２内に第１ユーザのキャラクターが提示された拡張現実空間を第２ユーザに提示する。

車両２は、センサ群１０を備える。センサ群１０は、車内を撮像する複数のカメラ１１と、車内の複数の座席それぞれにかかる荷重を検知する荷重センサ１２を含む。荷重センサ１２は、例えば、シートセンサやシートベルトセンサである。また、車両２は、座席それぞれにヒートシータ１３を備え、座席のシート表面の温度を調節する。なお、本実施形態では、複数の座席を有する車両を想定して画像提示制御を行うこととしているが、車両に限らず、現実の空間内に複数の座席があれば、車両以外の空間であってもよく、開放空間あるいは閉鎖空間のいずれの空間であってもよい。例えば、電車等の車両以外の乗り物、映画館、スポーツや音楽イベント等の会場であってもよい。また、複数のプレイヤーが座席に座ってゲームをするような空間であってもよい。

画像提示装置２０は、少なくともコントローラ２１と、通信装置２８とを備える。コントローラ２１は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＯＭに格納されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、アクセス可能な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むものである。コントローラ２１は、機能ブロックとして、座席情報取得部２２と、座席割付部２３、第１画像制御部２４、第２画像制御部２５と、希望座席受付部２６と、情報提示部２７とを備え、上記各機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。コントローラ２１は、座席情報取得部２２により取得された座席状態に関する座席情報に基づいて、座席割付部２３により着座が可能である座席を第１ユーザに割り付ける。そして、コントローラ２１は、第１画像制御部２４により、第２ユーザの視界又は視界に対応する画像上において、第１ユーザに割り付けられた第１座席の位置に第１ユーザのキャラクターが重畳されるように画像提示制御を行う。なお、本実施形態では、コントローラ２１が有する機能を６つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ２１の機能は必ずしも６つのブロックに分ける必要はなく、５以下の機能ブロック、あるいは、７つ以上の機能ブロックで分けてもよい。

座席情報取得部２２は、現実空間の車両２内に存在する複数の座席それぞれについて座席状態に関する座席情報を取得する。座席情報は、座席への着座の可否に関する情報である。座席への着座の可否は、仮想空間の第１ユーザのキャラクターを提示する際に、第１ユーザのキャラクターが現実空間の物体に重ならない座席であるか否かによって判定される。まず、座席情報取得部２２は、現実の物体による座席の占有状況、すなわち、現実の物体が物理的に座席上に存在するか否かによって、当該座席に着座が可能であるか否かを特定する。現実の物体の例としては、乗員、荷物等が挙げられる。例えば、座席情報取得部２２は、車両２内に設置されたカメラ１１等の非接触センサによって座席を撮像した撮像情報から、座席への着座の可否を特定する。具体的には、座席情報取得部２２は、撮像情報から、画像認識技術により、座席に現実の物体が存在するか否かを判定し、判定結果に基づいて、座席への着座の可否を特定する。座席に現実の物体が存在しない場合には、座席への着座が可能であると特定される。また、座席情報取得部２２は、座席にかかる荷重を検知する荷重センサ１２によって取得された荷重情報から、座席への着座の可否を特定する。具体的には、荷重センサ１２が座席に所定値以上の荷重がかかっていると検知してオン値を出力した場合には、座席情報取得部２２は、座席への着座が不可能であると特定される。荷重センサ１２は、例えば、シートセンサやシートベルトセンサである。これらの方法により座席への着座の可否を特定することで、座席情報取得部２２は、座席への着座の可否に関する座席情報を取得する。

また、座席情報取得部２２は、座席に現実の物体が存在する場合には、当該物体の種別を特定する。例えば、カメラ１１により物体を撮像し、画像認識技術により、物体の特徴を抽出し、物体の種別を特定する。物体の種別は、例えば、「人間」、「荷物」といった種別である。物体が人間であると特定された場合には、さらに、顔認識技術により、それが誰なのかを特定することとしてもよい。例えば、車両２を利用する人間の顔を事前に登録しておき、登録情報から人物を特定する。また、座席に物体が存在すると判定された場合であっても、座席情報取得部２２は、画像認識技術により、着座可能な物体を特定することとしてもよい。着座可能な物体は、例えば、座布団、ブランケット等の、現実に当該物体の上に人間が着座することができる物体である。座席情報取得部２２は、座席の上にある物体が、着座可能な物体であると特定した場合には、当該座席を、着座が可能であると特定する。

また、座席情報取得部２２は、座席に物体が存在しない場合には、座席それぞれに設定されている予約情報から、座席への着座の可否を特定する。予約情報は、すでに他のユーザにより予約されている座席の情報である。例えば、第２ユーザが、第２提示端末２００の入力部２２０に、車内の特定の座席を他ユーザの予約席として入力している場合には、座席情報取得部２２は、当該座席は着座が不可能であるという座席情報を取得する。出発時には乗車していなかったユーザを走行途中にピックアップして乗車させるような場面では、空席となっている座席があったとしても、その後に当該座席に現実の他ユーザが着座すると、第１ユーザのキャラクターが他ユーザと重なってしまう可能性があるからである。

また、座席情報取得部２２は、車両２内の複数の座席のいずれかあるいは全ての座席について、着座が不可能であると判定された場合には、着座が不可能である座席について、着座が不可能である理由を特定する。着座が不可能な理由は、座席に人が座っているから着座ができない、座席に荷物が置いてあるから着座ができない、または、予約座席として登録されているから着座ができない等が例として挙げられる。

図２を用いて、座席情報取得部２２により実行される処理について説明する。図２は、本実施形態に係る座席情報取得部２２による処理が実行される場面の一例である。図２では、車両２に第２ユーザが乗車していて、第１ユーザは、車両２から離れた場所にいることが示されている。車両２には座席が３席あり、それぞれ座席Ａ、座席Ｂ、座席Ｃである。なお、座席数は３席に限定されず、常用車やバス等の一般的な座席数であればよい。また、座席の配置についても、複数の座席を横一列に配置するのみならず、前後に複数列の座席を配置することとしてもよい。図２では、第２ユーザが座席Ａに座っていて、座席Ｂに荷物が置いてあるという状況で、第１ユーザに車両２の座席を割り付ける場面である。このような状況では、座席情報取得部２２は、座席Ａと座席Ｂを着座が不可能な座席として特定し、座席Ｃを着座が可能な座席として特定する。また、座席情報取得部２２は、座席Ａ上の物体は人間であること、座席Ｂ上の物体は荷物であることを特定する。そして、座席情報取得部２２は、複数の座席それぞれについて特定された着座の可否に関する座席状態を座席情報として取得する。なお、図２では、着座が可能である座席は「空席」、着座が不可能である座席は「満席」として示されている。また、座席情報取得部２２は、現実空間の座席の座席状態を取得することとしているが、さらに仮想空間の座席の座席状態を取得することとしてもよい。仮想空間の座席は、現実空間の座席と対応している。例えば、図３は、第１ユーザのキャラクターが座席Ｃに表示されている場面を示している。第２ユーザは、第２提示端末２００を介して、座席Ａの位置からの視界上に、座席Ｃに着座している第１ユーザのキャラクターが見える。このとき、第１ユーザのキャラクターが座席Ｃに提示された場合には、仮想空間の座席の座席状態としては、座席Ｃが着座不可能な座席として特定される。したがって、座席情報取得部２２は、現実空間の座席の座席状態（座席Ａ、座席Ｂともに着座が不可能）と合わせて、全席が満席であると特定する。

座席割付部２３は、座席情報取得部２２により取得された座席情報に基づいて、現実空間の車両２内の複数の座席のいずれかひとつを第１座席として、車両２から離れた場所にいる第１ユーザに割り付ける。具体的には、座席割付部２３は、座席情報取得部２２により着座が可能であると特定された座席を第１ユーザに割り付ける。これにより、現実空間の車両２内において、人間や荷物等に干渉されることのない座席を第１ユーザに割り付けることができる。

また、座席割付部２３は、希望座席受付部２６により第１ユーザが希望した座席を第１ユーザに割り付ける。あるいは、事前に第２ユーザが第１ユーザの座席位置を指定している場合には、指定情報に基づいて座席を選択して割り付けることとしてもよい。

また、座席割付部２３は、車両２内の複数の座席のいずれかに第２ユーザが着座している場合、第２ユーザが着座している第２座席の位置に応じて、着座可能な座席を第１ユーザに割り付けることとしてもよい。例えば、座席割付部２３は、座席情報取得部２２により取得された第２座席の位置情報に基づいて、第２座席の両隣に位置する座席のいずれかが着座可能であれば、当該座席を第１ユーザに割付ける。これにより、第２ユーザにとって第１ユーザと会話がしやすい位置に第１ユーザの座席を割り付けることができる。

さらに、座席割付部２３は、第１ユーザに座席を割り付けた後に、当該座席が着座不可能であると判定された場合には、座席情報に基づいて、再度、着座が可能である座席を第１ユーザに割り付ける。例えば、現実空間の車両２に新しく現実のユーザが乗車してきて、第１ユーザに割り付けた座席に着座することとなった場合、座席割付部２３は、第１ユーザに対して他の着座可能な座席を割り付ける。また、座席割付部２３は、希望座席受付部２６により第１ユーザから着座を希望する再選択があった座席を第１ユーザに割り付けることとしてもよい。また、座席割付部２３は、仮想空間上に仮想の座席を生成して当該座席を第１ユーザに割り付けることとしてもよい。

第１画像制御部２４は、第２ユーザの視界又は視界に対応する実画像上において、第１座席の位置に第１ユーザと関連付けられたキャラクター画像を重畳させるように画像提示制御を行う。具体的には、第１画像制御部２４は、上記画像提示制御を行う制御信号を第２提示端末２００に出力する。まず、第２提示端末２００のディスプレイが透過型ディスプレイである場合には、第１画像制御部２４は、現実空間の車両２内外の映像の情報を取得し、当該情報から第２ユーザの視界に含まれる映像上の第１座席の位置を取得する。具体的には、第１画像制御部２４は、現実空間において第１座席が存在する位置を表す３次元座標を取得する。また、第１画像制御部２４は、第２提示端末２００により取得された第２ユーザの位置姿勢情報を取得する。位置姿勢情報は、ユーザの頭部の位置と頭部の向きに関する情報である。第１画像制御部２４は、取得された３次元座標から２次元座標に変換してディスプレイ上の第１座席の位置を決定する。これにより、第１画像制御部２４は、ディスプレイ上の座席の位置を特定する。また、第２提示端末２００のディスプレイが非透過型ディスプレイである場合には、第２ユーザの視界に含まれる映像が撮像された撮像画像情報を取得する。また、第１画像制御部２４は、当該撮像画像上の第１座席の位置を取得する。具体的には、第１画像制御部２４は、現実空間において第１座席が存在する位置を表す３次元座標を取得する。また、第１画像制御部２４は、第２提示端末２００により取得された第２ユーザの位置姿勢情報を取得する。そして、第１画像制御部２４は、取得された３次元座標から２次元座標に変換して撮像画像上の第１座席の位置を決定する。これにより、第１画像制御部２４は、撮像画像上の第１座席の位置を取得する。

次に、第１画像制御部２４は、第１ユーザのキャラクター画像を生成する。キャラクター画像は、第１ユーザを撮像した画像から構築したキャラクター画像であってもよいし、第１ユーザが作成または選択したキャラクター画像であってもよい。また、このとき、第１画像制御部２４は、第１提示端末１００から第１ユーザの位置姿勢情報を取得して、当該位置姿勢情報に基づいて、第１ユーザの姿勢の動きを反映したキャラクター画像を生成する。なお、取得される位置姿勢情報は、頭部の動きの情報であり、その他の姿勢は、第１ユーザの動きにかかわらず、キャラクターが座席に座っている状態の画像を生成する。なお、第１ユーザが手にＶＲコントローラを持っている場合には、ＶＲコントローラのセンサから、第１ユーザの手や腕の動きの情報が取得されることとしてもよい。生成された第１ユーザのキャラクターが、仮想空間上の第１ユーザ、いわゆるアバターとなる。

そして、第１画像制御部２４は、第２ユーザの視界又は視界に対応する画像上の第１座席の位置に、生成された第１ユーザのキャラクター画像を重畳させるように画像提示制御を行う。具体的には、第２提示端末２００のディスプレイが透過型ディスプレイである場合には、第１画像制御部２４は、ディスプレイ上の第１座席の位置を表す２次元座標に基づいて、生成した第１ユーザのキャラクター画像をディスプレイ上に表示させる制御信号を第２提示端末２００に出力する。第２ユーザの視界における第１座席の位置は、透過型ディスプレイ上の座席の位置に対応するため、第２提示端末２００は、ユーザの視界に第１ユーザのキャラクター画像が提示されるように、ディスプレイ上の第１座席の位置に第１ユーザのキャラクター画像を提示する。また、第２提示端末２００のディスプレイが非透過型ディスプレイである場合には、第１画像制御部２４は、まず、撮像画像から第２ユーザの視界に含まれる映像に対応する実画像を生成する。当該実画像は、第２ユーザから見える車室内外の映像に対応する。そして、第１画像制御部２４は、第１座席の位置を表す２次元座標に基づいて、実画像上の第１座席の位置に第１ユーザのキャラクター画像を重畳させた提示画像を生成する。そして、第１画像制御部２４は、生成された提示画像を第２提示端末２００のディスプレイに提示させる制御信号を第２提示端末２００に出力する。第２ユーザの視界に対応する実画像上の第１座席の位置は、非透過型ディスプレイ上の第１座席の位置に対応するため、第２提示端末２００は、ユーザの視界に対応する実画像上の第１座席の位置に第１ユーザのキャラクター画像が重畳された提示画像をディスプレイに提示する。

第２画像制御部２５は、第１ユーザに車両２内の座席状態に関する座席情報を提示させる制御を行う。具体的には、第２画像制御部２５は、座席情報を第１提示端末１００のディスプレイに提示させる制御信号を出力する。あるいは、車両２内に第１ユーザに割り付けられる座席がない場合に、第２画像制御部２５は、その旨を示すメッセージ画像を提示させる制御を行う。

希望座席受付部２６は、第２画像制御部２５により座席状態を第１ユーザに提示させて、着座が可能である複数の座席のうち、第１ユーザが希望する座席の選択を受付ける。具体的には、希望座席受付部２６は、第２画像制御部２５により、第１提示端末１００のディスプレイ上に座席状態を表す画像を提示させる。第１ユーザは、ディスプレイに提示される座席状態を見て、希望する座席の選択を行う。例えば、リモコン操作や音声による選択情報の入力によって、第１ユーザは、希望する座席の選択を行う。選択情報が入力されると、希望座席受付部２６は、第１ユーザの選択情報を受け付けて、選択情報を座席割付部２３に出力する。

情報提示部２７は、いずれかの座席において着座が不可であると判定される場合、着座が不可能である理由を取り除く提案を第２ユーザに提示する。着座が不可能である理由は、座席に人間が座っている、座席に荷物が置いてある、又は、座席に他のユーザの予約がされている等である。これにより、例えば、座席に荷物が置いてある場合であれば、第２ユーザが荷物を移動させることで、第１ユーザに割付けられる座席を確保できる。具体的には、情報提示部２７は、第２ユーザが装着する第２提示端末２００のディスプレイに視覚的にメッセージを表示するか、あるいは、スピーカーによってメッセージの音声を出力することによって第２ユーザへの情報の提示を行う。

通信装置２８は、第２提示端末２００の端末通信部２４０及び第１提示端末１００の端末通信部１４０と通信を行い、情報の授受を行う。例えば、通信装置２８は、座席情報や車両２内の撮像画像を第１提示端末１００の端末通信部１４０に送信し、第１ユーザのキャラクター画像や表示位置の情報を第２提示端末２００の端末通信部２４０に送信する。

第２提示端末２００は、車両２内にある座席のいずれかに座っている第２ユーザに利用される装置で、ディスプレイを介して、現実空間の映像を視覚的に拡張させた拡張現実空間を第２ユーザに提示する。映像には、光線の屈折・反射によって生成される像と、電気的変換によって再現した像が含まれる。第２提示端末２００は、例えば、拡張現実（ＡＲ）用ヘッドマウントディスプレイであり、第２ユーザの頭部に装着される装置である。第２提示端末２００は、第２ユーザの目の前に位置するディスプレイを有する。第２提示端末２００に備えられているディスプレイは、例えば、透過型ディスプレイである。この場合、第２提示端末２００は、当該ディスプレイ上に仮想オブジェクトの画像を表示することで、ディスプレイを通じて、第２ユーザが直接視認している映像に仮想オブジェクトの画像を重畳させるように提示する。すなわち、第２ユーザには、直接視認している映像にあたかも仮想オブジェクトが存在するかのように見える。また、ディスプレイは、非透過型ディスプレイであってもよい。第２提示端末２００は、ディスプレイの後ろ側の映像を撮像した撮像画像、すなわち、第２ユーザの視界に対応する画像に仮想オブジェクトの画像を重畳させて生成された提示画像をディスプレイに提示する。非透過型ディスプレイ上に表示される第２ユーザの視界に対応する画像は、電気的変換によって再現された像である。本実施形態では、ディスプレイ上に提示される仮想オブジェクトは第１ユーザのキャラクター画像であり、第２ユーザは、第２提示端末２００のディスプレイを介して、あたかも第１ユーザが車両２内の座席に着座しているかのような映像を見ることができる。

第２提示端末２００は、センサ群２１０と、入力部２２０と、出力部２３０と、端末通信部２４０とを備える。センサ群２１０は、カメラ２１１と、加速度センサ２１２と、ジャイロセンサ２１３とを備え、第２ユーザの頭部の向きまたは視線の方向を検知する。例えば、カメラ２１１により第１ユーザの眼球を撮像し、撮像した画像を解析して視線方向を検知する。また、加速度センサ２１２やジャイロセンサ２１３により頭部の動きを計測して頭部の向きを検知する。さらに、第２提示端末２００は、取得した画像やセンサ情報から、装着されている第２ユーザの頭部の位置姿勢を推定する。センサ群２１０により取得された第２ユーザの頭部の向きや視線の方向に関する姿勢情報などは、端末通信部２４０により画像提示装置２０に出力される。また、入力部２２０は、第２ユーザによる操作入力を受付ける。例えば、第２ユーザは、第１ユーザのキャラクターが表示される座席の位置を選択し、入力操作を行う。出力部２３０は、画像提示装置２０の通信装置２８により出力された画像提示制御に関する制御信号に基づき、ディスプレイ上に画像を提示する。端末通信部２４０は、画像提示装置２０の通信装置２８と通信を行う。端末通信部２４０は、第２ユーザの入力情報や位置姿勢情報を画像提示装置２０に送信し、画像提示装置２０から、画像提示制御に関する制御信号を受信する。

第１提示端末１００は、車両２から離れた場所にいる第１ユーザに利用される装置で、ディスプレイを介して、車両２の空間に基づいて構築された仮想空間を第１ユーザに提示する。例えば、仮想現実（ＶＲ）用ヘッドマウントディスプレイであり、第１ユーザの頭部に装着される装置である。第１提示端末１００に備えられているディスプレイは、非透過型ディスプレイである。非透過型ディスプレイでは、第１ユーザの眼の前に配置されたディスプレイによって第１ユーザの視界は遮られる。第１提示端末１００は、ユーザの視線の方向に応じて、車両空間が撮像された撮像画像、すなわち、ユーザの視線に対応する方向の車室内外の画像をディスプレイに提示する。これにより、第１ユーザは、第１提示端末１００のディスプレイを介して、自分があたかも車両２内の座席に着座しているかのような映像を見ることができる。

第１提示端末１００は、センサ群１１０と、入力部１２０と、出力部１３０と、端末通信部１４０とを備える。第１提示端末１００は、第２提示端末２００と構成は同じであり、カメラ１１１と、加速度センサ１１２と、ジャイロセンサ１１３とを備え、第１ユーザの頭部の向きまたは視線の方向を検知する。例えば、カメラ１１１により第１ユーザの眼球を撮像し、撮像した画像を解析して視線方向を検知する。また、加速度センサ１１２やジャイロセンサ１１３により頭部の動きを計測して頭部の向きを検知する。さらに、第１提示端末１００は、取得した画像やセンサ情報から、装着されている第２ユーザの頭部の位置姿勢を推定する。センサ群１１０により取得された第１ユーザの頭部の向きや視線の方向に関する姿勢情報は、端末通信部１４０により画像提示装置２０に出力される。また、入力部１２０は、第１ユーザによる操作入力を受付ける。例えば、第１ユーザは、希望座席受付部２６により提示された座席情報から、着座を希望する座席の選択情報を入力する。出力部１３０は、ディスプレイを有し、画像提示装置２０の通信装置２８により出力された、画像提示制御に関する制御信号に基づき、ディスプレイ上に画像を提示する。端末通信部１４０は、画像提示装置２０の通信装置２８と通信を行う。また、端末通信部１４０は、第１ユーザが希望する座席の選択情報や第１ユーザの位置姿勢情報を画像提示装置２０に送信し、画像提示装置２０から、画像提示制御に関する制御信号を受信する。

図４は、画像提示制御にかかるフローチャートである。本実施形態では、第２ユーザが乗車している車両２の空間に対応する仮想現実空間を表示するシステムを第１ユーザが起動した時に、ステップＳ４０１から画像提示制御を開始する。

ステップＳ４０１では、座席情報取得部２２は、車両２内に位置する複数の座席それぞれの着座の可否に関する情報を取得する。例えば、座席情報取得部２２は、座席上に物理的に物体が存在するか否かを判定する。座席上に物理的に対象が存在するか否かの判定は、車室内を撮像するカメラ１１の撮像画像や座席への荷重を検知するセンサの検知結果に基づいて行われる。判定結果に応じて、座席情報取得部２２は、座席への着座可否を特定し、特定結果を座席情報として取得する。また、座席情報取得部２２は、座席上に物理的に対象が存在しない場合であっても、予約済み等によって既に他ユーザに割り付けられている座席があれば、当該座席は着座不可能な座席として判定する。

なお、着座が可能な座席がないと特定された場合には、情報提示部２７により、第２ユーザに、着座が不可能である理由を解消するための提案を提示することとしてもよい。これにより、例えば、第２ユーザが座席から荷物を移動させた場合には、座席情報取得部２２は、当該座席を、着座が可能な座席があると特定する。

ステップＳ４０２では、希望座席受付部２６は、ステップＳ４０１で取得された座席情報に基づいて、ユーザに着座可能な座席の情報を提示し、着座可能な座席のうち、着座を希望する座席に関するユーザの選択を受け付ける。例えば、希望座席受付部２６は、第１提示端末１００のディスプレイに車両２内の座席の配置図の画像を提示させて、着座可能な座席の色を変える等の強調提示をさせる制御を第２画像制御部２５に実行させる。そして、提示された座席の配置図の中からユーザが着座を希望する座席を選択する入力操作を行うと、希望座席受付部２６は、ユーザの希望座席を受け付ける。

なお、ステップＳ４０２では、希望座席受付部２６がユーザの選択を受け付けることに限らず、ユーザによる選択を行わずに、座席割付部２３が自動的にユーザに割り付ける座席を選択することとしてもよいし、車両２に乗車しているユーザが事前に設定した座席をユーザに割り付ける座席として選択することとしてもよい。

ステップＳ４０３では、座席割付部２３は、ステップＳ４０２で希望座席受付部２６により受け付けられた希望座席を第１ユーザに割り付ける。

ステップＳ４０４では、第２画像制御部２５は、第２ユーザの視界又は視界に対応する画像上の第１座席の位置に第１ユーザのキャラクター画像を重畳させるように画像提示制御を行う。具体的には、ディスプレイ上の当該位置に第１ユーザのキャラクター画像を提示させる制御を行う。ディスプレイは透過型ディスプレイでも非透過型ディスプレイでもいい。第２画像制御部２５は、透過型ディスプレイの場合には、第２ユーザの視界における第１座席の位置に第１ユーザのキャラクター画像を提示させる。また、第２画像制御部２５は、非透過型ディスプレイの場合には、第２ユーザの視界に対応する画像における第１座席の位置に第１ユーザのキャラクター画像を重畳して提示画像を生成し、生成された提示画像をディスプレイに表示させる。

ステップＳ４０５では、座席情報取得部２２は、座席が第１ユーザに割り付けられた後に、第１座席が着座不可になったか否かを特定する。着座不可になる要因としては、例えば、当該座席に現実に他ユーザが着座する場合である。座席情報取得部２２は、カメラ１１による撮像やシートセンサによる荷重検知により、第１座席が着座不可になったか否かを特定する。座席情報取得部２２が、第１座席が着座不可になったと特定した場合、ステップＳ４０２に進む。以下、第１ユーザが希望する座席の再選択を受け付ける制御が実行される。また、第１座席が着座不可能になった場合には、第２画像制御部２５は、第１座席に提示されていた第１ユーザのキャラクター画像を消去する。さらに、コントローラ２１は、第１座席に設定されているヒートシータ１３を一定時間オンにする。第１座席が着座不可になったと判定されない場合、ステップＳ４０６に進む。

ステップＳ４０６では、コントローラ２１は、第１ユーザがＶＲシステムを停止したか否かを判定する。コントローラ２１は、第１ユーザがＶＲシステムを停止したと判定した場合には、画像提示制御を終了する。コントローラ２１は、第１ユーザがＶＲシステムを停止したと判定されない場合には、ステップＳ４０５に戻り、以下、第１ユーザに割り付けられた座席が着座不可能と判定されない限り、第１ユーザのキャラクターを提示する。

以上のように、本実施形態では、空間内に位置する複数の座席それぞれの着座の可否に関する座席情報を取得し、座席情報に基づいて、複数の座席のうち、着座が可能である座席を第１座席として、空間から離れた場所にいる第１ユーザに割り付け、複数の座席のいずれかひとつに着座している第２ユーザの視界に含まれる映像の情報に基づいて、視界又は視界に対応する実画像上において、第１座席の位置に第１ユーザに関連付けられたキャラクター画像が重畳されるように画像提示制御を行う。これにより、現実空間の座席状態を管理して仮想空間のキャラクターが現実空間の座席に存在するような拡張現実空間をユーザに提示することができる。

また、本実施形態では、座席情報は、複数の座席それぞれにおいて、現実の物体による座席の占有状況に基づいた着座の可否に関する情報を含む。これにより、現実の物体によって座席が占有されている状況に基づいて、着座の可否が判定されるため、着座が可能な物体によって占有されている状況であれば、着座が可能であると判定できる。

また。本実施形態では、座席情報を第１ユーザに提示し、着座が可能である複数の座席のうち、第１ユーザが着座を希望する座席の選択を受け付け、受付けられた座席を第１ユーザに割り付ける。これにより、着座が可能である座席の中で、第１ユーザが自由に座席を選択することができる。

また、本実施形態では、第２ユーザが着座している第２座席の位置に応じて、着座が可能である座席を第１ユーザに割り付ける。これにより、ユーザによる選択を行わずに、第２ユーザにとって適した位置の座席を選択して第１ユーザに割り付けることができる。

また、本実施形態では、複数の座席それぞれが撮像された撮像情報から、複数の座席それぞれの着座の可否を特定することで、座席情報を取得する。これにより、カメラから撮像された画像から、座席における現実の物体の認識を行うことができる。

また、本実施形態では、複数の座席それぞれにかかる荷重を検出するセンサから取得した荷重情報から、複数の座席それぞれの着座の可否を特定することで、座席情報を取得する。これにより、座席にかかる荷重情報によって、座席における現実の物体の認識を行うことができる。

また、本実施形態では、現実の物体による座席の占有状況、又は、座席の予約状況を示す情報を、座席情報として取得し、着座が不可能である場合には、座席情報に基づき、着座が不可能である理由を特定し、特定された理由を第２ユーザに提示する。これにより、着座を希望する第１ユーザの意思を第２ユーザに提示することができる。

また、本実施形態では、第１座席が第１ユーザに割り付けられた後に、座席情報に基づいて、第１座席への着座が不可能となったと判定された場合には、着座が可能である座席を第１ユーザに割り付ける。これにより、座席の割付後に、ユーザによる選択を行わずに、第１ユーザのキャラクター提示が現実の物体に重なることを回避できる。

また、本実施形態では、第１座席が第１ユーザに割り付けられた後に、座席情報に基づいて、第１座席への着座が不可能となったと判定された場合には、座席情報を第１ユーザに提示し、着座が可能である複数の座席のうち、第１ユーザが着座を希望する座席の選択を受け付け、受付けられた座席を第１ユーザに割り付ける。これにより、座席の割付後に、第１ユーザのキャラクター提示が現実の物体に重なることを回避できるとともに、第１ユーザに自由に座席を再選択させることができる。

また、本実施形態では、画像提示制御後に、キャラクター画像を第１座席の位置から消去する場合には、キャラクター画像を消去した時点から、所定時間、第１座席に設けられたシートヒータをオンにする。これにより、キャラクターが座っていた座席に温もりが残ることで、より現実に即した拡張現実空間を提供することができる。

≪第２実施形態≫
次に、本発明の第２実施形態について説明する。第２実施形態に係る画像提示システム１は、以下に説明する点において第１実施形態に係る画像提示システム１と異なること以外は、第１実施形態と同様の構成を有し、第１実施形態と同様に動作するものであり、第１実施形態の記載を適宜、援用する。本実施形態では、コントローラ２１は、第２画像制御部２５により、視界画像取得部２９が取得した視界画像を第１ユーザに提示させる画像提示制御を行う。

図５は、第２実施形態に係る画像提示システム１を示す構成図である。第２実施形態に係る画像提示システム１は、第１実施形態に係る画像提示装置２０の構成に加えて、視界画像取得部２９をさらに備える。

視界画像取得部２９は、車両空間に対応する仮想空間の任意の位置からの視界画像を取得する。仮想空間は、現実空間の車両２内の映像から構築された仮想の車両２内の空間である。まず、視界画像取得部２９は、第１提示端末１００により取得された第１ユーザの位置姿勢情報を取得する。次に、視界画像取得部２９は、取得された第１ユーザの位置姿勢情報に基づいて、仮想空間内における第１ユーザの仮想視点の位置と第１ユーザの視線に対応する方向を設定する。そして、視界画像取得部２９は、車両２内の複数のカメラ１１によって撮像される撮像画像から、第１ユーザの仮想視点の位置を基準として第１ユーザの視線に対応する方向の視界画像を取得する。このとき、第１ユーザの仮想視点の位置は、第１ユーザが第１座席に座った時の目線の位置に設定される。第１ユーザが第１座席に座った時の目線の位置は、あらかじめ第１ユーザの座高等を入力することで定めてもいいし、座席に座っている人間の一般的な目線の位置を設定しておくこととしてもよい。

第２画像制御部２５は、第１ユーザが視認している第１提示端末１００のディスプレイに、視界画像取得部２９により取得された視界画像を提示する。すなわち、第２画像制御部２５は、車両空間が撮像された画像情報から構築された仮想空間を提示する。具体的には、第２画像制御部２５は、視界画像をディスプレイに表示するよう制御信号を第１提示端末１００に出力する。これにより、第１ユーザは、仮想空間内に設定された仮想視点から見える車室内外の映像に対応する画像をディスプレイを介して見ることができる。

また、現実に第１ユーザが存在しない車両２内の空間情報から構築された仮想空間では、第１ユーザの身体は表示されないため、第１ユーザは自身の身体を視認することができない。しかし、現実には、第１ユーザが下方に視線を向ければ、自分自身の身体部分が視界に入るのが自然である。第１ユーザのキャラクターが座席に着座している場合に、第１ユーザが視線を下方に向けると、座席の位置に第１ユーザのキャラクターの足が見えることで、より現実に近い感覚を第１ユーザに与えることができる。そこで、以下、第１ユーザの視線の方向に応じて、第１ユーザのキャラクターの身体の画像を重畳させて表示する制御を説明する。第２画像制御部２５は、第１ユーザの視線が第１ユーザの身体に向いていると判定される場合には、視界画像上において第１ユーザの身体の位置に対応する位置に第１ユーザのキャラクター画像を提示する。具体的には、まず、第２画像制御部２５は、第１ユーザの視線の方向に第１ユーザの身体があるか否かを判定する。例えば、第２画像制御部２５は、第１ユーザの位置姿勢情報から、第１ユーザの視線の方向が下方に所定角度以上傾いていると検知される場合には、第１ユーザの視線が第１ユーザの身体に向いていると判定する。あるいは、第２画像制御部２５は、第１ユーザの視線に対応する方向の映像を撮像した撮像画像から、画像認識技術により、第１ユーザの身体が特定できるか否かで判定することとしてもよい。第１ユーザの視線の方向に第１ユーザの身体があると判定される場合には、第２画像制御部２５は、視界画像上の第１ユーザの身体の位置に対応する位置に、第１ユーザの身体に対応する第１ユーザのキャラクターの身体部分を示す画像が重畳された提示画像を生成する。例えば、第１ユーザのキャラクターは第１座席に着座しているため、第２画像制御部２５は、座席に着座している第１ユーザのキャラクターの足を示す画像を第１座席の位置に重畳させた提示画像を生成する。そして、第２画像制御部２５は、生成された提示画像をディスプレイに提示させる制御信号を第２提示端末２００に出力する。これにより、第１ユーザは、仮想空間中であっても、自身の視線を下げて第１座席のほうに向けると、自身のキャラクターの身体を視認することができる。

図６は、画像提示制御の手順を示すフローチャートである。ステップＳ６０１からステップＳ６０３までの処理は、図４のステップＳ４０１からＳ４０３までの処理と同じであるため、説明を省略する。以下、ステップＳ６０４からフローチャートに基づいて、制御手順を説明する。

ステップＳ６０４では、視界画像取得部２９は、第１ユーザの仮想視点から第１ユーザの視線に対応する方向の車両２内の空間の映像が撮像された視界画像を取得する。このとき、第１ユーザの仮想視点の位置は、ステップＳ６０３で座席割付部２３により割り付けられた第１座席の位置における第１ユーザの目線の位置に設定され、第１ユーザの視線に対応する方向は、第１ユーザの姿勢情報に基づいて決定される。

ステップＳ６０５では、第２画像制御部２５は、第１ユーザが視認している第１提示端末１００のディスプレイに、ステップＳ６０４で取得された視界画像を提示させる画像制御を行う。具体的には、第２画像制御部２５は、第１提示端末１００に、第１提示端末１００のディスプレイに視界画像を提示させる制御信号を出力する。

なお、ステップＳ６０５では、第１ユーザの視線が第１ユーザの身体に向いていると判定される場合には、第２画像制御部２５は、視界画像に第１ユーザのキャラクターの身体部分を重畳させた提示画像を生成し、提示画像を提示させる制御を行う。

ステップＳ６０６及びステップＳ６０７の処理は、図４のステップＳ４０５とステップＳ４０６と同じであるため、説明を省略する。

なお、本実施形態では、車両２内に乗員としてユーザがひとり着座している状態で、遠隔にいるユーザに新しく座席を割り付けることとしたが、乗員の人数はこれに限らず、２名以上のユーザが車両２内に着座している状態で、遠隔にいるユーザに新しく着座を割り付けることとしてもよい。また、既に仮想空間のユーザのキャラクターが座席に表示されている状態で、さらに別のユーザに座席を割り付けてキャラクターを座席を表示することとしてもよい。この場合には、座席割付部２３は、現実空間の座席と、現実空間の座席に対応する仮想空間の座席の両方の座席を管理して、ユーザに座席を割り付けることになる。

以上のように、本実施形態では、第１座席の位置に設定された第１ユーザの仮想視点から第１ユーザの視界に対応する視界画像を取得し、第１ユーザが利用する提示端末の提示部に、取得された視界画像を提示させる制御を行う。これにより、現実空間の座席状態を管理して、現実空間の座席に対応した仮想空間を、現実空間から離れた場所にいるユーザに提示することができる。

また、本実施形態では、仮想視点の位置を基準に、第１ユーザの視線に対応する方向の視界画像を取得し、第１ユーザの視線の方向に第１ユーザの身体が位置するか否かを判定し、第１ユーザの視線の方向に第１ユーザの身体が位置すると判定された場合には、視界画像上において身体の位置に対応する位置に、身体に対応する第１ユーザのキャラクターの身体の画像を重畳して提示画像を生成し、提示画像を前記第１ユーザに提示させる制御を行う。これにより、仮想空間において、第１ユーザが、自身の身体に対応するキャラクターの身体を視認することができる。

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

１…画像提示システム
２０…画像提示装置
２１…コントローラ
２２…座席情報取得部
２３…座席割付部
２４…第１画像制御部
２５…第２画像制御部
２６…希望座席受付部
２７…情報提示部
２８…通信装置
２９…視界画像取得部
１００…第１提示端末
２００…第２提示端末

Claims (13)

1. 空間内に位置する複数の座席のいずれかひとつを第１座席として、前記空間から離れた場所にいる第１ユーザに割り付ける座席割付部と、
   複数の前記座席のいずれかひとつに着座している第２ユーザの視界に含まれる映像の情報に基づいて、前記視界又は前記視界に対応する実画像上において、前記第１座席の位置に前記第１ユーザに関連付けられたキャラクター画像が重畳されるように画像提示制御を行う第１画像制御部と、
   複数の前記座席それぞれの着座の可否に関する座席情報を取得する座席情報取得部と、
   前記第２ユーザに情報を提示する情報提示部とを備え、
   前記座席割付部は、前記座席情報に基づいて、複数の前記座席のうち、着座が可能である前記座席を前記第１ユーザに割り付け、
   前記座席情報取得部は、着座が不可能である場合には、前記座席情報に基づき、着座が不可能である理由を特定し、
   前記情報提示部は、前記座席情報取得部により特定された前記理由を前記第２ユーザに提示する画像提示装置。
2. 請求項１に記載の画像提示装置であって、
   前記座席情報は、複数の前記座席それぞれにおいて、現実の物体による前記座席の占有状況に基づいた着座の可否に関する情報を含む画像提示装置。
3. 請求項１又は２に記載の画像提示装置であって、
   前記座席情報を前記第１ユーザに提示し、着座が可能である複数の前記座席のうち、前記第１ユーザが着座を希望する前記座席の選択を受け付ける希望座席受付部とをさらに備え、
   前記座席割付部は、前記希望座席受付部により受付けられた前記座席を前記第１ユーザに割り付ける画像提示装置。
4. 請求項１～３のいずれかに記載の画像提示装置であって、
   前記座席割付部は、前記第２ユーザが着座している第２座席の位置に応じて、着座が可能である前記座席を前記第１ユーザに割り付ける画像提示装置。
5. 請求項１～４のいずれかに記載の画像提示装置であって、
   前記座席情報取得部は、
   複数の前記座席それぞれが撮像された撮像情報から、複数の前記座席それぞれの着座の可否を特定することで、前記座席情報を取得する画像提示装置。
6. 請求項１～４のいずれかに記載の画像提示装置であって、
   前記座席情報取得部は、
   複数の前記座席それぞれにかかる荷重を検出するセンサから取得した荷重情報から、複数の前記座席それぞれの着座の可否を特定することで、前記座席情報を取得する画像提示装置。
7. 請求項１～６のいずれかに記載の画像提示装置であって、
   前記座席情報取得部は、
   現実の物体による前記座席の占有状況、又は、前記座席の予約状況を示す情報を、前記座席情報として取得する画像提示装置。
8. 請求項１～７のいずれかに記載の画像提示装置であって、
   前記座席割付部は、前記座席割付部により前記第１座席が前記第１ユーザに割り付けられた後に、前記座席情報に基づいて、前記第１座席への着座が不可能となったと判定された場合には、着座が可能である前記座席を前記第１ユーザに割り付ける画像提示装置。
9. 請求項１～８のいずれかに記載の画像提示装置であって、
   前記座席情報を前記第１ユーザに提示し、着座が可能である複数の前記座席のうち、前記第１ユーザが着座を希望する前記座席の選択を受け付ける希望座席受付部とをさらに備え、
   前記希望座席受付部は、前記座席割付部により前記第１座席が前記第１ユーザに割り付けられた後に、前記座席情報に基づいて、前記第１座席への着座が不可能となったと判定された場合には、前記座席情報を前記第１ユーザに提示し、着座が可能である複数の前記座席のうち、前記第１ユーザが着座を希望する前記座席の再選択を受け付け、
   前記座席割付部は、前記希望座席受付部により受付けられた前記座席を前記第１ユーザに割り付ける画像提示装置。
10. 請求項１～９のいずれかに記載の画像提示装置であって、
    前記画像提示制御後に、前記キャラクター画像を前記第１座席の位置から消去する場合には、前記キャラクター画像を消去した時点から、所定時間、前記第１座席に設けられたシートヒータをオンにする画像提示装置。
11. 請求項１～１０のいずれかに記載の画像提示装置であって、
    前記第１座席の位置に設定された前記第１ユーザの仮想視点から前記第１ユーザの視界に対応する視界画像を取得する視界画像取得部と、
    前記第１ユーザが利用する提示端末の提示部に、前記視界画像取得部により取得された前記視界画像を提示させる制御を行う第２画像制御部とをさらに備える画像提示装置。
12. 請求項１１に記載の画像提示装置であって、
    前記視界画像取得部は、前記仮想視点の位置を基準に、前記第１ユーザの視線に対応する方向の前記視界画像を取得し、
    前記第２画像制御部は、
    前記第１ユーザの視線の方向に応じて、前記視界画像上の前記第１座席の位置に、前記第１ユーザの身体に対応する前記第１ユーザのキャラクターの身体の画像を重畳して提示画像を生成し、
    前記提示画像を前記第１ユーザに提示させる制御を行う画像提示装置。
13. 画像提示装置によって画像を提示する画像提示方法であって、
    前記画像提示装置は、
    空間内に位置する複数の座席それぞれの着座の可否に関する座席情報を取得し、
    前記座席情報に基づいて、複数の前記座席のうち、着座が可能である前記座席を第１座席として、前記空間から離れた場所にいる第１ユーザに割り付け、
    複数の前記座席のいずれかひとつに着座している第２ユーザの視界に含まれる映像の情報に基づいて、前記視界又は前記視界に対応する実画像上において、前記第１座席の位置に前記第１ユーザに関連付けられたキャラクター画像が重畳されるように画像提示制御を行い、
    着座が不可能である場合には、前記座席情報に基づき、着座が不可能である理由を特定し、
    特定された前記理由を前記第２ユーザに提示する画像提示方法。
    

Images