JP7315362B2 - 映像出力システム及び映像出力方法 - Google Patents

Description

本発明は、室内空間で利用される映像出力システム及び映像出力方法に関するものである。

車両に搭載される従来の映像出力システムでは、実在のオブジェクトを含む実空間の環境を画像データとして取得する。そして、この映像出力システムは、仮想のオブジェクトを実空間の実在のオブジェクトに対応させて出力した上で、ＡＲ（拡張現実）コンテンツとして、車両のディスプレイに投影する（特許文献１）。

特開２０１３－１３１２２２号公報

しかしながら、光学センサを用いて実在のオブジェクトを画像認識し、分析した上で、実在のオブジェクトに対応させた位置に仮想のオブジェクトを出力するためには、映像出力システムに過剰な演算負荷が発生する場合がある。そのため、仮想のオブジェクトを出力するための情報処理に時間がかかってしまうおそれがあった。

本発明が解決しようとする課題は、室内空間のオブジェクトに対して仮想のオブジェクトの位置合わせを行うとともに、仮想のオブジェクトの映像の出力にかかる時間を短縮することができる映像出力システム及び映像出力方法を提供することである。

本発明は、位置情報検出部によって検出された第１オブジェクトの位置情報及び記憶装置に格納されている形状情報に基づき、制御部が、仮想の第２オブジェクトの映像を第１オブジェクトに対応する位置に出力することによって上記課題を解決する。

本発明によれば、室内空間の第１オブジェクトに対して仮想の第２オブジェクトの位置合わせを行うとともに、第２オブジェクトの映像の出力にかかる時間を短縮することができるという効果を奏する。

本発明の実施の形態に係る映像出力システムにおいて、車両の室内の第１オブジェクトであるシートに仮想の第２オブジェクトであるアバターを出力する態様を示す図である。 本発明の実施の形態に係る映像出力システムの構成を示す模式図である。 図２に示す映像出力システムにおける第１オブジェクトとしてのシートの前後方向の位置の変化量を示す側面図である。 図２に示す映像出力システムにおける第１オブジェクトとしてのシートの高さ方向の位置の変化量を示す側面図である。 図２に示す映像出力システムにおける第１オブジェクトとしてのシートの背もたれ部のリクライニング位置の変化量を示す側面図である。 図２に示す映像出力システムの制御部が第１オブジェクトであるシートの三次元形状を出力する手順を示すフローチャートである。 図２に示す映像出力システムの制御部が、シートの背もたれ部の位置を前傾位置から基準位置に復元させる様子を示す側面図である。 図２に示す映像出力システムの制御部が第２オブジェクトとしてのアバターを出力する手順を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。
図１に示すように、車両９０の室内空間９１には、互いに隣り合う運転席シート５０及び助手席のシート１０と、運転席シート５０及び助手席のシート１０の後ろに配置される３つの後部座席シート６１，６２，６３が設けられる。運転席シート５０には、ドライバーであるユーザ４０が着座している。ユーザ４０はＡＲゴーグル３０を装着している。ユーザ４０には、ＡＲゴーグル３０を通して、実際には室内空間９１に存在しない仮想のアバター２０を視認することができる。アバター２０は、人間を模した仮想のオブジェクトである。アバター２０の映像は、室内空間９１に重畳し、かつ、助手席のシート１０に対応する位置に配置され、着座した姿で、ＡＲゴーグル３０に出力される。
なお、ＡＲゴーグル３０は、眼鏡型デバイスであり、ユーザ４０が装着可能なウェアラブル装置である。ＡＲゴーグル３０は、映像出力部を構成する。また、シート１０及び後部座席シート６１，６２，６３は、各々、第１オブジェクトを構成する。また、アバター２０は、第２オブジェクトを構成する。

図２を用いて、ＡＲゴーグル３０にアバター２０の映像を出力する映像出力システム１００の全体的な構成について説明する。
映像出力システム１００は、映像出力部であるＡＲゴーグル３０と、ＡＲゴーグル３０に出力するアバター２０の映像を生成する制御部１と、データの送受信を行う通信部２と、シート１０の基準位置、姿勢情報及び形状情報を格納する記憶部３とを有する。また、シート１０は、座部１０ｂと、座部１０ｂに回動可能に連結された背もたれ部１０ａとを有する。座部１０ｂには、人の着座を検知する着座センサ１１が設けられている。また、シート１０にはシートベルト９と、シートベルト９の使用を検知するシートベルトセンサ１９が設けられている。
なお、着座センサ１１及びシートベルトセンサ１９は、シート１０への乗員の着座の有無を検出する着座検出部を構成する。

さらに、シート１０には、スライド機構１８と、シート１０をスライド機構１８に沿って前後方向に動かすスライドモータ１２と、シート１０を上下方向に動かすリフトモータ１３と、シート１０の背もたれ部１０ａの角度を調整するリクライニングモータ１４とが取り付けられる。さらにまた、スライドモータ１２には、シート１０の前後方向の位置の変化量を検出する第１ポテンショメータ１５が設けられる。リフトモータ１３には、シート１０の上下方向の位置の変化量を検出する第２ポテンショメータ１６が設けられる。リクライニングモータ１４には、シート１０の背もたれ部１０ａの角度の変化量を検出する第３ポテンショメータ１７が設けられる。着座センサ１１、スライドモータ１２、リフトモータ１３、リクライニングモータ１４、第１ポテンショメータ１５、第２ポテンショメータ１６、第３ポテンショメータ１７及びシートベルトセンサ１９は、各々、制御部１に電気的に接続される。
なお、第１ポテンショメータ１５、第２ポテンショメータ１６及び第３ポテンショメータ１７は、既設の車内センサであり、シート１０の位置情報を検出する位置情報検出部を構成する。また、リクライニングモータ１４は、角度調整部を構成する。

図２に示すように、制御部１が出力するアバター２０は、シート１０の座部１０ｂの上に腰かけ、背もたれ部１０ａに寄り掛かった姿勢で出力される。アバター２０は、車両９０の室内空間９１から離れた遠隔地の空間７０にいる第２ユーザ７１によって操作される。アバター２０の映像は、第２ユーザ７１の実際の画像を少なくとも一部に含み、シート１０の形状に沿って表示される。制御部１は、アバター２０の大きさをシート１０の大きさに合わせて、適宜調整する。また、アバター２０の映像が室内空間９１の設備に干渉しないように、アバター２０の動作の一部は制限されている。さらに、制御部１は、アバター２２の視点から見た室内空間９１の映像を生成している。アバター２２の視点から見た室内空間９１の映像は、通信部２を介して、第２ユーザ７１が装着するヘッドマウントディスプレイ７２に出力される。
ここで、ヘッドマウントディスプレイ７２は、第２映像出力部を構成する。

次に、シート１０の現在位置の演算方法について、図３～５を用いて説明する。
図３に示すように、制御部１は、記憶部３から参照したシート１０の前後方向の基準位置Ｌ０に、第１ポテンショメータ１５が検出したシート１０の前後方向の位置の変化量ｄＬを加算する。これにより、制御部１は、シート１０の前後方向の現在位置Ｌ１を演算する。

図４に示すように、制御部１は、記憶部３から参照したシート１０の上下方向、すなわち鉛直方向の基準位置Ｈ０に、第２ポテンショメータ１６が検出したシート１０の上下方向の位置の変化量ｄＨを加算する。これにより、制御部１は、シート１０の上下方向の現在位置Ｈ１を演算する。

図５に示すように、制御部１は、記憶部３から参照したシート１０の背もたれ部１０ａの基準位置Ａ０に、第３ポテンショメータ１７が検出した背もたれ部１０ａの位置の変化量ｄＡを加算する。これにより、制御部１は、シート１０の背もたれ部１０ａの現在位置Ａ１を演算する。なお、基準位置Ａ０にある背もたれ部１０ａの角度は、Θ０＝９０°である。また、現在位置Ａ１にある背もたれ部１０ａの角度は、Θ１である。すなわち、背もたれ部１０ａの位置の変化量ｄＡを角度変化量ｄΘで表すと、ｄΘ＝Θ１－Θ０である。制御部１は、記憶部３から受信したシート１０の形状情報と、背もたれ部１０ａの現在位置Ａ１とに基づいて、シート１０の現在の三次元形状を出力する。
なお、背もたれ部１０ａの角度とは、座部１０ｂと背もたれ部１０ａとの間の角度をいう。

次に、図６を用いて、制御部１によるシート１０の三次元形状の出力方法について説明する。
まず、制御部１は、シート１０の着座センサ１１又はシートベルトセンサ１９からの信号を取得する（ステップＳ１）。そして、着座センサ１１又はシートベルトセンサ１９からの信号がＯＦＦか否かを判断する（ステップＳ２）。信号がＯＦＦではなくＯＮの場合は、シート１０には乗客が着座している。そこで、制御部１は、シート１０への「着座不可」、すなわち、アバター２０の映像をシート１０に重畳させて表示することが不可能であるという判断を出力する（ステップＳ３）。この場合、シート１０の三次元形状は出力されない。

信号がＯＦＦの場合は、制御部１は第３ポテンショメータ１７の信号を取得する（ステップＳ４）。そして、制御部１は、第３ポテンショメータ１７の信号と、記憶部３から取得したシート１０の形状情報とから、シート１０の現在の三次元形状をシュミレーションする（ステップＳ５）。そして、制御部１は、シート１０の現在の三次元形状が、アバター２０が着座可能な形状か否かを判断する（ステップＳ６）。シュミレーションされたシート１０の現在の三次元形状が、アバター２０が着座可能な形状である場合、制御部１は、シート１０の三次元形状を出力する（ステップＳ９）。具体的には、シート１０の背もたれ部１０ａの角度が９０°以上であり、かつ、シート１０の座部１０ｂがアバター２０の着座を許容可能な形状である場合に、シート１０の形状はアバター２０が着座可能な形状であると判断される。

シュミレーションされたシート１０の形状が、アバター２０が着座可能な形状でない場合、制御部１は、アバター２０が着座可能になるようにシート１０を復元可能か否か判断する（ステップＳ７）。具体的には、図７に示す破線のように、シート１０の背もたれ部１０ａの位置が前傾位置Ａ２となっている場合、シート１０の形状は、アバター２０が着座可能な形状でないと判断される。そして、背もたれ部１０ａを基準位置Ａ０まで回動させることによりアバター２０がシート１０に着座可能になると判断される時は、制御部１は、アバター２０が着座可能になるようにシート１０を復元可能であると判断する。そこで、制御部１は、リクライニングモータ１４を駆動させ、基準位置Ａ０まで背もたれ部１０ａを回動させて、シート１０の形状を復元し（ステップＳ８）、その後、シート１０の三次元形状を出力する（ステップＳ９）。
なお、基準位置Ａ０に位置する背もたれ部１０ａの角度は、θ０＝９０°である。θ０は、閾値角度を構成する。すなわち、背もたれ部１０ａの角度がθ０＝９０°よりも小さい時、制御部１は、アバター２０はシート１０に着座可能ではないと判断する。

一方、アバター２０が着座可能になるようにシート１０を復元することができないと判断される時は、制御部１は、着座不可を出力する（ステップＳ３）。具体的には、シート１０の座部１０ｂが、アバター２０の着席を許容することができる形状ではない場合、角度が９０°以上になるように背もたれ部１０ａを回動させても、アバター２０はシート１０に着座可能ではないと判断される。この場合、シート１０の三次元形状は出力されない。

次に、図８を用いて、ＡＲゴーグル３０へのアバター２０の映像の出力方法について説明する。
まず、制御部１は、助手席のシート１０の位置情報を取得する（ステップＳ１１）。そして、図６のステップＳ１～Ｓ９の手順によって、シート１０の三次元形状が出力されたか否かを判断する（ステップＳ１２）。制御部１によってシート１０の三次元形状が出力されている場合は、図２に示すように、シート１０の上に重畳して映し出されるアバター２０の映像を、ＡＲゴーグル３０に出力する（ステップＳ１６）。

一方、助手席のシート１０の三次元形状が出力されていない場合は、シート１０は着座不可の状態となっている。そのため、制御部１は、後部座席シート６１，６２，６３の各々の位置情報を、同様に、取得する（ステップＳ１３）。そして、シート１０と同様に、図６のステップＳ１～Ｓ９の手順に従い、各々のシートの三次元形状が出力されたか否かを判断する（ステップＳ１４）。後部座席シート６１，６２，６３のいずれかの三次元形状が出力された場合は、該当するシートが第１オブジェクトとして選択される。従って、制御部１は、選択された後部座席シートに対応する位置に着座するアバター２０の映像を、ＡＲゴーグル３０に出力する（ステップＳ１６）。

一方、後部座席シート６１，６２，６３のうちいずれの三次元形状も出力されていない場合は、車両９０の室内空間９１のシートは全て着座不可の状態となっている。この場合、制御部１は、記憶部３からダッシュボード（図示せず）の位置情報及び形状情報を取得し（ステップＳ１５）、アバター２０のサイズを縮小して、ダッシュボードの上にアバター２０が着座している映像をＡＲゴーグル３０に出力する（ステップＳ１６）。

以上より、この実施の形態に係る映像出力システム１００は、シート１０の位置情報を検出する第１ポテンショメータ１５、第２ポテンショメータ１６及び第３ポテンショメータ１７を備える。また、映像出力システム１００の制御部１は、シート１０の位置情報に基づいて、人物を模したアバター２０がシート１０に対応する位置に着座するように、アバター２０の映像をＡＲゴーグル３０に出力する。これにより、光学センサを用いずに、シート１０に取り付けられた位置情報センサによる検出のみで、アバター２０の映像をシート１０に対して位置合わせし、ＡＲゴーグル３０に出力することができる。従って、光学センサのみを用いて撮像した画像からシート１０の位置及び形状を分析するよりも、映像出力システム１００にかかる演算負荷は軽くなり、アバター２０の出力にかかる時間が短縮される。また、既設の光学センサとシート１０に取り付けた位置情報センサとを組み合わせて使用することにより、光学センサのみを用いる場合に比べて、アバター２０をシート１０に対してより正確に位置合わせすることができる。

また、シート１０は、車両９０の室内空間９１に設けられた既設の設備であるため、記憶部３は予めシート１０の基準位置、姿勢情報及び形状情報を、既知の設計情報として格納している。従って、制御部１は、記憶部３から取得したシート１０の情報を用いて、アバター２０をシート１０に対して位置合わせすることができる。そのため、アバター２０の出力処理にかかる演算負荷をより軽くすることができる。

また、映像出力システム１００の位置情報検出部として用いられる第１ポテンショメータ１５、第２ポテンショメータ１６及び第３ポテンショメータ１７は、車両９０に設けられた既設の車内センサである。従って、新たなセンサを車両９０に取り付ける必要がないため、映像出力システム１００の構築にかかるコストが低減される。

また、制御部１は、シート１０の大きさに応じて、アバター２０の大きさを調整する。これにより、制御部１は、より適切にシート１０に対応した態様でアバター２０を出力することができる。

また、制御部１は、アバター２０の映像が室内空間９１の設備に干渉しないように、アバター２０の動きの少なくとも一部を制限する。これにより、ユーザ４０がアバター２０に感じる違和感を低減させることができる。

また、図７に示すように、リクライニングモータ１４は、背もたれ部１０ａの角度が、閾値角度θ０よりも小さい場合、背もたれ部１０ａを動かし、背もたれ部１０ａの角度を閾値角度θ０以上になるように調整する。これにより、アバター２０の映像が、シート１０に干渉してしまうことを防止することができる。

また、着座センサ１１及びシートベルトセンサ１９が反応し、シート１０への着座が検出された場合、制御部１は、助手席のシート１０以外の後部座席シート６１，６２，６３のいずれかを第１オブジェクトとして選択する。これにより、車両９０に複数の乗員が乗っている場合でも、制御部１は、室内空間９１に重畳するアバター２０を違和感なく出力することができる。

また、映像出力システム１００は、アバター２０の視点から見た室内空間９１の映像が出力される第２映像出力部としてのヘッドマウントディスプレイ７２を備える。これにより、車両９０に同乗していない第２ユーザ７１も、ヘッドマウントディスプレイ７２を装着することによって、アバター２０の視点を通して、ドライブを楽しむ、ユーザ４０とコミュニケーションを取る、又は、ユーザ４０の運転を補助する等の体験をすることができる。

また、アバター２０の映像は、第２ユーザ７１の実際の画像を少なくとも一部に含んでいる。これにより、ユーザ４０は、アバター２０を介して、第２ユーザ７１と実際にコミュニケーションを取っているという感覚が強めることができ、ユーザ４０のＡＲ体験の没入感をより高めることができる。

なお、この実施の形態において、アバター２０は、人物を模したオブジェクトであるが、これに限定されず、動物等のキャラクターであってもよい。また、アバター２０の映像は、第２ユーザ７１の実際の画像を少なくとも一部に含むものに限定されず、全体がＣＧにより作成されたキャラクターであってもよい。また、アバター２０は、第２ユーザ７１によって操作されるものに限定されず、ＡＩによって行動を制御されるものであってもよい。

また、映像出力部は、ＡＲゴーグル３０のような眼鏡型デバイスに限定されず、ヘッドマウントディスプレイ又はスマートコンタクトレンズ等の他のウェアラブル装置であってもよい。さらに、映像出力部は、ウェアラブル装置に限定されず、室内空間９１に設けられた３Ｄプロジェクターであってもよい。

また、この実施の形態において、映像出力システム１００は、車両９０の室内空間９１におけるＡＲ体験に使用されるものだが、これに限定されず、車両以外の室内環境において使用されてもよい。

また、この実施の形態において、第１オブジェクトであるシート１０は、回動可能な背もたれ部１０ａを有しているが、これに限定されず、背もたれ部１０ａが動かないもの、又は、背もたれ部がないものであってもよい。シート１０の背もたれ部１０ａが動かない、又は、シート１０が背もたれ部を有していない場合は、第１ポテンショメータ１５及び第２ポテンショメータ１６を位置情報検出部として利用する。

また、この実施の形態において、図２に示すように、アバター２０はシート１０の背もたれ部１０ａに背中を付けた状態で出力されるが、これに限定されない。すなわち、アバター２０の着座の姿勢及び位置がシート１０の位置に自然に対応して見えるものであれば、アバター２０の背中がシート１０の背もたれ部１０ａから離れていてもよい。

また、この実施の形態において、シート１０の背もたれ部１０ａの閾値角度は、θ０＝９０°であるが、これに限定されない。すなわち、シート１０の背もたれ部１０ａの角度が閾値角度以上の時に、アバター２０がシート１０に干渉せずに、自然な姿勢で着座することが可能であればよい。

また、図７に示すように、背もたれ部１０ａが前傾位置Ａ２にある時は、リクライニングモータ１４は、背もたれ部１０ａを回動させて、背もたれ部１０ａの位置を基準位置Ａ０に復元しているが、これに限定されず、背もたれ部１０ａを、基準位置Ａ０を超えて回動させてもよい。

上記のシート１０及び後部座席シート６１，６２，６３は、本発明に係る第１オブジェクトに相当する。上記の着座センサ１１及びシートベルトセンサ１９は、着座検出部に相当する。上記のリクライニングモータ１４は、角度調整部に相当する。上記の第１ポテンショメータ１５、第２ポテンショメータ１６及び第３ポテンショメータ１７は、本発明に係る位置情報検出部に相当する。上記のアバター２０は、第２オブジェクトに相当する。上記のＡＲゴーグル３０は、映像出力部に相当する。上記のヘッドマウントディスプレイ７２は、第２映像出力部に相当する。

１００…映像出力システム
１…制御部
１０…シート（第１オブジェクト）
１０ａ…背もたれ部
１１…着座センサ（着座検出部）
１４…リクライニングモータ（角度調整部）
１５…第１ポテンショメータ（位置情報検出部）
１６…第２ポテンショメータ（位置情報検出部）
１７…第３ポテンショメータ（位置情報検出部）
１９…シートベルトセンサ（着座検出部）
２０…アバター（第２オブジェクト）
３０…ＡＲゴーグル（映像出力部）
４０…ユーザ
６１，６２，６３…後部座席シート（第１オブジェクト）
７１…第２ユーザ
７２…ヘッドマウントディスプレイ（第２映像出力部）

Claims (15)

1. 室内空間に設けられる所定の第１オブジェクトに取り付けられ、前記第１オブジェクトの位置情報を検出する位置情報検出部と、
   前記第１オブジェクトの形状情報を格納する記憶部と、
   前記室内空間に重畳する仮想の第２オブジェクトの映像が出力される映像出力部と、
   前記第１オブジェクトの前記位置情報及び前記形状情報に基づき、仮想の第２オブジェクトが前記第１オブジェクトに対応する位置に配置されるように、前記第２オブジェクトの映像を前記映像出力部に出力する制御部とを備える、映像出力システム。
2. 前記第１オブジェクトは、車両の室内空間に設けられる、請求項１に記載の映像出力システム。
3. 前記位置情報検出部は、前記車両に設けられた既設の車内センサである、請求項２に記載の映像出力システム。
4. 前記第２オブジェクトは、人物を模したオブジェクトである、請求項１～３のいずれか一項に記載の映像出力システム。
5. 前記制御部は、前記第１オブジェクトの大きさに応じて、前記第２オブジェクトの大きさを調整する、請求項１～４のいずれか一項に記載の映像出力システム。
6. 前記制御部は、前記第２オブジェクトの映像が前記室内空間の設備に干渉しないように、前記第２オブジェクトの動きの少なくとも一部を制限する、請求項１～５のいずれか一項に記載の映像出力システム。
7. 前記映像出力部は、ユーザが装着可能なウェアラブル装置である、請求項１～６のいずれか一項に記載の映像出力システム。
8. 前記映像出力部は、眼鏡型デバイス、ヘッドマウントディスプレイ又はスマートコンタクトレンズである、請求項７に記載の映像出力システム。
9. 前記映像出力部は、前記室内空間に設けられた３Ｄプロジェクターである、請求項１～６のいずれか一項に記載の映像出力システム。
10. 前記第１オブジェクトは、背もたれ部と、前記背もたれ部の角度を調整する角度調整部とを有するシートであり、
    前記位置情報検出部は、前記背もたれ部の角度を含む位置情報を検出し、
    前記制御部は、前記背もたれ部の角度が所定の閾値角度以上である場合に、前記シートの上に重畳する前記第２オブジェクトの映像を前記映像出力部に出力し、
    前記角度調整部は、前記背もたれ部の角度が、前記閾値角度よりも小さい場合、前記背もたれ部を動かし、前記背もたれ部の角度を前記閾値角度以上になるように調整する、請求項１～９のいずれか一項に記載の映像出力システム。
11. 前記シートについて着座の有無を検出する着座検出部を備え、
    前記着座検出部によって前記シートへの着座が検出された場合、前記制御部は、前記シート以外の他のシートを前記第１オブジェクトとして選択する、請求項１０に記載の映像出力システム。
12. 前記第２オブジェクトの視点から見た前記室内空間の映像が出力される第２映像出力部をさらに備え、
    前記第２映像出力部は、前記室内空間以外の場所に設けられる、請求項１～１１のいずれか一項に記載の映像出力システム。
13. 前記第２オブジェクトは、前記室内空間以外の場所にいる第２ユーザによって操作され、前記第２オブジェクトの映像は、前記第２ユーザの実際の画像を少なくとも一部に含む、請求項１２に記載の映像出力システム。
14. 前記制御部は、
    前記第１オブジェクトの前記位置情報及び前記形状情報に基づき前記第２オブジェクトを前記第１オブジェクトに配置可能か否かを判定し、
    前記第２オブジェクトを前記第１オブジェクトに配置可能である場合は、前記位置情報及び前記形状情報に基づき前記第１オブジェクトの三次元形状を出力し、前記第２オブジェクトが前記第１オブジェクトに対応する位置に配置されるように、前記第２オブジェクトの映像を前記映像出力部に出力する、請求項１～１３のいずれか一項に記載の映像出力システム。
15. 室内空間に設けられる所定の第１オブジェクトに取り付けられる位置情報検出部によって、前記第１オブジェクトの位置情報を検出するステップと、
    前記第１オブジェクトの前記位置情報及び記憶部に格納されている前記第１オブジェクトの形状情報に基づき、前記室内空間に重畳する仮想の第２オブジェクトが前記第１オブジェクトに対応する位置に配置されるように、前記第２オブジェクトの映像を出力するステップとを備える、映像出力方法。
    

Images