JP7247901B2 - 移動体制御装置、移動体制御方法、およびプログラム - Google Patents

Description

本開示は、移動体制御装置、移動体制御方法、およびプログラムに関する。

ジェスチャによって車両を操作する技術が知られている（例えば、特許文献１参照）。特許文献１に記載の技術は、アクセルペダルやステアリングホイール等の運転操作子を操作不能な状態にした上で車両の自動運転を実行する際に、制御部に撮像装置等が撮像したユーザの手のジェスチャ等が入力されると、車両における加減速や操舵が制御されて、走行経路が変更される。

特開２０１８－１７２０２８号公報

特許文献１に記載された技術は、ユーザが運転操作子を操作して運転する代わりに、ユーザのジェスチャに基づいて車両の加減速や操舵を制御している。そのため、車両等の移動体の運転者は運転の楽しみを得ることができるが、この移動体に搭乗する他の搭乗者は移動体に搭乗する楽しさを享受することが困難であった。また、運転者にとっても、例えば渋滞中等のように移動体の操作を断続的に停止する必要がある場合には、移動体の搭乗の楽しみを享受することは困難であった。これらの点から、移動体に搭乗するユーザが搭乗による楽しさを享受できる技術が求められていた。

本開示は、上記に鑑みてなされたものであって、その目的は、移動体に搭乗するユーザが搭乗による楽しさを享受できる移動体制御装置、移動体制御方法、およびプログラムを提供することにある。

上述した課題を解決し、上記目的を達成するために、本開示に係る移動体制御装置は、ハードウェアを有するプロセッサを備え、前記プロセッサは、移動体の外部および内部の少なくとも一方の空間情報を取得し、前記空間情報に基づいて前記移動体の外部および内部の少なくとも一方の情報を含む仮想画像を生成して前記移動体に搭乗したユーザが視認可能な表示部に出力し、前記ユーザが所定の動作を行った場合に、前記ユーザの前記動作の検出結果を取得し、前記検出結果における前記ユーザの前記動作に基づいて前記仮想画像を更新して出力し、前記検出結果に基づいた前記移動体に対する制御信号を出力する。

この構成によれば、搭乗しているユーザが、仮想画像を見ながら仮想画像に対応した動作を行うことができ、当該ユーザの動作に対応させて移動体を制御することができるので、移動体に搭乗するユーザが搭乗による楽しさを享受することが可能となる。

本開示の一態様に係る移動体制御装置において、前記プロセッサは、前記移動体の安全度を算出し、前記安全度が所定の基準を満たす場合に、前記制御信号を前記移動体に出力しても良い。

この構成によれば、移動体の走行上の安全性を確保した上で、移動体の制御を実行できるので、搭乗しているユーザに安心感を与えることができる。

本開示の一態様に係る移動体制御装置において、前記プロセッサは、前記移動体の位置情報と前記位置情報に基づく交通情報とを取得し、前記交通情報に基づいて、前記移動体が渋滞に巻き込まれていると判定した場合に、前記制御信号を前記移動体に出力しても良い。

この構成によれば、移動体が渋滞に巻き込まれている間に、移動体の制御を実行できるので、渋滞時においても移動体に搭乗しているユーザが楽しさを享受でき、渋滞に巻き込まれた状況でユーザが感じやすい退屈さやストレスを緩和できる。

本開示の一態様に係る移動体制御装置において、前記プロセッサは、前記移動体の位置情報と前記位置情報に基づく交通情報とを取得し、前記ユーザが、あらかじめ設定された動作を行った場合に、前記交通情報に基づいて前記移動体の外部の状態を前記移動体の上方の視点で見た仮想画像を生成し、前記表示部に出力しても良い。

この構成によれば、ユーザは外部の状況を視覚的に認識できるので、例えば移動体が渋滞に巻き込まれた場合等に、渋滞の状態を俯瞰的に認識できるので、渋滞によってユーザが感じやすいストレスや不安を緩和することができる。

本開示の一態様に係る移動体制御装置において、前記表示部は、前記ユーザが装着するウェアラブルデバイスに設けられていても良い。

この構成によれば、ユーザが様々な動作を行っても、ユーザは表示部に表示された仮想画像を常に視認できるので、ユーザが受ける臨場感を維持できる。

本開示の一態様に係る移動体制御方法は、ハードウェアを有するプロセッサが、第１センサから移動体の外部および内部の少なくとも一方の空間情報を取得し、前記空間情報に基づいて前記移動体の外部および内部の少なくとも一方の情報を含む仮想画像を生成して前記移動体に搭乗したユーザが視認可能な表示部に出力し、前記移動体に搭乗したユーザが、所定の動作を行った場合に、第２センサが検出した前記ユーザの前記動作の検出結果を取得し、前記検出結果における前記ユーザの前記動作に基づいて前記仮想画像を更新して出力し、前記検出結果に基づいた前記移動体に対する制御信号を出力して、前記移動体を制御する。

この移動体制御方法によれば、搭乗しているユーザが、仮想画像を見ながら仮想画像に対応した動作を行うことができ、当該ユーザの動作に対応させて移動体を制御することができるので、移動体に搭乗するユーザが搭乗による楽しさを享受することが可能となる。

本開示の一態様に係るプログラムは、ハードウェアを有するプロセッサに、移動体の外部および内部の少なくとも一方の空間情報を取得し、前記空間情報に基づいて前記移動体の外部および内部の少なくとも一方の情報を含む仮想画像を生成して表示部に出力し、前記移動体に搭乗したユーザが、所定の動作を行った場合に、前記ユーザの前記動作の検出結果を取得し、前記検出結果における前記ユーザの前記動作に基づいて前記仮想画像を更新して出力し、前記検出結果に基づいた前記移動体に対する制御信号を出力することを実行させる。

このプログラムによれば、プロセッサに、搭乗しているユーザが、仮想画像を見ながら仮想画像に対応した動作を行うことができ、当該ユーザの動作に対応させて移動体を制御することができるので、移動体に搭乗するユーザが搭乗による楽しさを享受できる処理を実行させることが可能となる。

本開示に係る移動体制御装置、移動体制御方法、およびプログラムによれば、搭乗しているユーザが、仮想画像を見ながら仮想画像に対応した動作を行うことができ、当該ユーザの動作に対応させて移動体を制御できるので、移動体に搭乗するユーザが搭乗による楽しさを享受することが可能となる。

図１は、一実施形態による移動体制御システムの概略構成を示す模式図である。 図２は、一実施形態による移動体制御装置を備えるウェアラブルデバイスを装着した乗員が搭乗した移動体の例を示す斜視透過図である。 図３は、一実施形態による車両端末装置の機能構成を示すブロック図である。 図４は、一実施形態による第１ウェアラブルデバイスの概略構成を示す図である。 図５は、一実施形態による第１ウェアラブルデバイスの機能構成を示すブロック図である。 図６は、一実施形態によるウェアラブルデバイスが実行する処理の概要を示すフローチャートである。 図７は、一実施形態による生成部が生成する仮想画像の例を模式的に示す図である。 図８は、一実施形態による生成部が生成する俯瞰した仮想画像の例を模式的に示す図である。 図９は、一実施形態の第１変形例による移動体端末装置の機能構成を示すブロック図である。 図１０は、一実施形態の第２変形例による第２ウェアラブルデバイスの概略構成を示す図である。 図１１は、一実施形態の第２変形例による第２ウェアラブルデバイスの機能構成を示すブロック図である。 図１２Ａは、一実施形態の第３変形例によるユーザの動作の例やユーザが視認している仮想画像の例を説明するための図である。 図１２Ｂは、一実施形態の第４変形例によるユーザの動作の例やユーザが視認している仮想画像の例を説明するための図である。 図１２Ｃは、一実施形態の第５変形例によるユーザの動作の例やユーザが視認している仮想画像の例を説明するための図である。 図１２Ｄは、一実施形態の第６変形例によるユーザの動作の例やユーザが視認している仮想画像の例を説明するための図である。 図１２Ｅは、一実施形態の第７変形例によるユーザの動作の例やユーザが視認している仮想画像の例を説明するための図である。 図１３は、その他の実施形態によるウェアラブルデバイスの概略構成を示す図である。 図１４は、その他の実施形態によるウェアラブルデバイスの概略構成を示す図である。 図１５は、その他の実施形態によるウェアラブルデバイスの概略構成を示す図である。 図１６は、その他の実施形態によるウェアラブルデバイスの概略構成を示す図である。

以下、本開示の一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本開示は以下に説明する一実施形態によって限定されるものではない。

まず、本開示の一実施形態による移動体制御装置について説明する。図１は、この一実施形態による移動体制御装置を含む移動体制御システムの概略構成を示す模式図である。

（移動体制御システムの構成）
図１に示すように、移動体制御システムは、例えば、移動体１に搭載された移動体端末装置１０を備える。移動体１には、第１ウェアラブルデバイス３０を装着したユーザＵ１が搭乗していたり、第２ウェアラブルデバイス４０を装着したユーザＵ２に装着していたりする。移動体制御システムは、ネットワーク２を介して接続された交通情報サーバ２０をさらに備えても良い。この場合、移動体端末装置１０は、ネットワーク２を介して交通情報サーバ２０と通信可能である。なお、本明細書において、ウェアラブルデバイスとは、ユーザが装着可能なデバイスを意味し、画像を表示する表示部を備えていても備えていなくても良い。

交通情報サーバ２０は、道路上の交通情報を収集して、道路における交通等の情報を取得する。交通情報サーバ２０は、制御部２１、通信部２２、記憶部２３、および交通情報収集部２４を備える。

制御部２１は、具体的に、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）等のプロセッサ、およびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の主記憶部を備える。

通信部２２は、例えば、ＬＡＮ（Local Area Network）インターフェースボードや、無線通信のための無線通信回路等であり、有線通信または無線通信可能な通信モジュールを用いて構成される。ＬＡＮインターフェースボードや無線通信回路は、公衆通信網であるインターネット等のネットワーク２に接続できる。また、通信部２２は、所定の通信規格、例えば、４Ｇ、５Ｇ、Ｗｉ－Ｆｉ（Wireless Fidelity）（登録商標）およびＢｌｕｅｔｏｏｔｈ（登録商標）等に従って、外部と通信可能としても良い。通信部２２は、ネットワーク２に接続して、移動体端末装置１０等と通信を行っても良い。通信部２２は、ネットワーク２に接続して、交通情報を取得するビーコン等との間で通信を行っても良い。通信部２２は、必要に応じて、移動体端末装置１０に交通情報を送信する。なお、通信部２２によって送信される情報は、これらの情報に限定されない。

記憶部２３は、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）やＳＳＤ（Solid State Drive）、およびリムーバブルメディア等から選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、またはＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体である。記憶部２３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル、各種データベース等が格納可能である。

制御部２１は、記憶部２３に格納されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部等を制御する。これにより、制御部２１は、所定の目的に合致した機能を実現できる。記憶部２３には、交通情報データベース２３ａが格納されている。

交通情報収集部２４は、通信部２２を介して、例えば道路等に設置されたビーコン等の無線標識から交通情報を収集する。交通情報収集部２４が収集した交通情報は、記憶部２３の交通情報データベース２３ａに検索可能に格納される。なお、交通情報収集部２４がさらに記憶部を備えていても良い。また、交通情報収集部２４と、制御部２１、通信部２２、および記憶部２３とを別体に構成しても良い。

移動体制御システムにおいて、ネットワーク２を介して、第１ウェアラブルデバイス３０および第２ウェアラブルデバイス４０の各々を相互に通信可能にしても良い。また、ネットワーク２を介して、移動体端末装置１０、第１ウェアラブルデバイス３０、および第２ウェアラブルデバイス４０と通信可能な他のサーバを備えていても良い。以下の説明においては、移動体１として車両、特に自律走行可能な自動運転車両を例に説明するが、これに限定されることなく、運転者の運転により走行する車両、バイク、ドローン、飛行機、船舶、および電車等であっても良い。

（移動体）
図２は、一実施形態による移動体の例を示す斜視透過図である。図２においては、移動体制御装置を備える第１ウェアラブルデバイス３０を装着したユーザＵ１が移動体１に搭乗している。

図２に示すように、移動体１においては、室内にユーザＵ１が搭乗時に着席するシートや所定の情報が表示される表示部１５２ａが設けられている。図２においてユーザＵ１は第１ウェアラブルデバイス３０を装着しているが、必ずしも装着する必要はない。なお、移動体１が運転者の運転によって走行する車両である場合、ステアリングホイールやアクセルペダルやブレーキペダル等の運転操作子が備えられる。

図３は、一実施形態による移動体１の機能構成を示すブロック図である。図３に示すように、例えば車両等の移動体１は、移動体端末装置１０、走行部１８、および室内設備１９を備える。移動体端末装置１０は、移動体１における他のＥＣＵ（Electronic Control Unit）等を備えた走行部１８と連携しながら、移動体１の走行を制御する。移動体端末装置１０が自動運転の制御プログラムを備える場合、走行部１８を制御することで自動運転を継続できる。移動体端末装置１０は、室内設備１９の各部を制御可能に構成される。

移動体端末装置１０は、制御部１１、撮像部１２、センサ群１３、入力部１４、カーナビゲーション１５、通信部１６、および記憶部１７を備える。センサ群１３は、視線センサ１３ａ、車速センサ１３ｂ、開閉センサ１３ｃ、およびシートセンサ１３ｄを備える。

制御部１１および記憶部１７はそれぞれ、物理的には上述した制御部２１および記憶部２３と同様の構成を有する。制御部１１は、移動体端末装置１０の各構成要素を統括的に制御するほか、走行部１８を制御することによって、移動体１に搭載される各種構成要素の動作を統括的に制御する。記憶部１７には、各種の地図データからなる地図データベース１７ａが格納されている。

移動体１の通信端末としての通信部１６は、ネットワーク２を介した無線通信によって、外部のサーバ、例えば交通情報サーバ２０等と通信を行う、例えばＤＣＭ（Data Communication Module）等から構成しても良い。通信部１６は、道路に設置されたアンテナ等と通信する路車間通信を行うことができる。すなわち、通信部１６は、交通情報を取得するビーコン等との間で路車間通信等を行っても良い。通信部１６は、他の移動体１の通信部１６との間で通信を行う車車間通信を行うことができる。路車間通信や車車間通信は、ネットワーク２を介して行っても良い。通信部１６は、所定の通信規格、例えば、４Ｇ、５Ｇ、Ｗｉ－Ｆｉ（Wireless Fidelity）（登録商標）およびＢｌｕｅｔｏｏｔｈ（登録商標）等に従って、外部の装置と通信可能に構成される。通信部１６は、必要に応じて、ネットワーク２を介して交通情報サーバ２０から交通情報を受信する。なお、通信部１６によって送受信される情報は、これらの情報に限定されない。

通信部１６は、制御部１１の制御によって、上述した所定の通信規格に従って、各種のデバイスと通信する。具体的には、通信部１６は、制御部１１の制御のもと、移動体１に搭乗したユーザＵ１が装着する第１ウェアラブルデバイス３０と各種の情報を送受信できる。また、通信部１６は、他の移動体１や、ユーザＵ２が装着する第２ウェアラブルデバイス４０との間で各種の情報を送受信可能である。なお、所定の通信規格は上述した規格に限定されない。

撮像部１２は、移動体１の外部に複数設けられる。撮像部１２は、例えば、撮影画角が３６０°となるように移動体１の前方、後方および両側方の４箇所に設けても良い。さらに、撮像部１２は、移動体１の内部に複数設けても良い。撮像部１２は、制御部１１の制御のもと、移動体１の外部空間および内部空間の各々を撮像することによって外部空間および内部空間が写る画像データを生成し、生成した画像データを制御部１１に出力する。撮像部１２は、光学系とイメージセンサと、を用いて構成される。光学系は、１または複数のレンズを用いて構成される。イメージセンサは、光学系が結像した被写体像を受光することによって画像データを生成するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等からなる。

センサ群１３は、種々のセンサを備えて構成される。例えば、視線センサ１３ａは、移動体１に搭乗したユーザＵ１の視線および網膜を含む視線情報を検出し、検出した視線情報を制御部１１に出力する。視線センサ１３ａは、光学系と、ＣＣＤまたはＣＭＯＳと、メモリと、ＣＰＵやＧＰＵ（Graphics Processing Unit）等のハードウェアを有するプロセッサとを用いて構成される。視線センサ１３ａは、例えば周知のテンプレートマッチングを用いてユーザＵ１における、例えば目頭等の目の動かない部分を基準点として検出し、かつ、例えば虹彩等の目の動く部分を動点として検出する。視線センサ１３ａは、基準点と動点との位置関係に基づいてユーザＵ１の視線を検出し、検出結果を制御部１１に出力する。視線センサ１３ａは、ユーザＵ１の網脈を検出し、検出結果を制御部１１に出力しても良い。

なお、一実施形態では、視線センサ１３ａを可視カメラによってユーザＵ１の視線を検出しているが、これに限定されることなく、赤外カメラによってユーザＵ１の視線を検出しても良い。視線センサ１３ａを赤外カメラによって構成する場合、赤外ＬＥＤ（Light Emitting Diode）等によって赤外光をユーザＵ１に照射し、赤外カメラでユーザＵ１を撮像することによって生成された画像データから基準点（例えば角膜反射）および動点（例えば瞳孔）を検出し、この基準点と動点との位置関係に基づいてユーザＵ１の視線を検出する。

車速センサ１３ｂは、移動体１の走行時における車速を検出し、検出結果を制御部１１に出力する。開閉センサ１３ｃは、ユーザが出入りするドアの開閉を検出し、検出結果を制御部１１に出力する。開閉センサ１３ｃは、例えばプッシュスイッチ等を用いて構成される。シートセンサ１３ｄは、各席に対する着座の状態を検出し、検出結果を制御部１１に出力する。シートセンサ１３ｄは、移動体１に設けられた各席の座面の下に設置された荷重検出装置または圧力センサ等を用いて構成される。

入力部１４は、例えば、キーボードや表示部１５２ａに組み込まれて表示パネルのタッチ操作を検出するタッチパネル式キーボード、または外部との間で通話可能な音声入力デバイス等から構成される。ここで、外部との間の通話は、他の移動体端末装置１０との通話のみならず、例えば外部のサーバを操作するオペレータや人工知能システムとの通話等も含む。入力部１４が音声入力デバイスからなる場合、入力部１４は、ユーザＵ１の音声の入力を受け付け、受け付けた音声に応じた音声データを制御部１１に出力する。音声入力デバイスは、マイクロフォン、マイクロフォンが受け付けた音声を音声データに変換するＡ／Ｄ変換回路、および音声データを増幅するアンプ回路等を用いて構成される。なお、マイクロフォンの代わりに、音を出力可能なスピーカマイクロホンから構成しても良い。

カーナビゲーション１５は、測位部１５１と報知部１５２とを有する。測位部１５１は、例えば、複数のＧＰＳ（Global Positioning System）衛星や送信アンテナからの信号を受信して、受信した信号に基づいて移動体１の位置を算出する。測位部１５１は、ＧＰＳ受信センサ等を用いて構成される。測位部１５１を構成するＧＰＳ受信センサ等を複数個搭載することによって移動体１の向き精度を向上させても良い。なお、移動体１の位置を検出する方法として、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）と３次元デジタル地図とを組み合わせた方法を採用しても良い。報知部１５２は、画像、映像および文字情報を表示する表示部１５２ａと、音声や警報音等の音を発生する音声出力部１５２ｂと、を有する。表示部１５２ａは、液晶や有機ＥＬ等の表示ディスプレイを用いて構成される。音声出力部１５２ｂは、スピーカ等を用いて構成される。

カーナビゲーション１５は、測位部１５１によって取得した現在の移動体１の位置を、記憶部１７の地図データベース１７ａに格納された地図データと重ねる。これによって、カーナビゲーション１５は、移動体１が現在走行している道路および目的地までの経路等を含む情報を、表示部１７３ａおよび音声出力部１７３ｂの少なくとも一方によってユーザＵ１に報知できる。表示部１７３ａは、制御部１１の制御に従って、タッチパネルディスプレイの画面上に文字や図形等を表示したりする。なお、カーナビゲーション１５が入力部１４を備えても良い。この場合、表示部１７３ａ、音声出力部１７３ｂ、および入力部１４を、タッチパネルディスプレイやスピーカマイクロホン等から構成しても良く、表示部１７３ａに入力部１４の機能を含めて機能させても良い。音声出力部１５３ｂは、制御部１１の制御に従って、スピーカマイクロホンから音声を出力したりして、所定の情報を外部に通知したりする。

なお、移動体１は、ユーザが所有するユーザ端末装置との間で、近距離無線通信技術として例えばＢＬＥ認証情報に基づく認証を行って、移動体１の施錠や解錠を実行するキーユニットを備えていても良い。

走行部１８は、駆動部１８１および操舵部１８２を備える。駆動部１８１は、移動体１の走行に必要な駆動装置や、駆動を車輪等に伝達する駆動伝達装置を含む。具体的に移動体１は、駆動源としてモータやエンジンを備える。モータはバッテリからの電力によって駆動する。エンジンは燃料の燃焼による駆動によって電動機等を用いて発電可能に構成される。発電された電力は充電可能なバッテリに充電される。移動体１は、駆動源の駆動力を伝達する駆動伝達機構、および走行するための駆動輪等を備える。操舵部１８２は、操舵輪となる車輪の舵角を変更して、移動体１の走行方向や向きを決定する。

室内設備１９は、例えばリクライニング機能を有するシート部１９１を備える。なお、室内設備１９はさらに、エアコンディショナ、車内灯、およびテーブル等を備えても良い。

（第１ウェアラブルデバイス）
次に、第１ウェアラブルデバイス３０の構成について説明する。図４は、第１ウェアラブルデバイス３０の概略構成を示す図である。図５は、第１ウェアラブルデバイス３０の機能構成を示すブロック図である。

図４および図５に示す移動体制御装置を備える第１ウェアラブルデバイス３０は、いわゆるＡＲ（Augmented Reality）を行うためのＡＲグラスである。第１ウェアラブルデバイス３０は、ユーザＵ１の視野領域内に画像、映像、および文字情報等を仮想的に表示する。なお、本明細書において、仮想的な画像、映像、および文字情報等を、仮想画像と総称することある。第１ウェアラブルデバイス３０は、撮像装置３１、挙動センサ３２、視線センサ３３、投影部３４、ＧＰＳセンサ３５、装着センサ３６、通信部３７、および制御部３８を備える。

図４に示すように、第１センサとしての撮像装置３１は、第１ウェアラブルデバイス３０に複数設けられる。撮像装置３１は、制御部３８の制御のもと、ユーザＵ１の視線の先を撮像することによって画像データを生成し、この画像データを制御部３８に出力する。撮像装置３１は、１つまたは複数のレンズから構成される光学系と、ＣＣＤやＣＭＯＳ等のイメージセンサを用いて構成される。

図５に示すように、第２センサとしての挙動センサ３２は、第１ウェアラブルデバイス３０を装着したユーザＵ１の挙動に関する挙動情報を検出し、検出結果を制御部３８に出力する。具体的に、挙動センサ３２は、第１ウェアラブルデバイス３０に生じる角速度および加速度を挙動情報として検出し、検出結果を制御部３８に出力する。さらに、挙動センサ３２は、地磁気を検出することによって絶対方向を挙動情報として検出し、検出結果を制御部３８に出力する。挙動センサ３２は、３軸ジャイロセンサ、３軸加速度センサ、および３軸地磁気センサ（電子コンパス）等を用いて構成できる。

視線センサ３３は、第１ウェアラブルデバイス３０を装着したユーザＵ１の視線の向きを検出し、検出結果を制御部３８に出力する。視線センサ３３は、光学系、ＣＣＤやＣＭＯＳ等のイメージセンサ、メモリ、およびＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。視線センサ３３は、例えば周知のテンプレートマッチングを用いて、ユーザＵ１の例えば目頭等の目の動かない部分を基準点として検出し、かつ、例えば虹彩等の目の動く部分を動点として検出する。視線センサ３３は、これらの基準点と動点との位置関係に基づいてユーザＵ１の視線の向きを検出する。

表示部としての投影部３４は、制御部３８の制御のもと、第１ウェアラブルデバイス３０を装着したユーザＵ１の網膜に向けて、画像、映像、および文字情報等の仮想画像を投影する。投影部３４は、ＲＧＢレーザ、ＭＥＭＳミラー、および反射ミラー等を用いて構成される。ＲＧＢレーザは、ＲＧＢの各々のレーザ光を出射する。ＭＥＭＳミラーはレーザ光を反射する。反射ミラーは、ＭＥＭＳミラーから反射されたレーザ光をユーザＵ１の網膜へ投影する。なお、投影部３４は、制御部３８の制御のもと、仮想画像を第１ウェアラブルデバイス３０のレンズ３９に投影することによって表示させるものでも良い。

ＧＰＳセンサ３５は、複数のＧＰＳ衛星から受信した信号に基づいて第１ウェアラブルデバイス３０の位置に関する位置情報を算出し、算出した位置情報を制御部３８に出力する。ＧＰＳセンサ３５は、ＧＰＳ受信センサ等を用いて構成される。

装着センサ３６は、ユーザＵ１の装着状態を検出し、検出結果を制御部３８に出力する。装着センサ３６は、ユーザＵ１が第１ウェアラブルデバイス３０を装着した際の圧力を検出する圧力センサや、ユーザＵ１の体温、脈拍、脳波、血圧、および発汗状態等のバイタル情報を検出するバイタルセンサ等を用いて構成される。

通信部３７は、無線通信可能な通信モジュールを用いて構成される。通信部３７は、制御部３８の制御のもと、上述した所定の通信規格に従って、各種情報を移動体端末装置１０との間で送受信する。

制御部３８は、物理的には、上述した制御部１１，２１等と同様の構成を有し、メモリと、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰおよびＡＳＩＣ等のいずれかのハードウェアを有するプロセッサを用いて構成される。制御部３８は、第１ウェアラブルデバイス３０を構成する各部の動作を制御する。制御部３８は、取得部３８１、判定部３８２、生成部３８３、出力制御部３８４、および走行制御部３８５を備える。一実施形態においては、制御部３８が移動体制御装置のプロセッサとして機能する。

取得部３８１は、通信部３７を介して、移動体端末装置１０から各種情報を取得する。取得部３８１は、例えば交通情報を、移動体端末装置１０から取得したり、交通情報サーバ２０からネットワーク２および移動体端末装置１０を介して取得したりすることができる。取得部３８１は、ユーザＵ１の挙動情報、バイタル情報、およびユーザ識別情報を取得できる。なお、取得部３８１は、通信部３７およびネットワーク２を介して、外部のサーバから各種情報を取得することも可能である。

判定部３８２は、取得部３８１が取得した各種の情報に基づいて、判定を行う。具体的に、判定部３８２は、例えば、走行部１８の制御の可否や、ユーザＵ１の移動体１への搭乗の有無や、動作制御の開始の可否や、ユーザＵ１の身体情報に基づいた動作データの入力の有無等を判定できる。なお、ユーザＵ１の身体情報は、挙動を示す挙動情報、バイタル情報、ユーザ識別情報、および視線情報等を含む。また、判定部３８２は、移動体端末装置１０の入力部１４から所定の情報が入力されたか否かを判定しても良い。また、判定部３８２は、判定を行う入力パラメータと判定結果を示す出力パラメータとを含む、所定の入出力データセットを用いた機械学習によって生成された、学習済みモデルを有していても良い。この場合、判定部３８２は、入力された入力パラメータを学習済みモデルに入力して得られた出力パラメータに基づいて、判定を行うことができる。

制御部３８は、視線センサ３３が検出したユーザＵ１の視線情報および挙動情報に基づいて、ユーザＵ１の視野領域内に所定の仮想画像を投影部３４に出力させる。すなわち、生成部３８３は、取得部３８１が取得した移動体１の空間情報を用いてユーザＵ１の視点で見た仮想画像を生成する。出力制御部３８４は、生成部３８３によって生成された仮想画像の投影部３４への出力を制御する。なお、生成部３８３が生成する仮想画像の詳細については、後述する。走行制御部３８５は、取得部３８１が取得したユーザＵ１の動作に関する動作データに基づいて、移動体端末装置１０を介して移動体１の走行部１８を制御可能な、動作データに対応した制御信号を出力する。

（移動体制御処理）
次に、第１ウェアラブルデバイス３０が実行する移動体制御処理について説明する。図６は、第１ウェアラブルデバイス３０が実行する処理の概要を示すフローチャートである。以下の説明において、各種の情報の送受信は、移動体端末装置１０の通信部１６と第１ウェアラブルデバイス３０の通信部３７との間で、直接的に、またはネットワーク２を介して行われるが、この点についての都度の説明は省略する。なお、一実施形態において移動体１は、移動体端末装置１０の制御部１１により自動運転可能に制御される車両であるが、必ずしも限定されない。

図６に示すように、取得部３８１は、まず、第１ウェアラブルデバイス３０の位置情報および移動体１の位置情報を取得する（ステップＳＴ１）。続いて、判定部３８２は、取得部３８１が取得した第１ウェアラブルデバイス３０の位置情報および移動体１の位置情報に基づいて、移動体１にユーザＵ１が搭乗したか否かを判定する（ステップＳＴ２）。なお、判定部３８２は、第１ウェアラブルデバイス３０の位置情報および移動体１の位置情報以外に、移動体端末装置１０の開閉センサ１３ｃの検出結果およびシートセンサ１３ｄの検出結果に基づいて、移動体１にユーザＵ１が搭乗したか否かを判定しても良い。

判定部３８２が移動体１にユーザＵ１は搭乗していないと判定した場合（ステップＳＴ２：Ｎｏ）、移動体制御処理を終了する。これに対し、判定部３８２がユーザＵ１は移動体１に搭乗していると判定した場合（ステップＳＴ２：Ｙｅｓ）、処理はステップＳＴ３に移行する。

ステップＳＴ３において取得部３８１は、取得した位置情報に基づいて、路車間通信や車車間通信等による交通情報の取得や、交通情報サーバ２０等からの交通情報の取得を開始する。なお、取得部３８１による位置情報および交通情報の取得は、移動体制御処理の実行中は継続して実行される。

次に、ステップＳＴ４において判定部３８２は、挙動センサ３２により検出されたユーザＵ１の動作が、動作制御の開始を要求する要求信号の入力動作であるか否かを判定する。ユーザＵ１の動作が要求信号の入力動作である場合、動作に伴って判定部３８２に要求信号が入力される。なお、動作制御の開始を要求する要求信号は、移動体端末装置１０の入力部１４に対するユーザＵ１の操作に基づいて、通信部１６から通信部３７を介して取得部３８１に入力しても良い。本明細書において、動作制御とは、ユーザＵ１の動作や発声等に対応させて、走行部１８を制御して移動体１の走行を制御したり、第１ウェアラブルデバイス３０における仮想画像内でのアバター画像等の動作を制御したりすることである。

判定部３８２が要求信号は入力されていないと判定した場合（ステップＳＴ４：Ｎｏ）、要求信号が入力されるまで、ステップＳＴ４を繰り返し実行する。これに対し、判定部３８２が要求信号は入力されたと判定した段階（ステップＳＴ４：Ｙｅｓ）で、処理はステップＳＴ５に移行する。

取得部３８１は、移動体１の内部空間および外部空間の少なくとも一方に関する空間情報を取得する（ステップＳＴ５）。具体的に、取得部３８１は、通信部３７を介して、移動体１の撮像部１２が移動体１の内部を撮影することによって生成した画像データを内部空間に関する空間情報として取得する。取得部３８１は、移動体１の撮像部１２が移動体１の外部空間を撮影することによって生成した画像データを外部空間に関する空間情報として取得する。さらに、取得部３８１は、撮像装置３１が撮影することによって生成した画像データを、空間情報として取得する。なお、取得部３８１は、外部空間に関する空間情報として移動体１の撮像部１２が生成した画像データを取得しているが、これに限定されることなく、例えば移動体１の位置情報に基づいて、地図データベース１７ａが記録する地図データから移動体１の現在の位置の周辺の画像データを外部空間に関する空間情報として取得しても良い。

次に、ステップＳＴ６において、生成部３８３が仮想画像を生成し、生成された仮想画像を出力制御部３８４が投影部３４に出力する。具体的に生成部３８３は、まず、取得部３８１が取得した空間情報を用いてユーザＵ１の視点で見た仮想画像を生成する。出力制御部３８４は、生成部３８３が生成した仮想画像を投影部３４に出力する。投影部３４は、入力された仮想画像をユーザＵ１の網膜に向けて投影する。これにより、ユーザＵ１は、仮想画像を認識できる。

ここで、生成部３８３が生成する仮想画像について説明する。図７は、生成部３８３が生成する仮想画像の一例を模式的に示す図である。図７に示すように、生成部３８３は、取得部３８１によって取得された空間情報および交通情報に基づいて、仮想画像Ｐ１を生成する。具体的に、生成部３８３は、移動体１の内部空間の画像に対応させた運転席等の仮想画像を生成する。さらに、生成部３８３は、ユーザＵ１の視点から見た手や腕等の画像を取得したり、または仮想画像を生成したりする。生成部３８３は、移動体１が走行している外部空間の画像を取得したり、または仮想画像を生成したりする。生成部３８３は、取得した画像や生成した仮想画像を組み合わせて、ユーザＵ１の視点から見た仮想画像Ｐ１を生成する。

続いて、図６に示すように、取得部３８１は、ユーザＵ１の挙動情報およびバイタル情報等のいわゆる身体情報を取得する（ステップＳＴ７）。なお、ユーザＵ１を識別するためのユーザ識別情報をさらに取得しても良い。具体的に、取得部３８１は、挙動センサ３２が検出した挙動情報、装着センサ３６が検出したバイタル情報を取得する。また、取得部３８１は、視線センサ３３が検出したユーザＵ１の虹彩を、ユーザＵ１を識別するユーザ識別情報として取得しても良い。取得部３８１は、移動体１の撮像部１２が生成したユーザＵ１が写る画像データを時系列に沿って取得しても良い。この場合、制御部３８は、時系列の画像データに対して、周知のオプティカルフローを用いた物体検出処理や画像処理等によってユーザＵ１の挙動情報を検出しても取得しても良い。また、制御部３８は、画像データに対応する画像に対して、周知のテンプレートマッチングを用いてユーザＵ１の顔を検出し、検出した顔をユーザ識別情報として取得しても良い。

その後、判定部３８２は、取得部３８１により取得された空間情報および挙動情報に基づいて、ユーザＵ１の姿勢が変化したか否か、すなわちユーザＵ１の動作を示す動作データが取得部３８１に入力されたか否かを判定する（ステップＳＴ８）。判定部３８２が所定の動作のデータとしての動作データは入力されていないと判定した場合（ステップＳＴ８：Ｎｏ）、ステップＳＴ５に復帰する。これに対し、判定部３８２が動作データは入力されたと判定した場合（ステップＳＴ８：Ｙｅｓ）、処理はステップＳＴ９に移行する。

その後、生成部３８３は、動作データに対応した仮想画像を生成して、出力制御部３８４が仮想画像を出力する。具体的に生成部３８３は、取得部３８１が取得した空間情報を用いて、ユーザＵ１の動作に対応させて、ユーザＵ１の視点または俯瞰した視点で見た仮想画像を生成する。出力制御部３８４は、生成部３８３が生成した仮想画像Ｐ１や仮想画像Ｐ２を投影部３４に出力し、ユーザＵ１の網膜に向けて投影する。

例えば、ユーザＵ１が、図７に示すステアリングを回す動作を行った場合、生成部３８３が生成する仮想画像Ｐ１は、ユーザＵ１の手によってステアリングが回される仮想の映像となる。また、時間の経過に伴って外部空間の情景も変化する。これにより、ユーザＵ１は、自身が行った動作に対して仮想画像が応答したと認識できる。これにより、ユーザＵ１は、移動体１を運転しているような感覚を得ることができ、移動体１を操作する楽しさを享受できる。

また、例えば、ユーザＵ１が、あらかじめ設定された動作として例えば鳥に類似した動作等を行った場合、生成部３８３が生成する仮想画像Ｐ２は、例えば図８に示すような、移動体１から鉛直上方に視点が移動する仮想の映像となる。なお、あらかじめ設定された動作は、必ずしも鳥に類似した動作に限定されず、任意の動作を設定することが可能である。図８は、生成部３８３が生成する道路等を俯瞰した仮想画像の例を模式的に示す図である。図８は、特に渋滞時の状況を示す仮想画像Ｐ２である。

図８に示すように、生成部３８３は、取得部３８１が取得した空間情報および交通情報に基づいて、ユーザＵ１が搭乗している移動体１から鉛直上方に移動させた視点から見た、道路上の車列等の仮想画像を生成する。この場合、仮想画像Ｐ２に含まれる道路や前方の他の移動体等は、例えばイラスト画像等を用いることができる。イラスト画像は、取得部３８１が取得した空間情報および交通情報に基づいて生成できる。ここで、図８に示す仮想画像Ｐ２においては、移動体１の走行している道路において渋滞の状態が描画されている。すなわち、渋滞情報等の交通情報に基づいて渋滞している状態の移動体の台数を算出し、算出した移動体の台数分だけ仮想的に移動体が描写される。また、ユーザＵ１が搭乗している移動体１の情報から、地図上に渋滞状態を表示させるような仮想画像を生成しても良く、渋滞の先頭の状態を描画した仮想画像を生成しても良い。さらに、図８に示す仮想画像Ｐ２に、文字情報を重畳させても良い。この場合、渋滞の先頭が交通事故現場であるような場合等において、事故情報を含む交通情報内容に基づいて、事故の状況を視覚的に描画したり、文字や音声で出力したりしても良い。

これにより、ユーザＵ１は、現在の移動体１の周囲の状況を認識できる。例えば、移動体１が渋滞に巻き込まれている場合、ユーザＵ１は、仮想画像Ｐ２によって、渋滞の先頭の状態等を認識できる。そのため、ユーザＵ１にとっては、巻き込まれている渋滞がどの程度の渋滞であるかを視覚的に認識できるので、渋滞によるストレスや不安感を緩和する効果が期待できる。

次に、図６に示すステップＳＴ１０において判定部３８２は、動作制御により走行部１８を制御可能であるか否かを判定する。例えば、判定部３８２は、取得部３８１が移動体端末装置１０の撮像部１２から取得した画像データ、および移動体１の位置情報と現在位置における交通情報とに基づいて、移動体１の安全度を算出する。判定部３８２が移動体１の安全度は所定の基準を満たしていると判定した場合（ステップＳＴ１０：Ｙｅｓ）、処理はステップＳＴ１２に移行する。ここで、判定部３８２が、例えば安全度を数値で導出し、かつ数値が高いほど安全である場合、導出した安全度の数値が所定値以上の場合に、安全度が所定の基準を満たしているとする。反対に、安全度を数値で導出し、かつ数値が低いほど安全である場合、導出した安全度の数値が所定値以下等の場合に、安全度が所定の基準を満たしているとする。

これに対し、判定部３８２が移動体１の安全度は基準を満たしていないと判定した場合（ステップＳＴ１０：Ｎｏ）、ステップＳＴ１１に移行する。制御部３８の走行制御部３８５は、走行部１８の制御を切り離す（ステップＳＴ１１）。具体的には、制御部３８は、走行制御部３８５から移動体端末装置１０への走行部１８を制御するための制御信号の送信を遮断したり停止したりする。この場合、移動体端末装置１０は、自動運転の制御プログラムに基づいた制御信号による走行部１８の制御を継続する。これにより、ユーザＵ１の動作や発声に対応させて走行部１８を制御可能に構成しても、安全性が確保できない場合には制御不能にできるため、移動体１の安全性を確保できる。

ここで、安全度については、種々のパラメータに基づいて算出できる。具体的には、ユーザＵ１が搭乗している移動体１における、前後の移動体１との距離、走行経路、速度や加速度、周囲の緊急車両等の有無等を数値化した値等に基づいて、安全度を算出できる。また、走行している道路の信号や横断歩道の数、周辺の歩行者の人数、天候状態、道路状態等を数値化した値等に基づいて、安全度を算出できる。なお、移動体１の安全度の算出を、機械学習によって生成された学習済みモデルを用いて行っても良い。

また、判定部３８２が、動作制御による走行部１８の制御が可能か否かを判定する方法としては、安全度を用いた判定以外の方法を採用しても良い。例えば、判定部３８２は、移動体１が渋滞に巻き込まれたか否かを判定することによって、動作制御による走行部１８の制御が可能か否かを判定しても良い。この場合、判定部３８２は、移動体１において車速が所定速度以下となる低速の状態が所定時間以上続いた場合に、渋滞に巻き込まれたと判定できる。所定速度は例えば１０ｋｍ／ｈ等と任意に設定でき、所定時間も例えば１０分等と任意に設定できる。また、判定部３８２は、取得部３８１が取得した交通情報に基づいて、移動体１が現在位置において渋滞に巻き込まれたか否かを判定できる。例えば、交通情報に基づいて、停止および発進を繰り返す状態が１５分以上、かつ車列が１ｋｍ以上である場合に、判定部３８２は、移動体１が渋滞に巻き込まれたと判定できる。なお、渋滞に巻き込まれたか否かの判定は、種々の方法を採用できる。判定部３８２は、移動体１が渋滞に巻き込まれたと判定した場合に、動作制御による走行部１８の制御が可能であると判定できるが、渋滞に巻き込まれたと判定した場合に、動作制御による走行部１８の制御が不可であると判定しても良い。

判定部３８２が動作制御による走行部１８の制御が可能であるか否かを判定する方法として、上述した安全度を用いた判定と、渋滞の有無の判定とを組み合わせても良い。例えば、判定部３８２は、移動体１が渋滞に巻き込まれたと判定するか、または移動体１における安全度が所定値以上であると判定した場合に、動作制御による走行部１８の制御が可能であると判定しても良い。

次に、ステップＳＴ１２において、走行制御部３８５は、取得部３８１が取得したユーザＵ１の動作データに基づいて、動作データに対応した制御信号を出力し、移動体端末装置１０を介して移動体１の走行部１８を制御する。以下に、第１ウェアラブルデバイス３０を用いた移動体１の制御の具体例について説明する。

具体的に例えば、図７に示す仮想画像Ｐ１等においては、ユーザＵ１の視線から見た仮想画像である。例えば、ユーザＵ１がステアリングを回転させるような動作を行うと、走行部１８に対して走行路の変更を行うような制御信号が送信される。制御信号を受信した走行部１８は操舵部１８２を制御して移動体１の車輪の舵角を変更する。これにより、移動体１の走行方向が、ユーザＵ１のステアリングの回転に対応して変更される。

また、移動体１が自動運転している走行路に対応した文字情報を表示するようにしても良い。具体的に例えば、移動体１がこれから左に曲がるような走行路を進行する場合、仮想画像Ｐ１に「ハンドルを左に切って下さい」等の文字情報を表示することで、ユーザＵ１に対して動作を報知する。これに対応して、ユーザＵ１がハンドルを左に切る動作を行うと、動作に伴ったタイミングで走行部１８の操舵部１８２を制御して、移動体１が左方向に曲がるように操作しても良い。

また、例えば、手こぎハンドル等の仮想画像を表示し、仮想画像に対してユーザＵ１が手こぎハンドルを回転させるような動作を行った場合、ユーザＵ１の動作の運動量を算出して、運動量に応じてバッテリに蓄電しても良い。具体的に、算出したユーザＵ１の運動量に基づいて、走行部１８の駆動部１８１におけるエンジンの回転数を変更する等して、バッテリへの蓄電を行っても良い。なお、実際に回転させる手こぎハンドル等の操作子と発電機とを移動体１に備え、仮想画像に併せて実際に手こぎハンドル等の操作子を操作させて発電させ、発電機に電気を蓄えるように構成しても良い。さらに、装着センサ３６により検出されたユーザＵ１のバイタル情報に基づいた所定の係数を設定し、算出した運動量に所定の計数を乗じて、ユーザＵ１の動作の駆動部１８１に対する制御を変更するようにしても良い。例えば、エンジンの回転数を１００ｒｐｍ増加させるために必要な運動量の設定を、アスリートモード等の場合には大きくし、通常モード等の場合には小さくしても良い。

また、例えば、ブレーキやアクセル等の仮想画像を表示して、ユーザＵ１がアクセルを踏む動作を行った場合に、走行部１８の駆動部１８１を制御して、エンジンの回転数を増加させたり移動体１を加速させたりすることも可能である。同様に、ユーザＵ１がブレーキを踏む動作を行った場合に、走行部１８の駆動部１８１を制御して、移動体１の速度を減速させることが可能である。

また、ユーザＵ１が動作を行っている間に、図６に示すステップＳＴ１０，ＳＴ１１において、走行部１８への制御が切り離される場合がある。この場合、走行制御部３８５からの制御信号は、走行部１８に入力されずに動作制御による制御が中断される。この場合であっても、仮想画像Ｐ１，Ｐ２の生成や投影を継続させても良い。その上で、走行部１８への制御が切り離されている間のユーザＵ１の動作を制御部３８に記憶させておき、走行部１８への制御が可能になった段階で、走行部１８の制御に反映させても良い。さらに、走行制御部３８５は、生成部３８３が生成する仮想画像やユーザＵ１の動作等に対応させて、シート部１９１のリクライニング機能等を制御して、移動体１の室内のシートの状態を変更させても良い。

続いて、図６に示すように、制御部３８に終了を指示する指示信号が入力された場合（ステップＳＴ１３：Ｙｅｓ）、処理を終了する。終了を指示する指示信号を制御部３８に入力する方法としては、種々の方法が採用できる。例えば、終了を指示する指示信号は、例えば、ブレーキ等を踏む動作を行ったり、移動体１の入力部１４等に所定の情報を入力したりすることで入力可能である。これに対し、制御部３８に終了を指示する指示信号が入力されていない場合（ステップＳＴ１３：Ｎｏ）、処理はステップＳＴ５に復帰する。以上により、第１ウェアラブルデバイス３０による移動体１の走行制御が終了する。

移動体が自律走行可能な移動体である場合、ユーザが移動体に搭乗して移動している間は、ユーザによる運転操作が不要になる。また、ユーザが移動体に搭乗してユーザによる運転を伴う場合であっても、渋滞等に遭遇する場合がある。このような場合においても、以上説明した本開示の一実施形態によれば、移動体１に搭乗したユーザＵ１が、第１ウェアラブルデバイス３０の投影部３４に投影された仮想画像を見ながら、仮想画像に対応した動作を行って、移動体１を操作できる。これにより、ユーザＵ１は、移動体１に搭乗する楽しさや移動体１を操作する楽しさを享受することが可能となる。

（第１変形例）
図９は、一実施形態の変形例による移動体端末装置の機能構成を示すブロック図である。図９に示す移動体端末装置１０Ａは、上述した一実施形態による移動体端末装置１０の制御部１１に替えて、制御部１１Ａを備えるとともに、センサ群１３が動作センサ１３ｅを備える。制御部１１Ａは物理的には、制御部１１と同様の構成を有する。制御部１１Ａは、取得部１１１、判定部１１２、生成部１１３、および出力制御部１１４を備える。取得部１１１、判定部１１２、生成部１１３、および出力制御部１１４はそれぞれ、上述した取得部３８１、判定部３８２、生成部３８３、および出力制御部３８４と同様である。第２センサとしての動作センサ１３ｅは、移動体１内のユーザＵ１の動作を検出する。第１変形例においては、制御部１１Ａが移動体制御装置のプロセッサとして機能する。

第１変形例においては、生成部１１３が生成した仮想画像は、表示部１５２ａに表示される。ユーザＵ１の動作は、撮像部１２によって撮影されたり、動作センサ１３ｅによって検出されたりする。これにより、制御部１１の取得部１１１は、ユーザＵ１の挙動情報を取得できる。また、ユーザＵ１は、ユーザＵ１のバイタル情報等を取得可能で、通信部１６と通信可能な腕時計型のウェアラブルデバイスを装着していても良い。その上で、ユーザＵ１が装着したウェアラブルデバイスから移動体端末装置１０Ａの取得部１１１に、通信部１６を介してユーザＵ１のバイタル情報を送信しても良い。これにより、判定部１１２は、ユーザＵ１のバイタル情報に基づいた判定を行うことができる。以上の構成により、第１変形例においても、上述した一実施形態と同様の効果を得ることができる。

（第２変形例）
次に、一実施形態の第２変形例による第２ウェアラブルデバイス４０の構成について説明する。図１０は、第２ウェアラブルデバイス４０の概略構成を示す図である。図１１は、第２ウェアラブルデバイス４０の機能構成を示すブロック図である。

図１０および図１１に示す移動体制御装置としての第２ウェアラブルデバイス４０は、いわゆる、ＭＲ（Mixed Reality）またはＶＲ（Virtual Reality）のためのＨＭＤ（Head Mounted Display）である。第２ウェアラブルデバイス４０は、ユーザＵ２に仮想世界（デジタル空間）に現実世界を重ね合わせた立体視できる画像、映像、および文字情報等を表示する。第２ウェアラブルデバイス４０は、撮像装置４１、挙動センサ４２、音声入力装置４３、表示部４４、視線センサ４５、装着センサ４６、操作部４７、通信部４８、および制御部４９を備える。撮像装置４１、挙動センサ４２、視線センサ４５、装着センサ４６、通信部４８、および制御部４９はそれぞれ、第１ウェアラブルデバイス３０の撮像装置３１、挙動センサ３２、視線センサ３３、装着センサ３６、通信部３７、および制御部３８と同様の構成を有する。第２変形例においては、制御部４９が移動体制御装置のプロセッサとして機能する。

図１０に示すように、第１センサとしての撮像装置４１は、第２ウェアラブルデバイス４０に複数設けられる。撮像装置４１は、制御部４９の制御のもと、ユーザＵ２の視線の先を撮像することによって視差を有する２つの画像データを生成し、これらの画像データを制御部４９に出力する。

図１１に示すように、第２センサとしての挙動センサ４２は、第２ウェアラブルデバイス４０を装着したユーザＵ２の挙動に関する挙動情報を検出し、検出結果を制御部４９に出力する。音声入力装置４３は、ユーザＵ２の音声の入力を受け付け、受け付けた音声に応じた音声データを制御部４９に出力する。音声入力装置４３は、マイクロフォン、マイクロフォンに入力された音声を音声データに変換するＡ／Ｄ変換回路、および音声データを増幅するアンプ回路を用いて構成される。

表示部４４は、制御部４９の制御のもと、立体視可能な画像、映像および文字情報等を表示する。表示部４４は、所定の視差を有する左右一対の表示パネル等を用いて構成される。表示パネルとしては、液晶または有機ＥＬ（Electro Luminescence）等を用いて構成される。操作部４７は、ユーザＵ２の操作の入力を受け付け、受け付けた操作に応じた信号を制御部４９に出力する。操作部４７は、ボタン、スイッチ、ジョグダイヤル、またはタッチパネル等を用いて構成される。

制御部４９は、第２ウェアラブルデバイス４０を構成する各部の動作を制御する。制御部４９は、取得部４９１、判定部４９２、生成部４９３、出力制御部４９４、および走行制御部４９５を備える。取得部４９１、判定部４９２、生成部４９３、出力制御部４９４、および走行制御部４９５はそれぞれ、上述した取得部３８１、判定部３８２、生成部３８３、出力制御部３８４、および走行制御部３８５と同様である。

第２変形例においては、生成部４９３が生成した仮想画像は、表示部４４に表示される。ユーザＵ１の動作は、撮像装置４１によって撮影されたり、挙動センサ４２によって検出されたりする。これにより、制御部４９の取得部４９１は、ユーザＵ１の動作情報を取得できる。以上の構成により、第２変形例においても、上述した一実施形態と同様の効果を得ることができる。

（第３～第７変形例）
次に、一実施形態の第３変形例によるウェアラブルデバイス３０，４０によって表示される仮想画像の例および仮想画像に対応したユーザの動作について説明する。図１２Ａ～図１２Ｅはそれぞれ、第３変形例～第７変形例によるユーザの動作の例やユーザが視認している仮想画像の例を説明するための図である。

（第３変形例）
第３変形例においては、図１２Ａに示すように、ウェアラブルデバイス３０，４０を装着したユーザＵ３は、例えば手回しローラなどの仮想画像Ｐ３を視認できる。なお、通常は、ウェアラブルデバイス３０，４０によって、ユーザＵ３のみが仮想画像Ｐ３の手回しローラを視認している状態であるが、手回しローラを実際に用いて、仮想画像Ｐ３などの映像に対応させて、ユーザＵ３が手回しローラを実際に回しても良い。ウェアラブルデバイス３０，４０は、ユーザＵ３による仮想画像Ｐ３の手回しローラを回転させる動作や動作量に対応して、移動体１の移動体端末装置１０に制御信号を送信して、エンジンの回転数等を制御し、動作量に応じた電力量をバッテリに充電しても良い。また、充電量をウェアラブルデバイス３０，４０によって、ユーザＵ３に報知しても良い。

（第４変形例）
第４変形例においては、図１２Ｂに示すように、ウェアラブルデバイス３０，４０を装着したユーザＵ４は、例えば足こぎローラなどの仮想画像Ｐ４を視認できる。なお、通常は、ウェアラブルデバイス３０，４０によって、ユーザＵ４のみが仮想画像Ｐ４の足こぎローラを視認している状態であるが、ユーザＵ４が足こぎローラを実際に用いて、仮想画像Ｐ４などの映像に対応させて、ユーザＵ４がペダルを実際に漕いでも良い。ウェアラブルデバイス３０，４０は、ユーザＵ４による仮想画像Ｐ４のペダルを漕ぐ動作や、漕いだ動作量に対応した制御信号を、移動体端末装置１０に送信しても良い。この場合、ユーザＵ４が漕いだ動作量に対応させてエンジンの回転数等を制御し、バッテリを充電したり、ユーザＵ４が漕いだ動作量に対応させて移動体１を移動させたりしても良い。また、ウェアラブルデバイス３０，４０によって、バッテリへの充電量や移動体１の移動量をユーザＵ４に報知しても良い。

（第５変形例）
第５変形例においては、図１２Ｃに示すように、ウェアラブルデバイス３０，４０を装着したユーザＵ５が例えば足踏みやもも上げなどをした場合に、ウェアラブルデバイス３０，４０から、足踏みやもも上げの動作や動作量に対応した制御信号を、移動体端末装置１０に送信しても良い。なお、ウェアラブルデバイス３０，４０からユーザＵ５に対して、足踏みやもも上げの動作を促す表示や音声などを出力しても良い。この場合、ユーザＵ５は、ウェアラブルデバイス３０，４０からの出力に対応して足踏みやもも上げなどの動作を行う。移動体端末装置１０は、ユーザＵ５が行った足踏みまたはもも上げやそれらの回数等に対応させて、エンジンの回転数やギヤ段等を制御して、バッテリを充電したり移動体１を移動させたりしても良い。また、ウェアラブルデバイス３０，４０によって、バッテリへの充電量や移動体１の移動量をユーザＵ５に報知しても良い。

（第６変形例）
第６変形例においては、図１２Ｄに示すように、ウェアラブルデバイス３０，４０を装着したユーザＵ６は、例えばダンベルなどの仮想画像Ｐ５を視認できる。なお、通常は、ウェアラブルデバイス３０，４０によって、ユーザＵ６のみが仮想画像Ｐ５のダンベルを視認している状態であるが、ダンベルや棒などを実際に用いて、仮想画像Ｐ５のダンベルなどの映像に対応させて、ユーザＵ６がダンベルや棒などを実際に上下させても良い。ウェアラブルデバイス３０，４０は、ユーザＵ６による仮想画像Ｐ５のダンベルを上下させる動作や動作量に対応して、移動体端末装置１０に制御信号を送信して、エンジンの回転数等を制御し、動作量に応じた電力量をバッテリに充電しても良い。また、充電量をウェアラブルデバイス３０，４０によって、ユーザＵ６に報知しても良い。

（第７変形例）
第７変形例においては、図１２Ｅに示すように、ウェアラブルデバイス３０，４０を装着したユーザＵ７が例えば腕を左右に振る運動などを行った場合に、ウェアラブルデバイス３０，４０から、腕の動作や動作量に対応した制御信号を、移動体端末装置１０に送信しても良い。なお、ウェアラブルデバイス３０，４０からユーザＵ７に対して、足踏みの動作を促す表示や音声などを出力しても良い。この場合、ユーザＵ５は、ウェアラブルデバイス３０，４０からの出力に対応して足踏みなどの動作を行う。移動体端末装置１０は、ユーザＵ７が行った足踏みやその回数等に対応させて、エンジンの回転数やギヤ段等を制御して、バッテリを充電したり移動体１を移動させたりしても良い。また、ウェアラブルデバイス３０，４０によって、バッテリへの充電量や移動体１の移動量をユーザＵ７に報知しても良い。

上述したユーザＵ１は主として運転手であるが、ユーザＵ２～Ｕ７は、運転手であっても、移動体１に搭乗した同乗者であっても良い。これにより、運転手以外の他の搭乗者も、仮想画像に対応した自らの動作によって、移動体１の周辺領域を認識できたり、移動体１を制御したりできるので、移動体１に搭乗する楽しさを享受できる。また、上述した第３～第７変形例においては、ユーザの動作に対応して、バッテリを充電したり移動体１を移動させたりする例について説明したが、必ずしもバッテリの充電や移動体１の移動に限定されない。すなわち、ユーザの動作に対応させた移動体１に対する種々の制御は、任意に設定できる。

（記録媒体）
上述の一実施形態において、移動体端末装置、第１ウェアラブルデバイス、または第２ウェアラブルデバイスに実行させるプログラムを、コンピュータその他の機械やウェアラブルデバイス等の装置（以下、コンピュータ等、という）が読み取り可能な記録媒体に記録することができる。コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、当該コンピュータ等が移動体制御装置として機能する。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる非一時的な記録媒体をいう。このような記録媒体のうちのコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ＢＤ、ＤＡＴ、磁気テープ、フラッシュメモリ等のメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ＲＯＭ等がある。さらに、ＳＳＤは、コンピュータ等から取り外し可能な記録媒体としても、コンピュータ等に固定された記録媒体としても利用可能である。

また、一実施形態による車両端末装置、第１ウェアラブルデバイス、および第２ウェアラブルデバイスおよびサーバに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

以上、本開示の一実施形態について具体的に説明したが、本開示は、上述の一実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。例えば、上述の一実施形態において挙げた仮想画像や動作はあくまでも例に過ぎず、これと異なる仮想画像や動作であっても良い。

（その他の実施形態）
上述した一実施形態においては、ユーザが装着可能な眼鏡型のウェアラブルデバイスや腕時計型のウェアラブルデバイスを用いた例を説明していたが、これらに限定されることなく、上述した一実施形態は、種々のウェアラブルデバイスに適用できる。例えば図１３に示すように撮像機能を有するコンタクトレンズ型のウェアラブルデバイス１００Ａに適用できる。さらに、図１４に示すウェアラブルデバイス１００Ｂまたは図１５に示す脳内チップ型のウェアラブルデバイス１００ＣのようにユーザＵ１００の脳へ直接的に伝達する装置にも適用できる。さらに、図１６に示すウェアラブルデバイス１００Ｄのようにバイザーを備えたヘルメット形状に構成しても良い。この場合は、ウェアラブルデバイス１００Ｄは、バイザーに画像を投影して表示しても良い。

また、上述した一実施形態では、第１ウェアラブルデバイスがユーザＵ１の網膜に投影することによって画像を視認させていたが、例えば眼鏡等のレンズ３９に画像を投影して表示するものであっても良い。

また、一実施形態においては、上述してきた「部」を、「回路」等に読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本実施形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。本開示のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 移動体
２ ネットワーク
１０，１０Ａ 移動体端末装置
１１，１１Ａ，２１，３８，４９ 制御部
１２ 撮像部
１３ センサ群
１３ａ，３３，４５ 視線センサ
１３ｂ 車速センサ
１３ｃ 開閉センサ
１３ｄ シートセンサ
１３ｅ 動作センサ
１５ カーナビゲーション
１６，２２，３７，４８ 通信部
１７，２３ 記憶部
１７ａ 地図データベース
１８ 走行部
１９ 室内設備
２０ 交通情報サーバ
２３ａ 交通情報データベース
２４ 交通情報収集部
３０ 第１ウェアラブルデバイス
３１，４１ 撮像装置
３２，４２ 挙動センサ
３４ 投影部
３５ ＧＰＳセンサ
３６，４６ 装着センサ
３９ レンズ
４０ 第２ウェアラブルデバイス
４３ 音声入力装置
４４，１５２ａ 表示部
４７ 操作部
１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ ウェアラブルデバイス
１１１，３８１，４９１ 取得部
１１２，３８２，４９２ 判定部
１１３，３８３，４９３ 生成部
１１４，３８４，４９４ 出力制御部
１５１ 測位部
１５２ 報知部
１５２ｂ 音声出力部
３８５，４９５ 走行制御部

Claims (8)

1. ハードウェアを有するプロセッサを備え、
   前記プロセッサは、
   バッテリおよび所定の操作子を有し自律走行可能な移動体の内部の空間情報を取得し、
   前記空間情報に基づいて前記移動体の前記操作子の情報を含む仮想画像を生成して前記移動体に搭乗したユーザが視認可能な表示部に出力し、
   前記ユーザが前記操作子を操作する動作を行った場合に、前記ユーザの前記動作の検出結果を取得し、
   前記検出結果における前記ユーザの前記動作に基づいて、前記操作子を操作する動作の運動量に対応させて、前記バッテリへの蓄電に対する制御信号を出力して、前記バッテリに蓄電する制御を行う
   移動体制御装置。
2. 前記操作子は、手こぎハンドル、手回しローラ、足こぎローラ、ダンベル、または棒である
   請求項１に記載の移動体制御装置。
3. 前記プロセッサは、
   前記移動体の安全度を算出し、
   前記安全度が安全であることを示す所定の基準を満たす場合に、前記制御信号を前記移動体に出力し、
   前記安全度が前記所定の基準を満たしていない場合に、前記移動体に対する前記制御信号の出力を遮断する
   請求項１または２に記載の移動体制御装置。
4. 前記プロセッサは、
   前記移動体の位置情報と前記位置情報に基づく交通情報とを取得し、
   前記交通情報に基づいて、前記移動体が渋滞に巻き込まれていると判定した場合に、前記制御信号を前記移動体に出力する
   請求項１～３のいずれか１項に記載の移動体制御装置。
5. 前記プロセッサは、
   前記移動体の位置情報と前記位置情報に基づく交通情報とを取得し、
   前記ユーザが、あらかじめ設定された動作を行った場合に、前記交通情報に基づいて前記移動体の外部の状態を前記移動体の上方の視点で見た仮想画像を生成し、前記表示部に出力する
   請求項１～４のいずれか１項に記載の移動体制御装置。
6. 前記表示部は、前記ユーザが装着するウェアラブルデバイスに設けられている
   請求項１～５のいずれか１項に記載の移動体制御装置。
7. ハードウェアを有するプロセッサが、
   第１センサから、バッテリおよび所定の操作子を有し自律走行可能な移動体の内部の空間情報を取得し、
   前記空間情報に基づいて前記移動体の前記操作子の情報を含む仮想画像を生成して前記移動体に搭乗したユーザが視認可能な表示部に出力し、
   前記移動体に搭乗した前記ユーザが前記操作子を操作する動作を行った場合に、第２センサが検出した前記ユーザの前記動作の検出結果を取得し、
   前記検出結果における前記ユーザの前記動作に基づいて、前記操作子を操作する動作の運動量に対応させて、前記バッテリへの蓄電に対する制御信号を出力して、前記バッテリに蓄電する制御を行う
   移動体制御方法。
8. ハードウェアを有するプロセッサに、
   バッテリおよび所定の操作子を有し自律走行可能な移動体の内部の空間情報を取得し、
   前記空間情報に基づいて前記移動体の前記操作しの情報を含む仮想画像を生成して表示部に出力し、
   前記移動体に搭乗したユーザが前記操作子を操作する動作を行った場合に、前記ユーザの前記動作の検出結果を取得し、
   前記検出結果における前記ユーザの前記動作に基づいて、前記操作子を操作する動作の運動量に対応させて、前記バッテリへの蓄電に対する制御信号を出力して、前記バッテリに蓄電させる制御を行う
   ことを実行させるプログラム。

Images