JP2024039760A - 情報処理システム - Google Patents

Abstract

【課題】移動体の乗員と、移動体とは異なる場所にいる利用者との双方に与える臨場感を高めることができる情報処理システムを提供すること。【解決手段】乗員が搭乗する移動体に搭載される第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置とを備える情報処理システムであって、前記第１装置は、前記第２装置の第２通信装置と通信する第１通信装置とカメラユニットとを有し、前記第２装置は、前記第１通信装置と通信する前記第２通信装置と、前記利用者の指向方向およびジェスチャーを検知するための検知装置と、前記カメラユニットが撮像した画像のうち、前記所定の座席から見た前記指向方向に対応する画像を表示する表示装置とを有し、前記第２装置は、検知された前記指向方向および前記ジェスチャーに基づいて、前記利用者が指向する前記移動体の操作部と前記操作部への操作内容を決定する、情報処理システム。【選択図】図１

Description

本発明は、情報処理システムに関する。

従来、車両等の移動体に搭載された装置と、移動体とは別の場所で使用される装置との間で通信を行い、車外風景の画像等を共有することについて研究が進められている（特許文献１）。

特開２０２０－９４９５８号公報

従来の技術では、移動体の乗員と、移動体とは異なる場所にいる利用者との双方にとって、臨場感が十分に感じられない場合があった。

本発明は、このような事情を考慮してなされたものであり、移動体の乗員と、移動体とは異なる場所にいる利用者との双方に与える臨場感を高めることができる情報処理システムを提供することを目的の一つとする。

この発明に係る情報処理システムは、以下の構成を採用した。
（１）：この発明の一態様に係る情報処理システムは、乗員が搭乗する移動体に搭載される第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置と、を備える情報処理システムであって、前記第１装置は、前記第２装置の第２通信装置と通信する第１通信装置と、前記移動体の所定の座席上に設けられ、前記所定の座席から見た前記移動体内を撮像可能な室内カメラを少なくとも含む、一以上のカメラを有するカメラユニットと、を有し、前記第２装置は、前記第１通信装置と通信する前記第２通信装置と、前記利用者の指向方向およびジェスチャーを検知するための検知装置と、前記カメラユニットが撮像した画像のうち、前記所定の座席から見た前記指向方向に対応する画像を表示する表示装置と、を有し、前記第２装置は、検知された前記指向方向および前記ジェスチャーに基づいて、前記画像のうち、前記利用者が指向する前記移動体の操作部と、前記操作部への操作内容を決定し、前記第２通信装置は、決定された前記操作部への操作内容を前記第１通信装置に送信する、情報処理システム。

（２）：上記（１）の態様において、前記表示装置は、前記ジェスチャーに応じて、前記操作部の位置を変更して表示するものである。

（３）：上記（１）の態様において、前記表示装置は、前記ジェスチャーに応じて、前記操作部のサイズを変更して表示するものである。

（４）：上記（１）の態様において、前記表示装置は、複数の前記操作部のうち、前記利用者が操作可能な操作部をハイライト表示させるものである。

（５）：上記（１）の態様において、前記第２装置は、前記利用者に設定された前記移動体の操作部への操作権限に基づいて、前記画像のうち、前記利用者に操作を許可する前記移動体の操作部を決定するものである。

（６）：上記（１）の態様において、前記第１装置は、前記利用者が指向する前記操作部を示す画像を表示するディスプレイを更に備えるものである。

（７）：上記（１）の態様において、前記第２通信装置は、前記指向方向の情報を前記第１通信装置に送信し、前記第１装置は、前記カメラユニットが撮像した画像のうち、前記第１通信装置を介して取得される前記指向方向に対応する画像を選択的に前記第２通信装置に送信するように、前記第１通信装置を制御する第１制御装置を更に有し、前記第２装置の表示装置は、前記第２通信装置を介して取得される、前記所定の座席から見て前記指向方向に対応する画像を表示するものである。

（８）：上記（１）の態様において、前記第１通信装置は、前記カメラユニットが撮像した画像を前記第２通信装置に送信し、前記第２装置は、前記カメラユニットが撮像した画像のうち前記指向方向に対応する画像を選択的に前記表示装置に表示させる第２制御装置を更に有するものである。

（９）：上記（１）の態様において、前記表示装置は、ＶＲ（Virtual Reality）ゴーグルの表示装置であり、前記検知装置は、前記ＶＲゴーグルに取り付けられた物理センサを含むものである。

（１０）：上記（１）の態様において、前記移動体は車両であり、前記所定の座席は助手席であるものである。

（１）～（１０）の態様によれば、移動体の乗員と、移動体とは異なる場所にいる利用者との双方に与える臨場感を高めることができる。

情報処理システム１と管理サーバ３００の使用環境等を示す図である。 ユーザデータ３６０の内容の一例を示す図である。 第１装置１００の構成図である。 移動体Ｍにおける第１装置１００の一部の配置例を示す図である。 第２装置２００の構成図である。 指向方向に対応する画像について説明するための図である。 第１制御装置１７０と第２制御装置２７０の機能構成の第１例を示す図である。 第１制御装置１７０と第２制御装置２７０の機能構成の第２例を示す図である。 指向方向に対応する画像の一例を示す図である。 移動体Ｍの操作権限を定義するユーザデータ３６０Ｃの内容の一例を示す図である。 利用者Ｕが操作権限を有する操作領域を示す画像の一例を示す図である。 利用者Ｕのジェスチャーを表す指示画像Ｈを操作領域に重畳表示する方法の一例を示す図である。 利用者Ｕのジェスチャーに応じて、利用者Ｕに対して表示する操作領域の表示態様を変更する方法の一例を示す図である。

以下、図面を参照し、本発明の情報処理システムの実施形態について説明する。情報処理システムは、乗員が搭乗する移動体に搭載される第１装置と、移動体とは異なる場所で利用者によって利用される第２装置と、を含む。移動体とは例えば車両であるが、乗員が搭乗可能なものであれば如何なる移動体でも構わない。また乗員は主に移動体の運転者であるが、運転者以外の乗員であっても構わない。

第１装置と第２装置の間では、マイクによって収集された音声が相手側に送信されてスピーカによって再生されることで電話通話を行っているような状態になり、更に、第１装置のカメラユニットにより撮像された画像の一部が第２装置によって表示されることで、第２装置側にＭＲ（Mixed Reality）が提供される。第１装置と第２装置は一対一の関係である必要は無く、複数の第１装置のうち一つと、複数の第２装置とが一対多の関係でマッチングされることで、情報処理システムとして動作してよい。後者の場合、例えば一人の乗員を複数の利用者と同時に、或いは順番にコミュニケートさせることができる。

＜基本構成＞
図１は、情報処理システム１と管理サーバ３００の使用環境等を示す図である。情報処理システム１は、移動体Ｍに搭載された第１装置（移動体装置）１００と、移動体Ｍとは異なる場所（たまたま近い場所であることは排除されない）で利用者Ｕによって利用される第２装置（利用者装置）２００とを含む。第１装置１００、第２装置２００、および管理サーバ３００のそれぞれは、ネットワークＮＷを介して互いに通信する。情報処理システム１は、管理サーバ３００を含んでもよいし、含まなくてもよい。

管理サーバ３００は、例えば、通信装置３１０、マッチング処理部３２０、および記憶部３５０を備える。記憶部３５０には、ユーザデータ３６０が格納されている。

通信装置３１０は、ネットワークＮＷに接続するための通信インターフェースである。なお、通信装置３１０と第１装置１００の間の通信、および通信装置３１０と第２装置２００の間の通信は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）に即して行われる。

マッチング処理部３２０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサが、記憶媒体に格納されたプログラム（命令群）を実行することで実現される。記憶部３５０は、ＲＡＭ（Random Access Memory）やＨＤＤ（Hard Disk Drive）、フラッシュメモリなどである。

図２は、ユーザデータ３６０の内容の一例を示す図である。ユーザデータ３６０は、例えば、乗員Ｐの識別情報である乗員ＩＤ、その通信識別情報（ＩＰアドレス等）、およびマッチング対象となる利用者Ｕの識別情報である利用者ＩＤが互いに対応付けられた乗員リスト３６０Ａと、利用者ＩＤ、その通信識別情報（ＩＰアドレス等）、およびマッチング対象となる乗員Ｐが互いに対応付けられた利用者リスト３６０Ｂとを含む。ユーザデータ３６０は、これらの情報を包含するものであれば、図２に示す態様に限らず如何なる態様で生成されてもよい。

マッチング処理部３２０は、利用者Ｕから第２装置２００を介して、或いは乗員Ｐから第１装置１００を介してマッチングリクエストを通信装置３１０が受信した場合、ユーザデータ３６０を参照してマッチング利用者Ｕと乗員Ｐのマッチングを行い、マッチングした利用者Ｕの第２装置２００に乗員Ｐの第１装置１００の通信識別情報を、マッチングした乗員Ｐの第１装置１００に利用者Ｕの第２装置２００の通信識別情報を、通信装置３１０を用いてそれぞれ送信する。これらを受信した第１装置１００と第２装置２００の間では、例えばＵＤＰ（User Datagram Protocol）に即した、よりリアルタイム性の高い通信が行われる。

図３は、第１装置１００の構成図である。第１装置１００は、例えば、第１通信装置１１０と、第１マイク１２０と、カメラユニット１３０と、第１スピーカ１４０と、利用者表示装置１５０と、ＨＭＩ（Human machine Interface）１６０と、第１制御装置１７０とを含む。第１制御装置１７０は、移動体Ｍに搭載された制御対象機器１９０に接続される。

第１通信装置１１０は、管理サーバ３００の通信装置３１０、および第２装置２００の第２通信装置２１０のそれぞれとネットワークＮＷを介して通信するための通信インターフェースである。

第１マイク１２０は、少なくとも乗員Ｐの発した音声を収集する。第１マイク１２０は、移動体Ｍの室内に設けられ、移動体Ｍの外部の音声も収集可能な感度を有するものでもよいし、移動体Ｍの室内に設けられたマイクと移動体Ｍの外部に設けられたマイクとを含んでもよい。第１マイク１２０の収集した音声は、例えば、第１制御装置１７０を経由して、第１通信装置１１０によって第２通信装置２１０に送信される。

カメラユニット１３０は、少なくとも室内カメラ１３２を含み、室外カメラ１３４を含んでもよい。第１スピーカ１４０は、第１通信装置１１０を介して取得された、利用者Ｕの発した音声を出力する。カメラユニット１３０、および第１スピーカ１４０の配置等の詳細については、後に図４を参照して説明する。

利用者表示装置１５０は、利用者Ｕが移動体Ｍの室内に存在するかのように仮想的に利用者Ｕを表示する。例えば、利用者表示装置１５０は、ホログラムを出現させたり、移動体Ｍのミラーやウインドウに相当する部分に利用者Ｕを表示する。

ＨＭＩ１６０は、タッチパネルや音声応答装置（エージェント装置）等である。ＨＭＩ１６０は、第１装置１００に対する乗員Ｐの各種指示を受け付ける。

第１制御装置１７０は、例えば、例えばＣＰＵ等のプロセッサと、プロセッサに接続され、プログラム（命令群）を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第１装置１００の各部を制御する。

制御対象機器１９０は、例えば、移動体Ｍに搭載されたナビゲーション装置、運転支援装置などである。

図４は、移動体Ｍにおける第１装置１００の一部の配置例を示す図である。室内カメラ１３２は、例えば、アタッチメント１３２Ａを介して助手席Ｓ２（「所定の座席」の一例）のネックピローに取り付けられ、助手席Ｓ２のバックレストから若干、移動体Ｍの進行方向側に乖離した位置に設けられる。室内カメラ１３２は、広角レンズを有し、図中のハッチングされた領域１３２Ｂで表される範囲を撮像可能である。室内カメラ１３２は、移動体Ｍの室内だけでなく、ウインドウを介して室外も撮影可能である。以下の説明では助手席Ｓ２が所定の座席であるものとするが、所定の座席は後部座席などの他の座席であってもよい。

室外カメラ１３４は、例えば、複数の子室外カメラ１３４－１～１３４－４を含む。複数の子室外カメラ１３４－１～１３４－４の撮像した画像を合成することで、移動体Ｍの外部を撮像したパノラマ画像のような画像が得られる。室外カメラ１３４は、これらに代えて（或いは、加えて）、移動体Ｍのルーフ上に設けられた広角カメラを含んでもよい。なお室内カメラ１３２として、助手席Ｓ２の後方を撮像可能なカメラが追加されてもよく、後述する移動体画像は、第１制御装置１７０により、一以上の室内カメラ１３２の撮像した画像を結合して３６０度のパノラマ画像として生成されてもよいし、室内カメラ１３２の撮像した画像と室外カメラ１３４の撮像した画像を適宜結合して３６０度のパノラマ画像として生成されてもよい。

第１スピーカ１４０は、第１通信装置１１０を介して取得された利用者Ｕの音声を出力する。第１スピーカ１４０は、例えば、複数の子第１スピーカ１４０－１～１４０－５を含む。例えば、子第１スピーカ１４０－１はインストルメントパネル中央部に、子第１スピーカ１４０－２はインストルメントパネル左端部に、子第１スピーカ１４０－３はインストルメントパネル右端部に、子第１スピーカ１４０－４は左側ドア下部に、子第１スピーカ１４０－５は右側ドア下部に、それぞれ配置される。第１制御装置１７０は、利用者Ｕの音声を第１スピーカ１４０に出力させる場合、例えば、子第１スピーカ１４０－２および子第１スピーカ１４０－４から同程度のボリュームで音声を出力させ、その他の子第１スピーカをオフにすることで、運転席Ｓ１に着座した乗員Ｐに対して、助手席Ｓ２から音声が聞こえるように音像定位させる。また、音像定位の方法はボリュームの調整に限らず、それぞれの子第１スピーカが出力する音の位相をずらすことで行われてもよい。例えば、左側から聞こえるように音像定位させる場合、左側の子第１スピーカから音を出力させるタイミングを、右側の子第１スピーカから同じ音を出力させるタイミングよりもわずかに早くすればよい。

また、第１制御装置１７０は、利用者Ｕの音声を第１スピーカ１４０に出力させる場合、乗員Ｐに対して、助手席Ｓ２上の利用者Ｕの頭部の高さに応じた高さの位置から音声が聞こえるように音像定位させて、第１スピーカ１４０に利用者Ｕの発した音声を出力させてもよい。この場合、第１スピーカ１４０は高さの異なる複数の子第１スピーカ１４０－ｋ（ｋは複数の自然数）を有する必要がある。

図５は、第２装置２００の構成図である。第２装置２００は、例えば、第２通信装置２１０と、第２マイク２２０と、検知装置２３０と、第２スピーカ２４０と、移動体画像表示装置２５０と、ＨＭＩ２６０と、第２制御装置２７０とを含む。検知装置２３０は、例えば、指向方向検知装置２３２と、頭部位置検知装置２３４と、モーションセンサ２３６とを含む。

第２通信装置２１０は、管理サーバ３００の通信装置３１０、および第１装置１００の第１通信装置１１０のそれぞれとネットワークＮＷを介して通信するための通信インターフェースである。

第２マイク２２０は、利用者Ｕの発した音声を収集する。第２マイク２２０の収集した音声は、例えば、第２制御装置２７０を経由して、第２通信装置２１０によって第１通信装置１１０に送信される。

指向方向検知装置２３２は、指向方向を検知するための装置である。指向方向とは、利用者Ｕの顔向きまたは視線の向き、或いはそれらの双方に基づく向きである。或いは、利用者Ｕが使用する端末装置を傾ける動作や画面をスワイプする動作などのように、腕や指の動きによって指し示される向きであってもよい。以下では指向方向は、水平面内での角度、つまり上下方向の成分を有さない角度であるものとするが、指向方向は、上下方向の成分も含む角度であってもよい。指向方向検知装置２３２は、後述するＶＲゴーグルに取り付けられた物理センサ（例えば、加速度センサ、ジャイロセンサなど）を含んでもよいし、利用者Ｕの頭部の複数の位置を検出する赤外線センサ、或いは利用者Ｕの頭部を撮像するカメラであってもよい。いずれの場合も第２制御装置２７０は、指向方向検知装置２３２から入力された情報に基づいて指向方向を算出する。これについて種々の技術が公知となっているため詳細な説明を省略する。

頭部位置検知装置２３４は、利用者Ｕの頭部の位置（高さ）を検知するための装置である。例えば、利用者Ｕが着座する椅子の周囲に設けられた一以上の赤外線センサ、或いは光学センサが頭部位置検知装置２３４として用いられる。この場合、第２制御装置２７０は、一以上の赤外線センサ、或いは光学センサによる検出信号の有無に基づいて利用者Ｕの頭部の位置を検知する。また、頭部位置検知装置２３４は、ＶＲゴーグルに取り付けられた加速度センサでもよい。この場合、第２制御装置２７０は、加速度センサの出力から重力加速度を差し引いたものを積分することで利用者Ｕの頭部の位置を検知する。このように取得される頭部の位置の情報は、高さ情報として第２制御装置２７０に提供される。利用者の頭部の位置は、ＨＭＩ２６０に対する利用者Ｕの操作に基づいて取得されてもよい。例えば、利用者Ｕは身長を数字でＨＭＩ２６０に入力してもよいし、ＨＭＩ２６０に含まれるダイヤルスイッチを用いて身長を入力してもよい。これらの場合、身長から頭部の位置すなわち高さ情報が計算される。また、利用者Ｕは、連続値ではなく体格：大／中／小といった離散値をＨＭＩ２６０に入力してもよい。この場合、体格を示す情報に基づいて高さ情報が取得される。また、利用者の頭部の高さを特段、取得せず、一般的な成人の体格（男女別であってよい）に基づいて簡易的に利用者Ｕの頭部の高さが取得されてもよい。

モーションセンサ２３６は、利用者Ｕが行うジェスチャー操作を認識するための装置である。例えば、利用者Ｕの上半身を撮像するカメラがモーションセンサ２３６として用いられる。この場合、第２制御装置は、カメラが撮像した画像から利用者Ｕの身体の特徴点（指先、手首、肘など）を抽出し、特徴点の動きに基づいて利用者Ｕのジェスチャー操作を認識する。

第２スピーカ２４０は、第２通信装置２１０を介して取得された、乗員Ｐの発した音声を出力する。第２スピーカ２４０は、例えば音声の聞こえる方向を変更する機能を有する。第２制御装置２７０は、利用者Ｕに対して、助手席Ｓ２からみた乗員Ｐの位置から音声が聞こえるように、第２スピーカに音声を出力させる。第２スピーカ２４０は、複数の子第２スピーカ２４０－ｎ（ｎは複数の自然数）を含み、第２制御装置２７０がそれぞれの子第２スピーカ２４０－ｎのボリュームを調整することで音像定位がなされてもよいし、ＶＲゴーグルにヘッドホンが付随している場合はヘッドホンの機能を利用して音像定位がなされてもよい。

移動体画像表示装置２５０は、カメラユニット１３０が撮像した画像（前述した結合処理が行われた画像であってもよく、以下では移動体画像と称する）のうち、助手席から見た指向方向に対応する画像を表示する。図６は、指向方向に対応する画像について説明するための図である。この図の例では、ＶＲゴーグル２５５に指向方向検知装置２３２、頭部位置検知装置２３４としての物理センサ、および移動体画像表示装置２５０が含まれている。第２制御装置２７０は、予めキャリブレーションされた方向を基準方向としてＶＲゴーグル２５５の向く方向を指向方向φとして検知する。係る機能については既に種々の手法が公知となっているため詳細な説明を省略する。

移動体画像表示装置２５０は、移動体画像Ａ１（図では２４０度程度の角度を有するが、前述したように結合処理によって画角が拡張されてもよい）のうち、指向方向φを中心としたプラスマイナスαの角度範囲の画像Ａ２を利用者Ｕに向けて表示する。

ＨＭＩ２６０は、タッチパネルや音声応答装置（エージェント装置）、或いは上記したスイッチ等である。ＨＭＩ２６０は、第２装置２００に対する乗員Ｐの各種指示を受け付ける。

第２制御装置２７０は、例えば、例えばＣＰＵ等のプロセッサと、プロセッサに接続され、プログラム（命令群）を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第２装置２００の各部を制御する。

＜機能構成＞
以下、第１制御装置１７０と第２制御装置２７０の機能構成について説明する。
［第１例］
図７は、第１制御装置１７０と第２制御装置２７０の機能構成の第１例を示す図である。第１例において、第１制御装置１７０は、マッチングリクエスト／承諾部１７１と、音声出力制御部１７２と、画像送信部１７３と、搭載機器連携部１７４とを含む。第２制御装置２７０は、マッチングリクエスト／承諾部２７１と、音声出力制御部２７２と、指向方向検知部２７３と、頭部位置検知部２７４と、ジェスチャー入力検知部２７５と、画像編集部２７６と、移動体画像表示制御部２７７とを含む。これらの機能部は、例えば、ＣＰＵなどのプロセッサがプログラム（命令群）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

マッチングリクエスト／承諾部１７１は、ＨＭＩ１６０を用いて乗員Ｐからのマッチングリクエストの入力を受け付け、管理サーバ３００に送信したり、ＨＭＩ１６０を用いて管理サーバ３００から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ３００に送信したりする。マッチングリクエスト／承諾部１７１は、マッチングが成立した利用者Ｕの第２装置２００を通信相手とするように第１通信装置１１０を制御する。

音声出力制御部１７２は、前述したように第１スピーカ１４０を制御する。

画像送信部１７３は、第１通信装置１１０を用いて、第２装置２００に移動体画像Ａ１を送信する。

搭載機器連携部１７４は、第２装置２００から入力された指示信号に基づいて、制御対象機器１９０を制御する。

マッチングリクエスト／承諾部２７１は、ＨＭＩ２６０を用いて利用者Ｕからのマッチングリクエストの入力を受け付け、管理サーバ３００に送信したり、ＨＭＩ２６０を用いて管理サーバ３００から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ３００に送信したりする。マッチングリクエスト／承諾部２７１は、マッチングが成立した乗員Ｐの第１装置１００を通信相手とするように第２通信装置２１０を制御する。

音声出力制御部２７２は、前述したように第２スピーカ２４０を制御する。

指向方向検知部２７３は、指向方向検知装置２３２の出力に基づいて、指向方向φを検知する。頭部位置検知部２７４は、頭部位置検知装置２３４の出力に基づいて、利用者Ｕの頭部の高さを検知する。頭部位置は、三次元の座標として表されてもよいし、単に頭部の高さが頭部位置として検知されてもよい。ジェスチャー入力検知部２７５は、モーションセンサ２３６の出力に基づいて、利用者Ｕのジェスチャー入力を検知する。

画像編集部２７６は、移動体画像Ａ１から、助手席から見た指向方向φに対応する画像Ａ２を切り出す処理を行う（図６）。移動体画像表示制御部２７７は、画像編集部２７６によって切り出された画像Ａ２を、移動体画像表示装置２５０に表示させる。このとき、画像編集部２７６は、利用者Ｕの頭部の高さ情報が示す高さから見た指向方向φに対応する画像を移動体画像表示装置２５０に表示させてもよい。

［第２例］
図８は、第１制御装置１７０と第２制御装置２７０の機能構成の第２例を示す図である。図７の第１例と比較すると、第１制御装置１７０が画像編集部１７５を含み、第２制御装置２７０が画像編集部２７６を含まず指向方向送信部２７８を含む点で相違する。その他の構成要素に関しては基本的に第１例と同じ機能を有するため再度の説明を省略する。

指向方向送信部２７８は、指向方向検知部２７３が検知した指向方向φを、第２通信装置２１０を用いて第１装置１００に送信する。

画像編集部１７５は、移動体画像Ａ１から、助手席から見た指向方向φ（第２装置２００から送信されてきたもの）に対応する画像Ａ２を切り出す処理を行う（図６）。このとき、画像編集部１７５は、利用者Ｕの頭部の高さ情報を第２装置２００から取得しておき、高さ情報が示す高さから見た指向方向φに対応する画像Ａ２を切り出す処理を行ってもよい。

第２例における画像送信部１７３は、第１通信装置１１０を用いて、第２装置２００に、画像編集部１７５によって切り出された画像Ａ２を送信する。そして、移動体画像表示制御部２７７は、第１装置１００から送信されてきた画像Ａ２を移動体画像表示装置２５０に表示させる。

＜ジェスチャーによる操作＞
図９は、指向方向に対応する画像の一例を示す図である。図９に表す画像は、移動体画像表示装置２５０が、カメラユニット１３０が撮像した画像のうち、助手席から見た指向方向に対応する画像（以下、「指向画像」と称する場合がある）を利用者Ｕに対して表示したものである。図９の指向画像において、操作領域ＯＡは、移動体ＭのＨＭＩ１６０に表示された操作領域をそのまま（又は簡略化して）利用者Ｕに対して表示したものであり、利用者ＵによるＨＭＩ１６０の遠隔操作を可能にする。以下で詳細に説明する通り、利用者Ｕが操作領域ＯＡに対して施した操作の内容は、第２通信装置２１０によって第１装置１００に送信され、第１装置１００は、当該操作内容を移動体Ｍに実行させる。図９に示す通り、操作領域ＯＡは、例えば、操作領域ＯＡ１からＯＡ６などの複数の操作領域を含む。

まず、第２装置２００は、指向画像の操作領域ＯＡ１からＯＡ６のうち、指向方向検知部２７３によって検知された利用者Ｕの指向方向φに対応する操作領域を特定する。例えば、利用者Ｕが「周辺検索」を示す操作領域ＯＡ１に自身の指向方向φを向けて指を指すジェスチャーを行った場合、移動体画像表示装置２５０は、移動体Ｍを中心とする所定距離内に存在する店舗／施設情報を指向画像に重畳して、例えば、マップとして表示させる。同時に、第２通信装置２１０は、当該操作情報を第１装置１００に送信し、第１装置１００は、当該操作情報を受信することに応じて、移動体Ｍを中心とする所定距離内に存在する店舗／施設情報を、移動体ＭのＨＭＩ１６０に表示させる。図９は、利用者Ｕが「周辺検索」へのジェスチャーを行った結果、移動体Ｍの周辺にある店舗／施設情報がマップとして表示されている場面を表している。これにより、乗員Ｐは、移動体Ｍを運転中であっても、自身がＨＭＩ１６０を操作することなく、移動体Ｍの周囲の情報を確認することができる。

さらに、図９に示す場面において、第２装置２００は、マップのうち、指向方向検知部２７３によって検知された利用者Ｕの指向方向φに対応する地点を特定する。例えば、図９の場合、マップ上に地点Ｐ１からＰ３が表示され、指向方向検知部２７３は、利用者Ｕの指向方向φに対応する地点として地点Ｐ１を特定する。地点Ｐ１が特定された状態において、ジェスチャー入力検知部２７５が、当該地点Ｐ１を操作する利用者Ｕのジェスチャーを検知した場合、第２装置２００は、検知されたジェスチャーに対応する地点Ｐ１に対応する操作を実行する。例えば、図９の場合、利用者Ｕが地点Ｐ１に向けて指を指すジェスチャーを行った場合、移動体画像表示装置２５０は、当該地点Ｐ１に対応する店舗の詳細情報（例えば、メニュー情報）を指向画像に重畳して表示させる。

また、例えば、利用者Ｕが「オーディオ」を示す操作領域ＯＡ２に自身の指向方向φを向けて指を指すジェスチャーを行った場合、音声出力制御部２７２は、第２スピーカ２４０に音声を出力させる。同時に、第２通信装置２１０は、当該操作情報を第１装置１００に送信し、第１装置１００は、当該操作情報を受信することに応じて、移動体Ｍのオーディオ機器を再生させる。例えば、利用者Ｕは、ジェスチャーによって操作領域ＯＡ２を操作して再生する楽曲を選択し、音声出力制御部２７２は、第２スピーカ２４０に選択された楽曲を再生させる。同時に、第２通信装置２１０は、選択された楽曲を示す情報を第１装置１００に送信し、第１装置１００は、移動体Ｍのオーディオ機器に当該楽曲を再生させる。これにより、乗員Ｐは、移動体Ｍを運転中であっても、自身がＨＭＩ１６０を操作することなく、音楽を聴くことができる。

また、例えば、利用者Ｕが「設定」を示す操作領域ＯＡ３に自身の指向方向φを向けて指を指すジェスチャーを行った場合、移動体画像表示装置２５０は、移動体Ｍの設定変更に関する画面を指向画像に重畳して表示させる。利用者Ｕは、移動体Ｍの設定変更に関する画面上でさらにジェスチャーを行うことによって移動体Ｍの設定を変更する。同時に、第２通信装置２１０は、当該操作情報を第１装置１００に送信し、第１装置１００は、当該操作情報を受信することに応じて、移動体Ｍの設定を変更する。例えば、利用者Ｕは、ジェスチャーによって操作領域ＯＡ３を操作して移動体Ｍの空調設定を変更し、第２通信装置２１０は、変更された空調設定を示す情報を第１装置１００に送信する。第１装置１００は、変更された空調設定を示す情報に基づいて、移動体Ｍの空調設定を変更する。これにより、乗員Ｐは、移動体Ｍを運転中であっても、自身がＨＭＩ１６０を操作することなく、移動体Ｍの空調設定を変更することができる。

また、例えば、利用者Ｕが「ナビ」を示す操作領域ＯＡ４に自身の指向方向φを向けて指を指すジェスチャーを行った場合、移動体画像表示装置２５０は、移動体Ｍのナビゲーション設定の変更に関する画面を指向画像に重畳して表示させる。利用者Ｕは、移動体Ｍのナビゲーション設定の変更に関する画面上でさらにジェスチャーを行うことによって移動体Ｍのナビゲーション設定を変更する。同時に、第２通信装置２１０は、当該操作情報を第１装置１００に送信し、第１装置１００は、当該操作情報を受信することに応じて、移動体Ｍのナビゲーション設定を変更する。例えば、利用者Ｕは、ジェスチャーによって操作領域ＯＡ４を操作して、移動体Ｍの目的地を変更し、第２通信装置２１０は、変更された目的地を示す情報を第１装置１００に送信する。第１装置１００は、変更された目的地を示す情報に基づいて、移動体Ｍの目的地を変更する。これにより、乗員Ｐは、移動体Ｍを運転中であっても、自身がＨＭＩ１６０を操作することなく、移動体Ｍの目的地を変更することができる。

また、例えば、利用者Ｕがハザードランプを示す操作領域ＯＡ５に自身の指向方向φを向けて指を指すジェスチャーを行った場合、第２通信装置２１０は、当該操作情報を第１装置１００に送信し、第１装置１００は、当該操作情報を受信することに応じて、移動体Ｍのハザードランプを点滅させる。これにより、乗員Ｐは、移動体Ｍを運転中であっても、自身がＨＭＩ１６０を操作することなく、ハザードランプを点滅させて、移動体Ｍの周辺車両に対する注意喚起を行うことができる。

なお、上記の操作領域ＯＡ１からＯＡ５はあくまでも一例であり、移動体Ｍの任意の制御に関する操作領域を移動体画像表示装置２５０に表示させ、利用者Ｕにジェスチャーによって操作させてもよい。例えば、操作領域は、移動体Ｍのウインドウを開閉するための操作領域、移動体Ｍのワイパーを動作させるための操作領域、地点を選択することによって表示された店舗メニューを選択し決済を行うための操作領域などを含んでもよい。

＜操作権限＞
このように、本実施形態において、移動体画像表示装置２５０は、利用者Ｕが移動体Ｍを遠隔操作するための操作領域を画像に重畳表示させるが、あらゆる乗員Ｐと利用者Ｕの組み合わせについて、利用者Ｕにあらゆる操作領域を操作させることは好ましくない場合がある。より具体的には、乗員Ｐと利用者Ｕが親密な関係にある場合には、利用者Ｕにより多くの操作領域を操作させる一方、乗員Ｐと利用者Ｕが疎遠な関係にある場合には、利用者Ｕにより少ない操作領域を操作させることが好ましい。そこで、本実施形態において、管理サーバ３００は、乗員Ｐと利用者Ｕの組み合わせに対して、当該利用者Ｕの操作領域の範囲（すなわち、操作権限）を定義するユーザデータ３６０Ｃを事前に記憶部３５０に記憶し、乗員Ｐと利用者Ｕがマッチングした場合には、当該ユーザデータ３６０Ｃを参照して利用者Ｕに操作権限の範囲で操作領域を操作させる。

図１０は、移動体Ｍの操作権限を定義するユーザデータ３６０Ｃの内容の一例を示す図である。ユーザデータ３６０Ｃは、例えば、乗員ＩＤと利用者ＩＤの組み合わせに対して、利用者ＩＤに対応する利用者の操作権限が対応付けられたものである。ユーザデータ３６０Ｃは、例えば、乗員が、各利用者に付与する操作権限を事前に設定してもよい。このとき、乗員が各利用者の一人一人に対して操作権限を設定することは手間がかかる場合がある。そのため、例えば、ユーザデータ３６０Ｃの二行目および三行目に示す通り、乗員は、全利用者（すなわち、「ＡＬＬ」）に対して付与する操作権限を一律に設定するとともに、より多くの操作権限を付与したい利用者に対して個別に操作権限を設定してもよい。それとは逆に、乗員は、全利用者に対して付与する操作権限を一律に設定するとともに、より少ない操作権限を付与したい利用者に対して個別に操作権限を設定してもよい。

図１１は、利用者Ｕが操作権限を有する操作領域を示す画像の一例を示す図である。図１１に表す画像は、例えば、図９に表す画像の地点Ｐ１を利用者Ｕがジェスチャーによって選択することによって表示されるものである。図１１において、新たに表示された操作領域ＯＡは、操作領域ＯＡ１からＯＡ５、およびメニューを選択するための操作領域ＯＡ６を含む。

移動体画像表示装置２５０は、複数の操作領域のうち、利用者Ｕに操作権限が付与された操作領域のみを明示的に表示することによって、利用者Ｕの利便性を向上させてもよい。例えば、図１１に示す通り、利用者Ｕが移動体Ｍのオーディオ機器を操作する権限のみを有している場合、移動体画像表示装置２５０は、オーディオ機器の操作に対応する操作領域ＯＡ２のみをハイライト表示する。また、例えば、移動体画像表示装置２５０は、オーディオ機器の操作に対応する操作領域ＯＡ２のみを表示し、他の操作領域は非表示にしてもよい。これにより、操作領域を選択して操作する利用者Ｕの利便性を向上させることができる。

＜ジェスチャーの表示＞
さらに、移動体画像表示装置２５０は、ジェスチャー入力検知部２７５によって検知された利用者Ｕのジェスチャーを表す指示画像Ｈを操作領域に重畳表示させてもよい。図１２は、利用者Ｕのジェスチャーを表す指示画像Ｈを操作領域に重畳表示する方法の一例を示す図である。図１２は、図１１に表す画像において、利用者Ｕが表示されたメニュー項目のうちの１つを選択した状況を表している。

この場合、移動体画像表示装置２５０は、利用者Ｕがジェスチャーによって選択したメニュー項目に、利用者Ｕのジェスチャーを表す指示画像Ｈを重畳させるとともに、第２通信装置２１０は、利用者Ｕが当該メニュー項目を選択したことを示す指示情報を第１装置１００に送信する。第１装置１００は、当該指示情報を受信することに応じて、ＨＭＩ１６０に、利用者Ｕのジェスチャーを表す指示画像Ｈを同様に表示させる。これにより、乗員Ｐは、利用者Ｕによる操作をリアルタイムに把握することができる。なお、本実施形態において、移動体画像表示装置２５０は、利用者Ｕのジェスチャーを表す指示画像Ｈとして、手のアイコンを表示させているが、本発明はそのような構成に限定されない。例えば、移動体画像表示装置２５０は、利用者Ｕの手の想定位置を表す影などを表示してもよく、より一般的に、操作領域のうち、利用者Ｕが指向する操作領域を視認可能な形で表示させればよい。第１装置１００は、移動体画像表示装置２５０に表示される画像（利用者Ｕが見てる画像）を、ＨＭＩ１６０に表示させるモードを備えてもよい。

さらに、移動体画像表示装置２５０は、ジェスチャー入力検知部２７５によって検知された利用者Ｕのジェスチャーに応じて、利用者Ｕに対して表示する操作領域の表示態様を変更してもよい。図１３は、利用者Ｕのジェスチャーに応じて、利用者Ｕに対して表示する操作領域の表示態様を変更する方法の一例を示す図である。図１３は、一例として、利用者Ｕが、移動体画像表示装置２５０が表示した操作領域ＯＡをつかんで移動させるジェスチャーを行った状況を表している。

例えば、移動体画像表示装置２５０は、ジェスチャー入力検知部２７５が、利用者Ｕが操作領域ＯＡをつかんで移動させるジェスチャーを行ったことを検知すると、利用者Ｕの手を表す指示画像Ｈを変形して、操作領域ＯＡをつかむように表示させてもよい。この場合、移動体画像表示装置２５０は、利用者Ｕが当該ジェスチャーを行った方向に操作領域ＯＡの位置を変更して表示させる。これにより、利用者Ｕは、画像における操作領域ＯＡの位置を変更して、自身が着目したい画像領域を視認することができる。また、この場合、操作領域ＯＡの奥行き方向の移動や操作領域ＯＡの画面の回転を制限すること、操作領域ＯＡと利用者Ｕの距離を一定に保ちつつ操作領域ＯＡの位置を変更することとしてもよい。これにより、操作領域ＯＡの過剰な揺動を防止でき使用感を向上できる。

また、例えば、移動体画像表示装置２５０は、ジェスチャー入力検知部２７５が、利用者Ｕが操作領域ＯＡをつかんで所定の加速度以上で移動させるジェスチャーを行ったことを検知すると、操作領域ＯＡを非表示にしてもよい。この場合、例えば、移動体画像表示装置２５０は、利用者Ｕが当該ジェスチャーを行った方向に操作領域ＯＡをフェードアウトさせる。これにより、利用者Ｕは、不要な操作領域ＯＡを非表示にして、自身が着目したい画像領域を視認することができる。

また、例えば、移動体画像表示装置２５０は、ジェスチャー入力検知部２７５が、利用者Ｕが操作領域ＯＡを両手でつかんで広げる（狭める）ジェスチャーを行ったことを検知すると、操作領域ＯＡのサイズを拡大（縮小）させてもよい。これにより、利用者Ｕは、画像における操作領域ＯＡのサイズを変更して、自身が着目したい画像領域を視認することができる。

＜その他＞
情報処理システム１において、利用者Ｕが助手席Ｓ２から見た任意の方向を視認できるものとして説明したが、例えばマッチングの際の取り決めによって、利用者Ｕが視認可能な方向に制限が設けられてもよい。例えば、乗員Ｐの側で、移動体Ｍの進行方向の風景、あるいは運転席Ｓ１と反対側の風景は提供してもよいが、自身の姿は表示させたくない、といった要望が発生する場合がある。これは、乗員Ｐと利用者Ｕが、家族、友人といった関係になく、移動体Ｍのドライブフィーリングを確認したい、或いは所望の街の風景を視認したいといったニーズに応える場合を想定したものである。この場合、管理サーバ３００のマッチング処理部３２０がマッチング処理を行う際に、そのような制限が設定され、第１制御装置１７０または第２制御装置２７０が設定に応じて、視認させない角度範囲をマスクしたり、或いは指向方向φが制限された方向に向かないように補正を行ったりする。また、このような制限に関する情報は、乗員Ｐのプライバシーに関するものであるため、第１装置１００の側で設定されてもよい。

＜まとめ＞
以上のように構成される情報処理システム１によれば、移動体Ｍの乗員Ｐと、移動体Ｍとは異なる場所にいる利用者Ｕとの双方に与える臨場感を高めることができる。利用者Ｕに対して、助手席から見た自身の指向方向φに対応する画像が表示され、利用者Ｕは、画像上に表示された操作領域をジェスチャーによって操作することにより、移動体Ｍの動作を遠隔操作することができる。さらに、利用者Ｕのジェスチャーを表す画像は移動体ＭのＨＭＩにも同様に表示され、乗員Ｐは、利用者Ｕの操作をリアルタイムに把握することができる。さらに、画像上に表示された操作領域の表示態様を利用者Ｕのジェスチャーによって変更可能とすることによって、利用者Ｕにとっての利便性を高めることができる。

＜利用例＞
情報処理システム１は、以下のような態様で利用可能である。

（Ａ）乗員Ｐと利用者Ｕが家族、友人などの関係にあり、バーチャルドライブを利用者Ｕに提供する態様。利用者Ｕは、画像を見ながら移動体Ｍの周囲の風景等について乗員Ｐと会話することができる。

（Ｂ）乗員Ｐが一般利用者、利用者Ｕが道案内サービス、運転指導サービスなどの提供者である態様。利用者Ｕは、移動体Ｍの周囲の風景を見ながらナビゲーション装置では分かりにくい、或いは地図に載っていないような場所における道案内を行ったり、運転操作の指導を行ったりすることができる。

（Ｃ）乗員Ｐが有名人、利用者Ｕが一般利用者であり、商業ベースのバーチャルドライブを利用者Ｕに提供する態様。この場合、一人の乗員Ｐに対して複数の利用者Ｕが同時に対応付けられ、例えば利用者Ｕの側からの音声の転送はオフに設定されてよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 情報処理システム
１００ 第１装置
１１０ 第１通信装置
１２０ 第１マイク
１３０ カメラユニット
１３２ 室内カメラ
１３４ 室外カメラ
１４０ 第１スピーカ
１５０ 利用者表示装置
１６０ ＨＭＩ
１７０ 第１制御装置
１９０ 制御対象機器
２００ 第２装置
２１０ 第２通信装置
２２０ 第２マイク
２３０ 検知装置
２３２ 指向方向検知装置
２３４ 頭部位置検知装置
２３６ モーションセンサ
２４０ 第２スピーカ
２５０ 移動体画像表示装置
２６０ ＨＭＩ
２７０ 第２制御装置
３００ 管理サーバ
Ｍ 移動体

Claims (10)

1. 乗員が搭乗する移動体に搭載される第１装置と、
   前記移動体とは異なる場所で利用者によって利用される第２装置と、
   を備える情報処理システムであって、
   前記第１装置は、
   前記第２装置の第２通信装置と通信する第１通信装置と、
   前記移動体の所定の座席上に設けられ、前記所定の座席から見た前記移動体内を撮像可能な室内カメラを少なくとも含む、一以上のカメラを有するカメラユニットと、
   を有し、
   前記第２装置は、
   前記第１通信装置と通信する前記第２通信装置と、
   前記利用者の指向方向およびジェスチャーを検知するための検知装置と、
   前記カメラユニットが撮像した画像のうち、前記所定の座席から見た前記指向方向に対応する画像を表示する表示装置と、
   を有し、
   前記第２装置は、検知された前記指向方向および前記ジェスチャーに基づいて、前記画像のうち、前記利用者が指向する前記移動体の操作部と、前記操作部への操作内容を決定し、
   前記第２通信装置は、決定された前記操作部への操作内容を前記第１通信装置に送信する、
   情報処理システム。
2. 前記表示装置は、前記ジェスチャーに応じて、前記操作部の位置を変更して表示する、
   請求項１に記載の情報処理システム。
3. 前記表示装置は、前記ジェスチャーに応じて、前記操作部のサイズを変更して表示する、
   請求項１に記載の情報処理システム。
4. 前記表示装置は、複数の前記操作部のうち、前記利用者が操作可能な操作部をハイライト表示させる、
   請求項１に記載の情報処理システム。
5. 前記第２装置は、前記利用者に設定された前記移動体の操作部への操作権限に基づいて、前記画像のうち、前記利用者に操作を許可する前記移動体の操作部を決定する、
   請求項１に記載の情報処理システム。
6. 前記第１装置は、前記利用者が指向する前記操作部を示す画像を表示するディスプレイを更に備える、
   請求項１に記載の情報処理システム。
7. 前記第２通信装置は、前記指向方向の情報を前記第１通信装置に送信し、
   前記第１装置は、前記カメラユニットが撮像した画像のうち、前記第１通信装置を介して取得される前記指向方向に対応する画像を選択的に前記第２通信装置に送信するように、前記第１通信装置を制御する第１制御装置を更に有し、
   前記第２装置の表示装置は、前記第２通信装置を介して取得される、前記所定の座席から見て前記指向方向に対応する画像を表示する、
   請求項１記載の情報処理システム。
8. 前記第１通信装置は、前記カメラユニットが撮像した画像を前記第２通信装置に送信し、
   前記第２装置は、前記カメラユニットが撮像した画像のうち前記指向方向に対応する画像を選択的に前記表示装置に表示させる第２制御装置を更に有する、
   請求項１記載の情報処理システム。
9. 前記表示装置は、ＶＲ（Virtual Reality）ゴーグルの表示装置であり、
   前記検知装置は、前記ＶＲゴーグルに取り付けられた物理センサを含む、
   請求項１記載の情報処理システム。
10. 前記移動体は車両であり、
    前記所定の座席は助手席である、
    請求項１記載の情報処理システム。

Images