JP2024039763A - 情報処理システム - Google Patents

Abstract

【課題】移動体の乗員と、移動体とは異なる場所にいる利用者との双方に与える臨場感を高めることができる情報処理システムを提供すること。【解決手段】乗員が搭乗する移動体に搭載される第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置と、を備える情報処理システムであって、前記第１装置は、前記第２装置の第２通信装置と通信する第１通信装置と、一以上のカメラを有するカメラユニットとを有し、前記第２装置は、前記第１通信装置と通信する前記第２通信装置と、前記利用者の指向方向を検知するための検知装置と、前記カメラユニットが撮像した画像のうち前記指向方向に対応する画像を表示する表示装置とを有し、前記第２装置は、前記画像のうち、前記利用者が視線を向ける視線領域を特定し、前記第１装置は、前記第１通信装置を介して受信した前記視線領域を所定の態様で表示装置に表示する、情報処理システム。【選択図】図１

Description

本発明は、情報処理システムに関する。

従来、車両等の移動体に搭載された装置と、移動体とは別の場所で使用される装置との間で通信を行い、車外風景の画像等を共有することについて研究が進められている（特許文献１）。

特開２０２０－９４９５８号公報

従来の技術では、移動体の乗員と、移動体とは異なる場所にいる利用者との双方にとって、臨場感が十分に感じられない場合があった。

本発明は、このような事情を考慮してなされたものであり、移動体の乗員と、移動体とは異なる場所にいる利用者との双方に与える臨場感を高めることができる情報処理システムを提供することを目的の一つとする。

この発明に係る情報処理システムは、以下の構成を採用した。
（１）：この発明の一態様に係る情報処理システムは、乗員が搭乗する移動体に搭載される第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置と、を備える情報処理システムであって、前記第１装置は、前記第２装置の第２通信装置と通信する第１通信装置と、前記移動体の所定の座席上に設けられ、前記所定の座席から見た前記移動体内を撮像可能な室内カメラを少なくとも含む、一以上のカメラを有するカメラユニットと、を有し、前記第２装置は、前記第１通信装置と通信する前記第２通信装置と、前記利用者の指向方向を検知するための検知装置と、前記カメラユニットが撮像した画像のうち、前記所定の座席から見た前記指向方向に対応する画像を表示する表示装置と、を有し、前記第２装置は、前記画像のうち、前記利用者が視線を向ける視線領域を特定し、前記第２通信装置は、特定された前記視線領域を前記第１通信装置に送信し、前記第１装置は、前記第１通信装置を介して受信した前記視線領域を所定の態様で表示装置に表示する、情報処理システム。

（２）：上記（１）の態様において、前記第１装置の前記表示装置は複数のインジケータを含み、前記第１装置は、前記所定の態様として、前記画像のうちの前記視線領域の方向に対応する、前記複数のインジケータのうちの１つを点灯させるものである。

（３）：上記（１）の態様において、前記第１装置の前記表示装置はディスプレイを含み、前記第１装置は、前記所定の態様として、前記視線領域を前記ディスプレイに表示させるものである。

（４）：上記（１）の態様において、前記第１装置の前記表示装置は、複数のインジケータと、ディスプレイとを含み、前記第１装置は、前記乗員の操作に応じて、前記所定の態様として、前記画像のうちの前記視線領域の方向に対応する、前記複数のインジケータのうちの１つを点灯させる態様と、前記視線領域を前記ディスプレイに表示させる態様とを切り替えるものである。

（５）：上記（１）の態様において、前記第１装置の前記表示装置は、複数のインジケータと、ディスプレイとを含み、前記第１装置は、所定条件に基づいて、前記所定の態様として、前記画像のうちの前記視線領域の方向に対応する、前記複数のインジケータのうちの１つを点灯させる態様と、前記視線領域を前記ディスプレイに表示させる態様とを切り替えるものである。

（６）：上記（５）の態様において、前記所定条件は、前記移動体の所定距離以内に進入した物標が存在することであり、前記第１装置は、前記所定条件が成立した場合、前記所定の態様を、前記視線領域を前記ディスプレイに表示させる態様に設定するものである。

（７）：上記（１）の態様において、前記第２通信装置は、前記指向方向の情報を前記第１通信装置に送信し、前記第１装置は、前記カメラユニットが撮像した画像のうち、前記第１通信装置を介して取得される前記指向方向に対応する画像を選択的に前記第２通信装置に送信するように、前記第１通信装置を制御する第１制御装置を更に有し、前記第２装置の表示装置は、前記第２通信装置を介して取得される、前記所定の座席から見て前記指向方向に対応する画像を表示するものである。

（８）：上記（１）の態様において、前記第１通信装置は、前記カメラユニットが撮像した画像を前記第２通信装置に送信し、前記第２装置は、前記カメラユニットが撮像した画像のうち前記指向方向に対応する画像を選択的に前記表示装置に表示させる第２制御装置を更に有するものである。

（９）：上記（１）の態様において、前記表示装置は、ＶＲ（Virtual Reality）ゴーグルの表示装置であり、前記検知装置は、前記ＶＲゴーグルに取り付けられた物理センサを含むものである。

（１０）：上記（１）の態様において、前記移動体は車両であり、前記所定の座席は助手席であるものである。

（１）～（１０）の態様によれば、移動体の乗員と、移動体とは異なる場所にいる利用者との双方に与える臨場感を高めることができる。

情報処理システム１と管理サーバ３００の使用環境等を示す図である。 ユーザデータ３６０の内容の一例を示す図である。 第１装置１００の構成図である。 移動体Ｍにおける第１装置１００の一部の配置例を示す図である。 第２装置２００の構成図である。 指向方向に対応する画像について説明するための図である。 第１制御装置１７０と第２制御装置２７０の機能構成の第１例を示す図である。 第１制御装置１７０と第２制御装置２７０の機能構成の第２例を示す図である。 指向方向に対応する画像における利用者Ｕの視線領域の一例を示す図である。 視線領域ＬＳＲを表示する態様の一例を示す図である。 指向画像における視線領域ＬＳＲの方向を特定する方法の一例を示す図である。 視線領域ＬＳＲを表示する態様の別の例を示す図である。 視線領域ＬＳＲの表示態様を切り替えるための所定条件の一例を示す図である。

以下、図面を参照し、本発明の情報処理システムの実施形態について説明する。情報処理システムは、乗員が搭乗する移動体に搭載される第１装置と、移動体とは異なる場所で利用者によって利用される第２装置と、を含む。移動体とは例えば車両であるが、乗員が搭乗可能なものであれば如何なる移動体でも構わない。また乗員は主に移動体の運転者であるが、運転者以外の乗員であっても構わない。

第１装置と第２装置の間では、マイクによって収集された音声が相手側に送信されてスピーカによって再生されることで電話通話を行っているような状態になり、更に、第１装置のカメラユニットにより撮像された画像の一部が第２装置によって表示されることで、第２装置側にＭＲ（Mixed Reality）が提供される。第１装置と第２装置は一対一の関係である必要は無く、複数の第１装置のうち一つと、複数の第２装置とが一対多の関係でマッチングされることで、情報処理システムとして動作してよい。後者の場合、例えば一人の乗員を複数の利用者と同時に、或いは順番にコミュニケートさせることができる。

＜基本構成＞
図１は、情報処理システム１と管理サーバ３００の使用環境等を示す図である。情報処理システム１は、移動体Ｍに搭載された第１装置（移動体装置）１００と、移動体Ｍとは異なる場所（たまたま近い場所であることは排除されない）で利用者Ｕによって利用される第２装置（利用者装置）２００とを含む。第１装置１００、第２装置２００、および管理サーバ３００のそれぞれは、ネットワークＮＷを介して互いに通信する。情報処理システム１は、管理サーバ３００を含んでもよいし、含まなくてもよい。

管理サーバ３００は、例えば、通信装置３１０、マッチング処理部３２０、および記憶部３５０を備える。記憶部３５０には、ユーザデータ３６０が格納されている。

通信装置３１０は、ネットワークＮＷに接続するための通信インターフェースである。なお、通信装置３１０と第１装置１００の間の通信、および通信装置３１０と第２装置２００の間の通信は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）に即して行われる。

マッチング処理部３２０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサが、記憶媒体に格納されたプログラム（命令群）を実行することで実現される。記憶部３５０は、ＲＡＭ（Random Access Memory）やＨＤＤ（Hard Disk Drive）、フラッシュメモリなどである。

図２は、ユーザデータ３６０の内容の一例を示す図である。ユーザデータ３６０は、例えば、乗員Ｐの識別情報である乗員ＩＤ、その通信識別情報（ＩＰアドレス等）、およびマッチング対象となる利用者Ｕの識別情報である利用者ＩＤが互いに対応付けられた乗員リスト３６０Ａと、利用者ＩＤ、その通信識別情報（ＩＰアドレス等）、およびマッチング対象となる乗員Ｐが互いに対応付けられた利用者リスト３６０Ｂとを含む。ユーザデータ３６０は、これらの情報を包含するものであれば、図２に示す態様に限らず如何なる態様で生成されてもよい。

マッチング処理部３２０は、利用者Ｕから第２装置２００を介して、或いは乗員Ｐから第１装置１００を介してマッチングリクエストを通信装置３１０が受信した場合、ユーザデータ３６０を参照してマッチング利用者Ｕと乗員Ｐのマッチングを行い、マッチングした利用者Ｕの第２装置２００に乗員Ｐの第１装置１００の通信識別情報を、マッチングした乗員Ｐの第１装置１００に利用者Ｕの第２装置２００の通信識別情報を、通信装置３１０を用いてそれぞれ送信する。これらを受信した第１装置１００と第２装置２００の間では、例えばＵＤＰ（User Datagram Protocol）に即した、よりリアルタイム性の高い通信が行われる。

図３は、第１装置１００の構成図である。第１装置１００は、例えば、第１通信装置１１０と、第１マイク１２０と、カメラユニット１３０と、第１スピーカ１４０と、利用者表示装置１５０と、ＨＭＩ（Human machine Interface）１６０と、第１制御装置１７０とを含む。第１制御装置１７０は、移動体Ｍに搭載された制御対象機器１９０に接続される。

第１通信装置１１０は、管理サーバ３００の通信装置３１０、および第２装置２００の第２通信装置２１０のそれぞれとネットワークＮＷを介して通信するための通信インターフェースである。

第１マイク１２０は、少なくとも乗員Ｐの発した音声を収集する。第１マイク１２０は、移動体Ｍの室内に設けられ、移動体Ｍの外部の音声も収集可能な感度を有するものでもよいし、移動体Ｍの室内に設けられたマイクと移動体Ｍの外部に設けられたマイクとを含んでもよい。第１マイク１２０の収集した音声は、例えば、第１制御装置１７０を経由して、第１通信装置１１０によって第２通信装置２１０に送信される。

カメラユニット１３０は、少なくとも室内カメラ１３２を含み、室外カメラ１３４を含んでもよい。第１スピーカ１４０は、第１通信装置１１０を介して取得された、利用者Ｕの発した音声を出力する。カメラユニット１３０、および第１スピーカ１４０の配置等の詳細については、後に図４を参照して説明する。

利用者表示装置１５０は、利用者Ｕが移動体Ｍの室内に存在するかのように仮想的に利用者Ｕを表示する。例えば、利用者表示装置１５０は、ホログラムを出現させたり、移動体Ｍのミラーやウインドウに相当する部分に利用者Ｕを表示する。

ＨＭＩ１６０は、タッチパネルや音声応答装置（エージェント装置）等である。ＨＭＩ１６０は、第１装置１００に対する乗員Ｐの各種指示を受け付ける。

第１制御装置１７０は、例えば、例えばＣＰＵ等のプロセッサと、プロセッサに接続され、プログラム（命令群）を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第１装置１００の各部を制御する。

制御対象機器１９０は、例えば、移動体Ｍに搭載されたナビゲーション装置、運転支援装置などである。

図４は、移動体Ｍにおける第１装置１００の一部の配置例を示す図である。室内カメラ１３２は、例えば、アタッチメント１３２Ａを介して助手席Ｓ２（「所定の座席」の一例）のネックピローに取り付けられ、助手席Ｓ２のバックレストから若干、移動体Ｍの進行方向側に乖離した位置に設けられる。室内カメラ１３２は、広角レンズを有し、図中のハッチングされた領域１３２Ｂで表される範囲を撮像可能である。室内カメラ１３２は、移動体Ｍの室内だけでなく、ウインドウを介して室外も撮影可能である。以下の説明では助手席Ｓ２が所定の座席であるものとするが、所定の座席は後部座席などの他の座席であってもよい。

室外カメラ１３４は、例えば、複数の子室外カメラ１３４－１～１３４－４を含む。複数の子室外カメラ１３４－１～１３４－４の撮像した画像を合成することで、移動体Ｍの外部を撮像したパノラマ画像のような画像が得られる。室外カメラ１３４は、これらに代えて（或いは、加えて）、移動体Ｍのルーフ上に設けられた広角カメラを含んでもよい。なお室内カメラ１３２として、助手席Ｓ２の後方を撮像可能なカメラが追加されてもよく、後述する移動体画像は、第１制御装置１７０により、一以上の室内カメラ１３２の撮像した画像を結合して３６０度のパノラマ画像として生成されてもよいし、室内カメラ１３２の撮像した画像と室外カメラ１３４の撮像した画像を適宜結合して３６０度のパノラマ画像として生成されてもよい。

第１スピーカ１４０は、第１通信装置１１０を介して取得された利用者Ｕの音声を出力する。第１スピーカ１４０は、例えば、複数の子第１スピーカ１４０－１～１４０－５を含む。例えば、子第１スピーカ１４０－１はインストルメントパネル中央部に、子第１スピーカ１４０－２はインストルメントパネル左端部に、子第１スピーカ１４０－３はインストルメントパネル右端部に、子第１スピーカ１４０－４は左側ドア下部に、子第１スピーカ１４０－５は右側ドア下部に、それぞれ配置される。第１制御装置１７０は、利用者Ｕの音声を第１スピーカ１４０に出力させる場合、例えば、子第１スピーカ１４０－２および子第１スピーカ１４０－４から同程度のボリュームで音声を出力させ、その他の子第１スピーカをオフにすることで、運転席Ｓ１に着座した乗員Ｐに対して、助手席Ｓ２から音声が聞こえるように音像定位させる。また、音像定位の方法はボリュームの調整に限らず、それぞれの子第１スピーカが出力する音の位相をずらすことで行われてもよい。例えば、左側から聞こえるように音像定位させる場合、左側の子第１スピーカから音を出力させるタイミングを、右側の子第１スピーカから同じ音を出力させるタイミングよりもわずかに早くすればよい。

また、第１制御装置１７０は、利用者Ｕの音声を第１スピーカ１４０に出力させる場合、乗員Ｐに対して、助手席Ｓ２上の利用者Ｕの頭部の高さに応じた高さの位置から音声が聞こえるように音像定位させて、第１スピーカ１４０に利用者Ｕの発した音声を出力させてもよい。この場合、第１スピーカ１４０は高さの異なる複数の子第１スピーカ１４０－ｋ（ｋは複数の自然数）を有する必要がある。

図５は、第２装置２００の構成図である。第２装置２００は、例えば、第２通信装置２１０と、第２マイク２２０と、検知装置２３０と、第２スピーカ２４０と、移動体画像表示装置２５０と、ＨＭＩ２６０と、第２制御装置２７０とを含む。検知装置２３０は、例えば、指向方向検知装置２３２と、頭部位置検知装置２３４と、モーションセンサ２３６とを含む。

第２通信装置２１０は、管理サーバ３００の通信装置３１０、および第１装置１００の第１通信装置１１０のそれぞれとネットワークＮＷを介して通信するための通信インターフェースである。

第２マイク２２０は、利用者Ｕの発した音声を収集する。第２マイク２２０の収集した音声は、例えば、第２制御装置２７０を経由して、第２通信装置２１０によって第１通信装置１１０に送信される。

指向方向検知装置２３２は、指向方向を検知するための装置である。指向方向とは、利用者Ｕの顔向きまたは視線の向き、或いはそれらの双方に基づく向きである。或いは、利用者Ｕが使用する端末装置を傾ける動作や画面をスワイプする動作などのように、腕や指の動きによって指し示される向きであってもよい。以下では指向方向は、水平面内での角度、つまり上下方向の成分を有さない角度であるものとするが、指向方向は、上下方向の成分も含む角度であってもよい。指向方向検知装置２３２は、後述するＶＲゴーグルに取り付けられた物理センサ（例えば、加速度センサ、ジャイロセンサなど）を含んでもよいし、利用者Ｕの頭部の複数の位置を検出する赤外線センサ、或いは利用者Ｕの頭部を撮像するカメラであってもよい。いずれの場合も第２制御装置２７０は、指向方向検知装置２３２から入力された情報に基づいて指向方向を算出する。これについて種々の技術が公知となっているため詳細な説明を省略する。

頭部位置検知装置２３４は、利用者Ｕの頭部の位置（高さ）を検知するための装置である。例えば、利用者Ｕが着座する椅子の周囲に設けられた一以上の赤外線センサ、或いは光学センサが頭部位置検知装置２３４として用いられる。この場合、第２制御装置２７０は、一以上の赤外線センサ、或いは光学センサによる検出信号の有無に基づいて利用者Ｕの頭部の位置を検知する。また、頭部位置検知装置２３４は、ＶＲゴーグルに取り付けられた加速度センサでもよい。この場合、第２制御装置２７０は、加速度センサの出力から重力加速度を差し引いたものを積分することで利用者Ｕの頭部の位置を検知する。このように取得される頭部の位置の情報は、高さ情報として第２制御装置２７０に提供される。利用者の頭部の位置は、ＨＭＩ２６０に対する利用者Ｕの操作に基づいて取得されてもよい。例えば、利用者Ｕは身長を数字でＨＭＩ２６０に入力してもよいし、ＨＭＩ２６０に含まれるダイヤルスイッチを用いて身長を入力してもよい。これらの場合、身長から頭部の位置すなわち高さ情報が計算される。また、利用者Ｕは、連続値ではなく体格：大／中／小といった離散値をＨＭＩ２６０に入力してもよい。この場合、体格を示す情報に基づいて高さ情報が取得される。また、利用者の頭部の高さを特段、取得せず、一般的な成人の体格（男女別であってよい）に基づいて簡易的に利用者Ｕの頭部の高さが取得されてもよい。

モーションセンサ２３６は、利用者Ｕが行うジェスチャー操作を認識するための装置である。例えば、利用者Ｕの上半身を撮像するカメラがモーションセンサ２３６として用いられる。この場合、第２制御装置は、カメラが撮像した画像から利用者Ｕの身体の特徴点（指先、手首、肘など）を抽出し、特徴点の動きに基づいて利用者Ｕのジェスチャー操作を認識する。

第２スピーカ２４０は、第２通信装置２１０を介して取得された、乗員Ｐの発した音声を出力する。第２スピーカ２４０は、例えば音声の聞こえる方向を変更する機能を有する。第２制御装置２７０は、利用者Ｕに対して、助手席Ｓ２からみた乗員Ｐの位置から音声が聞こえるように、第２スピーカに音声を出力させる。第２スピーカ２４０は、複数の子第２スピーカ２４０－ｎ（ｎは複数の自然数）を含み、第２制御装置２７０がそれぞれの子第２スピーカ２４０－ｎのボリュームを調整することで音像定位がなされてもよいし、ＶＲゴーグルにヘッドホンが付随している場合はヘッドホンの機能を利用して音像定位がなされてもよい。

移動体画像表示装置２５０は、カメラユニット１３０が撮像した画像（前述した結合処理が行われた画像であってもよく、以下では移動体画像と称する）のうち、助手席から見た指向方向に対応する画像を表示する。図６は、指向方向に対応する画像について説明するための図である。この図の例では、ＶＲゴーグル２５５に指向方向検知装置２３２、頭部位置検知装置２３４としての物理センサ、および移動体画像表示装置２５０が含まれている。第２制御装置２７０は、予めキャリブレーションされた方向を基準方向としてＶＲゴーグル２５５の向く方向を指向方向φとして検知する。係る機能については既に種々の手法が公知となっているため詳細な説明を省略する。

移動体画像表示装置２５０は、移動体画像Ａ１（図では２４０度程度の角度を有するが、前述したように結合処理によって画角が拡張されてもよい）のうち、指向方向φを中心としたプラスマイナスαの角度範囲の画像Ａ２を利用者Ｕに向けて表示する。

ＨＭＩ２６０は、タッチパネルや音声応答装置（エージェント装置）、或いは上記したスイッチ等である。ＨＭＩ２６０は、第２装置２００に対する乗員Ｐの各種指示を受け付ける。

第２制御装置２７０は、例えば、例えばＣＰＵ等のプロセッサと、プロセッサに接続され、プログラム（命令群）を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第２装置２００の各部を制御する。

＜機能構成＞
以下、第１制御装置１７０と第２制御装置２７０の機能構成について説明する。
［第１例］
図７は、第１制御装置１７０と第２制御装置２７０の機能構成の第１例を示す図である。第１例において、第１制御装置１７０は、マッチングリクエスト／承諾部１７１と、音声出力制御部１７２と、画像送信部１７３と、搭載機器連携部１７４とを含む。第２制御装置２７０は、マッチングリクエスト／承諾部２７１と、音声出力制御部２７２と、指向方向検知部２７３と、頭部位置検知部２７４と、ジェスチャー入力検知部２７５と、画像編集部２７６と、移動体画像表示制御部２７７とを含む。これらの機能部は、例えば、ＣＰＵなどのプロセッサがプログラム（命令群）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

マッチングリクエスト／承諾部１７１は、ＨＭＩ１６０を用いて乗員Ｐからのマッチングリクエストの入力を受け付け、管理サーバ３００に送信したり、ＨＭＩ１６０を用いて管理サーバ３００から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ３００に送信したりする。マッチングリクエスト／承諾部１７１は、マッチングが成立した利用者Ｕの第２装置２００を通信相手とするように第１通信装置１１０を制御する。

音声出力制御部１７２は、前述したように第１スピーカ１４０を制御する。

画像送信部１７３は、第１通信装置１１０を用いて、第２装置２００に移動体画像Ａ１を送信する。

搭載機器連携部１７４は、第２装置２００から入力された指示信号に基づいて、制御対象機器１９０を制御する。

マッチングリクエスト／承諾部２７１は、ＨＭＩ２６０を用いて利用者Ｕからのマッチングリクエストの入力を受け付け、管理サーバ３００に送信したり、ＨＭＩ２６０を用いて管理サーバ３００から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ３００に送信したりする。マッチングリクエスト／承諾部２７１は、マッチングが成立した乗員Ｐの第１装置１００を通信相手とするように第２通信装置２１０を制御する。

音声出力制御部２７２は、前述したように第２スピーカ２４０を制御する。

指向方向検知部２７３は、指向方向検知装置２３２の出力に基づいて、指向方向φを検知する。頭部位置検知部２７４は、頭部位置検知装置２３４の出力に基づいて、利用者Ｕの頭部の高さを検知する。頭部位置は、三次元の座標として表されてもよいし、単に頭部の高さが頭部位置として検知されてもよい。ジェスチャー入力検知部２７５は、モーションセンサ２３６の出力に基づいて、利用者Ｕのジェスチャー入力を検知する。

画像編集部２７６は、移動体画像Ａ１から、助手席から見た指向方向φに対応する画像Ａ２を切り出す処理を行う（図６）。移動体画像表示制御部２７７は、画像編集部２７６によって切り出された画像Ａ２を、移動体画像表示装置２５０に表示させる。このとき、画像編集部２７６は、利用者Ｕの頭部の高さ情報が示す高さから見た指向方向φに対応する画像を移動体画像表示装置２５０に表示させてもよい。

［第２例］
図８は、第１制御装置１７０と第２制御装置２７０の機能構成の第２例を示す図である。図７の第１例と比較すると、第１制御装置１７０が画像編集部１７５を含み、第２制御装置２７０が画像編集部２７６を含まず指向方向送信部２７８を含む点で相違する。その他の構成要素に関しては基本的に第１例と同じ機能を有するため再度の説明を省略する。

指向方向送信部２７８は、指向方向検知部２７３が検知した指向方向φを、第２通信装置２１０を用いて第１装置１００に送信する。

画像編集部１７５は、移動体画像Ａ１から、助手席から見た指向方向φ（第２装置２００から送信されてきたもの）に対応する画像Ａ２を切り出す処理を行う（図６）。このとき、画像編集部１７５は、利用者Ｕの頭部の高さ情報を第２装置２００から取得しておき、高さ情報が示す高さから見た指向方向φに対応する画像Ａ２を切り出す処理を行ってもよい。

第２例における画像送信部１７３は、第１通信装置１１０を用いて、第２装置２００に、画像編集部１７５によって切り出された画像Ａ２を送信する。そして、移動体画像表示制御部２７７は、第１装置１００から送信されてきた画像Ａ２を移動体画像表示装置２５０に表示させる。

＜視線領域の共有＞
このように、利用者Ｕは、カメラユニット１３０が撮像した画像のうち、助手席から見た指向方向φに対応する画像（以下、「指向画像」と称する場合がある）を、移動体画像表示装置２５０を用いて自由に閲覧することができる。例えば、利用者Ｕは、助手席の位置から、右側を向くことによって、乗員Ｐの様子を確認することもできる。しかしながら、このような利用者Ｕによる画像の閲覧は、乗員Ｐが不快感や違和感を覚える原因ともなり得る。例えば、乗員Ｐは、利用者Ｕが助手席の位置からどの方向を向いているかを把握することができず、居心地の悪さを感じることがある。また、例えば、乗員Ｐは移動体Ｍを運転中、自身の視線を常に前方に向ける必要があるが、状況によっては、移動体Ｍの前方以外の領域を確認したいと思うことがある。そのような場合、利用者Ｕが乗員Ｐに代わって当該領域に視線を向け、視線を向けた領域を含む画像を、ＨＭＩ１６０を介して乗員Ｐに共有すれば、当該乗員Ｐにとって好都合である。このような事情を背景にして、以下で説明する通り、本実施形態に係る第２装置２００は、指向画像における利用者Ｕの視線領域を第１装置１００に送信し、第１装置１００は、受信した利用者Ｕの視線領域を所定の態様でＨＭＩ１６０に表示する。

図９は、指向方向に対応する画像における利用者Ｕの視線領域の一例を示す図である。図９において、符号ＬＳは、指向方向検知装置２３２によって検知された利用者Ｕの視線を表し、符号ＬＳＲは、利用者Ｕの視線領域を表す。第２装置２００は、指向画像から、指向方向検知装置２３２によって検知された利用者Ｕの視線を中心とする所定範囲の領域を切り出し、利用者Ｕの視線領域ＬＳＲとして特定する。第２通信装置２１０は、特定された視線領域ＬＳＲを第１通信装置１１０に送信する。なお、視線領域ＬＳＲは、指向画像のうちの少なくとも一部の領域として特定されればよく、第２通信装置２１０は、利用者Ｕが指向画像の全体に視線を向けていると想定して、指向画像の全体を利用者Ｕの視線領域として特定してもよい。

第１装置１００は、第１通信装置１１０を介して視線領域ＬＳＲを受信すると、受信した視線領域ＬＳＲを所定の態様（モード）でＨＭＩ１６０に表示する。図１０は、視線領域ＬＳＲを表示する態様の一例を示す図である。図１０に示す態様において、第１装置１００は、受信した視線領域ＬＳＲをそのままＨＭＩ１６０に表示する。これにより、乗員Ｐは、利用者Ｕの視線領域を把握し、移動体Ｍの運転に活用することもできる。

また、別の態様として、第１装置１００は、視線領域ＬＳＲをＨＭＩ１６０に表示することなく、指向画像における視線領域ＬＳＲの方向を特定し、特定した方向を示す情報をＨＭＩ１６０に表示してもよい。図１１は、指向画像における視線領域ＬＳＲの方向を特定する方法の一例を示す図である。第１装置１００は、例えば、指向画像に、縦方向の中心線ＶＬと横方向の中心線ＨＬとを設定し、視線領域ＬＳＲと、指向画像のうちの中心線ＶＬの左側領域、中心線ＶＬの右側領域、中心線ＨＬの上側領域、中心線ＨＬの下側領域との重複面積をそれぞれ算出する。第１装置１００は、これら左側領域、右側領域、上側領域、下側領域のうち、重複面積が最も大きい領域の方向を、視線領域ＬＳＲの方向として特定する。図１１の場合、第１装置１００は、視線領域ＬＳＲと中心線ＶＬの左側領域との重複面積が最大であると判定し、視線領域ＬＳＲの方向は左方向であると特定する。

なお、本実施形態において、第１装置１００は、受信した視線領域ＬＳＲに基づいて、視線領域ＬＳＲの方向を特定しているが、代替的に、第２装置２００が視線領域ＬＳＲの方向を特定し、特定した方向情報を第１装置１００に送信してもよい。

図１２は、視線領域ＬＳＲを表示する態様の別の例を示す図である。図１２において、符号ＩＮＤ１からＩＮＤ４は、第１装置１００の制御に応じてＨＭＩ１６０上で発光するインジケータ（ソフトウェアインジケータ）を表す。図１１に示す状況において視線領域ＬＳＲの方向が左方向であると特定されると、第１装置１００は、左方向に対応するインジケータＩＤ１をＨＭＩ１６０上で発光させる。これにより、乗員Ｐは、視線領域ＬＳＲを表示する態様に比して、ＨＭＩ１６０のより小さいスペースのみを用いて、利用者Ｕの視線を把握することができる。

なお、本実施形態において、第１装置１００は、視線領域ＬＳＲの方向を、左方向、右方向、上方向、下方向の４つの方向のうちのいずれかとして特定しているが、本発明はそのような構成に限定されず、より細かく（又は荒く）視線領域ＬＳＲの方向を特定してもよい。例えば、第１装置１００は、視線領域ＬＳＲの方向を、左方向又は右方向のうちのいずれかとして特定してもよい。また、本実施形態において、第１装置１００は、ＨＭＩ１６０上でソフトウェアインジケータを発光させるものであるが、本発明はそのような構成に限定されず、ＬＥＤライトなどのハードウェアインジケータを用いてもよい。或いは、車両の幅方向に車両一方端から他方端まで一定間隔で複数のＬＥＤライトなどのハードウェアインジケータを設けておき、視線領域ＬＳＲに対応する方向にあるインジケータを発光させるといった構成でもよい。また或いは、視線領域ＬＳＲに対応する位置にメータやランプなどの車載装置がある場合に当該車載装置を所定の態様で発光させる構成でもよい。また或いは、視線領域ＬＳＲに対応する方向を照らすように、ライト等の光源からの光をその方向の対象物（シート、インパネ等であってよい）に向けて照射するという構成でもよい。

上述した通り、本実施形態において、第１装置１００は、視線領域ＬＳＲをＨＭＩ１６０に表示する態様と、視線領域ＬＳＲの方向に対応するインジケータを点灯させる態様とを有する。この２つの態様のうちのいずれを実行するかは、例えば、乗員ＰがＨＭＩ１６０を操作することによって設定すればよい。また、例えば、第１装置１００は、所定条件が満たされるか否かに応じて、これら２つの態様を切り替えてもよい。もっとも、視線領域ＬＳＲをいずれの態様でも表示しない第３のモードを備えてもよい。

図１３は、視線領域ＬＳＲの表示態様を切り替えるための所定条件の一例を示す図である。図１３に示す通り、例えば、第１装置１００は、室外カメラ１３４によって撮像された移動体Ｍの周辺状況を表す画像に基づいて、移動体Ｍの所定距離ｄ以内に進入した物標Ｏが存在するか否かを判定する。第１装置１００は、移動体Ｍの所定距離ｄ以内に進入した物標Ｏが存在すると判定した場合、視線領域ＬＳＲをＨＭＩ１６０に表示する態様を設定する。

また、別の例として、第１装置１００は、撮像画像に基づいて、移動体Ｍの方向に向かって所定加速度以上で接近する物標Ｏが存在すると判定した場合に、視線領域ＬＳＲをＨＭＩ１６０に表示する態様を設定してもよい。また、別の例として、第１装置１００は、撮像画像に基づいて、移動体Ｍの所定距離ｄ以内に特定種類の車両（例えば、救急車などの緊急車両）が進入したと判定した場合に、視線領域ＬＳＲをＨＭＩ１６０に表示する態様を設定してもよい。これにより、乗員Ｐは、利用者Ｕが視線を向けている視線領域ＬＳＲを参照して移動体Ｍの周辺状況を把握し、移動体Ｍの運転に活用することができる。

＜その他＞
情報処理システム１において、利用者Ｕが助手席Ｓ２から見た任意の方向を視認できるものとして説明したが、例えばマッチングの際の取り決めによって、利用者Ｕが視認可能な方向に制限が設けられてもよい。例えば、乗員Ｐの側で、移動体Ｍの進行方向の風景、あるいは運転席Ｓ１と反対側の風景は提供してもよいが、自身の姿は表示させたくない、といった要望が発生する場合がある。これは、乗員Ｐと利用者Ｕが、家族、友人といった関係になく、移動体Ｍのドライブフィーリングを確認したい、或いは所望の街の風景を視認したいといったニーズに応える場合を想定したものである。この場合、管理サーバ３００のマッチング処理部３２０がマッチング処理を行う際に、そのような制限が設定され、第１制御装置１７０または第２制御装置２７０が設定に応じて、視認させない角度範囲をマスクしたり、或いは指向方向φが制限された方向に向かないように補正を行ったりする。また、このような制限に関する情報は、乗員Ｐのプライバシーに関するものであるため、第１装置１００の側で設定されてもよい。

＜まとめ＞
以上のように構成される情報処理システム１によれば、移動体Ｍの乗員Ｐと、移動体Ｍとは異なる場所にいる利用者Ｕとの双方に与える臨場感を高めることができる。利用者Ｕに対して、助手席から見た自身の指向方向φに対応する画像が表示され、表示された画像のうち、利用者Ｕが視線を向けている視線領域に関する情報が乗員Ｐに共有される。これにより、乗員Ｐは利用者Ｕの視線を把握するとともに、視線領域に関する情報を自身の運転に活用することができる。

＜利用例＞
情報処理システム１は、以下のような態様で利用可能である。

（Ａ）乗員Ｐと利用者Ｕが家族、友人などの関係にあり、バーチャルドライブを利用者Ｕに提供する態様。利用者Ｕは、画像を見ながら移動体Ｍの周囲の風景等について乗員Ｐと会話することができる。

（Ｂ）乗員Ｐが一般利用者、利用者Ｕが道案内サービス、運転指導サービスなどの提供者である態様。利用者Ｕは、移動体Ｍの周囲の風景を見ながらナビゲーション装置では分かりにくい、或いは地図に載っていないような場所における道案内を行ったり、運転操作の指導を行ったりすることができる。

（Ｃ）乗員Ｐが有名人、利用者Ｕが一般利用者であり、商業ベースのバーチャルドライブを利用者Ｕに提供する態様。この場合、一人の乗員Ｐに対して複数の利用者Ｕが同時に対応付けられ、例えば利用者Ｕの側からの音声の転送はオフに設定されてよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 情報処理システム
１００ 第１装置
１１０ 第１通信装置
１２０ 第１マイク
１３０ カメラユニット
１３２ 室内カメラ
１３４ 室外カメラ
１４０ 第１スピーカ
１５０ 利用者表示装置
１６０ ＨＭＩ
１７０ 第１制御装置
１９０ 制御対象機器
２００ 第２装置
２１０ 第２通信装置
２２０ 第２マイク
２３０ 検知装置
２３２ 指向方向検知装置
２３４ 頭部位置検知装置
２３６ モーションセンサ
２４０ 第２スピーカ
２５０ 移動体画像表示装置
２６０ ＨＭＩ
２７０ 第２制御装置
３００ 管理サーバ
Ｍ 移動体

Claims (10)

1. 乗員が搭乗する移動体に搭載される第１装置と、
   前記移動体とは異なる場所で利用者によって利用される第２装置と、
   を備える情報処理システムであって、
   前記第１装置は、
   前記第２装置の第２通信装置と通信する第１通信装置と、
   前記移動体の所定の座席上に設けられ、前記所定の座席から見た前記移動体内を撮像可能な室内カメラを少なくとも含む、一以上のカメラを有するカメラユニットと、
   を有し、
   前記第２装置は、
   前記第１通信装置と通信する前記第２通信装置と、
   前記利用者の指向方向を検知するための検知装置と、
   前記カメラユニットが撮像した画像のうち、前記所定の座席から見た前記指向方向に対応する画像を表示する表示装置と、
   を有し、
   前記第２装置は、前記画像のうち、前記利用者が視線を向ける視線領域を特定し、
   前記第２通信装置は、特定された前記視線領域を前記第１通信装置に送信し、
   前記第１装置は、前記第１通信装置を介して受信した前記視線領域を所定の態様で表示装置に表示する、
   情報処理システム。
2. 前記第１装置の前記表示装置は複数のインジケータを含み、
   前記第１装置は、前記所定の態様として、前記画像のうちの前記視線領域の方向に対応する、前記複数のインジケータのうちの少なくとも１つを点灯させる、
   請求項１に記載の情報処理システム。
3. 前記第１装置の前記表示装置はディスプレイを含み、
   前記第１装置は、前記所定の態様として、前記視線領域を前記ディスプレイに表示させる、
   請求項１に記載の情報処理システム。
4. 前記第１装置の前記表示装置は、複数のインジケータと、ディスプレイとを含み、
   前記第１装置は、前記乗員の操作に応じて、前記所定の態様として、前記画像のうちの前記視線領域の方向に対応する、前記複数のインジケータのうちの少なくとも１つを点灯させる態様と、前記視線領域を前記ディスプレイに表示させる態様とを切り替える、
   請求項１に記載の情報処理システム。
5. 前記第１装置の前記表示装置は、複数のインジケータと、ディスプレイとを含み、
   前記第１装置は、所定条件に基づいて、前記所定の態様として、前記画像のうちの前記視線領域の方向に対応する、前記複数のインジケータのうちの１つを点灯させる態様と、前記視線領域を前記ディスプレイに表示させる態様とを切り替える、
   請求項１に記載の情報処理システム。
6. 前記所定条件は、前記移動体の所定距離以内に進入した物標が存在することであり、
   前記第１装置は、前記所定条件が成立した場合、前記所定の態様を、前記視線領域を前記ディスプレイに表示させる態様に設定する、
   請求項５に記載の情報処理システム。
7. 前記第２通信装置は、前記指向方向の情報を前記第１通信装置に送信し、
   前記第１装置は、前記カメラユニットが撮像した画像のうち、前記第１通信装置を介して取得される前記指向方向に対応する画像を選択的に前記第２通信装置に送信するように、前記第１通信装置を制御する第１制御装置を更に有し、
   前記第２装置の表示装置は、前記第２通信装置を介して取得される、前記所定の座席から見て前記指向方向に対応する画像を表示する、
   請求項１記載の情報処理システム。
8. 前記第１通信装置は、前記カメラユニットが撮像した画像を前記第２通信装置に送信し、
   前記第２装置は、前記カメラユニットが撮像した画像のうち前記指向方向に対応する画像を選択的に前記表示装置に表示させる第２制御装置を更に有する、
   請求項１記載の情報処理システム。
9. 前記表示装置は、ＶＲ（Virtual Reality）ゴーグルの表示装置であり、
   前記検知装置は、前記ＶＲゴーグルに取り付けられた物理センサを含む、
   請求項１記載の情報処理システム。
10. 前記移動体は車両であり、
    前記所定の座席は助手席である、
    請求項１記載の情報処理システム。

Images