JP2024039702A - 情報処理システム - Google Patents

Abstract

【課題】移動体とは異なる場所にいる利用者に対して移動体の外の景色を見え易くすることができる情報処理システムを提供すること。【解決手段】乗員が搭乗する移動体に搭載される第１装置と、移動体とは異なる場所で利用者によって利用される第２装置と、を備える情報処理システムであって、第１装置は、第２装置の第２通信装置と通信する第１通信装置と、移動体の内部および外部を撮像可能なカメラユニットとを有し、第２装置は、第１通信装置と通信する第２通信装置と、画像を表示する表示装置と、カメラユニットが撮像した移動体の所定の内装を含む画像を表示装置に表示させる第１モードと、カメラユニットが撮像した画像における所定の内装の領域を移動体の外部の画像に置き換えた置換画像を表示装置に表示させる第２モードとを、利用者の操作に応じて切り替える第２制御装置とを有する、情報処理システム。【選択図】図１

Description

本発明は、情報処理システムに関する。

従来、車両等の移動体に搭載された装置と、移動体とは別の場所で使用される装置との間で通信を行い、車外風景の画像等を共有することについて研究が進められている（特許文献１）。

特開２０２０－９４９５８号公報

従来の技術では、移動体とは異なる場所にいる利用者にとって、移動体に設けられた内装の影響で移動体の外の景色が見え難くなる場合があった。

本発明は、このような事情を考慮してなされたものであり、移動体とは異なる場所にいる利用者に対して移動体の外の景色を見え易くすることができる情報処理システムを提供することを目的の一つとする。

この発明に係る情報処理システムは、以下の構成を採用した。
（１）：この発明の一態様に係る情報処理システムは、乗員が搭乗する移動体に搭載される第１装置と、前記移動体とは異なる場所で利用者によって利用される第２装置と、を備える情報処理システムであって、前記第１装置は、前記第２装置の第２通信装置と通信する第１通信装置と、前記移動体の所定の座席上に設けられた室内カメラを少なくとも含み、前記移動体の内部および外部を撮像可能なカメラユニットと、を有し、前記第２装置は、前記第１通信装置と通信する前記第２通信装置と、前記カメラユニットが撮像した画像を表示する表示装置と、前記カメラユニットが撮像した前記移動体の所定の内装を含む画像を前記表示装置に表示させる第１モードと、前記カメラユニットが撮像した画像における前記所定の内装の領域を、前記カメラユニットが撮像した前記移動体の外部の画像に置き換えた置換画像を前記表示装置に表示させる第２モードとを、前記利用者の操作に応じて切り替える第２制御装置と、を有するものである。

（２）：上記（１）の態様において、前記第２制御装置は、前記移動体の走行状態に基づいて、前記第１モードまたは前記第２モードのいずれかを推奨するものである。

（３）：上記（２）の態様において、前記第２制御装置は、前記カメラユニットが撮像した前記移動体の外部の風景の画像に基づいて、前記第１モードまたは前記第２モードのいずれかを推奨するものである。

（４）：上記（２）の態様において、前記第２制御装置は、前記移動体が車庫入れを行っているか否かに応じて、前記第１モードまたは前記第２モードのいずれかを推奨するものである。

（５）：上記（２）の態様において、前記第２制御装置は、前記移動体に他の移動体が近づいているか否かに応じて、前記第１モードまたは前記第２モードのいずれかを推奨するものである。

（６）：上記（１）の態様において、前記カメラユニットは、前記移動体の外部に設けられた室外カメラを更に有し、前記表示装置は、前記第２モードにおいて、前記室内カメラが撮像した画像における前記所定の内装の領域を、前記室外カメラが撮像した前記移動体の外部の画像に置き換えた前記置換画像を表示するものである。

（７）：上記（１）の態様において、前記第１装置は、前記第１通信装置を介して取得された、前記利用者の発した音声を出力する第１スピーカと、前記乗員の発した音声を収集する第１マイクと、を更に有し、前記第２装置は、前記第２通信装置を介して取得された、前記乗員の発した音声を出力する第２スピーカと、前記利用者の発した音声を収集する第２マイクと、を更に有し、前記第１通信装置は、前記第１マイクが収集した音声を前記第２通信装置に送信し、前記第２通信装置は、前記第２マイクが収集した音声を前記第１通信装置に送信するものである。

（８）：上記（１）の態様において、前記第２装置は、前記利用者の指向方向を検知するための検知装置を更に有し、前記表示装置は、前記カメラユニットが撮像した画像のうち、前記所定の座席から見た前記指向方向に対応する画像を表示するものである。

（９）：上記（８）の態様において、前記第２通信装置は、前記指向方向の情報を前記第１通信装置に送信し、前記第１装置は、前記カメラユニットが撮像した画像のうち、前記第１通信装置を介して取得される前記指向方向に対応する画像を選択的に前記第２通信装置に送信するように、前記第１通信装置を制御する第１制御装置を更に有し、前記第２装置の前記表示装置は、前記第２通信装置を介して取得される、前記所定の座席から見て前記指向方向に対応する画像を表示するものである。

（１０）：上記（８）の態様において、前記第１通信装置は、前記カメラユニットが撮像した画像を前記第２通信装置に送信し、前記第２制御装置は、前記カメラユニットが撮像した画像のうち前記指向方向に対応する画像を選択的に前記表示装置に表示させるものである。

（１１）：上記（８）の態様において、前記表示装置は、ＶＲ（Virtual Reality）ゴーグルの表示装置であり、前記検知装置は、前記ＶＲゴーグルに取り付けられた物理センサを含むものである。

（１２）：上記（１）の態様において、前記移動体は車両であり、前記所定の内装は、前記車両に設けられたピラーまたはルーフであるものである。

（１３）：上記（１）の態様において、前記表示装置は、前記カメラユニットが撮像した画像のうち前記移動体の室内の所定物品を写した部分を、コンピュータ処理によって描画された画像に置換して表示するものである。

（１）～（１３）の態様によれば、移動体とは異なる場所にいる利用者に対して移動体の外の景色を見え易くすることができる。

情報処理システム１と管理サーバ３００の使用環境等を示す図である。 ユーザデータ３６０の内容の一例を示す図である。 第１装置１００の構成図である。 移動体Ｍにおける第１装置１００の一部の配置例を示す図である。 第２装置２００の構成図である。 指向方向に対応する画像について説明するための図である。 第１制御装置１７０と第２制御装置２７０の機能構成の第１例を示す図である。 第１制御装置１７０と第２制御装置２７０の機能構成の第２例を示す図である。 通常モードにおける画像Ａ２の一例を示す図である。 透過モードにおける置換画像Ａ３の一例を示す図である。 置換画像を表示することの一例を示す図である。

以下、図面を参照し、本発明の情報処理システムの実施形態について説明する。情報処理システムは、乗員が搭乗する移動体に搭載される第１装置と、移動体とは異なる場所で利用者によって利用される第２装置と、を含む。移動体とは例えば車両であるが、乗員が搭乗可能なものであれば如何なる移動体でも構わない。また乗員は主に移動体の運転者であるが、運転者以外の乗員であっても構わない。

第１装置と第２装置の間では、マイクによって収集された音声が相手側に送信されてスピーカによって再生されることで電話通話を行っているような状態になり、更に、第１装置のカメラユニットにより撮像された画像の一部が第２装置によって表示されることで、第２装置側にＭＲ（Mixed Reality）が提供される。第１装置と第２装置は一対一の関係である必要は無く、複数の第１装置のうち一つと、複数の第２装置とが一対多の関係でマッチングされることで、情報処理システムとして動作してよい。後者の場合、例えば一人の乗員を複数の利用者と同時に、或いは順番にコミュニケートさせることができる。

＜基本構成＞
図１は、情報処理システム１と管理サーバ３００の使用環境等を示す図である。情報処理システム１は、移動体Ｍに搭載された第１装置（移動体装置）１００と、移動体Ｍとは異なる場所（たまたま近い場所であることは排除されない）で利用者Ｕによって利用される第２装置（利用者装置）２００とを含む。第１装置１００、第２装置２００、および管理サーバ３００のそれぞれは、ネットワークＮＷを介して互いに通信する。情報処理システム１は、管理サーバ３００を含んでもよいし、含まなくてもよい。

管理サーバ３００は、例えば、通信装置３１０、マッチング処理部３２０、および記憶部３５０を備える。記憶部３５０には、ユーザデータ３６０が格納されている。

通信装置３１０は、ネットワークＮＷに接続するための通信インターフェースである。なお、通信装置３１０と第１装置１００の間の通信、および通信装置３１０と第２装置２００の間の通信は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）に即して行われる。

マッチング処理部３２０は、例えばＣＰＵ（Central Processing Unit）等のプロセッサが、記憶媒体に格納されたプログラム（命令群）を実行することで実現される。記憶部３５０は、ＲＡＭ（Random Access Memory）やＨＤＤ（Hard Disk Drive）、フラッシュメモリなどである。

図２は、ユーザデータ３６０の内容の一例を示す図である。ユーザデータ３６０は、例えば、乗員Ｐの識別情報である乗員ＩＤ、その通信識別情報（ＩＰアドレス等）、およびマッチング対象となる利用者Ｕの識別情報である利用者ＩＤが互いに対応付けられた乗員リスト３６０Ａと、利用者ＩＤ、その通信識別情報（ＩＰアドレス等）、およびマッチング対象となる乗員Ｐが互いに対応付けられた利用者リスト３６０Ｂとを含む。ユーザデータ３６０は、これらの情報を包含するものであれば、図２に示す態様に限らず如何なる態様で生成されてもよい。

マッチング処理部３２０は、利用者Ｕから第２装置２００を介して、或いは乗員Ｐから第１装置１００を介してマッチングリクエストを通信装置３１０が受信した場合、ユーザデータ３６０を参照してマッチング利用者Ｕと乗員Ｐのマッチングを行い、マッチングした利用者Ｕの第２装置２００に乗員Ｐの第１装置１００の通信識別情報を、マッチングした乗員Ｐの第１装置１００に利用者Ｕの第２装置２００の通信識別情報を、通信装置３１０を用いてそれぞれ送信する。これらを受信した第１装置１００と第２装置２００の間では、例えばＵＤＰ（User Datagram Protocol）に即した、よりリアルタイム性の高い通信が行われる。

図３は、第１装置１００の構成図である。第１装置１００は、例えば、第１通信装置１１０と、第１マイク１２０と、カメラユニット１３０と、第１スピーカ１４０と、利用者表示装置１５０と、ＨＭＩ（Human machine Interface）１６０と、第１制御装置１７０とを含む。第１制御装置１７０は、移動体Ｍに搭載された制御対象機器１９０に接続される。

第１通信装置１１０は、管理サーバ３００の通信装置３１０、および第２装置２００の第２通信装置２１０のそれぞれとネットワークＮＷを介して通信するための通信インターフェースである。

第１マイク１２０は、少なくとも乗員Ｐの発した音声を収集する。第１マイク１２０は、移動体Ｍの室内に設けられ、移動体Ｍの外部の音声も収集可能な感度を有するものでもよいし、移動体Ｍの室内に設けられたマイクと移動体Ｍの外部に設けられたマイクとを含んでもよい。第１マイク１２０の収集した音声は、例えば、第１制御装置１７０を経由して、第１通信装置１１０によって第２通信装置２１０に送信される。

カメラユニット１３０は、少なくとも室内カメラ１３２を含み、室外カメラ１３４を含んでもよい。第１スピーカ１４０は、第１通信装置１１０を介して取得された、利用者Ｕの発した音声を出力する。カメラユニット１３０、および第１スピーカ１４０の配置等の詳細については、後に図４を参照して説明する。

利用者表示装置１５０は、利用者Ｕが移動体Ｍの室内に存在するかのように仮想的に利用者Ｕを表示する。例えば、利用者表示装置１５０は、ホログラムを出現させたり、移動体Ｍのミラーやウインドウに相当する部分に利用者Ｕを表示する。

ＨＭＩ１６０は、タッチパネルや音声応答装置（エージェント装置）等である。ＨＭＩ１６０は、第１装置１００に対する乗員Ｐの各種指示を受け付ける。

第１制御装置１７０は、例えばＣＰＵ等のプロセッサと、プロセッサに接続され、プログラム（命令群）を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第１装置１００の各部を制御する。

制御対象機器１９０は、例えば、移動体Ｍに搭載されたナビゲーション装置、運転支援装置などである。

図４は、移動体Ｍにおける第１装置１００の一部の配置例を示す図である。室内カメラ１３２は、例えば、アタッチメント１３２Ａを介して助手席Ｓ２（「所定の座席」の一例）のネックピローに取り付けられ、助手席Ｓ２のバックレストから若干、移動体Ｍの進行方向側に乖離した位置に設けられる。室内カメラ１３２は、広角レンズを有し、図中のハッチングされた領域１３２Ｂで表される範囲を撮像可能である。室内カメラ１３２は、移動体Ｍの室内だけでなく、ウインドウを介して室外も撮影可能である。以下の説明では助手席Ｓ２が所定の座席であるものとするが、所定の座席は後部座席などの他の座席であってもよい。

室外カメラ１３４は、例えば、複数の子室外カメラ１３４－１～１３４－４を含む。複数の子室外カメラ１３４－１～１３４－４の撮像した画像を合成することで、移動体Ｍの外部を撮像したパノラマ画像のような画像が得られる。室外カメラ１３４は、これらに代えて（或いは、加えて）、移動体Ｍのルーフ上に設けられた広角カメラを含んでもよい。なお室内カメラ１３２として、助手席Ｓ２の後方を撮像可能なカメラが追加されてもよく、後述する移動体画像は、第１制御装置１７０により、一以上の室内カメラ１３２の撮像した画像を結合して３６０度のパノラマ画像として生成されてもよいし、室内カメラ１３２の撮像した画像と室外カメラ１３４の撮像した画像を適宜結合して３６０度のパノラマ画像として生成されてもよい。

第１スピーカ１４０は、第１通信装置１１０を介して取得された利用者Ｕの音声を出力する。第１スピーカ１４０は、例えば、複数の子第１スピーカ１４０－１～１４０－５を含む。例えば、子第１スピーカ１４０－１はインストルメントパネル中央部に、子第１スピーカ１４０－２はインストルメントパネル左端部に、子第１スピーカ１４０－３はインストルメントパネル右端部に、子第１スピーカ１４０－４は左側ドア下部に、子第１スピーカ１４０－５は右側ドア下部に、それぞれ配置される。第１制御装置１７０は、利用者Ｕの音声を第１スピーカ１４０に出力させる場合、例えば、子第１スピーカ１４０－２および子第１スピーカ１４０－４から同程度のボリュームで音声を出力させ、その他の子第１スピーカをオフにすることで、運転席Ｓ１に着座した乗員Ｐに対して、助手席Ｓ２から音声が聞こえるように音像定位させる。また、音像定位の方法はボリュームの調整に限らず、それぞれの子第１スピーカが出力する音の位相をずらすことで行われてもよい。例えば、左側から聞こえるように音像定位させる場合、左側の子第１スピーカから音を出力させるタイミングを、右側の子第１スピーカから同じ音を出力させるタイミングよりもわずかに早くすればよい。

また、第１制御装置１７０は、利用者Ｕの音声を第１スピーカ１４０に出力させる場合、乗員Ｐに対して、助手席Ｓ２上の利用者Ｕの頭部の高さに応じた高さの位置から音声が聞こえるように音像定位させて、第１スピーカ１４０に利用者Ｕの発した音声を出力させてもよい。この場合、第１スピーカ１４０は高さの異なる複数の子第１スピーカ１４０－ｋ（ｋは複数の自然数）を有する必要がある。

図５は、第２装置２００の構成図である。第２装置２００は、例えば、第２通信装置２１０と、第２マイク２２０と、検知装置２３０と、第２スピーカ２４０と、移動体画像表示装置２５０と、ＨＭＩ２６０と、第２制御装置２７０とを含む。検知装置２３０は、例えば、指向方向検知装置２３２と、頭部位置検知装置２３４と、モーションセンサ２３６とを含む。

第２通信装置２１０は、管理サーバ３００の通信装置３１０、および第１装置１００の第１通信装置１１０のそれぞれとネットワークＮＷを介して通信するための通信インターフェースである。

第２マイク２２０は、利用者Ｕの発した音声を収集する。第２マイク２２０の収集した音声は、例えば、第２制御装置２７０を経由して、第２通信装置２１０によって第１通信装置１１０に送信される。

指向方向検知装置２３２は、指向方向を検知するための装置である。指向方向とは、利用者Ｕの顔向きまたは視線の向き、或いはそれらの双方に基づく向きである。或いは、利用者Ｕが使用する端末装置を傾ける動作や画面をスワイプする動作などのように、腕や指の動きによって指し示される向きであってもよい。以下では指向方向は、水平面内での角度、つまり上下方向の成分を有さない角度であるものとするが、指向方向は、上下方向の成分も含む角度であってもよい。指向方向検知装置２３２は、後述するＶＲ（Virtual Reality）ゴーグルに取り付けられた物理センサ（例えば、加速度センサ、ジャイロセンサなど）を含んでもよいし、利用者Ｕの頭部の複数の位置を検出する赤外線センサ、或いは利用者Ｕの頭部を撮像するカメラであってもよい。いずれの場合も第２制御装置２７０は、指向方向検知装置２３２から入力された情報に基づいて指向方向を算出する。これについて種々の技術が公知となっているため詳細な説明を省略する。

頭部位置検知装置２３４は、利用者Ｕの頭部の位置（高さ）を検知するための装置である。例えば、利用者Ｕが着座する椅子の周囲に設けられた一以上の赤外線センサ、或いは光学センサが頭部位置検知装置２３４として用いられる。この場合、第２制御装置２７０は、一以上の赤外線センサ、或いは光学センサによる検出信号の有無に基づいて利用者Ｕの頭部の位置を検知する。また、頭部位置検知装置２３４は、ＶＲゴーグルに取り付けられた加速度センサでもよい。この場合、第２制御装置２７０は、加速度センサの出力から重力加速度を差し引いたものを積分することで利用者Ｕの頭部の位置を検知する。このように取得される頭部の位置の情報は、高さ情報として第２制御装置２７０に提供される。利用者の頭部の位置は、ＨＭＩ２６０に対する利用者Ｕの操作に基づいて取得されてもよい。例えば、利用者Ｕは身長を数字でＨＭＩ２６０に入力してもよいし、ＨＭＩ２６０に含まれるダイヤルスイッチを用いて身長を入力してもよい。これらの場合、身長から頭部の位置すなわち高さ情報が計算される。また、利用者Ｕは、連続値ではなく体格：大／中／小といった離散値をＨＭＩ２６０に入力してもよい。この場合、体格を示す情報に基づいて高さ情報が取得される。また、利用者の頭部の高さを特段、取得せず、一般的な成人の体格（男女別であってよい）に基づいて簡易的に利用者Ｕの頭部の高さが取得されてもよい。

モーションセンサ２３６は、利用者Ｕが行うジェスチャー操作を認識するための装置である。例えば、利用者Ｕの上半身を撮像するカメラがモーションセンサ２３６として用いられる。この場合、第２制御装置２７０は、カメラが撮像した画像から利用者Ｕの身体の特徴点（指先、手首、肘など）を抽出し、特徴点の動きに基づいて利用者Ｕのジェスチャー操作を認識する。

第２スピーカ２４０は、第２通信装置２１０を介して取得された、乗員Ｐの発した音声を出力する。第２スピーカ２４０は、例えば音声の聞こえる方向を変更する機能を有する。第２制御装置２７０は、利用者Ｕに対して、助手席Ｓ２からみた乗員Ｐの位置から音声が聞こえるように、第２スピーカに音声を出力させる。第２スピーカ２４０は、複数の子第２スピーカ２４０－ｎ（ｎは複数の自然数）を含み、第２制御装置２７０がそれぞれの子第２スピーカ２４０－ｎのボリュームを調整することで音像定位がなされてもよいし、ＶＲゴーグルにヘッドホンが付随している場合はヘッドホンの機能を利用して音像定位がなされてもよい。

移動体画像表示装置２５０は、カメラユニット１３０が撮像した画像（前述した結合処理が行われた画像であってもよく、以下では移動体画像と称する）のうち、助手席から見た指向方向に対応する画像を表示する。図６は、指向方向に対応する画像について説明するための図である。この図の例では、ＶＲゴーグル２５５に指向方向検知装置２３２、頭部位置検知装置２３４としての物理センサ、および移動体画像表示装置２５０が含まれている。第２制御装置２７０は、予めキャリブレーションされた方向を基準方向としてＶＲゴーグル２５５の向く方向を指向方向φとして検知する。係る機能については既に種々の手法が公知となっているため詳細な説明を省略する。

移動体画像表示装置２５０は、移動体画像Ａ１（図では２４０度程度の角度を有するが、前述したように結合処理によって画角が拡張されてもよい）のうち、指向方向φを中心としたプラスマイナスαの角度範囲の画像Ａ２を利用者Ｕに向けて表示する。

ＨＭＩ２６０は、タッチパネルや音声応答装置（エージェント装置）、或いは上記したスイッチ等である。ＨＭＩ２６０は、第２装置２００に対する利用者Ｕの各種指示を受け付ける。

第２制御装置２７０は、例えば、例えばＣＰＵ等のプロセッサと、プロセッサに接続され、プログラム（命令群）を格納した記憶媒体とを含み、プロセッサが命令群を実行することで第２装置２００の各部を制御する。

＜機能構成＞
以下、第１制御装置１７０と第２制御装置２７０の機能構成について説明する。
［第１例］
図７は、第１制御装置１７０と第２制御装置２７０の機能構成の第１例を示す図である。第１例において、第１制御装置１７０は、マッチングリクエスト／承諾部１７１と、音声出力制御部１７２と、画像送信部１７３と、搭載機器連携部１７４とを含む。第２制御装置２７０は、マッチングリクエスト／承諾部２７１と、音声出力制御部２７２と、指向方向検知部２７３と、頭部位置検知部２７４と、ジェスチャー入力検知部２７５と、画像編集部２７６と、移動体画像表示制御部２７７とを含む。これらの機能部は、例えば、ＣＰＵなどのプロセッサがプログラム（命令群）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

マッチングリクエスト／承諾部１７１は、ＨＭＩ１６０を用いて乗員Ｐからのマッチングリクエストの入力を受け付け、管理サーバ３００に送信したり、ＨＭＩ１６０を用いて管理サーバ３００から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ３００に送信したりする。マッチングリクエスト／承諾部１７１は、マッチングが成立した利用者Ｕの第２装置２００を通信相手とするように第１通信装置１１０を制御する。

音声出力制御部１７２は、前述したように第１スピーカ１４０を制御する。

画像送信部１７３は、第１通信装置１１０を用いて、第２装置２００に移動体画像Ａ１を送信する。

搭載機器連携部１７４は、第２装置２００から入力された指示信号に基づいて、制御対象機器１９０を制御する。

マッチングリクエスト／承諾部２７１は、ＨＭＩ２６０を用いて利用者Ｕからのマッチングリクエストの入力を受け付け、管理サーバ３００に送信したり、ＨＭＩ２６０を用いて管理サーバ３００から受信したマッチングリクエストに対する承諾の入力を受け付け、管理サーバ３００に送信したりする。マッチングリクエスト／承諾部２７１は、マッチングが成立した乗員Ｐの第１装置１００を通信相手とするように第２通信装置２１０を制御する。

音声出力制御部２７２は、前述したように第２スピーカ２４０を制御する。

指向方向検知部２７３は、指向方向検知装置２３２の出力に基づいて、指向方向φを検知する。頭部位置検知部２７４は、頭部位置検知装置２３４の出力に基づいて、利用者Ｕの頭部位置を検知する。頭部位置は、三次元の座標として表されてもよいし、単に頭部の高さが頭部位置として検知されてもよい。ジェスチャー入力検知部２７５は、モーションセンサ２３６の出力に基づいて、利用者Ｕのジェスチャー入力を検知する。

画像編集部２７６は、移動体画像Ａ１から、助手席から見た指向方向φに対応する画像Ａ２を切り出す処理を行う（図６）。移動体画像表示制御部２７７は、画像編集部２７６によって切り出された画像Ａ２を、移動体画像表示装置２５０に表示させる。このとき、画像編集部２７６は、利用者Ｕの頭部の高さ情報が示す高さから見た指向方向φに対応する画像を移動体画像表示装置２５０に表示させてもよい。

［第２例］
図８は、第１制御装置１７０と第２制御装置２７０の機能構成の第２例を示す図である。図７の第１例と比較すると、第１制御装置１７０が画像編集部１７５を含み、第２制御装置２７０が画像編集部２７６を含まず指向方向送信部２７８を含む点で相違する。その他の構成要素に関しては基本的に第１例と同じ機能を有するため再度の説明を省略する。

指向方向送信部２７８は、指向方向検知部２７３が検知した指向方向φを、第２通信装置２１０を用いて第１装置１００に送信する。

画像編集部１７５は、移動体画像Ａ１から、助手席から見た指向方向φ（第２装置２００から送信されてきたもの）に対応する画像Ａ２を切り出す処理を行う（図６）。このとき、画像編集部１７５は、利用者Ｕの頭部の高さ情報を第２装置２００から取得しておき、高さ情報が示す高さから見た指向方向φに対応する画像Ａ２を切り出す処理を行ってもよい。

第２例における画像送信部１７３は、第１通信装置１１０を用いて、第２装置２００に、画像編集部１７５によって切り出された画像Ａ２を送信する。そして、移動体画像表示制御部２７７は、第１装置１００から送信されてきた画像Ａ２を移動体画像表示装置２５０に表示させる。

＜通常モード＞
図９は、通常モードにおける画像Ａ２の一例を示す図である。通常モード（第１モード）は、カメラユニット１３０が撮影した移動体Ｍの所定の内装を含む画像Ａ２を表示するモードである。画像Ａ２は、移動体画像表示装置２５０に表示される。前述したように、画像Ａ２は、移動体画像Ａ１から切り出された画像であって、助手席から見た指向方向φに対応する画像である。

図９に示される例では、画像Ａ２には、移動体Ｍに設けられた所定の内装としてのピラー１０の画像が含まれている。ピラー１０は、移動体Ｍのボディとルーフとを繋ぐ柱状の内装である。ここでは、ピラー１０の一例として移動体Ｍの前方に設けられたフロントピラーについて説明するが、ピラー１０は移動体Ｍの後方に設けられたリアピラーであってもよい。

図９に示されるように、ピラー１０によって移動体Ｍの外の景色が遮られてしまうため、利用者Ｕにとって移動体Ｍの外の景色が見え難い。そこで、本実施形態においてはピラー１０などの移動体Ｍの内装を透過させて移動体Ｍの外の景色を見えるようにする透過モードを利用者Ｕが選択可能となっている。

具体的に、利用者Ｕは、画像Ａ２に含まれる透過モードアイコン１１を選択することで、通常モードから透過モードに切り替えることができる。例えば、第２制御装置２７０のジェスチャー入力検知部２７５は、モーションセンサ２３６の出力に基づいて、利用者Ｕが透過モードアイコン１１を指で選択するジェスチャーを行ったことを検知してよい。第２制御装置２７０は、透過モードアイコン１１が選択されたことをジェスチャー入力検知部２７５が検知した場合に、通常モードから透過モードに切り替えてよい。

＜透過モード＞
図１０は、透過モードにおける置換画像Ａ３の一例を示す図である。透過モード（第２モード）は、カメラユニット１３０が撮影した画像Ａ２における所定の内装（例えば、ピラー１０）の領域を、カメラユニット１３０が撮像した移動体Ｍの外部の画像に置き換えた置換画像Ａ３を表示するモードである。置換画像Ａ３は、移動体画像表示装置２５０に表示される。

図１０に示されるように、ピラー１０の領域がカメラユニット１３０によって撮像された移動体Ｍの外部の画像に置き換えられることで、利用者Ｕにとって移動体Ｍの外の景色が見え易くなる。移動体Ｍの外部の画像は、室外カメラ１３４によって撮像された画像であってよい。この場合、移動体画像表示装置２５０は、透過モードにおいて、室内カメラ１３２が撮像した画像Ａ２におけるピラー１０の領域を、室外カメラ１３４が撮像した移動体Ｍの外部の画像に置き換えた置換画像Ａ３を表示するようにしてもよい。

例えば、前述の第１例の場合、置換画像Ａ３は画像編集部２７６によって生成される。具体的に、第１制御装置１７０の画像送信部１７３は、第１通信装置１１０を用いて、移動体画像Ａ１および移動体Ｍの外部の画像を第２装置２００に送信する。第２制御装置２７０の画像編集部２７６は、移動体画像Ａ１から、助手席から見た指向方向φに対応する画像Ａ２を切り出す処理を行い、画像Ａ２におけるピラー１０の領域を移動体Ｍの外部の画像に置き換えた置換画像Ａ３を生成する。

一方、前述の第２例の場合、置換画像Ａ３は画像編集部１７５によって生成される。具体的に、第１制御装置１７０の画像編集部１７５は、移動体画像Ａ１から、助手席から見た指向方向φ（第２装置２００から送信されてきたもの）に対応する画像Ａ２を切り出す処理を行い、画像Ａ２におけるピラー１０の領域を移動体Ｍの外部の画像に置き換えた置換画像Ａ３を生成する。画像送信部１７３は、第１通信装置１１０を用いて、画像編集部１７５によって生成された置換画像Ａ３を第２装置２００に送信する。

なお、移動体Ｍの所定の内装は、車両に設けられたピラー１０であることとしたが、これに限らない。例えば、移動体Ｍの所定の内装はルーフであってもよい。この場合、移動体画像表示装置２５０は、透過モードにおいて、室内カメラ１３２が撮像した画像Ａ２におけるルーフの領域を、ルーフ上に設けられた室外カメラ１３４が撮像した移動体Ｍの外部の画像に置き換えた置換画像Ａ３を表示するようにしてもよい。これによって、利用者Ｕに対して移動体Ｍの外の景色をより見え易くすることができる。

また、室内カメラ１３２のみを用いてピラー１０の領域における移動体Ｍの外部の画像を撮像できる場合には、室外カメラ１３４を用いなくてもよい。例えば、第１制御装置１７０は、室内カメラ１３２が連続的に撮影した画像Ａ２を記憶装置に蓄積しておき、蓄積された過去の画像Ａ２を用いてピラー１０の領域における移動体Ｍの外部の画像を生成してもよい。この場合、移動体画像表示装置２５０は、透過モードにおいて、室内カメラ１３２が撮像した画像Ａ２におけるピラー１０の領域を、第１制御装置１７０が生成した移動体Ｍの外部の画像に置き換えた置換画像Ａ３を表示するようにしてもよい。

また、利用者Ｕが移動体Ｍの窓から頭を外に出すように頭の位置を移動させた場合、第２制御装置２７０は、カメラユニット１３０が撮像した移動体Ｍの外部の画像を移動体画像表示装置２５０に表示させてもよい。また、利用者Ｕが立ち上がることによってルーフよりも上に頭を移動させた場合においても、カメラユニット１３０が撮像した移動体Ｍの外部の画像を移動体画像表示装置２５０に表示させてもよい。これによって、利用者Ｕに対して移動体Ｍの外の景色をより見え易くすることができる。

＜モードの推奨処理＞
次に、モードの推奨処理について説明する。第２制御装置２７０は、移動体Ｍの走行状態に基づいて、通常モード（第１モード）または透過モード（第２モード）のいずれかを推奨してもよい。例えば、第２制御装置２７０は、通常モードまたは透過モードのいずれか一方を推奨するメッセージを移動体画像表示装置２５０に表示させてもよいし、当該メッセージを第２スピーカ２４０から出力させてもよい。或いは、透過モードアイコン１１をハイライト表示することで透過モードを推奨してもよい。

例えば、第２制御装置２７０は、カメラユニット１３０が撮像した移動体Ｍの外部の風景の画像に基づいて、通常モードまたは透過モードのいずれかを推奨してもよい。具体的に、移動体Ｍが海沿いを走行している場合など、利用者Ｕが眺めの良い風景を見ることができる場合には、第２制御装置２７０は透過モードを推奨するようにしてもよい。この場合、第２制御装置２７０は、移動体Ｍの外部の風景の画像を入力とし、眺めの良い風景か否かを示す値を出力とする学習済みモデルを用いて、利用者Ｕが眺めの良い風景を見ることができるか否かを判定してもよい。学習済みモデルは、例えば、教師（正解）データを用いた機械学習（ニューラルネットワーク）や深層学習（ディープラーニング）などのＡＩによる機能を用いて生成されてよい。これによって、利用者Ｕに対し、眺めの良い風景を見易くすることができる。

また、例えば、第２制御装置２７０は、移動体Ｍが車庫入れを行っているか否かに応じて、通常モードまたは透過モードのいずれかを推奨してもよい。具体的には、第２制御装置２７０は、移動体Ｍが車庫入れを行っている場合には、透過モードを推奨するようにしてもよい。例えば、第２制御装置２７０は、ＨＭＩ１６０を介した乗員Ｐからの指示に応じて移動体Ｍが車庫入れを行っているか否かを判定してもよいし、カメラユニット１３０が撮像した移動体Ｍの外部の画像に基づいて、移動体Ｍが車庫入れを行っているか否かを判定してもよい。これによって、利用者Ｕは、移動体Ｍの車庫入れの状況を容易に把握することができる。

また、例えば、第２制御装置２７０は、移動体Ｍに他の移動体が近づいているか否かに応じて、通常モードまたは透過モードのいずれかを推奨してもよい。具体的には、第２制御装置２７０は、緊急車両（救急車など）や自転車などの他の移動体が移動体Ｍに近づいている場合には、透過モードを推奨するようにしてもよい。例えば、第２制御装置２７０は、カメラユニット１３０が撮像した移動体Ｍの外部の画像に基づいて、移動体Ｍに他の移動体が近づいているか否かを判定してもよい。これによって、利用者Ｕは、移動体Ｍと他の移動体との位置関係を容易に把握することができる。

＜その他＞
情報処理システム１において、利用者Ｕが助手席Ｓ２から見た任意の方向を視認できるものとして説明したが、例えばマッチングの際の取り決めによって、利用者Ｕが視認可能な方向に制限が設けられてもよい。例えば、乗員Ｐの側で、移動体Ｍの進行方向の風景、あるいは運転席Ｓ１と反対側の風景は提供してもよいが、自身の姿は表示させたくない、といった要望が発生する場合がある。これは、乗員Ｐと利用者Ｕが、家族、友人といった関係になく、移動体Ｍのドライブフィーリングを確認したい、或いは所望の街の風景を視認したいといったニーズに応える場合を想定したものである。この場合、管理サーバ３００のマッチング処理部３２０がマッチング処理を行う際に、そのような制限が設定され、第１制御装置１７０または第２制御装置２７０が設定に応じて、視認させない角度範囲をマスクしたり、或いは指向方向φが制限された方向に向かないように補正を行ったりする。また、このような制限に関する情報は、乗員Ｐのプライバシーに関するものであるため、第１装置１００の側で設定されてもよい。

また、移動体画像表示装置２５０は、カメラユニット１３０が撮像した画像のうち移動体Ｍの室内の所定物品を写した部分を、コンピュータ処理によって描画された画像（ＣＧ画像）に置換して表示してもよい。図１１は、置換画像を表示することの一例を示す図である。図中、ＯＢはナビゲーション表示等を行う表示装置であり、「所定物品」の一例である。表示装置の表示画面を撮像した画像をそのまま表示すると画像がボケたり光の反射で視認性が低下する場合がある。このため、移動体画像表示装置２５０は、係る表示装置の表示画面を構成するためのデータ、或いは移動体Ｍにおけるコンピュータ処理によって描画された画像データを第１装置から取得し、データからコンピュータ処理によって再描画した画像、或いは取得した画像データを、カメラユニット１３０が撮像した画像（を編集したもの）に埋め込んで表示してもよい。この場合、第１装置１００と第２装置の間で所定物品となる移動体Ｍの室内の物品の位置について予め共有がされており、移動体画像表示制御部２７７は、移動体画像表示装置２５０に表示させる画像に所定物品が含まれるかどうかを例えば指向方向φに基づいて判定し、含まれると判定した場合に上記のように画像の置換を行う。また、「所定物品」は、乗員Ｐの頭部または顔であってもよい。その場合、乗員Ｐの表示に応じてアバター等のＣＧ画像が変更されてもよい。

＜まとめ＞
以上のように構成される情報処理システム１は、乗員Ｐが搭乗する移動体Ｍに搭載される第１装置１００と、移動体Ｍとは異なる場所で利用者Ｕによって利用される第２装置２００とを備える。第１装置１００は、第２装置２００の第２通信装置２１０と通信する第１通信装置１１０と、移動体Ｍの所定の座席上に設けられた室内カメラ１３２を少なくとも含み、移動体Ｍの内部および外部を撮像可能なカメラユニット１３０と、を有する。第２装置２００は、第１通信装置１１０と通信する第２通信装置２１０と、カメラユニット１３０が撮像した画像を表示する移動体画像表示装置２５０と、カメラユニット１３０が撮像した移動体Ｍの所定の内装（ピラー１０など）を含む画像Ａ２を移動体画像表示装置２５０に表示させる通常モード（第１モード）と、カメラユニット１３０が撮像した画像Ａ２における所定の内装の領域を、カメラユニット１３０が撮像した移動体Ｍの外部の画像に置き換えた置換画像Ａ３を移動体画像表示装置２５０に表示させる透過モード（第２モード）とを、利用者の操作に応じて切り替える第２制御装置２７０と、を有する。これによって、移動体Ｍとは異なる場所にいる利用者Ｕに対して移動体Ｍの外の景色を見え易くすることができる。

＜利用例＞
情報処理システム１は、以下のような態様で利用可能である。

（Ａ）乗員Ｐと利用者Ｕが家族、友人などの関係にあり、バーチャルドライブを利用者Ｕに提供する態様。利用者Ｕは、画像を見ながら移動体Ｍの周囲の風景等について乗員Ｐと会話することができる。

（Ｂ）乗員Ｐが一般利用者、利用者Ｕが道案内サービス、運転指導サービスなどの提供者である態様。利用者Ｕは、移動体Ｍの周囲の風景を見ながらナビゲーション装置では分かりにくい、或いは地図に載っていないような場所における道案内を行ったり、運転操作の指導を行ったりすることができる。

（Ｃ）乗員Ｐが有名人、利用者Ｕが一般利用者であり、商業ベースのバーチャルドライブを利用者Ｕに提供する態様。この場合、一人の乗員Ｐに対して複数の利用者Ｕが同時に対応付けられ、例えば利用者Ｕの側からの音声の転送はオフに設定されてよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 情報処理システム
１０ ピラー
１１ 透過モードアイコン
１００ 第１装置
１１０ 第１通信装置
１２０ 第１マイク
１３０ カメラユニット
１３２ 室内カメラ
１３４ 室外カメラ
１４０ 第１スピーカ
１５０ 利用者表示装置
１６０ ＨＭＩ
１７０ 第１制御装置
１９０ 制御対象機器
２００ 第２装置
２１０ 第２通信装置
２２０ 第２マイク
２３０ 検知装置
２３２ 指向方向検知装置
２３４ 頭部位置検知装置
２３６ モーションセンサ
２４０ 第２スピーカ
２５０ 移動体画像表示装置
２６０ ＨＭＩ
２７０ 第２制御装置
３００ 管理サーバ
Ｍ 移動体

Claims (13)

1. 乗員が搭乗する移動体に搭載される第１装置と、
   前記移動体とは異なる場所で利用者によって利用される第２装置と、
   を備える情報処理システムであって、
   前記第１装置は、
   前記第２装置の第２通信装置と通信する第１通信装置と、
   前記移動体の所定の座席上に設けられた室内カメラを少なくとも含み、前記移動体の内部および外部を撮像可能なカメラユニットと、
   を有し、
   前記第２装置は、
   前記第１通信装置と通信する前記第２通信装置と、
   前記カメラユニットが撮像した画像を表示する表示装置と、
   前記カメラユニットが撮像した前記移動体の所定の内装を含む画像を前記表示装置に表示させる第１モードと、前記カメラユニットが撮像した画像における前記所定の内装の領域を、前記カメラユニットが撮像した前記移動体の外部の画像に置き換えた置換画像を前記表示装置に表示させる第２モードとを、前記利用者の操作に応じて切り替える第２制御装置と、
   を有する、
   情報処理システム。
2. 前記第２制御装置は、前記移動体の走行状態に基づいて、前記第１モードまたは前記第２モードのいずれかを推奨する、
   請求項１記載の情報処理システム。
3. 前記第２制御装置は、前記カメラユニットが撮像した前記移動体の外部の風景の画像に基づいて、前記第１モードまたは前記第２モードのいずれかを推奨する、
   請求項２記載の情報処理システム。
4. 前記第２制御装置は、前記移動体が車庫入れを行っているか否かに応じて、前記第１モードまたは前記第２モードのいずれかを推奨する、
   請求項２記載の情報処理システム。
5. 前記第２制御装置は、前記移動体に他の移動体が近づいているか否かに応じて、前記第１モードまたは前記第２モードのいずれかを推奨する、
   請求項２記載の情報処理システム。
6. 前記カメラユニットは、前記移動体の外部に設けられた室外カメラを更に有し、
   前記表示装置は、前記第２モードにおいて、前記室内カメラが撮像した画像における前記所定の内装の領域を、前記室外カメラが撮像した前記移動体の外部の画像に置き換えた前記置換画像を表示する、
   請求項１記載の情報処理システム。
7. 前記第１装置は、
   前記第１通信装置を介して取得された、前記利用者の発した音声を出力する第１スピーカと、
   前記乗員の発した音声を収集する第１マイクと、を更に有し、
   前記第２装置は、
   前記第２通信装置を介して取得された、前記乗員の発した音声を出力する第２スピーカと、
   前記利用者の発した音声を収集する第２マイクと、を更に有し、
   前記第１通信装置は、前記第１マイクが収集した音声を前記第２通信装置に送信し、
   前記第２通信装置は、前記第２マイクが収集した音声を前記第１通信装置に送信する、
   請求項１記載の情報処理システム。
8. 前記第２装置は、前記利用者の指向方向を検知するための検知装置を更に有し、
   前記表示装置は、前記カメラユニットが撮像した画像のうち、前記所定の座席から見た前記指向方向に対応する画像を表示する、
   請求項１記載の情報処理システム。
9. 前記第２通信装置は、前記指向方向の情報を前記第１通信装置に送信し、
   前記第１装置は、前記カメラユニットが撮像した画像のうち、前記第１通信装置を介して取得される前記指向方向に対応する画像を選択的に前記第２通信装置に送信するように、前記第１通信装置を制御する第１制御装置を更に有し、
   前記第２装置の前記表示装置は、前記第２通信装置を介して取得される、前記所定の座席から見て前記指向方向に対応する画像を表示する、
   請求項８記載の情報処理システム。
10. 前記第１通信装置は、前記カメラユニットが撮像した画像を前記第２通信装置に送信し、
    前記第２制御装置は、前記カメラユニットが撮像した画像のうち前記指向方向に対応する画像を選択的に前記表示装置に表示させる、
    請求項８記載の情報処理システム。
11. 前記表示装置は、ＶＲ（Virtual Reality）ゴーグルの表示装置であり、
    前記検知装置は、前記ＶＲゴーグルに取り付けられた物理センサを含む、
    請求項８記載の情報処理システム。
12. 前記移動体は車両であり、
    前記所定の内装は、前記車両に設けられたピラーまたはルーフである、
    請求項１記載の情報処理システム。
13. 前記表示装置は、前記カメラユニットが撮像した画像のうち前記移動体の室内の所定物品を写した部分を、コンピュータ処理によって描画された画像に置換して表示する、
    請求項１記載の情報処理システム。

Images