JP7652001B2 - 遠隔運転システム - Google Patents

Description

本発明は、遠隔運転システムに関する。

ライブ監視用の主画像と、その主画像を補う詳細な副画像と、に加えて、音声やセンサデータなどを付帯情報として送信する遠隔画像監視装置は、従来から知られている（例えば、特許文献１参照）。

特開２０１９－１１８０１９号公報

近年、車外に設けられた操縦席から車両を遠隔で操作して運転する遠隔運転技術が求められている。このような遠隔運転の場合、実際に走行させる車両の周辺で発生した生の音を操縦席へ伝える必要がある。しかしながら、実際に発生した生の音の情報量（音データ量）は多く、その音データを操縦席に伝える際に、通信遅延が発生する可能性がある。

つまり、車両を遠隔操作で運転した際、操縦席に伝わる車両周辺の音が、実際に発生した音のタイミングよりも遅れてしまう（音ずれしてしまう）おそれがある。そのため、上記した遠隔画像監視装置では、音データを圧縮して送信しているが、音ずれの発生を抑制するためには充分ではなく、その音ずれの発生を抑制する点においては、改善の余地がある。

そこで、本発明は、車両を車外の操縦席から遠隔で操作して運転する際に、車両周辺の音が操縦席へずれて伝わるのを抑制できる遠隔運転システムを得ることを目的とする。

上記の目的を達成するために、本発明に係る請求項１に記載の遠隔運転システムは、車両周辺の音を収音する収音部と、前記収音部で収音した音を予め定められたフラグ情報に変換する制御部と、前記フラグ情報を送信する送信部と、を有する車両と、前記フラグ情報を受信する受信部と、受信した前記フラグ情報の内容に対応した通知を行う通知部と、を有し、前記車両を車外から遠隔操作で運転可能な操縦席と、を備え、前記通知部には、予めサンプリングした種々の音データ及び振動データが記録されており、前記通知部は、前記内容に対応した音及び振動を前記音データ及び前記振動データから選択して前記操縦席の操縦者へ通知する。

請求項１に記載の発明によれば、車両周辺の音を車両の収音部で収音したら、車両の制御部により、その音を予め定められたフラグ情報に変換し、車両の送信部により、そのフラグ情報を送信する。そして、車両の送信部から送信されたフラグ情報は、操縦席の受信部によって受信される。つまり、車両と操縦席との間で通信される情報は、フラグ情報であって、収音部で収音した実際の音の情報（音データ）ではない。

ここで、フラグ情報は、音データに比べてデータ量が少なく、通信遅延が発生し難い。また、操縦席の通知部には、予めサンプリングした種々の音データ及び振動データが記録されている。したがって、その操縦席の通知部により、操縦席の受信部で受信したフラグ情報の内容に対応した通知が行われる。つまり、操縦席にいる操縦者には、フラグ情報に対応したサンプリング音及び振動が通知される。これにより、車両を車外の操縦席から遠隔で操作して運転する際に、車両周辺の音が操縦席へずれて（遅れて）伝わるのが抑制される。

以上のように、本発明によれば、車両を車外の操縦席から遠隔で操作して運転する際に、車両周辺の音が操縦席へずれて伝わるのを抑制することができる。

本実施形態に係る遠隔運転システムの構成を示すブロック図である。 本実施形態に係る遠隔運転システムの車両側の処理工程を示すフローチャートである。 本実施形態に係る遠隔運転システムの遠隔コクピット側の処理工程を示すフローチャートである。

以下、本発明に係る実施の形態について、図面を基に詳細に説明する。図１に示されるように、本実施形態に係る遠隔運転システム１０は、車道を実際に走行する車両１２と、その車両１２を車外から遠隔で操作して運転する運転者（操縦者）が乗り込む操縦席としての遠隔コクピット２０と、を備えている。

車両１２は、車両周辺の音を収音する収音部としてのマイク１４と、マイク１４で収音した音の情報（音データ）を予め定められたフラグ情報に変換する制御部１６と、アンテナ１９を介して、そのフラグ情報を遠隔コクピット２０へ送信する送信部を備えた通信部１８と、を有している。なお、この通信部１８には、遠隔コクピット２０から送信される情報（例えば車両１２を運転操作するための情報）を受信する受信部も備えられている。

マイク１４は、車両１２の前後左右など、音の発生源が認識できるように構成されていることが望ましく、その個数及び車両１２における設置箇所には制約がない。車両１２に設けられている制御部１６は、収音した音をフィルタリングし、ＡＩ等を用いて分析及び識別することができるように構成されている。

遠隔コクピット２０は、アンテナ２１を介して、通信部１８からのフラグ情報を受信する受信部を備えた通信部２２を有している。なお、この通信部２２は、車両１２へ情報（例えば車両１２を運転操作するための情報）を送信する送信部も備えられている。また、遠隔コクピット２０は、受信したフラグ情報の内容に対応した所定の通知を行う通知部としての制御部２４を有している。

制御部２４には、実際に車両１２が車道を走行したときにサンプリングした種々の音データや振動データ等が予め記録されている。そして、この制御部２４は、通信部２２で受信したフラグ情報を分析し、その状態（運転状況）に応じた適切な音や振動を選択して運転者へ通知するようになっている。

すなわち、制御部２４には、遠隔コクピット２０において、実際に車両１２を遠隔操作している運転者へ音を通知する（音を発生させる）通知手段としてのスピーカ２６や、フラグ情報から得られた状態に応じて、運転者へ振動を通知する（振動を発生させる）通知手段としての振動装置２８が、それぞれ電気的に接続されている。

スピーカ２６は、運転者の聴覚に通知できるように構成されており、前後左右など、音の方向が再現できるようになっていることが望ましく、その個数及び遠隔コクピット２０における設置箇所には制約がない。したがって、例えばスピーカ２６の少なくとも一部が立体音響スピーカで構成されていてもよい。

振動装置２８は、遠隔コクピット２０に備えられた図示しないシートやステアリングホイールなどに設けられており、そのシートやステアリングホイールなどを振動させることによって運転者の触覚に通知できるように構成されている。なお、振動装置２８は、振動させる箇所や振動の強弱を変更できるように構成されていることが望ましい。

また、制御部２４には、表示部３０が電気的に接続されている。表示部３０は、遠隔コクピット２０に付随している表示装置であり、その表示装置には、遠隔で操作する車両１２の周辺のカメラ映像等を映し出すディスプレイや、その車両１２の各種メータなどが設けられている。つまり、この車両１２にはカメラが設けられており、そのカメラで撮影した映像が、ディスプレイ等の通知手段により、運転者の視覚に通知できるように構成されている。

以上のような構成とされた本実施形態に係る遠隔運転システム１０において、次にその作用について図２、図３を基に説明する。

遠隔コクピット２０からの遠隔操作で車両１２を運転する場合、例えば緊急車両の接近や踏切など、その車両１２の周辺で発生する音の把握が必要となる。そのため、図２に示されるように、車両１２側では、まず車両１２に設けられたマイク１４により、実際に走行している車両１２の周辺で発生する音を収音する（ステップＳ１１）。

車両１２の周辺で発生する音をマイク１４で収音したら、制御部１６により、その収音した音をフィルタリングして不要な雑音を消去し（ステップＳ１２）、ＡＩ等を用いて音の分析及び識別をする（ステップＳ１３）。例えば、緊急車両、先行車両、後続車両、対向車両、踏切、歩行者、自転車、工事等によって発生する音の分析及び識別をする。

そして、制御部１６により、その音の分析及び識別結果から遠隔コクピット２０側へ送信する必要のある音か否かを判断する（ステップＳ１４）。送信する必要がない音の場合には、ステップＳ１１へ戻り、送信する必要がある音の場合には、その分析及び識別結果を予め定められたフラグ情報に変換する。

予め定められたフラグ情報としては、上記した各種車両や歩行者、自転車等の種別、方向、推定相対距離、停まっている又は近づいているなどの状態等が挙げられる。そして、通信部１８により、そのフラグ情報を遠隔コクピット２０側へアンテナ１９を介して送信する（ステップＳ１５）。車両１２側では、以上の工程を繰り返す。

図３に示されるように、遠隔コクピット２０側では、アンテナ２１を介して通信部２２がフラグ情報を受信するのを待つ（ステップＳ２１）。すなわち、制御部２４が、フラグ情報を受信したか否かを判断し（ステップＳ２２）、フラグ情報を受信していないときには、ステップＳ２１へ戻る。

一方、フラグ情報を受信したときには、制御部２４が、その受信したフラグ情報を解析し（ステップＳ２３）、運転者へ通知するか否かを判断する（ステップＳ２４）。運転者への通知が不要の場合には、ステップＳ２１へ戻る。運転者への通知が必要な場合には、運転状況に応じた最適な通知手段を選択し（ステップＳ２５）、その通知手段により、運転者（ドライバ）へ通知する（ステップＳ２６）。遠隔コクピット２０側では、以上の工程を繰り返す。

通知手段としては、まず運転者の視覚に通知する表示部３０の表示装置（ディスプレイ等）がある。表示部３０は、例えば車両１２の周辺の緊急車両、先行車両、後続車両、対向車両、踏切、歩行者、自転車、工事等のカメラ映像をディスプレイに表示させたり、各種メータの表示と合わせて、それらの識別マークや、それらとの推定相対距離、停まっている又は近づいているなどの状態等をディスプレイに表示させたりすることにより、その状況を運転者へ通知することができる。

また、通知手段としては、運転者の聴覚に通知するスピーカ２６や、運転者の触覚に通知する振動装置２８がある。すなわち、通知手段としては、運転者に向かって音を発生させるスピーカ２６や、フラグ情報から得られた状態に応じて、運転者が着座するシート及び運転者が把持するステアリングホイールの少なくとも一方を振動させる振動装置２８がある。

ここで、制御部２４には、予めサンプリングした種々の音データや振動データ等が記録されている。したがって、スピーカ２６から発生させる音は、事前にサンプリングしたリアルな音、音声での案内、アラート音などが挙げられ、それらの中から選択される。つまり、遠隔コクピット２０にいる運転者（操縦者）には、フラグ情報に対応したサンプリング音などが通知される。

なお、スピーカ２６の少なくとも一部が立体音響スピーカであると、例えばリアルな緊急車両の音（サイレン）を方向と共に発生させる（再生する）ことができる。また、スピーカ２６に立体音響スピーカが含まれていない場合でも、例えば音声のみで緊急車両の接近を方向と共に伝えることができる。

振動装置２８は、上記したように、フラグ情報から得られた状態に応じて、振動させる箇所や振動の強弱を変更できるようになっていることが望ましく、例えば、自車両の右側方から他車両が近寄って来た場合に、シートの右側又はステアリングホイールの右側を振動させ、他車両が近づくにつれて徐々に振動を大きくすることにより、その状況を運転者へ通知することができる。

このように、本実施形態に係る遠隔運転システム１０によれば、遠隔コクピット２０の運転者に対し、通信部２２で受信したフラグ情報の内容に応じた最適な通知が行われる。しかも、フラグ情報は、音データに比べて通信するデータ量が少なく、通信遅延が発生し難い。したがって、車両１２を車外の遠隔コクピット２０から遠隔で操作して運転する際に、車両周辺の音が遠隔コクピット２０へずれて（遅れて）伝わる（音ずれする）のを抑制することができる。

より具体的に説明すると、常に車両１２から生の音データを遠隔コクピット２０へ送信している場合には、通信データ量が多くなり、通信遅延による音ずれが発生するおそれがあるとともに通信コストにも影響を及ぼす。特に、生の音データによって音の発生方向等までリアルに再現しようとすると、音声チャンネルも増えるため、送信する音データ量が増加してしまう。

また、その受信した音データによる生の音を発生させる遠隔コクピット２０側にも、複数のスピーカ等を配置するなどの環境設備がより多く必要となってしまう。また、車両１２の走行速度が上がった場合には、ロードノイズや風切り音などが大きくなって、必要とされる音が聞き取れなくなったり、無駄な音データを送信することになったりしてしまう。

これに対し、本実施形態に係る遠隔運転システム１０では、車両１２から遠隔コクピット２０へ送信する情報が、マイク１４で収音した実際の生の音データではなく、フラグ情報のみとなっているため、通信データ量を低減させることができる。したがって、本実施形態に係る遠隔運転システム１０では、通信遅延による音ずれが発生するおそれがなく、通信コストにも影響を及ぼすことがない。

以上、本実施形態に係る遠隔運転システム１０について、図面を基に説明したが、本実施形態に係る遠隔運転システム１０は、図示のものに限定されるものではなく、本発明の要旨を逸脱しない範囲内において、適宜設計変更可能なものである。例えば、遠隔コクピット２０側に振動装置２８が設けられていなくてもよい。また、実際に走行する車両１２の周辺で発生する音の発生源は、上記のものに限定されるものではない。

１０ 遠隔運転システム
１２ 車両
１４ マイク（収音部）
１６ 制御部
１８ 通信部（送信部）
２０ 遠隔コクピット（操縦席）
２２ 通信部（受信部）
２４ 制御部（通知部）

Claims (1)

1. 車両周辺の音を収音する収音部と、前記収音部で収音した音を予め定められたフラグ情報に変換する制御部と、前記フラグ情報を送信する送信部と、を有する車両と、
   前記フラグ情報を受信する受信部と、受信した前記フラグ情報の内容に対応した通知を行う通知部と、を有し、前記車両を車外から遠隔操作で運転可能な操縦席と、
   を備え、
   前記通知部には、予めサンプリングした種々の音データ及び振動データが記録されており、
   前記通知部は、前記内容に対応した音及び振動を前記音データ及び前記振動データから選択して前記操縦席の操縦者へ通知する遠隔運転システム。