JP7063005B2 - 運転支援方法、車両、及び運転支援システム - Google Patents

Description

本発明は、運転支援方法、車両、及び運転支援システムに関する。

従来、例えば自動車等の車両の運転支援を行う技術が知られている。例えば、特許文献１には、車内マイクの取得した音声の音量又は音量変化が第１の判定閾値を超えており、且つ、車外マイクの取得した音声の音量又は音量変化が第２の判定閾値以下であるときに、乗員の緊急発話があったと判断して、パワーウィンドウの駆動モータを停止させる構成が開示されている。また、特許文献２には、車両上の異なる位置に設けられた複数のマイクロフォンによるサイレン音の検出状態に基づいて、当該サイレン音を発する緊急車両の接近方向を特定し、特定された接近方向に応じた認知支援及び運転支援の少なくともいずれかに係る対応出力を行う構成が開示されている。また、特許文献３には、車外の音声のうち、例えば緊急車両の警報音等の特定の音声を選別し、当該特定の音声の発生方向の検出結果に基づいて、当該特定の音声の発生位置を地図データ上に表示するようにナビゲーションシステムに指示する構成が開示されている。また、特許文献４には、マイクロフォンから収集された車外音がアンプにより増幅されて、スピーカから車室内に放出される構成が開示されている。また、特許文献５には、ステレオカメラの画像に基づいて車両前方の車外物が認識されると、当該車外物についての注意喚起表示を表示する構成が開示されている。また、特許文献６には、車両周囲の音声のうちから、例えば救急車のサイレン等の緊急性を持つ音声を識別した結果を、振動、音、又は表示によって運転者に伝える構成が開示されている。

特開２０１６－２０３８１５号公報 特開２０１０－０６７１６５号公報 特開２００６－０９２４８２号公報 特開平８－００２３３９号公報 特許第５６２２８１９号 特開２００７－０３４３４８号公報

ところで、認知科学分野における近年の研究によれば、発話内容を聞き手が言語的に認識しようとする場合、当該聞き手に認知負荷が生じ得ることが明らかになってきている。このため、車両の運転者は、認知負荷が低減するように、車外で発生した発話内容の認識を無意識のうちに避けてしまう可能性がある。このため、車外で発生した発話による音声は、例えば緊急車両の警報音等の非言語的な音と比較して、車両の運転者によって認識される可能性が低い。

また、緊急車両の警報は、警報音が比較的長い時間継続して発せられるため、運転者によって認識される可能性が比較的高い。一方、発話は、発話のタイミングでしか音声が発せられないため、運転者によって認識される可能性が比較的低い。

上述した事情から、車外で発生した発話による音声を用いた車両の運転支援が望まれている。しかしながら、上述した従来技術は、車外で発生した発話による音声ではなく、例えば緊急車両の警報音等の非言語的な音を用いて車両の運転支援を実行するものであり、近年のニーズに必ずしも対応できない。

かかる事情に鑑みてなされた本発明の目的は、車外で発生した発話による音声を用いた車両の運転支援を可能にする運転支援方法、車両、及び運転支援システムを提供することにある。

本発明の一実施形態に係る運転支援方法は、
車両の運転支援方法であって、
前記車両の外部に位置する音源の音声を取得するステップと、
音声認識処理によって認識される前記音声の発話内容に応じた運転支援情報を、前記音声に基づいて特定される前記車両に対する前記音源の相対位置を示唆する表示態様で、表示部に表示させる表示ステップと、を含む。

本発明の一実施形態に係る車両は、
音声取得部及び制御部を備える車両であって、
前記音声取得部は、前記車両の外部に位置する音源の音声を取得し、
前記制御部は、音声認識処理によって認識される前記音声の発話内容に応じた運転支援情報を、前記音声に基づいて特定される前記車両に対する前記音源の相対位置を示唆する表示態様で、表示部に表示させる。

発明の一実施形態に係る運転支援システムは、
車両と、前記車両と通信可能なサーバと、を備える運転支援システムであって、
前記車両は、前記車両の外部に位置する音源の音声を取得し、
前記車両又は前記サーバは、前記音声に基づいて前記車両に対する前記音源の相対位置を特定し、
前記車両又は前記サーバは、音声認識処理によって前記音声の発話内容を認識し、
前記車両は、前記発話内容に応じた運転支援情報を、前記音源の前記相対位置を示唆する表示態様で、表示部に表示させる。

本発明の一実施形態に係る運転支援方法、車両、及び運転支援システムによれば、車外で発生した発話による音声を用いた車両の運転支援が可能になる。

本発明の一実施形態に係る運転支援システムの概略構成を示すブロック図である。 車両の周辺状況の例を示す図である。 表示装置に表示される画面の第１例を示す図である。 表示装置に表示される画面の第２例を示す図である。 表示装置に表示される画面の第３例を示す図である。 表示装置に表示される画面の第４例を示す図である。 表示装置に表示される画面の第５例を示す図である。 表示装置に表示される画面の第６例を示す図である。 運転支援システムの動作を示すシーケンス図である。 実施形態の変形例に係る情報処理システムが記憶する情報の例を示す図である。 表示装置に表示される、変形例に係る画面の例を示す図である。

以下、本発明の実施形態について説明する。

（運転支援システムの構成）
図１を参照して、本発明の一実施形態に係る運転支援システム１の概要について説明する。運転支援システム１は、車両１０と、サーバ２０と、を備える。車両１０は、例えば自動車を含むが、任意の他の車両を含んでもよい。サーバ２０は、１つ又は互いに通信可能な複数のサーバ装置を含む。本実施形態では、説明の簡便のため、サーバ２０が１つのサーバ装置であるものとして説明する。車両１０及びサーバ２０は、ネットワーク３０を介して通信可能に接続される。ネットワーク３０は、例えばインターネットを含むが、任意の他のネットワークを含んでもよい。

運転支援システム１において、車両１０とサーバ２０とが協働して、車両１０の運転支援が実行される。概要として、運転支援システム１は、車両１０の外部に位置する音源の音声を取得する。本明細書において「音声」は、言語的な意味を有する一連の音を指す。運転支援システム１は、取得した音声に基づいて、車両１０に対する音源の相対位置を特定する。運転支援システム１は、音声認識処理によって当該音声の発話内容を認識する。運転支援システム１は、認識した発話内容に応じた運転支援情報を、車両１０に対する音源の相対位置を示唆する表示態様で、運転者に対して視認可能に表示する。

運転支援システム１の上述の動作によれば、例えば、車両１０の外部に位置する交通誘導員が車両１０に向かって発話した場合、当該発話の内容を示す文字列等の運転支援情報が表示される。このため、運転者は、交通誘導員の発話を聞き取り損なった場合であっても、運転支援情報を視認することによって、発話内容を一見して認識できる。したがって、車外で発生した発話による音声を用いた車両１０の運転支援が実現する。

また、例えば当該交通誘導員が車両１０の左前方に位置する場合、当該運転支援情報は、車両１０の左前方を示唆する表示態様で表示される。このため、運転者は、例えば交通誘導員の存在に気付いていなかった場合であっても、運転支援情報を視認することによって、交通誘導員の相対位置を一見して認識できる。したがって、車外で発生した発話による音声を用いた車両１０の運転支援の利便性が向上する。

次に、運転支援システム１の各構成について、詳細に説明する。

（車両の構成）
図１に示すように、車両１０は、音声取得部１１と、撮像部１２と、表示部１３と、通信部１４と、記憶部１５と、制御部１６と、を備える。音声取得部１１、撮像部１２、表示部１３、通信部１４、記憶部１５、及び制御部１６は、例えばＣＡＮ（Controller Area Network）等の車載ネットワーク又は専用線を介して、互いに通信可能である。

音声取得部１１は、車両１０における設置位置がそれぞれ異なる３つ以上のマイクを含む。本実施形態において、音声取得部１１の各マイクは、車外に位置する１つ以上の音源の音声を取得する。例えば図２に示す車両１０の周辺状況において、音声取得部１１の３つのマイク１１０（１１０ａ～１１０ｃ）のそれぞれは、車外に位置する２つの音源４０（４０ａ及び４０ｂ）の音声を取得する。音源４０は、例えば交通誘導員であるがこれに限られず、発話を行う任意の人物及び機械等を含んでもよい。

撮像部１２は、１つ以上のカメラを含む。本実施形態において、撮像部１２は、車外に位置する音源４０を撮像した撮像画像を生成する。撮像部１２は、所定のフレームレートで複数の撮像画像（即ち、映像）を生成してもよい。例えば図２に示す車両１０の周辺状況において、撮像部１２は、車両１０の左前方に位置する音源４０ａと、車両１０の右前方に位置する音源４０ｂと、を撮像した１以上の撮像画像を生成する。

音声取得部１１による音声の取得と、撮像部１２による撮像画像の生成とが、同期して行われてもよい。例えば、音声取得部１１によって音声が取得されている間、撮像部１２によって所定のフレームレートで撮像画像が生成されてもよい。以下、音源４０の音声の取得中に撮像部１２によって生成される、当該音源４０を撮像した１以上の撮像画像を、音源４０に対応する１以上の撮像画像ともいう。

表示部１３は、任意の情報を表示するディスプレイを含む。本実施形態において、表示部１３は、運転者の視野に情報を映し出すヘッドアップディスプレイであってもよい。かかる場合、例えば車両１０のウィンドシールド又はコンバイナ等の光学部材が、ヘッドアップディスプレイの一部を構成してもよい。或いは、表示部１３は、液晶パネル又は有機ＥＬ（Electro Luminescence）パネル等の表示パネルに情報を表示するパネルディスプレイであってもよい。かかる場合、例えば車両１０に備えられたナビゲーション装置のディスプレイ、又はスマートフォン等の移動端末のディスプレイが、表示部１３として用いられてもよい。

通信部１４は、１つ以上の通信インタフェースを含む。本実施形態において、車両１０は、通信部１４及びネットワーク３０を介してサーバ２０と無線通信する。

記憶部１５は、１つ以上のメモリを含む。メモリは、例えば半導体メモリ、磁気メモリ、及び光メモリ等を含んでもよい。記憶部１５に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１５は、車両１０の動作に用いられる任意の情報を記憶する。

制御部１６は、１つ以上のプロセッサを含む。プロセッサは、汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでもよい。例えば、車両１０に搭載されたＥＣＵ（Electronic Control Unit）が、制御部１６として機能してもよい。制御部１６は、車両１０全体の動作を制御する。

例えば、制御部１６は、音声取得部１１によって取得された、車外に位置する音源４０の音声に基づいて、車両１０に対する当該音源４０の相対位置を特定する。相対位置は、車両１０に原点が設定された任意の座標系を用いて特定される。例えば、相対位置は、車両１０の当該原点から音源４０の方向及び距離、即ち極座標で特定されてもよい。複数の音源４０の音声が音声取得部１１によって取得されている場合、制御部１６は、音源４０毎に相対位置を特定する。ここで、音源４０の相対位置の特定には、任意の音源定位アルゴリズムが採用可能である。例えば、制御部１６は、音声取得部１１に含まれる各マイク１１０の設置位置と、音源４０の音声が各マイク１１０に到達した時間差と、に基づいて、音源４０の相対位置を特定してもよい。

制御部１６は、音声取得部１１によって取得された音声から、音源４０毎に音声を分離する。ここで、音源４０毎の音声の分離には、任意の音声分離アルゴリズムが採用可能である。例えば、制御部１６は、上述した音源定位によって特定された車両１０から各音源４０の方向に音声取得部１１の指向性を向けるようにビームフォーミングを行うことによって、音源４０毎に音声を分離してもよい。また、制御部１６は、分離された音声毎に、雑音の低減又は除去を行ってもよい。

制御部１６は、分離された音声毎に、発話検出処理を行う。発話検出処理によって、音声中の発話が検出され得る。発話検出処理には、任意の発話検出アルゴリズムが採用可能である。例えば、制御部１６は、音声信号の振幅及び零交差数に基づいて決定される音声区間のそれぞれを、発話として検出してもよい。

制御部１６は、発話が検出された各音声を、当該音声の音源４０と対応付けてサーバ２０へ送信する。また、制御部１６は、発話が検出された各音声の音源４０に対応する相対位置及び１以上の撮像画像を、サーバ２０へ送信する。

制御部１６は、後述するようにサーバ２０が実行する音声認識処理によって認識された各音声の発話内容に応じた運転支援情報を、サーバ２０から受信し得る。制御部１６は、サーバ２０から運転支援情報を受信すると、当該運転支援情報を、対応する音源４０の相対位置を示唆する表示態様で、表示部１３に表示させる。表示部１３に表示される画面の具体例については後述する。

（サーバの構成）
図１に示すように、サーバ２０は、サーバ通信部２１と、サーバ記憶部２２と、サーバ制御部２３と、を備える。

サーバ通信部２１は、１つ以上の通信インタフェースを含む。本実施形態において、サーバ２０は、サーバ通信部２１及びネットワーク３０を介して車両１０と無線通信する。

サーバ記憶部２２は、１つ以上のメモリを含む。サーバ記憶部２２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部２２は、サーバ２０の動作に用いられる任意の情報を記憶する。

サーバ制御部２３は、１つ以上のプロセッサを含む。サーバ制御部２３は、サーバ２０全体の動作を制御する。

例えば、サーバ制御部２３は、車両１０から、発話が検出された各音声と、各音声の音源４０に対応する１以上の撮像画像及び相対位置と、を受信する。サーバ制御部２３は、音声認識処理によって、各音声を文字列に変換するとともに、各音声の発話内容を言語的に認識する。

サーバ制御部２３は、認識した各発話内容の有意性を、当該発話内容に係る音声の音源４０に関する１つ以上の情報に基づいて評価する。以下、音源４０に関する情報を、音源情報ともいう。本実施形態において、サーバ制御部２３は、音源４０の音声又は発話内容の長さ（第１音源情報）と、発話内容に含まれる文言（第２音源情報）と、発話内容の文脈（第３音源情報）と、音声の音圧（第４音源情報）と、音声の音源４０に対応する１以上の撮像画像を用いる画像認識処理の実行結果（第５音源情報）と、の５つの音源情報のうち少なくとも１つに基づいて、当該発話内容の有意性を評価する。具体的には、サーバ制御部２３は、後述するように音源情報毎に決定したポイントの合計値、平均値、又は最大値（以下、「合計値等」という。）が、所定の基準値以上であるか否かを判定する。ポイントの合計値等が基準値以上である場合、サーバ制御部２３は、当該発話内容が有意であると決定する。一方、ポイントの合計値等が基準値未満である場合、サーバ制御部２３は、当該発話内容は有意でないと決定する。

ここで、第１～第５音源情報のそれぞれに対応するポイントを決定するサーバ制御部２３の動作の具体例について説明する。

まず、第１音源情報について説明する。サーバ制御部２３は、発話内容に係る音声の時間的長さ、又は当該発話内容を示す文字列の文字数を、音源４０の音声又は発話内容の長さとして決定する。そして、サーバ制御部２３は、音声又は発話内容の長さに基づいて、第１音源情報に対応するポイントを決定する。ここで、音声又は発話内容の長さが長いほど、車両１０の運転者に認識させるべき情報が当該発話内容に含まれている蓋然性が高い。このため、サーバ制御部２３は、音声又は発話内容の長さが長いほど、第１音源情報に対応するポイントを大きくしてもよい。

続いて、第２音源情報について説明する。サーバ記憶部２２は、１つ以上のキーワードと、各キーワードに対応するポイントと、を予め記憶する。キーワードに対応するポイントの量は、例えば当該キーワードの緊急性又は重要性等の性質に基づいて任意に定められてもよい。例えば、緊急性の高い発話に用いられる蓋然性の高い「止まれ」というキーワードに対しては、緊急性の低い発話に用いられる蓋然性の高い「進め」というキーワードよりも大きなポイントが対応付けられてもよい。サーバ制御部２３は、上述したように発話内容が認識されると、当該発話内容に含まれるキーワードを検出する。サーバ制御部２３は、検出された各キーワードに対応するポイントの合計値等を、第２音源情報に対応するポイントとして決定する。

続いて、第３音源情報について説明する。サーバ制御部２３は、有意性を評価しようとする発話内容に係る音声の音源４０に対して、当該音源４０の前回の発話に係る発話内容が有意であると判定したか否かを判定する。前回の発話内容が有意であると判定した場合、サーバ制御部２３は、第３音源情報に対応するポイントを決定する。一方、前回の発話内容が有意ではないと判定した場合、サーバ制御部２３は、第３音源情報に対応するポイントを決定しなくてもよいし、或いは前回の発話内容が有意であると判定した場合の上述のポイントよりも小さいポイントを、第３音源情報に対応するポイントとして決定してもよい。

続いて、第４音源情報について説明する。サーバ制御部２３は、発話内容に係る音声の音圧を検出する。ここで、車両１０と音源４０との間の距離が長いほど、上述したように車両１０において取得される音声の音圧が低下する。このため、サーバ制御部２３は、車両１０に対する音源４０の相対位置に基づいて、例えば車両１０と音源４０との間の距離が長いほど、検出した音圧を大きくするように補正してもよい。サーバ制御部２３は、検出した音圧に基づいて、第４音源情報に対応するポイントを決定する。ここで、音声の音圧が大きいほど、発話内容が車両１０の運転者に認識させるべき情報である蓋然性が高い。このため、サーバ制御部２３は、検出した音圧が大きいほど、第４音源情報に対応するポイントを大きくしてもよい。

続いて、第５音源情報について説明する。サーバ制御部２３は、画像認識処理によって、音源４０に対応する１以上の撮像画像に基づき、当該音源４０の発話が車両１０に向けられたものであるか否かを判定する。例えば、音源４０が人物である場合、サーバ制御部２３は、当該１以上の撮像画像に基づいて、撮影画像中の推定音源方向の画像を切り出して人物を抽出し、当該人物の視線及び挙動（例えば、ジェスチャー）を認識してもよい。ジェスチャーは、例えば誘導灯を振る動作、手旗を振る動作、及び押し止める動作等の誘導動作、又は、指さし動作、及び手を振る動作等の問いかけ動作を含む。ジェスチャーを判定する場合、映像（動画）を用いる必要があり、連続する複数のフレームに対して推定音源方向の切り出しを行い、抽出された部分（クリップ）に対して、ニューラルネットワーク等の任意の手法を用いて認識処理を行う。サーバ制御部２３は、認識した視線及び挙動が車両１０に向けられている場合、音源４０の発話が車両１０に向けられていると判定してもよい。しかしながら、当該判定には、上述した例に限られず、１以上の撮像画像を用いる任意のアルゴリズムが採用可能である。音源４０の発話が車両１０に向けられたものであると判定した場合、サーバ制御部２３は、第５音源情報に対応するポイントを決定する。一方、音源４０の発話が車両１０に向けられたものではないと判定した場合、サーバ制御部２３は、第５音源情報に対応するポイントを決定しなくてもよいし、或いは音源４０の発話が車両１０に向けられたものであると判定した場合の上述のポイントよりも小さいポイントを、第５音源情報に対応するポイントとして決定してもよい。

上述した音源情報に基づいて発話内容が有意であると判定した場合、サーバ制御部２３は、当該発話内容に応じた運転支援情報を車両１０へ送信する。例えば、運転支援情報は、発話内容を示す文字列を含んでもよい。ここで、発話内容を示す文字列とは、上述したように発話に係る音声が音声認識処理よって変換された文字列である。或いは、運転支援情報は、発話内容を示す文字列（第１の文字列）を短文化した文字列（第２の文字列）を含んでもよい。具体的には、サーバ制御部２３は、発話内容を示す第１の文字列に含まれる一部の表現を省略し、要約し、又は置き換えることによって、短文化された第２の文字列を決定する。例えば、第１の文字列に含まれる間投詞を省略して第２の文字列が決定されてもよい。ここで、例えば「おーい」等、車両１０の運転者に対して発話された蓋然性の高い間投詞については、第１の文字列から省略されなくてもよい。しかしながら、第１の文字列を短文化して第２の文字列を決定する手法は、上記の例に限られず、任意に定められてもよい。また、運転支援情報は、上記の例に限られず、車両１０の運転者が視認することで発話内容を認識し得る任意の情報を含んでもよい。車両１０へ送信された運転支援情報は、上述したように、対応する音源４０の相対位置を示唆する表示態様で、車両１０の表示部１３に表示される。ここで、サーバ制御部２３は、第１の文字列が所定の基準よりも長い場合、第２の文字列を決定し、当該第２の文字列を含む運転支援情報を車両１０へ送信してもよい。かかる構成によれば、例えば、比較的長い第１の文字列が車両１０の表示部１３に表示されることによって運転者の注意力が散漫になる等の不都合の発生が低減可能である。一方、音源情報に基づいて発話内容が有意ではないと判定した場合、サーバ制御部２３は、当該発話内容に応じた運転支援情報を車両１０へ送信しなくてもよい。

次に、図２～図８を参照して、音源４０の相対位置を示唆する表示態様で表示された運転支援情報の具体例について説明する。ここでは、例えば図２に示すように、音源４０ａが車両１０の左前方に存在し、音源４０ｂが車両１０の右前方に存在するときに、音源４０ａ及び４０ｂによって発話が行われた場合を考える。例えば、音源４０ａが、「すみません。」、「そこで一旦止まってください。」、及び「止まって！」と発話し、音源４０ｂが「止まってもらって！」と発話すると、これらの発話内容に対応する運転支援情報が車両１０の表示部１３に表示される。

図３を参照して、表示部１３がヘッドアップディスプレイである場合における画面の第１例について説明する。図３において、ヘッドアップディスプレイの一部を構成する車両１０のウィンドシールド１３０に、運転支援情報５０（５０ａ及び５０ｂ）が表示されている。運転支援情報５０ａ及び５０ｂは、それぞれ音源４０ａ及び４０ｂに対応する。

運転支援情報５０ａは、音源４０ａの「すみません。」、「そこで一旦止まってください。」、及び「止まって！」という発話内容を示す文字列と、これらの文字列を囲む枠と、を含んでいる。同様に、運転支援情報５０ｂは、音源４０ｂの「止まってもらって！」という発話内容を示す文字列と、当該文字列を囲む枠と、を含んでいる。第１例において、運転支援情報５０は、ウィンドシールド１３０を介して運転者に視認される音源４０の近傍に又は重畳して表示される。ここで、音源４０によって新たに発話がなされた場合、表示されている運転支援情報５０が、例えばウィンドシールド１３０の上方に向かってスクロールしてもよい。

表示部１３の画面の第１例によれば、車両１０の運転者は、運転支援情報５０に含まれる文字列を視認することによって、音源４０による発話内容を認識可能である。また、車両１０の運転者は、運転支援情報５０が対応する音源４０の位置又はその近傍に表示されるので、発話内容と音源４０との対応関係を認識可能である。

続いて、図４を参照して、表示部１３がヘッドアップディスプレイである場合における画面の第２例について説明する。図４において、車両１０のウィンドシールド１３０に、運転支援情報５１（５１ａ及び５１ｂ）が表示されている。運転支援情報５１ａ及び５１ｂは、それぞれ音源４０ａ及び４０ｂに対応する。第２例における運転支援情報５１は、運転支援情報５１と音源４０との対応関係を示す第１表示要素を含む点で、上述した第１例における運転支援情報５０と相違する。

具体的には、運転支援情報５１ａは、音源４０ａの発話内容を示す文字列と、これらの文字列を囲む枠５１０（５１０ａ）と、枠５１０ａから突出して音源４０ａを指し示す第１表示要素５１１（５１１ａ）と、を含んでいる。同様に、運転支援情報５１ｂは、音源４０ｂの発話内容を示す文字列と、当該文字列を囲む枠５１０（５１０ｂ）と、枠５１０ｂから突出して音源４０ｂを指し示す第１表示要素５１１（５１１ｂ）と、を含んでいる。運転支援情報５１は、上述した第１例における運転支援情報５０と同様にスクロールしてもよい。

表示部１３の画面の第２例によれば、車両１０の運転者は、運転支援情報５１に含まれる文字列を視認することによって、他の例と同様に、音源４０による発話内容を認識可能である。また、車両１０の運転者は、音源４０を指し示す第１表示要素５１１を視認することによって、他の例と同様に、発話内容と音源４０との対応関係を認識可能である。また、上記の第１例と異なり運転支援情報５１を音源４０の位置又はその近傍に表示させる必要がないので、運転支援情報５１の表示位置の自由度が向上する。

続いて、図５を参照して、表示部１３がヘッドアップディスプレイである場合における画面の第３例について説明する。図５において、車両１０のウィンドシールド１３０に、運転支援情報５２（５２ａ及び５２ｂ）が表示されている。運転支援情報５２ａ及び５２ｂは、それぞれ音源４０ａ及び４０ｂに対応する。第３例における運転支援情報５２は、運転支援情報５２と音源４０との対応関係を示す第１表示要素の細部が、上述した第２例と相違する。

具体的には、運転支援情報５２ａは、音源４０ａの発話内容を示す文字列と、これらの文字列を囲む枠５２０（５２０ａ）と、音源４０ａを囲む第１表示要素５２１（５２１ａ）と、を含んでいる。同様に、運転支援情報５２ｂは、音源４０ｂの発話内容を示す文字列と、当該文字列を囲む枠５２０（５２０ｂ）と、音源４０ｂを囲む第１表示要素５２１（５２１ｂ）と、を含んでいる。運転支援情報５２は、上述した第１例における運転支援情報５０と同様にスクロールしてもよい。

ここで、音源４０に対応する枠５２０及び第１表示要素５２１は、互いに共通の表示態様で表示される。当該表示態様は、例えば、線の種類、色、及び形状等を含んでもよい。更に、枠５２０及び第１表示要素５２１の当該共通の表示態様が、対応する音源４０毎に異なる。

表示部１３の画面の第３例によれば、車両１０の運転者は、運転支援情報５２に含まれる文字列を視認することによって、他の例と同様に、音源４０による発話内容を認識可能である。また、車両１０の運転者は、当該文字列を囲む枠５２０と、音源４０を囲む第１表示要素５２１と、が共通の表示態様で表示され、且つ、枠５２０及び第１表示要素５２１の当該共通の表示態様が音源４０毎に異なるので、他の例と同様に、発話内容と音源４０との対応関係を認識可能である。

続いて、図６を参照して、表示部１３がヘッドアップディスプレイである場合における画面の第４例について説明する。図６において、車両１０のウィンドシールド１３０に、運転支援情報５３（５３ａ及び５３ｂ）が表示されている。運転支援情報５３ａ及び５３ｂは、それぞれ音源４０ａ及び４０ｂに対応する。第４例は、運転者がウィンドシールド１３０を介して視認できない位置に音源４０ａ及び４０ｂが存在している場合を想定した例である。第４例における運転支援情報５３は、車両１０から音源４０の方向を示す第２表示要素を含む点で、上述した第１例～第３例と相違する。

具体的には、運転支援情報５３ａは、音源４０ａの発話内容を示す文字列と、これらの文字列を囲む枠５３０（５３０ａ）と、車両１０から音源４０ａの方向を示す第２表示要素５３１（５３１ａ）と、を含んでいる。同様に、運転支援情報５３ｂは、音源４０ｂの発話内容を示す文字列と、当該文字列を囲む枠５３０（５３０ｂ）と、車両１０から音源４０ｂの方向を示す第２表示要素５３１（５３１ｂ）と、を含んでいる。運転支援情報５３は、上述した第１例における運転支援情報５０と同様にスクロールしてもよい。

ここで、音源４０に対応する枠５３０及び第２表示要素５３１は、互いに共通の表示態様で表示される。当該表示態様は、例えば、線の種類、色、及び形状等を含んでもよい。更に、枠５３０及び第２表示要素５３１の当該共通の表示態様が、対応する音源４０毎に異なる。

表示部１３の画面の第４例によれば、車両１０の運転者は、運転支援情報５３に含まれる文字列を視認することによって、他の例と同様に、音源４０による発話内容を認識可能である。また、車両１０の運転者は、当該文字列を囲む枠５３０と、車両１０から音源４０の方向を示す第２表示要素５３１と、が共通の表示態様で表示され、且つ、枠５３０及び第２表示要素５３１の当該共通の表示態様が音源４０毎に異なるので、他の例と同様に、発話内容と音源４０との対応関係を認識可能である。

車両１０の制御部１６は、運転者がウィンドシールド１３０を介して視認できない位置に音源４０が存在していると判定した場合に、上述した第４例に係る表示態様で運転支援情報５３を表示させてもよい。例えば、車両１０の記憶部１５は、運転者がウィンドシールド１３０を介して視認可能な車両１０の周辺範囲を予め記憶する。そして、制御部１６は、車両１０に対する音源４０の相対位置が当該周辺範囲の外である場合、第４例に係る表示態様で運転支援情報５３を表示させる。また例えば、車両１０に対する音源４０の相対位置が車両１０の後方である場合、制御部１６は、音源４０の相対位置が後方であることを示唆する表示態様で運転支援情報５３を表示させる。

続いて、図７を参照して、表示部１３がパネルディスプレイである場合における画面の第５例について説明する。図７において、表示部１３の表示パネル１３１に、運転支援情報５３（５３ａ及び５３ｂ）が表示されている。運転支援情報５３は、上述した第４例と同様に、音源４０の発話内容を示す文字列と、これらの文字列を囲む枠５３０と、車両１０から音源４０の方向を示す第２表示要素５３１と、を含んでいる。第５例は、表示部１３がパネルディスプレイである点を除き、上述した第４例と同様である。

続いて、図８を参照して、表示部１３がパネルディスプレイである場合における画面の第６例について説明する。図８において、表示部１３の表示パネル１３１における右側の領域に、車両１０の画像と、音源４０ａの相対位置を示す画像と、運転支援情報５４（５４ａ）と、が表示されている。運転支援情報５４ａは、音源４０ａに対応する。また、表示パネル１３１における左側の領域に、例えばナビゲーションシステムによる地図情報及び車両１０の位置情報が表示されている。第６例における運転支援情報５４は、車両１０から音源４０の方向を示す第２表示要素の細部が、上述した第４例及び第５例と相違する。

具体的には、運転支援情報５４は、音源４０ａの発話内容を示す文字列と、これらの文字列を囲む枠５４０（５４０ａ）と、車両１０の画像から音源４０ａの相対位置を示す画像の方向を示す第２表示要素５４１（５４１ａ）と、を含んでいる。

表示部１３の画面の第６例によれば、車両１０の運転者は、運転支援情報５４に含まれる文字列を視認することによって、他の例と同様に、音源４０による発話内容を認識可能である。また、車両１０の運転者は、第２表示要素５４１が車両１０の画像及び音源４０ａの相対位置を示す画像とともに表示されるので、例えば上述した第５例と比較して、発話を行った音源４０の相対位置をより正確に認識可能である。

（運転支援システムの動作フロー）
図９を参照して、運転支援システム１の上述した動作のフローについて説明する。当該動作は、例えば車両１０のイグニッションがオンである間、繰り返し実行されてもよい。

ステップＳ１００：車両１０は、車外に位置する音源４０の音声を取得する。また、車両１０は、当該音源４０に対応する１以上の撮像画像を生成する。

ステップＳ１０１：車両１０は、ステップＳ１００で取得した音声に基づいて、車両１０に対する音源４０の相対位置を特定する。

ステップＳ１０２：車両１０は、ステップＳ１００で取得した音声から、音源４０毎に音声を分離する。

ステップＳ１０３：車両１０は、分離された音声毎に、発話検出処理によって音声中の発話を検出する。

ステップＳ１０４：車両１０は、発話が検出された各音声を、当該音声の音源４０と対応付けてサーバ２０へ送信する。また、車両１０は、発話が検出された各音声の音源４０に対応する相対位置及び１以上の撮像画像を、サーバ２０へ送信する。

ステップＳ１０５：サーバ２０は、車両１０から受信した各音声の発話内容を、音声認識処理によって認識する。

ステップＳ１０６：サーバ２０は、ステップＳ１０５で認識した各発話内容の有意性を評価する。

ステップＳ１０７：サーバ２０は、ステップＳ１０６で有意であると決定された発話内容に応じた運転支援情報を車両１０へ送信する。

ステップＳ１０８：車両１０は、サーバ２０から受信した運転支援情報を、対応する音源４０の相対位置を示唆する表示態様で表示する。

以上述べたように、本実施形態に係る運転支援システム１によれば、車両１０の外部に位置する音源４０の音声の発話内容に応じた運転支援情報が、車両１０に対する音源４０の相対位置を示唆する表示態様で表示される。かかる構成によれば、車両１０の運転者は、例えば音源４０の発話を聞き取り損なった場合であっても、運転支援情報を視認することによって、発話内容を一見して認識できる。したがって、車外で発生した発話による音声を用いた車両１０の運転支援が実現する。また、運転者は、例えば音源４０の存在に気付いていなかった場合であっても、運転支援情報を視認することによって、音源４０の相対位置を一見して認識できる。したがって、車外で発生した発話による音声を用いた車両１０の運転支援の利便性が向上する。

本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上述した本実施形態において、車両１０が実行する処理の少なくとも一部をサーバ２０が実行する構成であってもよい。例えば、図９に示すステップＳ１０１～Ｓ１０３の処理をサーバ２０が実行してもよい。同様に、サーバ２０が実行する処理の少なくとも一部を、車両１０が実行する構成であってもよい。例えば、図９に示すステップＳ１０５及びＳ１０６の処理を車両１０が実行してもよい。また、車両１０又はサーバ２０が実行する処理の少なくとも一部を、車両１０及びサーバ２０が協働して実行する構成であってもよい。例えば、図９に示すステップＳ１０１～Ｓ１０３、Ｓ１０５、及びＳ１０６の処理を、車両１０及びサーバ２０が協働して実行してもよい。

また、上述した実施形態において、図９を参照して運転支援システム１の動作フローについて説明した。しかしながら、当該動作フローに含まれる一部のステップ、又は１つのステップに含まれる一部の動作が、省略されてもよい。論理的に矛盾しない範囲内において、複数のステップの順番が入替わってもよい。

また、上述した実施形態において、車両１０の構成及び機能の一部が、車両１０と通信可能な装置に実装されてもよい。当該装置として、汎用又は運転支援システム１に専用の任意の装置が用いられてもよい。汎用の装置は、例えばスマートフォン等の移動端末、ドライブレコーダ、及びナビゲーション装置等を含んでもよい。

また、上述した実施形態において、運転支援情報が、発話内容を示す文字列を含む構成について説明した。しかしながら、運転支援情報が、発話内容を示すアイコン等の画像を含む構成であってもよい。例えば、サーバ２０のサーバ記憶部２２は、音声認識処理によって認識され得る発話内容の類型と、当該類型に対応する画像を含む運転支援情報と、を予め記憶する。当該画像は、対応する発話内容の類型を車両１０の運転者が認識可能な任意の画像であってもよい。例えば、図１０に示す例では、「停車」及び「前進」の２つの類型にそれぞれ対応する２つの画像が図示されている。サーバ制御部２３は、車両１０から受信した音声の発話内容を認識すると、当該発話内容の類型に対応する画像を含む運転支援情報を、サーバ記憶部２２から読み出して車両１０へ送信する。車両１０は、サーバ２０から受信した当該運転支援情報を表示部１３に表示する。

例えば、図１１は、表示部１３がヘッドアップディスプレイである場合において、画像である運転支援情報５５が表示された画面の例を示す。図１１において、ヘッドアップディスプレイの一部を構成する車両１０のウィンドシールド１３０に、運転支援情報５５（５０ａ及び５０ｂ）が表示されている。運転支援情報５５ａ及び５５ｂは、それぞれ音源４０ａ及び４０ｂに対応する。図１０に示す発話内容の類型「停車」に対応する画像である。本例において、運転支援情報５５は、上述した図３に示す画面例と同様に、ウィンドシールド１３０を介して運転者に視認される音源４０の近傍に又は重畳して表示される。しかしながら、運転支援情報５５は、上述した図４～図６に示す画面例と同様に、第１表示要素又は第２表示要素を含んでもよい。

また、上述した実施形態において、運転支援システム１が１つの車両１０を備える構成について説明した。しかしながら、運転支援システム１が複数の車両１０を備える構成も可能である。例えば、車両１０に対する音源４０の相対位置の特定が、互いに通信可能な複数の車両１０のそれぞれによって取得された、当該音源４０の音声に基づいて行われてもよい。換言すると、互いに通信可能な複数の車両１０が備える複数のマイク１１０を用いて、音源４０の相対位置が特定される。かかる構成によれば、例えば運転支援システム１が１つの車両１０を備える構成と比較して、音源４０の相対位置の特定に用いられるマイク１１０の数が増えるので、特定される音源４０の相対位置の精度が向上する。

また、上述した実施形態において、第２音源情報に対応するポイントを決定するに際して、サーバ２０のサーバ記憶部２２が、１つ以上のキーワードと、各キーワードに対応するポイントと、を予め記憶する構成について説明した。ここで、サーバ２０のサーバ制御部２３は、サーバ記憶部２２に記憶された当該情報を更新してもよい。例えば、サーバ制御部２３は、新たなキーワードと、当該キーワードに対応するポイントと、の組み合わせを追加してもよい。また例えば、サーバ制御部２３は、キーワードに対応するポイントを修正してもよい。

また、上述した実施形態において、車両１０の制御部１６は、発話による音声を用いた音声認識処理の実行結果の確度（例えば、発話内容の認識精度）を示唆する情報を、表示部１３に表示する構成も可能である。具体的には、サーバ制御部２３は、運転支援情報とともに、音声認識処理の実行結果の確度を車両１０へ送信する。制御部１６は、サーバ２０から受信した当該確度が所定の基準未満であると判定した場合、発話内容の認識精度が比較的低いことを示す情報を、表示部１３に表示させる。

また、上述した実施形態において、車両１０の表示部１３に複数の運転支援情報が表示される例について説明した。ここで、表示部１３に同時に表示される運転支援情報の数、又は同時に表示される各運転支援情報に含まれる合計文字数に、上限数が設定されていてもよい。かかる構成によれば、例えば、車両１０の表示部１３に比較的多くの情報が表示されることによって運転者の注意力が散漫になる等の不都合の発生が低減可能である。

また、例えば移動端末又はナビゲーション装置等の汎用の電子機器に搭載されたプロセッサを、上述した実施形態に係る車両１０の制御部１６として機能させることができる。具体的には、実施形態に係る車両１０の各機能を実現する処理内容を記述したプログラムを、電子機器のメモリに格納し、電子機器のプロセッサによって当該プログラムを読み出して実行させることによって実現可能である。

１ 運転支援システム
１０ 車両
１１ 音声取得部
１１０ マイク
１２ 撮像部
１３ 表示部
１３０ ウィンドシールド
１３１ 表示パネル
１４ 通信部
１５ 記憶部
１６ 制御部
２０ サーバ
２１ サーバ通信部
２２ サーバ記憶部
２３ サーバ制御部
３０ ネットワーク
４０、４０ａ、４０ｂ 音源
５０、５０ａ、５０ｂ 運転支援情報
５１、５１ａ、５１ｂ 運転支援情報
５１０、５１０ａ、５１０ｂ 枠
５１１、５１１ａ、５１１ｂ 第１表示要素
５２、５２ａ、５２ｂ 運転支援情報
５２０、５２０ａ、５２０ｂ 枠
５２１、５２１ａ、５２１ｂ 第１表示要素
５３、５３ａ、５３ｂ 運転支援情報
５３０、５３０ａ、５３０ｂ 枠
５３１、５３１ａ、５３１ｂ 第２表示要素
５４、５４ａ 運転支援情報
５４０、５４０ａ 枠
５４１、５４１ａ 第２表示要素
５５、５５ａ、５５ｂ 運転支援情報

Claims (9)

1. 車両の運転支援方法であって、
   前記車両の外部に位置する音源の音声を取得するステップと、
   音声認識処理によって認識される前記音声の発話内容に応じた運転支援情報を、前記音声に基づいて特定される前記車両に対する前記音源の相対位置を示唆する表示態様で、表示部に表示させる表示ステップと、
   を含み、
   前記表示部は、ヘッドアップディスプレイであり、
   前記表示ステップにおいて、前記運転支援情報の少なくとも一部を前記音源に重畳して表示させる、運転支援方法。
2. 請求項１に記載の運転支援方法であって、
   前記表示部に表示された前記運転支援情報は、前記運転支援情報と前記音源との対応関係を示す第１表示要素を含む、運転支援方法。
3. 請求項１又は２に記載の運転支援方法であって、
   前記表示部に表示された前記運転支援情報は、前記車両から前記音源の方向を示す第２表示要素を含む、運転支援方法。
4. 請求項１から３のいずれか一項に記載の運転支援方法であって、
   前記音声又は前記発話内容の長さと、前記発話内容に含まれる文言と、前記発話内容の文脈と、前記音声の音圧と、前記音源を撮像した１以上の撮像画像を用いる画像認識処理の実行結果と、のうち少なくとも１つに基づいて、前記表示ステップを実行するか否かが決定される、運転支援方法。
5. 請求項１から４のいずれか一項に記載の運転支援方法であって、
   前記音声認識処理の実行結果の確度を示唆する情報を前記表示部に表示させるステップを更に含む、運転支援方法。
6. 請求項１から５のいずれか一項に記載の運転支援方法であって、
   前記運転支援情報は、前記発話内容を示す文字列及び画像の少なくとも一方を含む、運転支援方法。
7. 請求項１から５のいずれか一項に記載の運転支援方法であって、
   前記運転支援情報は、前記発話内容を示す第１の文字列が短文化された第２の文字列を含む、運転支援方法。
8. 音声取得部及び制御部を備える車両であって、
   前記音声取得部は、前記車両の外部に位置する音源の音声を取得し、
   前記制御部は、音声認識処理によって認識される前記音声の発話内容に応じた運転支援情報を、前記音声に基づいて特定される前記車両に対する前記音源の相対位置を示唆する表示態様で、表示部に表示させ、
   前記表示部は、ヘッドアップディスプレイであり、
   前記制御部は、前記運転支援情報の少なくとも一部を前記音源に重畳して表示させる、
   車両。
9. 車両と、前記車両と通信可能なサーバと、を備える運転支援システムであって、
   前記車両は、前記車両の外部に位置する音源の音声を取得し、
   前記車両又は前記サーバは、前記音声に基づいて前記車両に対する前記音源の相対位置を特定し、
   前記車両又は前記サーバは、音声認識処理によって前記音声の発話内容を認識し、
   前記車両は、前記発話内容に応じた運転支援情報を、前記音源の前記相対位置を示唆する表示態様で、表示部に表示させ、
   前記表示部は、ヘッドアップディスプレイであり、
   前記車両は、前記運転支援情報の少なくとも一部を前記音源に重畳して表示させる、
   運転支援システム。

Images