JPWO2019244239A1 - 走行情報処理装置及び処理方法 - Google Patents

Abstract

ユーザの音声データが入力される音声入力部（１１）と、前記音声データから抽出された、走行経路周囲の物体を示す単語と物体の位置を示す単語とに基づいて、前記音声データから推定される物体を特定し、特定された物体を示す画像データ又は音声データを出力する出力部（１２，１６，１７，１８）と、前記特定された物体に基づいて、自車両の走行動作を変更する走行情報処理部（１９）と、を備える。

Description

本発明は、走行情報処理装置及び処理方法に関するものである。

運転手が車両に特定の運転操作を直感的かつ簡便に指示するために、ディスプレイに、自車を表す自車物体と複数の車線を含む画像を出力し、ディスプレイに表示された画像内の自車物体を第１車線から第２車線に移動させるユーザの操作を受け付けると、自車の走行車線を第１車線から第２車線に変更するコマンドを自動運転の制御部へ出力する運転支援装置が知られている（特許文献１）。

特開２０１７−０３０５７２号公報

しかしながら、上記従来技術のようにディスプレイのタッチ操作でコマンド入力を行う場合に、自車の変更先の位置は指定できるものの、ディスプレイに表示されていない場所は指定できないし、自車の変更先の位置以外の、たとえば右左折や停車といった走行経路については指示できないという問題がある。

本発明が解決しようとする課題は、ユーザが車両に特定の運転操作を直感的かつ簡便に指示できる走行情報処理装置及び処理方法を提供することである。

本発明は、ユーザの音声データを入力し、前記音声データから抽出された、走行経路周囲の物体を示す単語と物体の位置関係を示す単語とに基づいて、前記音声データから推定される物体を特定し、特定された物体を示す画像データ又は音声データを出力し、前記画像データ又は前記音声データに基づいて、自車両の走行経路を変更することによって上記課題を解決する。

本発明によれば、音声データから推定される物体を特定し、特定された物体を示す画像データ又は音声データを出力するので、ユーザは、出力された画像データ又は音声データを視聴することで自分が意図した物体との一致性又は正確性を確認することができる。これにより、ユーザが車両に特定の運転操作を直感的かつ簡便に指示できる走行情報処理装置及び処理方法を提供することができる。

本発明に係る走行情報処理装置の一実施の形態を示すブロック図である。 図１の音声認識部１２にて用いられる認識キーワードの一例である。 図１の走行情報処理装置の基本的な処理手順を示すフローチャートである。 図１の走行情報処理装置の具体的な処理手順を示すフローチャートである。 図１の走行情報処理装置の他の具体的な処理手順を示すフローチャートである。 図５の処理において、ディスプレイに表示される画像データの一例を示す図である。 図５の処理において、ディスプレイに表示される画像データの他例を示す図である。 図５の処理において、ディスプレイに表示される画像データの他例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明に係る走行情報処理装置１の一実施の形態を示すブロック図である。本実施形態の走行情報処理装置１は、本発明に係る走行情報処理方法を使用したものでもある。そして本実施形態の走行情報処理装置１は、車載ナビゲーション装置などに予め目的地を入力し、これにより設定された走行経路を走行中であることを前提にして、乗員などのユーザの音声データを入力し、当該音声データから抽出された、走行経路周囲の物体を示す単語と物体の位置関係を示す単語とに基づいて、音声データから推定される物体を特定し、特定された物体を示す画像データ又は音声データを出力し、当該画像データ又は当該音声データに基づいて、自車両の走行経路を変更するものである。

そのため、本実施形態の走行情報処理装置１は、図１に示すように、車内集音マイク１１、音声認識部１２、車外撮像カメラ１３、車載センサ１４、地図データベース１５、物体認識部１６、指示物体推定部１７、物体特徴推定部１８及び経路変更同定部１９を備える。

車内集音マイク１１は、運転手やナビゲータとしての同乗者など、ユーザが発する音声を集音し、音声データを音声認識部１２へ出力する。車内集音マイク１１は、車室内のユーザの声が入力し易い位置に設置される。運転席であればステアリングコラムカバー上面やインストルメントパネル、助手席であればインストルメントパネル、後部座席であればコンソールボックスの後部や前部座席の背面などの適宜箇所に一又は複数のマイクロフォンを設置すればよい。

音声認識部１２は、車内集音マイク１１に入力された音声データから、統計的手法などの公知の方法を用いて音声認識処理を実行し、認識された言語（文字列データ）から、走行経路周囲の物体を示す単語と物体の位置関係を示す単語とを抽出し、これらを指示物体推定部１７へ出力する。図２は、音声認識部１２にて用いられる認識キーワードの一例である。ここで、走行経路周囲の物体とは、車両、バイク、自転車、歩行者のほか、道路の周囲に存在して経路の説明によく使用される、信号機、交差点、横断歩道、街路樹、コンビニエンスストア、ガソリンスタンド、ビルなどの店舗・建物（地図上の地点ＰＯＩ＝Point of Interest）やその看板などをいう。また、物体の位置関係を示す単語とは、上記物体の具体的位置、上位概念的な位置、相対的な位置、特定方向への順序を示す単語であって、経路の説明によく使用される「１００ｍ先」といった自車両からの距離、「次の２つ目の信号」といった進行方向への順番、「自車両の前、後、右、左」といった上位概念的又は相対的な位置をいう。

ちなみに、図２に示す認識キーワードには、上述した走行経路周囲の物体を示す単語と、物体の位置関係を示す単語以外にも、自車両の行動（すなわち自車両の走行制御）を示す単語及び物体の修飾語を示す単語があり、音声認識部１２により認識された言語（文字列データ）が後述する経路変更同定部１９へ出力される。自車両の行動を示す単語とは、「左折して」、「停車して」、「給油／充電して」、「右レーンへ移動」、「高速に乗る」、「追い越し」、「追跡」といった走行制御、特に操舵操作に関する単語をいい、これら自車両の行動を示す単語が、音声データから抽出される。また、物体の修飾語とは、特定の物体の色、形状、大きさ、仕様などを示す単語であって、「赤い車」、「丸いビル」、「大きな交差点」、「タクシー」、「ワンボックス車」などを例示することができる。これら自車両の行動を示す単語（文字列データ）及び物体の修飾語に関する言語（文字列データ）は、経路変更同定部１９にて使用される。

車外撮像カメラ１３は、運転手又は同乗者が見ている自車両周囲の視界を撮像するカメラであり、たとえば前方視界を撮像するカメラであればルームミラーの近傍、後方視界を撮像するカメラであればリヤウィンドの室内上部、側方視界を撮像するカメラであればドアミラーなどに設置すればよい。車外撮像カメラ１３により撮像された画像データは物体認識部１６へ出力される。

車載センサ１４は、自動運転車両などに搭載されているレーザーやレーダーセンサーステレオカメラなど、物体までの距離を認識可能なセンサを含む。車載センサ１４により検出された特定の物体までの距離は、物体認識部１６へ出力される。地図データベース１５は、地図データを記憶した記憶装置であり、地図データベース１５に記憶された地図データは、物体認識部１６へ出力される。

物体認識部１６は、車外撮像カメラ１３により撮像された画像データと、車載センサ１４により検出された特定の物体までの距離と、地図データベース１５に記憶された地図データとに基づいて、特定の物体の認識処理を実行する。すなわち、物体認識部１６は、深層学習法を利用したディープニューラルネットワークＤＮＮなどの公知の手法を用いて、道路の周囲に存在して経路の説明によく使用される、車両、バイク、自転車、歩行者、信号機、交差点、横断歩道、街路樹、コンビニエンスストア、ガソリンスタンド、ビルなどの店舗・建物やその看板などの各種物体を認識し、それぞれ認識した領域で特徴量（色、大きさ、距離、車種、車両タイプなど）を抽出する。

指示物体推定部１７は、ユーザが発話により意図した物体を推定し、物体特徴推定部１８へ出力する。すなわち、指示物体推定部１７は、音声認識部１２で認識した言語（文字列データ）と、物体認識部１６で認識した物体やその特徴量から、ユーザが発話により意図した物体を推定し、この物体データを物体特徴推定部１８へ出力する。たとえば、音声認識部１２にて抽出された走行経路周囲の物体を示す単語と、物体の位置関係を示す単語が、「１００ｍ先のタクシー」である場合に、指示物体推定部１７は、物体認識部１６で認識した物体の中から「１００ｍ先」の「タクシー」を画像データから認識する。この「１００ｍ先」の認識には、車載センサ１４が用いられ、またタクシーは、ナンバープレートが緑であり、ルーフにサイン灯（いわゆる行灯）が装着されていることから、「タクシー」の認識には、色や車両タイプといった特徴量が使用される。

物体特徴推定部１８は、指示物体推定部１７にて推定した物体が、ユーザが発話により意図した物体であるか否かを確認するために、ユーザの音声データで特定した特徴とは異なる又は詳細な特徴量を選択し、経路変更同定部１９へ出力する。たとえば、音声認識部１２にて抽出された走行経路周囲の物体を示す単語と、物体の位置関係を示す単語、すなわちユーザが音声データで特定した物体の特徴が、「１００ｍ先のタクシー」である場合に、「１００ｍ先のタクシーですね」とオウム返しの特徴量を選択するのではなく、「白い日産フーガのタクシーですね」と、より詳細な又は異なる特徴量を選択する。

経路変更同定部１９は、物体特徴推定部１８で選択された特徴量を用いて、ユーザが意図した経路の変更位置が正しいか否かを当該ユーザに確認させ、正しい場合には、現在設定している走行経路を、その走行経路に変更する。経路変更同定部１９は、物体特徴推定部１８で選択された特徴量を、画像データ又は音声データによりユーザに提示する。そのため、経路変更同定部１９は、画像データを表示するディスプレイ又は音声データを出力するスピーカを含む。画像データをディスプレイに表示したり、音声データをスピーカから出力したりする場合には、画像データ又は音声データとともに、音声認識部１２にて抽出された車両の操舵操作に関する操舵操作情報をも出力する。画像データをディスプレイに表示する場合、経路変更同定部１９は、自車両の周辺の道路情報と、操舵操作情報を示すアイコンとを、道路情報にアイコンを重畳して含むようにした画像データを表示してもよい。また、画像データをディスプレイに表示する場合、経路変更同定部１９は、自車両の周辺の道路情報に対して、特定された物体の位置をマーキングした画像データを表示してもよい。

次に、本実施形態の走行情報処理装置１の基本的な処理手順を説明する。図３は、本実施形態の走行情報処理装置１の基本的な処理手順を示すフローチャートである。本実施形態の走行情報処理装置１は、ステップＳ１にて、車内集音マイク１１からユーザによる音声データを入力する。次いで、ステップＳ２にて、音声認識部１２により図２に示す所定のキーワードを抽出する。次いで、ステップＳ３にて、車外撮像カメラ１３、車載センサ１４、地図データベース１５からの検出データを用いて物体認識部１６により物体を認識するとともに、当該認識された物体と音声認識部により抽出された言語（文字列データ）とから、指示物体推定部１７により、物体を推定する。次いで、ステップＳ４にて、物体特徴推定部１８により特徴量を選択し、経路変更同定部１９により当該特徴量をユーザに画像データ又は音声データで提示し、推定された物体を確認する。次いで、ステップＳ５にて、経路変更同定部１９によりユーザに画像データ又は音声データで提示された当該特徴量を、ユーザに確認及び承認させる。最後に、ステップＳ６にて、ユーザの確認の結果、提示された画像データ又は音声データが正しいと承認された場合には、現在設定されている走行経路を変更する。

図４は、本実施形態の走行情報処理装置１のより具体的な処理手順を示すフローチャートである。この処理は所定時間間隔で繰り返し実行され、またこの処理を開始する前提として、当該車両のナビゲーション装置には目的地が入力され、その目的地に向かう走行経路が設定されているものとする。この場合に、手動運転でもよいし、加減速制御及び／又は操舵制御を自動制御する自動運転であってもよい。まずステップＳ１１〜Ｓ１３の前に、車内集音マイク１１に運転手や同乗者などのユーザの音声を常時入力し、音声認識部１２にて常時音声データの認識処理が実行されているものとする。本実施形態の走行情報処理装置１は、スピーカなどを用いて音声データを通じてユーザに提示したり回答を得たりする例である。

ステップＳ１１〜Ｓ１３においては、音声認識部１２にて認識された言語（文字列データ）に、図２に示す行動（走行制御）を示す言語があるか否か（ステップＳ１１）、物体の位置関係を示す言語があるか否か（ステップＳ１２）、物体を示す言語があるか否か（ステップＳ１３）がそれぞれ判断される。そして、行動を示す言語、物体の位置関係を示す言語及び物体を示す言語のいずれもが存在する場合には、ステップＳ１４へ進み、ユーザが意図している物体の推定を開始する。一方、行動を示す言語、物体の位置関係を示す言語及び物体を示す言語のいずれか一つが存在しない場合はステップＳ１１へ戻る。なお、ステップＳ１１を省略してステップＳ１２及びＳ１３のみとしてもよい。

ステップＳ１１〜Ｓ１３の処理と並行して、ステップＳ１４では、車外撮像カメラ１３、車載センサ１４及び地図データベース１５を用いて、画像データ、距離及び位置に基づき、物体認識部１６が自車両の周囲の物体を常時認識する。ステップＳ１５では、音声認識部１２にて認識された言語の中に、物体の詳細を示す言語（図２の物体の修飾語）が存在するか否かを判断する。ステップＳ１５において物体の詳細を示す言語が存在する場合には、ステップＳ１６へ進み、ステップＳ１４にて認識された各物体の詳細情報を推定する。ステップＳ１５において物体の詳細を示す言語が存在しない場合には、詳細情報の推定を行わないでステップＳ１７へ進む。ステップＳ１４又はＳ１６にて認識された物体は、自車両の周囲に存在する物体であって、ユーザが意図する物体の候補である。

ステップＳ１７では、指示物体推定部１７が、ステップＳ１１〜Ｓ１３にて認識された行動を示す言語、物体の位置関係を示す言語及び物体を示す言語、すなわちユーザが音声を通じて意図した物体と、ステップＳ１４〜Ｓ１６にて認識された物体とを比較し、一致するものがあるか否かを判断する。この場合の一致度は所定の閾値を設定し、類似する物体を含めてもよい。例えば、物体の色、形状や位置関係などはユーザの主観により認知された結果発せられる言語であるためである。また、「赤い車」といっても明度が異なる赤色があるからである。さらには、車外撮像カメラ１３等の性能により、撮像される画像が実際の物体と異なる形状または色として撮像される場合もあり得る。ステップＳ１７において、物体認識部１６にて認識された物体の中に音声認識部１２にて認識された物体に一致する物体が存在する場合には、ステップＳ１８へ進み、一致する物体が存在しない場合にはステップＳ２１へ進む。ステップＳ２１では、物体認識部１６にて認識された物体の中に音声認識部１２にて認識された物体に一致する物体が存在しないと判断されたので、指示物体推定部１７は、スピーカを通じて、ユーザに「もう一度説明してください」といった再説明を依頼する。

ステップＳ１７において、物体認識部１６にて認識された物体の中に音声認識部１２にて認識された物体に一致する物体が存在する場合には、ステップＳ１８へ進み、ステップＳ１８では、推定した物体の位置及び行動が正しいかどうかをユーザに確認してもらうために、物体特徴推定部１８が、推定した物体を、スピーカを通じてユーザに説明する。この物体特徴推定部１８による説明内容は、ユーザが音声を通じて特定した物体の説明とは異なる詳細情報、たとえば物体の色、大きさ、車種、車両カテゴリ、記述されている文字などを用いることで、ユーザのオウム返しにならないようにする。

（１）例えば、「赤い車の後ろに停車してください」というユーザの音声を認識した場合には、「赤いピックアップトラックの後ろに停車します」との通知を行う。この場合、物体特徴推定部１８が、赤い車を画像認識により特定し、その赤い車がピックアップトラックであることを認識した結果を用いて、物体を説明し、ユーザに通知するものである。

（２）また、ユーザの音声に含まれる物体の位置関係を、物体特徴推定部１８により認識された、ユーザの音声には含まれない物体または場所により特定することで、物体をより詳細に説明するよう通知してもよい。例えば、「赤い車の後ろに停車してください」というユーザの音声を認識した場合には、「次の交差点を通過した先にある、赤いピックアップトラックの後ろに停車します」との通知を行う。この場合、物体特徴推定部１８が、画像認識により、赤い車を認識し、更に特定された赤い車と自車両との間には交差点が存在することを認識した結果として、音声に含まれていた物体の相対的な位置関係を説明するための他の物体として交差点を特定し、特定された交差点の先に赤い車があることを説明する内容を含めたうえで、ユーザに通知するものである。

（３）またこの説明は、ユーザが音声を通じて特定した物体とは別の物体を用いて、行動する位置と行動内容の説明をすることでもよい。例えば、「赤い車の後ろに停車してください」というユーザの音声を認識した場合、「次のガソリンスタンドの前で停車します」と通知する。この場合、物体特徴推定部１８が、赤い車を画像認識により特定し、その赤い車がガソリンスタンドの前に停車していることを認識した結果を用いて、行動する位置を示す言語として、ユーザが発した物体である赤い車を用いる代わりに、より目立つ建物であるガソリンスタンドを画像認識により特定し、このガソリンスタンドを行動する位置を説明する言語として用いるものである。

（４）また、地図上の地点ＰＯＩのような物体の場合には、地図情報をもとに、ユーザの「コンビニ」との音声データに対して、コンビニのブランド情報（社名など）を用いたり、「角のお店」との音声データに対して、地図情報からその店舗名や「ケーキ屋」といった属性情報を用いたりしてもよい。例えば、「次のコンビニで停車してください」というユーザの音声を認識した場合には、地図情報から進行方向の先にある最も近いコンビニとその店舗名を特定し、「次のＡＡストア（店舗名）で停車します」との通知を行う。

ステップＳ１９では、経路変更同定部１９により、ユーザが、説明された推定物体が自分の意図した物体であるか否かの回答を行う。具体的には、スピーカを通じて推定物体が説明されたら、「はいそうです」、「いいえ違います」と音声で回答する。ステップＳ１９において、推定された物体がユーザの意図した物体である場合にはステップＳ２０へ進み、経路変更同定部１９が、当該ステップＳ２０においてそれまで設定されている走行経路を、ユーザが意図した行動（走行制御）に基づく走行経路に変更する。たとえば、ユーザが、「１００ｍ先のタクシーの手前の路地を左折して」と発話した場合には、予め設定された走行経路が直進であっても、１００ｍ先のタクシーの手前の路地を左折する走行経路に変更する。

ステップＳ１９において、推定された物体がユーザの意図した物体でない場合にはステップＳ２２へ進み、経路変更同定部１９が、スピーカを通じて、ユーザに「もう一度、詳細に説明してください」といった再説明又は追加説明を依頼する。これに対するユーザの再説明又は追加がない場合はステップＳ２１へ進み、再説明又は追加説明があった場合はステップＳ２３へ進む。ステップＳ２３では、ユーザによる再度又は追加の音声データを音声認識部１２で認識し、抽出された物体の特徴量に基づいて再度物体を推定し、スピーカを通じてユーザに説明してステップＳ１８に戻る。ステップＳ１８以降の処理は上述したとおりである。

図５は、本実施形態の走行情報処理装置１のより具体的な他の処理手順を示すフローチャートである。この処理は所定時間間隔で繰り返し実行され、またこの処理を開始する前提として、当該車両のナビゲーション装置には目的地が入力され、その目的地に向かう走行経路が設定されているものとする。この場合に、手動運転でもよいし、加減速制御及び／又は操舵制御を自動制御する自動運転であってもよい。まずステップＳ１１〜Ｓ１３の前に、車内集音マイク１１に運転手や同乗者などのユーザの音声を常時入力し、音声認識部１２にて常時音声データの認識処理が実行されているものとする。本実施形態の走行情報処理装置１は、携帯端末機やナビゲーション装置のディスプレイなどを用いて画像データを通じてユーザに提示したり回答を得たりする例である。図６〜図８は、ディスプレイに表示される画像データの一例を示す図である。

ステップＳ３１〜Ｓ３７の処理は、図４のステップＳ１１〜Ｓ１７の処理と同じである。すなわち、ステップＳ３１〜Ｓ３３においては、音声認識部１２にて認識された言語（文字列データ）に、図２に示す行動（走行制御）を示す言語があるか否か（ステップＳ３１）、物体の位置関係を示す言語があるか否か（ステップＳ３２）、物体を示す言語があるか否か（ステップＳ３３）がそれぞれ判断される。そして、行動を示す言語、物体の位置関係を示す言語及び物体を示す言語のいずれもが存在する場合には、ステップＳ３４へ進み、ユーザが意図している物体の推定を開始する。一方、行動を示す言語、物体の位置関係を示す言語及び物体を示す言語のいずれか一つが存在しない場合はステップＳ３１へ戻る。なお、ステップＳ３１を省略してステップＳ３２及びＳ３３のみとしてもよい。

ステップＳ３１〜Ｓ３３の処理と並行して、ステップＳ３４では、車外撮像カメラ１３、車載センサ１４及び地図データベース１５を用いて、画像データ、距離及び位置に基づき、物体認識部１６が自車両の周囲の物体を常時認識する。ステップＳ３５では、音声認識部１２にて認識された言語の中に、物体の詳細を示す言語（図２の物体の修飾語）が存在するか否かを判断する。ステップＳ３５において物体の詳細を示す言語が存在する場合には、ステップＳ３６へ進み、ステップＳ３４にて認識された各物体の詳細情報を推定する。ステップＳ３５において物体の詳細を示す言語が存在しない場合には、詳細情報の推定を行わないでステップＳ３７へ進む。ステップＳ３４又はＳ３６にて認識された物体は、自車両の周囲に存在する物体であって、ユーザが意図する物体の候補である。

ステップＳ３７では、指示物体推定部１７が、ステップＳ３１〜Ｓ３３にて認識された行動を示す言語、物体の位置関係を示す言語及び物体を示す言語、すなわちユーザが音声を通じて意図した物体と、ステップＳ３４〜Ｓ３６にて認識された物体とを比較し、一致するものがあるか否かを判断する。この場合の一致度は所定の閾値を設定し、類似する物体を含めてもよい。「赤い車」といっても明度が異なる赤色があるからである。ステップＳ３７において、物体認識部１６にて認識された物体の中に音声認識部１２にて認識された物体に一致する物体が存在する場合には、ステップＳ３８へ進み、一致する物体が存在しない場合にはステップＳ４２へ進む。

ステップＳ３７において、物体認識部１６にて認識された物体の中に音声認識部１２にて認識された物体に一致する物体が存在する場合には、ステップＳ３８へ進み、ステップＳ３８では、推定した物体の位置及び行動が正しいかどうかをユーザに確認してもらうために、物体特徴推定部１８が、推定した物体の画像データを作成し、ディスプレイを通じてユーザに提示する。図６は、物体特徴推定部１８が作成してディスプレイに表示する画像データの一例を示す図である。たとえば、ユーザが、「前方を走っている車の手前の路地を左折して」と発話した場合の一例を示している。自車両Ｖ０、前方を走っている車両Ｖ１，Ｖ２、行動（走行制御）を示す言語（文字列データ）から抽出された自車両の操舵操作に関する操舵操作情報Ｒ１、路地の角にあるコンビニエンスストアＣ１とする。ユーザの「前方を走っている車の手前の路地を左折して」という音声データに対して物体認識部１６が認識した物体が車両Ｖ１、行動を示す言語から認識された操舵操作情報が左折を表す矢印Ｒ１であるので、これらを実線で示し、他の車両Ｖ２や角のコンビニエンスストアＣ１は点線で示す。

図７は、物体特徴推定部１８が作成してディスプレイに表示する画像データの他例を示す図である。図６に示す画像データに、車両Ｖ１、Ｖ２の画像データを追加したり、角のコンビニエンスストアＣ１の画像データを追加したりしてもよい。図８は、物体特徴推定部１８が作成してディスプレイに表示する画像データのさらに他例を示す図である。図８の場合は、「タクシーの手前を左折して」というユーザの発話に対し、車外撮像カメラ１３で撮像した画像データをそのまま表示し、この画像データに重畳するように、推定物体であるタクシーＶ１を囲む実線と、左折を表す矢印表示Ｒ１と、認識された他の車両Ｖ２，Ｖ３，Ｖ４を囲む点線を表示したものである。

この物体特徴推定部１８による提示内容は、ユーザが音声を通じて特定した物体の説明とは異なる詳細情報、たとえば、図６に示すように推定される物体Ｖ１以外の物体Ｖ２，Ｃ１などを表示したり、推定される物体Ｖ１の色、大きさ、車種、車両カテゴリ、記述されている文字などを画像データで表示したりすることで、ユーザの説明に終始しないようにする。

ステップＳ３９では、経路変更同定部１９により、ユーザが、提示された推定物体が自分の意図した物体であるか否かの回答を行う。具体的には、ディスプレイに表示された推定物体が正しい場合には、「Ｙｅｓ」のタッチボタンを押したり、表示された推定物体そのものにタッチしたりする。ステップＳ３９において、推定された物体がユーザの意図した物体である場合にはステップＳ４０へ進み、経路変更同定部１９が、当該ステップＳ４０においてそれまで設定されている走行経路を、ユーザが意図した行動（走行制御）に基づく走行経路に変更する。たとえば、ユーザが、「タクシーの手前の路地を左折して」と発話した場合には、予め設定された走行経路が直進であっても、推定されたタクシーの手前の路地を左折する走行経路に変更する。

ステップＳ３９において、推定された物体がユーザの意図した物体でない場合にはステップＳ４１へ進み、経路変更同定部１９は、ユーザが、ディスプレイに表示された他の物体を選択したか否かを判断する。たとえば、図８において推定された物体が車両Ｖ１ではなく車両Ｖ２である場合に、ユーザが車両Ｖ２にタッチして選択した場合には、当該車両Ｖ２がユーザの意図した車両（タクシー）であると判断し、ステップＳ３８へ戻り、車両Ｖ２を実線で囲んだ画像データを作成し直してディスプレイに表示する。

ステップＳ４１において、ユーザが異なる車両を選択しない場合にはステップＳ４２へ進み、図６に示すような、ユーザが発話を開始した時の映像をディスプレイに表示し、経路変更同定部１９が、ディスプレイ又はスピーカを通じて、ユーザに「もう一度説明してください」といった再説明又は追加説明を依頼する。これに対するユーザの再説明又は追加は、画像データ上の物体をタッチすることなどで行うことができる。

ステップＳ４３では、ステップＳ４２によるユーザの再説明又は追加説明時には、ユーザが意図した地点を通過している可能性があるため、その経路に変更するには自車両をＵターンさせる必要があるか否かを判断し、Ｕターンする必要がない場合はステップＳ４０へ進み、走行経路を変更する。また、Ｕ単する必要がある場合はステップ４４へ進み、同じ地点に戻る走行経路を検索して設定した後、ユーザが意図した走行経路に変更する。

以上のとおり、本実施形態の走行情報処理装置１及び方法によれば、ユーザの音声データから抽出された、走行経路周囲の物体を示す単語と物体の位置関係を示す単語とに基づいて、音声データから推定される物体を特定し、特定された物体を示す画像データ又は音声データを出力するので、ユーザは、出力された画像データ又は音声データを視聴することで自分が意図した物体との一致性又は正確性を確認することができる。これにより、ユーザが車両に特定の運転操作を直感的かつ簡便に指示できる走行情報処理装置及び処理方法を提供することができる。

また本実施形態の走行情報処理装置１及び方法によれば、出力部から出力された画像データ又は音声データに対してユーザの確認データが入力され、当該ユーザの確認データに基づいて自車両の走行経路を変更するので、推定された物体とユーザが意図した物体との一致性又は正確性を担保することができる。

また本実施形態の走行情報処理装置１及び方法によれば、音声データから抽出された走行経路周囲の物体を示す単語とは異なる情報又はより詳細な情報を有する画像データ又は音声データを出力するので、ユーザは自分の説明とは異なる特徴で確認することができ、オウム返しではなく、より一層正確な物体の同定を行うことができる。

また本実施形態の走行情報処理装置１及び方法によれば、画像データ又は音声データとともに、音声データから抽出された車両の操舵操作に関する単語に基づいて、車両の操舵操作に関する操舵操作情報を出力するので、物体の位置の同定だけでなく、車両の行動、すなわち右左折や駐停車といった走行制御についても、ユーザが意図するものに同定できる。

また本実施形態の走行情報処理装置１及び方法によれば、自車両の周辺の道路情報と、操舵操作情報を示すアイコンとを、道路情報にアイコンを重畳して含む画像データを出力するので、特定した物体に加えて、自車両の次の行動（走行制御）を視認容易なアイコンで示すことができ、次にどのような行動を行うかの確認をより一層直感的に行うことができる。

また本実施形態の走行情報処理装置１及び方法によれば、地図データ及び車載センサから出力される情報に基づいて、音声データから推定される物体を特定するので、ユーザの視界と同一の状況を共有しながら、自車両との位置の関係性を認識することができる。たとえば、同一車線や隣の車線といった自車両との位置関係や、実際に視覚できるあらゆる物体をベースにユーザが意図する物体の同定を行うことができる。また、地図データを用いることで、ユーザが意図した物体に対して属性を加えて説明することができる。たとえば、ユーザが「角のお店」と発話したのに対して、「ケーキ屋さんの角ですね」といったより詳細な情報で同定することができる。

また本実施形態の走行情報処理装置１及び方法によれば、画像データは撮像装置から出力される画像データを用いて生成されるので、ユーザとの物体確認が簡便になる。

また本実施形態の走行情報処理装置１及び方法によれば、画像データは地図データを用いて生成されるので、ユーザとの物体確認が簡便になる。

また本実施形態の走行情報処理装置１及び方法によれば、自車両の周辺の道路情報に対して特定された物体の位置をマーキングした画像データを出力するので、自車両と特定された物体との位置関係が視認し易くなり、ユーザとの物体確認が簡便になる。

上記車内集音マイク１１は本発明に係る音声入力部に相当し、上記音声認識部１２、物体認識部１６、指示物体推定部１７及び物体特徴推定部１８は本発明に係る出力部に相当し、上記経路変更同定部１９は本発明に係る走行情報処理部及び確認データ入力部に相当し、上記車外撮像カメラ１３は本発明に係る撮像装置に相当し、上記車載センサ１４は本発明に係る車載センサに相当し、上記地図データベース１５は本発明に係る記憶部に相当する。

１…走行情報処理装置
１１…車内集音マイク
１２…音声認識部
１３…車外撮像カメラ
１４…車載センサ
１５…地図データベース
１６…物体認識部
１７…指示物体推定部
１８…物体特徴推定部
１９…経路変更同定部

【０００１】
技術分野
［０００１］
本発明は、走行情報処理装置及び処理方法に関するものである。
背景技術
［０００２］
運転手が車両に特定の運転操作を直感的かつ簡便に指示するために、ディスプレイに、自車を表す自車物体と複数の車線を含む画像を出力し、ディスプレイに表示された画像内の自車物体を第１車線から第２車線に移動させるユーザの操作を受け付けると、自車の走行車線を第１車線から第２車線に変更するコマンドを自動運転の制御部へ出力する運転支援装置が知られている（特許文献１）。
先行技術文献
特許文献
［０００３］
特許文献１：特開２０１７−０３０５７２号公報
発明の概要
発明が解決しようとする課題
［０００４］
しかしながら、上記従来技術のようにディスプレイのタッチ操作でコマンド入力を行う場合に、自車の変更先の位置は指定できるものの、ディスプレイに表示されていない場所は指定できないし、自車の変更先の位置以外の、たとえば右左折や停車といった走行経路については指示できないという問題がある。
［０００５］
本発明が解決しようとする課題は、ユーザが車両に特定の運転操作を直感的かつ簡便に指示できる走行情報処理装置及び処理方法を提供することである。
課題を解決するための手段
［０００６］
本発明は、ユーザの音声データを入力し、前記音声データから抽出された、走行経路周囲で自車両の走行動作を変更するための目標となる物体を示す

【０００２】
単語、と物体の位置関係を示す単語及び自車両に対する走行指示に関する単語に基づいて、前記音声データから推定される物体を特定し、前記音声データから抽出された走行経路周囲の物体を示す単語とは異なる情報又はより詳細な情報を用いて、自車両の走行動作の変更を行うための位置及び走行動作を説明する画像データ又は音声データを出力し、前記画像データ又は前記音声データに基づいて、自車両の走行経路を変更することによって上記課題を解決する。
発明の効果
［０００７］
本発明によれば、音声データから推定される物体を特定し、特定された物体を示す画像データ又は音声データを出力するので、ユーザは、出力された画像データ又は音声データを視聴することで自分が意図した物体との一致性又は正確性を確認することができる。これにより、ユーザが車両に特定の運転操作を直感的かつ簡便に指示できる走行情報処理装置及び処理方法を提供することができる。
図面の簡単な説明
［０００８］
［図１］本発明に係る走行情報処理装置の一実施の形態を示すブロック図である。
［図２］図１の音声認識部１２にて用いられる認識キーワードの一例である。
［図３］図１の走行情報処理装置の基本的な処理手順を示すフローチャートである。
［図４］図１の走行情報処理装置の具体的な処理手順を示すフローチャートである。
［図５］図１の走行情報処理装置の他の具体的な処理手順を示すフローチャートである。
［図６］図５の処理において、ディスプレイに表示される画像データの一例を示す図である。
［図７］図５の処理において、ディスプレイに表示される画像データの他例を示す図である。
［図８］図５の処理において、ディスプレイに表示される画像データの他例を示す図である。
発明を実施するための形態
［０００９］
以下、本発明の実施形態を図面に基づいて説明する。図１は、本発明に係

Claims (12)

1. ユーザの音声データが入力される音声入力部と、
   前記音声データから抽出された、走行経路周囲の物体を示す単語と物体の位置関係を示す単語とに基づいて、前記音声データから推定される物体を特定し、特定された物体を示す画像データ又は音声データを出力する出力部と、
   前記特定された物体に基づいて、自車両の走行動作を変更する走行情報処理部と、を備える走行情報処理装置。
2. 前記出力部は、前記音声データから抽出された、走行経路周囲の物体を示す単語、物体の位置関係を示す単語及び自車両に対する走行指示に関する単語に基づいて、前記音声データから推定される物体を特定し、自車両の走行動作の変更を行うための位置及び走行動作を説明する画像データ又は音声データを出力する請求項１に記載の走行情報処理装置。
3. 前記音声データは自車両に対する走行指示に関する単語を含み、
   前記走行情報処理部は、前記特定された物体と前記走行指示に基づいて、自車両の走行動作の変更を行うための位置及び走行動作を特定し、自車両の走行動作の変更を行う請求項１に記載の走行情報処理装置。
4. 前記出力部から出力された前記画像データ又は前記音声データに対し、前記ユーザの確認データが入力される確認データ入力部をさらに備え、
   前記走行情報処理部は、前記確認データに基づいて、前記自車両の走行動作を変更する請求項1〜３のいずれか一項に記載の走行情報処理装置。
5. 前記出力部は、前記音声データから抽出された走行経路周囲の物体を示す単語とは異なる情報又はより詳細な情報を用いて前記特定された物体を説明する画像データ又は音声データを出力する請求項1〜４のいずれか一項に記載の走行情報処理装置。
6. 前記出力部は、前記画像データ又は前記音声データとともに、前記音声データから抽出された車両の操舵操作に関する単語に基づいて、車両の操舵操作に関する操舵操作情報を出力する請求項１〜５のいずれか一項に記載の走行情報処理装置。
7. 前記出力部は、前記自車両の周辺の道路情報と、前記操舵操作情報を示すアイコンとを、前記道路情報に前記アイコンを重畳して含む画像データを出力する請求項６に記載の走行情報処理装置。
8. 地図データを記憶した記憶部と、車載センサとをさらに備え、
   前記出力部は、前記地図データ及び前記車載センサから出力される情報に基づいて、前記音声データから推定される物体を特定する請求項１〜７のいずれか一項に記載の走行情報処理装置。
9. 前記自車両の周囲を撮像する撮像装置をさらに備え、
   前記画像データは、前記撮像装置から出力される画像データを用いて生成される請求項８に記載の走行情報処理装置。
10. 前記画像データは、前記地図データを用いて生成される請求項８又は９に記載の走行情報処理装置。
11. 前記出力部は、前記自車両の周辺の道路情報に対して、前記特定された物体の位置をマーキングした画像データを出力する請求項１〜１０のいずれか一項に記載の走行情報処理装置。
12. プログラムにより動作するコンピュータを用いて走行情報を処理する方法であって、
    前記コンピュータは、
    ユーザの音声データを入力し、
    前記音声データから抽出された、走行経路周囲の物体を示す単語と物体の位置関係を示す単語とに基づいて、前記音声データから推定される物体を特定し、特定された物体を示す画像データ又は音声データを出力し、
    前記特定された物体に基づいて、自車両の走行動作を変更する走行情報処理方法。

Images