JP6466191B2 - 運転支援情報生成装置、運転支援装置 - Google Patents

Description

本発明は、ドライバの運転を支援する技術に関する。

近年、運転操作や車両挙動を表すデータに基づいて現在の運転シーンの認識、および将来の運転シーンの予測を行い、これらの認識結果や予測結果に基づいて運転支援を行うことが考えられている。

運転シーンを認識、予測する技術の一つとして、以下のものが知られている。即ち、まず、運転操作や車両の挙動を表すデータを、それぞれが特定の運転状態を表すように区分けし、区分けされた各部分に記号を付与することで記号列に変換する。次に、各記号の生成確率や記号間の遷移確率からなる遷移則を利用して、特定パターンの記号列で表されるドライビングワードを抽出し、このドライビングワードから運転シーンを認識する。更に、ドライビングワードの抽出の際に使用される遷移則や、ドライビングワードの検出結果から学習される遷移則などに従って、将来の運転シーンを予測する（特許文献１参照）。

特開２０１３−２５０６６３号公報

ところで、上述の従来技術において、現在の運転シーンの認識結果や将来の運転シーンの予測結果は、それぞれが何等かの運転シーンを表す複数の記号列パターン（運転シーン候補）に対する確率分布として表現される。言い換えれば、認識結果や予測結果は複数のドライビングワードに対する確率分布として表現される。しかも、候補となる運転シーンを表現する記号列パターンは、通常、膨大な数（数十から数千）にのぼる。このため、認識結果や予測結果の確率分布は、各記号列パターンがそれぞれ低い確率で予測されたものとなる場合が殆どである。さらに、運転の最中に運転シーンの認識を行う場合、まだ運転シーン終端に至っていない状態で、現在の運転シーンを予測する必要があり、予測結果の確率分布はより膨大な数の候補がより低い確率を持つものとなる。従って、このような確率分布で表現された予測結果から、運転シーンを明確に特定することは困難であり、そのままでは運転支援に十分に役立てることができない問題があった。

本発明では、運転シーンの予測結果から運転支援に有用な情報を抽出する技術を提供することを目的とする。

本発明の運転支援情報生成装置は、データ収集部と、シーン認識部と、シーン予測部と、シーン属性予測部とを備える。
データ収集部は、車両の走行中に検出される各種データを走行データとして収集する。シーン認識／予測部は、データ収集部にて収集された走行データから現在の運転シーンの認識および将来の運転シーンの予測をする。ただしこの運転シーンは、認識時点では運転シーンの途中である場合が多く、複数の運転シーン候補の確率分布として認識される。シーン属性予測部は、運転支援の内容を決める要因のそれぞれを運転シーン属性として、運転シーンと運転シーン属性との対応関係を示す予め設定された対応情報に従って、シーン認識／予測部での認識結果や予測結果を、運転シーン属性毎に統合することで、運転シーンが備える運転シーン属性を予測する。

つまり、シーン属性予測部での予測結果は、膨大な数の運転シーンによって網羅的に表現された現在の運転シーンの認識結果や将来の運転シーンの予測結果を、実用的な数の別の観点（運転シーン属性）で分類し直したものとなる。なお、運転シーン属性としては、例えば「運転の忙しさ」や「衝突危険度」等、運転シーンから把握され、運転支援の内容を決める要因となる様々な情報を用いることができる。

このような構成によれば、運転支援の選択時に有用な情報を得ることができる。また、運転シーンと共に予測される遷移タイミングの情報も、同様に統合することで、運転支援の実施時に有用な情報を得ることができる。

また、本発明の運転支援装置は、上述した運転支援情報生成装置と、支援選択部と、支援実施部とを備える。支援選択部は、運転支援情報生成装置が生成した運転シーン属性の予測結果に従って運転支援の内容を選択する。支援実施部は、支援選択部での選択結果に従って運転支援を実施する。

このような構成によれば、実用的な予測結果に基づき適切な運転支援を選択、実施することができる。
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

運転支援装置の構成を示すブロック図である。 運転シーン予測部での予測結果を示す説明図である。 属性分類ＤＢに記憶される対応情報の内容を説明する説明図である。 選択処理部が実行する処理の内容を示すフローチャートである。 運転シーン属性の該当率の算出方法、およびその具体例を示す説明図である。 運転支援の内容の選択方法、およびその具体例を示す説明図である。 対応情報の他の設定例を示す説明図である。 図７の対応情報を利用した運転シーン属性の該当率の算出方法、およびその具体例を示す説明図である。

以下に本発明が適用された実施形態について、図面を用いて説明する。
［構成］
図１に示す、運転支援装置１は、データ収集部２、運転シーン認識部３、運転シーン予測部４、運転支援選択部５、運転支援実行部６を備える。なお、運転支援装置１は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を中心に構成された周知のマイクロコンピュータからなり、各部の動作はＲＯＭに記憶されたプログラムを実行することによって実現される。

＜データ収集部＞
データ収集部２は、運転者による運転操作に関するデータ、その運転操作の結果として表れる車両の挙動に関するデータ、搭乗者の状態に関するデータを、各種車載センサから繰り返し収集する。以下、これら車両の走行中に検出される各種データを総称して走行データという。なお、走行データは、上述した全ての種類のものを備えている必要はなく、その一部のみであってもよい。また、これら以外のもの、例えば、走行データを微分した微分データ等が加わっていてもよい。

＜運転シーン認識部＞
運転シーン認識部３は、データ収集部２により収集された走行データに基づいて現在の運転シーンを認識するものである。この運転シーン認識部３は、記号化部３１、記号遷移ＤＢ（データベース）３２、記号統合部３３、単語遷移ＤＢ３４を備える。

記号化部３１は、走行データの時系列を、記号遷移ＤＢ３２に記憶された情報を用いて、区分単位となる車両の状態毎に区分けする。更に、その区分けされた各データを、該データから把握される車両の状態に対応付けた記号によって表すことにより、記号列を生成する。つまり、記号化部３１は、走行データを構成する各データによって表現される多次元の空間において、走行データから把握される車両の状態のそれぞれをクラスターとし、所定のタイミング毎に走行データがいずれのクラスターに属するかを統計的に処理する。これにより、走行データは、区分単位となる車両の状態毎（つまり、クラスター毎）に区分けされ、区分けされた部分毎に対応する記号が付与される。更に、記号化部３１では、生成された記号列を構成する各記号の持続時間を確率的に求める。

このような記号化部３１における処理を、本実施形態では、階層ディリクレ過程隠れセミマルコフモデル（ＨＤＰ−ＨＳＭＭ：Hierarchical Dirchlet process Hidden Semi-Markov Model）を利用して実行する。ＨＤＰーＨＳＭＭは、隠れ状態とその状態間の確率的遷移で表現されるモデルの一つである階層ディリクレ過程隠れマルコフモデル（ＨＤＰ−ＨＭＭ）を、持続長分布を用い、隠れ状態の持続長を明示的に確率表現できるように拡張したものである。なお、ＨＤＰ−ＨＳＭＭを利用した記号化は、例えば、上述した特許文献１（特開２０１３−２５０６６３号公報）等に記載されているＨＤＰ−ＨＭＭを利用した記号化において、ＨＤＰ−ＨＭＭをＨＤＰ−ＨＳＭＭに置き換えることで実現することができる。

記号遷移ＤＢ３２には、ＨＤＰ−ＨＳＭＭを利用した処理において使用される、車両の各状態（記号）の生成確率や、車両の状態間の遷移確率等からなる遷移則が記憶されている。

記号統合部３３は、記号化部３１から出力される記号列を、単語遷移ＤＢ３４に記憶された情報を用いて、それぞれが何等かの運転シーンに対応するドライビングワードに分節化する。この分節化を、本実施形態では、統計情報を利用した離散文字列の教師なしチャンク化手法の１例であるNested Pitman-Yor Language Model（ＮＰＹＬＭ）を利用して実行する。ＮＰＹＬＭを利用した分節化は、例えば、上述した特許文献１（特開２０１３−２５０６６３号公報）等に記載されているため、ここでは、その詳細についての説明を省略する。

なお、単語遷移ＤＢ３４には、ＮＰＹＬＭを利用した処理において使用される、ドライビングワードの生成確率や、ドライビングワード間の遷移確率等からなる遷移則が記憶されている。各ドライビングワードは、１〜数個の記号によって表現されるものとする。以下では、ドライビングワードのことを運転シーンとも呼ぶ。

＜運転シーン予測部＞
運転シーン予測部４は、現在に至るまでの記号列と、記号遷移ＤＢ３２や単語遷移ＤＢ３４に蓄積されている遷移則に従い、次の遷移先となる運転シーン（ドライビングワード）とその遷移タイミングとを予測する。予測結果は、いずれも確率分布の形で表現される。

なお、遷移タイミングは、現在の運転シーンの確率分布に従い、この確率分布を構成する各運転シーンについて残存持続長分布を求め、これら残存持続長分布を、確率分布を構成する全ての運転シーンに関して周辺化することで予測分布を得る。具体的には、「Shogo Nagasaka, Tadahiro Taniguchi, Kentarou Hitomi, Kazuhito Takenaka, Takashi Bando, "Prediction of next contextual changing point of driving behavior using unsupervised Bayesian double articulation analyzer," IEEE Intelligent Vehicles Symposium (IV2014), 2014」等に記載されているため、ここでは、その詳細についての説明は省略する。

例えば、図２に示すように、運転シーンをアルファベットの大文字で識別するものとして、現在に至るまでの運転シーンの系列がＡＢＡであり、現在の運転シーンがＣ１〜Ｃ５の５つの運転シーン候補のうちのいずれかである場合、言い換えれば現在の運転シーンがＣ１〜Ｃ５の確率分布で表されている場合を考える。この場合、運転シーン候補のそれぞれについて残存持続長分布を求め、それら残存持続長分布をそれぞれの確率で重みをつけて重ね合わせたものから遷移タイミングの予測点を求める。また、現時点で予測される現在の運転シーン候補Ｃ１〜Ｃ５のそれぞれについて、その運転シーンが確定した場合に遷移する可能性のある運転シーンの確率分布を合成することによって、遷移先となる各運転シーンの生成確率が求められる。なお、図では、上位５パターンについて例示した場合を示しているが、実際には、運転シーンの多様性から、現在の運転シーンの確率分布は、非常に多くの運転シーン候補について各々が低い確率を持ったものとなる。さらに、図では、その運転シーン候補のそれぞれが、その運転シーンが確定した場合に遷移する可能性のある運転シーン候補として上位１パターンのみを例示している（Ｃ１が確定した場合はＤに遷移する、など）が、実際には現在の運転シーン候補のそれぞれが、次に遷移し得る運転シーンとして、非常に多くの運転シーン候補を持っている。そのため、予測される運転シーンは、現在の運転シーンよりさらに多くの運転シーン候補が、さらに低い確率を持ったものとなる。

＜運転支援選択部＞
運転支援選択部５は、運転シーン予測部４の予測結果に従って、運転支援実行部６に実行させる運転支援の内容を選択する。運転支援選択部５は、選択処理部５１と属性分類ＤＢ５２とを備える。

属性分類ＤＢ５２には、運転シーンと運転シーン属性との対応関係を示す対応情報が記憶されている。運転シーン属性は、運転支援の内容を決める要因となるものであり、運転シーンにおけるドライバの負荷、車両の挙動、ドライバの行動などからなる。具体的には、「運転の忙しさ」「進行方向の変化」「減速・停車」「回避行動」「運転の漫然さ」等を用いることができる。そして、対応情報は、図３に示すように、運転シーンのそれぞれについて、その運転シーンに各運転シーン属性が該当するか否かを定義したものである。図３では、該当する場合に○印、非該当の場合に無印となっている。なお、対応情報は、予め人手によって定義してもよいし、例えば車両の周囲を撮像する画像センサから得られる情報を使って、機械的に学習することによって定義してもよい。また、運転シーン属性には、それぞれ一つ以上の運転支援が対応付けられており、各運転支援には、それぞれ優先順位および支援実施の閾値条件が設定されている（図６参照）。

ここで、選択処理部５１が実行する処理を、図４のフローチャートに沿って説明する。
本処理が起動すると選択処理部５１として機能するＣＰＵは、Ｓ１１０にて、運転シーン属性のそれぞれについて、運転シーン予測部４の予測結果である運転シーンの確率分布を用いて、対応関係がある運転シーンの予測確率を合計することで該当率を算出する。

具体的には、図５に例示するように、注目する運転シーン属性が「運転の忙しさ」である場合、運転シーンＡ，Ｂ，Ｄ，Ｅ，Ｈと対応関係があるため、その当率は７５％となる。また、注目する運転シーン属性が「進行方向の変化」である場合、運転シーンＢ〜Ｅと対応関係があるため、該当率は７１％となる。

図４に戻り、Ｓ１２０では、運転支援実行部６に出力する支援実施リストを初期化（クリア）する。
続くＳ１３０では、全ての運転支援についてＳ１４０〜Ｓ１８０の処理を繰り返す。なお、以下の処理では、適宜、図６も参照のこと。

Ｓ１４０では、処理の対象となる運転支援を着目支援として、この着目支援に対応付けられた運転シーン属性の該当率が、着目支援について予め設定された支援実施の閾値条件を満たすか否かを判断する。該当率が閾値条件を満たせば（Ｓ１４０：ＹＥＳ）、Ｓ１５０に進み、該当率が閾値条件を満たさなければ（Ｓ１４０：ＮＯ）、Ｓ１９０に進む。

Ｓ１５０では、着目支援と競合する運転支援が支援実施リスト中に存在するか否かを判断する。なお、競合する運転支援とは、運転支援実行部６において、制御対象となる装置が同じである、同時に支援を実行することでドライバが適切に支援を受けられない等、着目支援と同時に実行することができない運転支援のことをいう。例えば、車両の制御にかかわるような運転支援と情報提示を行う運転支援を同時に行うと、より重要度の高い制御にかかわる支援に対するドライバの注意が、情報提示によって阻害される恐れがある。このような場合に、支援の同時実行を避ける必要がある。

競合する運転支援が存在すれば（Ｓ１５０：ＹＥＳ）、Ｓ１６０に進み、競合する運転支援が存在しなければ（Ｓ１５０：ＮＯ）、Ｓ１８０に進む。
Ｓ１６０では、着目支援の優先度が競合する運転支援より高いか否かを判断する。着目支援の優先度の方が高ければ（Ｓ１６０：ＹＥＳ）、Ｓ１７０に進み、着目支援の優先度の方が低ければ（Ｓ１６０：ＮＯ）Ｓ１９０に進む。

Ｓ１７０では、競合する運転支援を支援実施リストから削除する。
続くＳ１８０では、着目支援を支援実施リストに追加する。
続くＳ１９０では、全ての運転支援についてＳ１４０〜Ｓ１８０の処理を実施済みであれば本処理を終了し、処理を実施していない運転支援が存在すればＳ１４０に戻る。

例えば、図６に示すように、「到着時間のアナウンス」と「側方・後方障害物報知」が支援実施の閾値条件を満たす場合、両者とも音声を利用する競合した運転支援であるため、ここでは優先度（優先順位）の高い「側方・後方障害物報知」が支援実施リストに追加されることになる。

＜支援実行部＞
運転支援実行部６は、車両制御部６１と情報提示部６２とを備え、運転支援選択部５から提供される支援実施リストに従って運転支援を実行する。車両制御部６１は、ブレーキ、アクセル、ステアリングなどを制御することによって、車両の挙動を変化させる。情報提示部６２は、車載の音響装置、インストゥルメント・パネルやヘッドアップディスプレイなどの表示装置を用いた各種の情報提示を実行する。

＜運転支援選択の考え方例＞
例えば、予測された現在の運転シーンや遷移先の運転シーンの運転シーン属性が、運転が忙しい状況であることや十分に注意を要する運転操作が行われる状況であること等を示している場合に、運転に直接関係のない情報の提供を抑制する内容の運転支援を選択することが考えられる。これは情報提示型の支援と競合し、より優先順位の高い運転支援として、情報提示を行わない支援を設定しておくことで実現できる。

また、予測された遷移先の運転シーンの運転シーン属性が、ナビゲーション装置における案内経路にマッチしない運転行動の実施を示している場合に、確認のメッセージを発話する内容の運転支援を選択することが考えられる。

また、予測された現在の運転シーンや遷移先の運転シーンの運転シーン属性が、ドライバの注意が散漫であることを示している場合、情報提示を抑制したり、警報を発生させたりする内容の運転支援を選択することが考えられる。

［効果］
以上説明したように、運転支援装置１では、膨大な数の運転シーン候補によって表現される運転シーンの予測分布を、運転支援の内容を決定する要因となる限定された数の運転シーン属性によって再分類することによって、現在の運転シーンや遷移後の運転シーンが、どのような運転シーン属性を有しているかを特定する。そして、その特定した運転シーン属性に従って、運転支援の内容を選択することができる。さらに、運転シーンの残存持続長分布から運転シーンの遷移タイミングも予測することによって、選択した運転支援を適切なタイミングで実施することができる。

このような構成によれば、運転支援の選択時および実施時において有用な情報を得ることができ、適切な運転支援を選択、実施することができる。
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得る。

（１）上記実施形態では、対応情報として、運転シーンと運転シーン属性との間の対応関係の有無を定義しているが、これに限定されるものではなく、例えば、図７に示すように、対応の強さを表す加重値によって表現してもよい。この場合、運転シーン属性の該当値は、図８に示すように、各運転シーンの予測確率を、加重値を用いて重み付け加算することによって求めればよい。

（２）記号化部３１や記号統合部３３の処理で使用するモデルは、上述したＨＤＰ−ＨＳＭＭやＮＰＹＬＭに限るものではなく、他のモデルを利用してもよい。また、必ずしもモデルを用いる必要はなく、予め用意されたパターンとのパターンマッチング等によって記号やドライビングワードを抽出するようにしてもよい。

（３）上記実施形態では、予測された現在や遷移先の運転シーンの運転シーン属性を算出することで適切な運転支援を選択したが、現在の運転シーンの運転シーン属性と、現在の運転シーンの残存持続長分布の双方を利用して、適切な運転支援を選択することも考えられる。例えば、現在の運転シーンの運転シーン属性として運転の忙しさの該当率を算出し、さらに遷移タイミングの予測結果から遷移までの時間を算出することで、運転の忙しさが低く、かつ、遷移までの時間的猶予が大きい場合のみ情報提示を行う、といった運転支援を選択するようにしてもよい。

（４）上記実施形態では、現在の運転シーンの認識結果として複数の運転シーン候補の確率分布と考えたが、現在の運転シーンを最も確率の高い運転シーンだと認識したうえで、その確定した現在の運転シーンから遷移する次の運転シーンを確率分布の形で予測しても良い。これは現在の運転シーンが特定の運転シーン候補である確率が十分高い場合に、遷移先の運転シーン候補の数を減らすことができる。

（５）上記実施形態における一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換等してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（６）本発明は、運転支援情報生成装置や当該運転支援情報生成装置を構成要素とする運転支援装置、運転支援装置を構成要素とするシステム、当該運転支援情報生装置や運転支援装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、運転支援情報生成方法など、種々の形態で実現することもできる。

１…運転支援装置 ２…データ収集部 ３…運転シーン認識部 ４…運転シーン予測部 ５…運転支援選択部 ６…運転支援実行部 ３１…記号化部 ３２…信号遷移ＤＢ ３３…記号統合部 ３４…単語遷移ＤＢ ５１…選択処理部 ５２…属性分類ＤＢ ６１…車両制御部 ６２…情報提示部

Claims (7)

1. 車両の走行中に検出される各種データを、走行データとして収集するデータ収集部（２）と、
   前記データ収集部にて収集された走行データから現在の運転シーンの認識および将来の運転シーンの予測をするシーン認識予測部（３、４）と、
   運転支援の内容を決める要因のそれぞれを運転シーン属性として、前記運転シーンと前記運転シーン属性との対応関係を示す予め設定された対応情報に従って、前記シーン認識予測部での認識結果や予測結果を、前記運転シーン属性毎に統合することで、運転シーンが備える運転シーン属性を予測するシーン属性予測部（５１：Ｓ１１０）と、
   を備えることを特徴とする運転支援情報生成装置。
2. 前記シーン属性予測部は、前記シーン認識予測部で予測された各運転シーンの予測確率を、前記運転シーン属性毎に合計することによって、前記運転シーン属性毎の該当率を求めることを特徴とする請求項１に記載の運転支援情報生成装置。
3. 前記対応情報は、前記運転シーン毎に、該運転シーンに各運転シーン属性が該当する度合いを表す加重値を含み、
   前記シーン属性予測部は、前記シーン認識予測部で予測された遷移後の各運転シーンの予測確率を、前記加重値を用いて重み付け加算することによって、前記運転シーン属性毎の該当率を求めることを特徴とする請求項１に記載の運転支援情報生成装置。
4. 前記運転シーン属性には、前記運転シーンにおけるドライバの負荷、車両の挙動、またはドライバの行動のいずれかを表現したものが含まれていることを特徴とする請求項１ないし請求項３のいずれか１項に記載の運転支援情報生成装置。
5. 請求項１ないし請求項４のいずれか１項に記載の運転支援情報生成装置と、
   前記運転支援情報生成装置が生成した前記運転シーン属性の予測結果に従って、運転支援の内容を選択する支援選択部（５１：Ｓ１２０〜Ｓ１９０）と、
   前記支援選択部での選択結果に従って運転支援を実施する支援実施部（６）と、
   を備えることを特徴とする運転支援装置。
6. 前記支援実施部による実施の対象となる各運転支援には、実施の優先度および前記シーン属性予測部での予測結果を用いて定義された実施条件が関連づけられており、
   前記支援選択部は、前記実施条件を満たす運転支援のうち、前記優先度が最も高いものを選択することを特徴とする請求項５に記載の運転支援装置。
7. 前記シーン認識予測部は、予測された各運転シーンの予測確率に基づき、運転シーンの遷移タイミングを予測し、
   前記支援選択部は、前記運転支援情報生成装置が生成した前記運転シーン属性の予測結果と、前記運転シーンの遷移タイミングの予測結果に従って、運転支援の内容を選択することを特徴とする請求項５または請求項６に記載の運転支援装置。

Images