JP3931879B2 - センサフュージョンシステム及びそれを用いた車両制御装置 - Google Patents

Description

本発明は、複数種類の検出手段（センサ等）によって同じ検出対象を検出し、それらの検出結果を総合的に判断して、検出精度を向上させるセンサフュージョンシステム及びそれを用いた車両制御装置に関する。

従来、先行車との車間距離を計測して、自動的に加減速して車間距離を調節する車間距離制御クルーズシステムや、衝突の危険性が高い際に警報やブレーキ制御等の介入を行なう衝突警報・軽減システムが開発されている。

それらのシステムにおいては、対象物標の位置・相対速度・大きさを認識するレーダセンサ等を用いた認識装置の精度が、大きな重要度を持つ。そのため、特許文献１〜特許文献５に記載されるように、より高い精度、信頼性を実現するため、複数の認識装置、たとえば電波式のミリ波レーダや赤外線レーザを使うレーザレーダを用いるレーダセンサ認識部に加え、カメラを用いた画像センサ認識部を併用し、その結果を組み合わせる、センサフュージョンと呼ばれる手法が考案されている。

例えば、特許文献１に記載された前方車両の認識装置では、レーダ認識部によって車間距離、方向，相対速度が認識され、画像センサ認識部によって車間距離、方向、相対速度、車両幅、車線内位置が認識される。そして、統合処理部において、車間距離、方向、相対速度についてレーダ認識部と画像センサ認識部の認識結果が同一であるとき、同一の車両について認識したとみなし、その旨が認識結果に付加される。なお、認識結果として、レーダ認識部と画像センサ認識部とで認識した同一の車間距離、方向及び相対速度と、画像センサ認識部で認識した車両幅及び車線内位置が統合処理部によって出力される。
特開２００３−１６８１９７ 特開２００３−１５１０９４ 特開２００３−８４０６４ 特開２００３−１７２７８０ 特開２００２−９９９０６

このようなセンサフュージョンシステムは、今後多くの車種に展開されていくことが予想されている。しかしながら、システムが搭載される車種が異なると（例えば高級車と大衆車）、機能も異なり、用いられるセンサの種類やその組み合わせ方も多岐にわたることは想像に難くない。また、多くのセンサメーカが各々のセンサを持ち寄り、それらを組み合わせてセンサフュージョンを行なうといったことも起こりえる。

その際に、前述のセンサフュージョンシステムは潜在的な課題を持つ。通常、センサフュージョンシステムの処理構造としては、センサを含む各認識手段と、それらのデータ出力を集め、融合するアルゴリズムである総合判断処理が最終段に存在する形で構築される。従って、この総合判断処理のアルゴリズムが、用いるセンサの種類や組み合わせに依存した、一品作りになってしまうのである。換言すれば、センサの組み合わせが変わったり、ある認識手段の仕様が変更され性能が変わったりした場合には、いちいち総合判断処理のアルゴリズムの見直しが必要になってしまうのである。

例えば、大衆車用の運転支援システムとして、車間制御クルーズと車線逸脱警報を実装する場合を想定する。この場合、価格の安いレーザレーダ、低解像度のカメラデバイス及び処置能力が相対的に低い演算回路を用いた低価格な白線・物標認識センサ部を構築することが考えられる。一方、高級車用にはさらに機能の充実・向上を図るために、衝突軽減システムやレーンキープアシストシステムを実装することが考えられる。そのため、白線・物標認識センサ部としても、耐環境性の高いミリ波レーダと、より高い解像度及びダイナミックレンジを持ったカメラデバイスと、能力の高い演算回路を用いて構築される。さらに中級車種のために、高級車用よりもコストと能力が多少低下した別の組み合わせが採用されることも有りえる。

その際、それらの組み合わせ毎に、総合判断処理を行なうアルゴリズムを開発せねばならないとすると、その開発負担は多大となる。さらに、センサフュージョンによる大規模なセンサシステムにおいて、たった一部のセンサの認識アルゴリズム等が改良されたといった場合にも、データ融合アルゴリズムの全体の見直しをせねばならないことになる。

本発明は上記の点に鑑みてなされたもので、汎用性や再利用性を向上したセンサフュージョンシステム及びそれを利用した車両制御装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載のセンサフュージョンシステムは、
所望の種類のデータの値を検出する複数の検出手段と、
複数の検出手段がそれぞれ検出する所望種類のデータ値の真値に対する尤度を示す確率分布を求めて、この所望種類データ値の確率分布を出力する複数の出力手段と、
複数の出力手段からそれぞれ出力される、所望種類データ値の確率分布に基づいて、最も確からしい所望種類データ値を推定する総合判断手段とを備え、
複数の出力手段は、複数の検出手段の各々が過去に検出したデータ値を統計的にまとめ直した分布データに基づいて構成され、対応する検出手段によって検出されたデータ値を確率分布に変換する確率分布変換部をそれぞれ有することを特徴とする。

上述のように、請求項１に記載のセンサフュージョンシステムは、検出手段がそれぞれ検出する、所望種類のデータ値の確率分布を出力する出力手段を有している。すなわち、本発明では、各検出手段が検出する単なる位置や大きさ等の検出データを総合判断手段に与えるのではなく、検出した所望種類のデータ値の真値に対する尤度、すなわちそれがどの程度の確率で信用できるのかという確率分布を求め、この確率分布を総合判断手段に与える。その確率分布は、複数の検出手段の各々が過去に検出したデータ値を統計的にまとめ直した分布データに基づいて構成され、対応する検出手段によって検出されたデータ値を確率分布に変換する確率分布変換部により求められる。

このようにして、総合判断手段に対して出力されるデータの形式を標準化するのである。データ形式が標準化されれば、総合判断手段は、どのような種類の検出手段による検出結果であるかを考慮する必要がなくなる。その結果、どのような種類の検出手段が組み合わされても、同様のデータ融合アルゴリズムを適用できる。

請求項２に記載のセンサフュージョンシステムでは、総合判断手段が、複数の出力手段の各々から出力される確率分布の積を取ることを特徴とする。このように積を取れば、確率分布を用いて、数学上根拠のある確率推定ができるためである。以下にその理由を説明する。

通常、ある真値に対してその観測結果が複数得られた際の確率推定の式は、真値がｘ、観測結果がｘ１，ｘ２，…とし、観測結果は他の観測結果から独立とすると、結合確率密度関数は以下の式１ようにたてられる。
（式１）
Ｐ（ｘ、ｘ１，ｘ２，…）＝Ｐ（ｘ）Ｐ（ｘ１｜ｘ）Ｐ（ｘ２｜ｘ）…
ただし、Ｐ（ｘ｜ｘ１）は、ｘ１が得られたときｘの確率という条件付き確率を意味する。

ここで、観測結果が得られたときの真値の推定は、Ｐ（ｘ｜ｘ１，ｘ２，…）で表現され、これはベイズの公式から変形でき、以下の式２のようになる。
（式２）
Ｐ（ｘ｜ｘ１，ｘ２，…）＝Ｐ（ｘ）Ｐ（ｘ１｜ｘ）Ｐ（ｘ２｜ｘ）…／Ｐ（ｘ１）Ｐ（ｘ２）…
分母は正規化のための定数となるので無視できる。またＰ（ｘ）は真値ｘの事前確率で、通常どこに存在するか分からないため、一様分布であるので定数を掛けているのと同じ事になりこれも無視できる。すると、この確率分布はＰ（ｘ１｜ｘ）、Ｐ（ｘ２｜ｘ）、…の積で表されることになる。

例えばＰ（ｘ１｜ｘ）は、「ｘが得られたときにｘ１がどのように確率的に分布する」という過去の統計的データを基に作られた２変数の関数である。しかもいまそこにｘ１が与えられているので、「ｘ１が得られたときに真値のｘはどこであるのが尤もらしいか」という尤度関数となる。従って、複数の観測結果ｘ１，ｘ２，…から真値ｘを推定する際は、各観測結果から求められる尤度関数の積で表されることになる。

よって、各検出手段が検出するデータに基づく出力結果を尤度関数（確率分布）の形式で出力させると、総合判断手段における処理がシンプルなかけ算となり、得られる結果は、理論的に根拠を持ち、精度が高くかつ汎用性の高いものになるというメリットが生まれる。

請求項３に記載のセンサフュージョンシステムでは、総合判断手段は、複数の出力手段の各々から出力される確率分布の積を取った結果の確率分布において最も高い確率を持つ所望種類データ値を、前記最も確からしい所望種類データ値として採用することを特徴とする。

すなわち、出力手段から出力された確率分布の中から、最終的に出力結果として一つの値を選ばなければいけない場合、その手法として、各確率分布の積を取った結果の確率分布において、最も高い確率を持つ値を最終出力として採用する。これにより、最終出力を求めるためのアルゴリズムが非常にシンプルで、かつ誤りに対して期待されるリスクが真値以外で一定と仮定した場合の総合リスクが最低となる。

詳細に説明すると、真値がｘｉである場合に真値をｘｊと出力するときの損失をλ（ｘｊ｜ｘi）とすると、観測ベクトルｘｖが得られたときに真値をｘｉと出力する総合リスクR（ｘｉ｜ｘｖ）は、式３のようになる
（式３）
R（ｘｉ｜ｘｖ）＝Σλ（ｘｉ｜ｘｊ）Ｐ（ｘｊ｜ｘｖ） （シグマは全てのｊに関して）
いま、ｉ＝ｊの場合、λ（ｘｊ｜ｘi）＝０、ｉ≠ｊの場合、λ（ｘｊ｜ｘi）＝１と定義すると、総合リスクR（ｘｉ｜ｘｖ）は以下の式４のようになる。
（式４）
R（ｘｉ｜ｘｖ）＝ΣＰ（ｘｊ｜ｘｖ） （シグマはｊ≠ｉの全てのｊに関して）
＝１−Ｐ（ｘｉ｜ｘｖ）
式４の結果は、平均誤り確率そのものである。よって、この場合の総合リスクＲを最小化する決定則は、事後確率であるＰ（ｘｉ｜ｘｖ）を最大化するということであり、ということは「すべてのｊ≠iについてＰ（ｘｉ｜ｘｖ）＞Ｐ（ｘｊ｜ｘｖ）であればｘｉと判定する」という決定則を導入すれば、それが達成し得る最高の性能であることになる。

請求項４に記載したように、確率分布は、ガウス分布と一様分布との和によって表されることが好ましい。これにより、出力手段から出力される確率分布によって、間違った所望種類データ値を出力する可能性と、その真値が分布する可能性がある標準偏差との両方を表すことができる。

請求項５に記載たように、出力手段は、確率分布の形状をスカラー量に変換して出力し、総合判断手段は、受信したスカラー量を確率分布の形状に再変換することが好ましい。これにより出力手段と総合判断手段との間で送受されるデータ量を低減することができる。

請求項６に記載したように、出力手段は、検出手段の検出精度に影響を与える要因に関係するデータを受け取り、当該データの値に基づいて、確率分布を変更することが好ましい。

例えば、検出手段が撮像装置であって、出力手段は検出手段が検出する画像信号に対して画像認識処理を行なって、その認識結果に関する確率分布を出力する場合、夜間は日中よりも認識性能が低下するのであれば、夜間であることを示すデータを受け取った場合、出力する確率分布は、日中に出力する確率よりも低下させる。極端な例では、完全な一様分布か、対象物の認識に対しわずかな確率の上昇を見せるのみになるかもしれない。

このように、１つの出力手段から出力される確率分布の確率が低下されたとき、他の出力手段が相対的に高い確率の確率分布を出力していれば、総合判断手段では、その高い確率の確率分布の重み付けを増した形で用いられることになる。従って、総合判断手段における推定精度が向上する。

さらに、検出手段の検出精度に影響を与える要因に関係するデータは、総合判断手段ではなく、出力手段に与えられ、出力手段において、確率分布を変更する。従って、検出手段の検出精度が変動しても、その影響は、検出手段と出力手段とからなる系内に閉じられることになるため、総合判断手段での処理等に何ら変更を要しない。

請求項７に記載したように、上述したセンサフュージョンシステムは車両に適用され、総合判断手段が推定した最も確からしい所望種類データ値は、車両に搭載された車載機器を制御する制御装置に与えられ、当該制御装置は、前記所望種類データ値に基づいて車載機器を制御することができる。車両においては、車種に依存して、採用するセンサの種類、能力等が多岐にわたることが考えられる。本発明によるセンサフュージョンシステムでは、そのようなセンサの相違を考慮する必要がないので、特に車両に適用されることが好ましいのである。

この場合、請求項８に記載したように、総合判断手段は、道路種別、路面状況、日射量、及び先行車両を含む物体の位置、速度、大きさ、種別の少なくとも１つを所望種類データとして、最も確からしい所望種類データ値を推定するものであり、車載機器の制御装置は、自動車の運転者に対する情報提供を行なう情報提供装置の制御装置、警報器の制御装置、車両の走行状態を制御する走行機器の制御装置、及び車両の運転操作装置の状態を制御する運転状態制御装置、乗員を保護する乗員保護装置の制御装置の少なくとも１つとすることができる。従って、例えば車間制御クルーズシステム、衝突軽減システム、操舵アシストシステム等の各種の運転支援制御を実現する際に、車種や実現すべき機能等に依存せず、センサフュージョンシステムにおけるデータ融合アルゴリズムを広く利用することができる。

請求項１０に記載の車両制御装置は、推定した最も確からしい所望種類データ値を少なくとも１つの前記車載機器の制御装置に出力する際、その信頼度を示す信頼度データを併せて出力することを特徴とする。このように、所望種類データ値と併せて信頼度データを出力することにより、出力先となる制御装置の種類に依存せず、その出力するデータを標準化できる。すなわち、出力先となる制御装置では、信頼度データを併せて受領することにより、その制御装置毎に、制御を実行する上で必要な精度を満足しているかを判定できる。従って、個々の制御装置毎に要求精度が異なっても、それらに応じた別データを用意する必要がなくなるので、車両に各種の制御装置を実装する上での作業効率を著しく向上することができる。

なお、信頼度データとしては、請求項１１に記載するように、所望種類データ値の誤り確率、正解確率、確率分布、または、その確率分布の平均、分散、正常認識率の少なくとも１つを採用することができる。

特に、請求項１２に記載したように、総合判断手段が、複数の出力手段の各々から出力される確率分布の積を取り、その積を取った確率分布において最も高い確率を持つ所望種類データ値を、最も確からしい所望種類データ値として採用する場合、その最も高い確率を信頼度データとして出力することが好ましい。これにより、特別な計算を必要とせず、かつ信頼度の指標として客観的に分かりやすいものとすることができる。

図１は、本実施形態における運転支援制御装置の構成を示す構成図である。図１に示すように、運転支援制御装置１０は、ミリ波レーダ、ナビゲーション装置、カメラを含む画像認識装置、照度センサ等を検出手段として有している。なお、図１では、例示として４個の検出手段を示しているが、その他にも雨滴センサ、車速センサ、ステアリング角度センサ等、車両の走行状態や走行環境を検出するために必要となるデータを検出するため各種のセンサを備えている。

ミリ波レーダは、ミリ波の送受信結果に基づいて、自動車の前方に存在する先行車両や障害物との距離、相対速度、方位、さらに受信したミリ波の電波強度を算出し、その算出した各データ値を出力する。ナビゲーション装置は、自動車の現在位置を検出して、その現在位置に対応する道路種別に関するデータ値を出力する。

カメラを含む画像認識装置は、自動車の前方の所定範囲を撮像した画像信号に対して画像処理を施し、前方を走行している車両の種別、その車両との車間距離、その車両の大きさ（幅、後部左右端、後部中央）、白線の幅等のデータ値を検出する。照度センサは、外界の明るさに応じたデータ値を出力する。この照度センサからのデータ値は、例えば、画像認識装置における認識処理において、それぞれ認識した結果の確からしさを修正するために用いられる。

上述した各検出手段によって検出されたデータ値は、それぞれ確率分布出力部１ａ〜１ｄに入力される。各確率分布出力部１ａ〜１ｄは、各データ値の確からしさを示す確率分布を求めて出力する。この確率分布出力部１ａ〜１ｄにおける確率分布の算出方法等については、後に詳細に説明する。なお、図１においては、各検出手段に対して１つの確率分布出力部１ａ〜１ｄのみしか図示していないが、上述した画像認識装置のように、画像信号に基づいて複数のデータ値（車両の種別、その車両との車間距離、その車両の大きさ（幅、後部左右端、後部中央）、白線の幅等）を検出する場合には、それぞれのデータ値に関して確率分布が求められる。

確率分布出力部１ａ〜１ｄから出力された確率分布は、総合判断処理部２に入力される。総合判断処理部２では、同じ種類のデータ値について複数の確率分布を受け取った時には、それら複数の確率分布の積を取ることにより、データ値を融合する。すなわち、積を取った結果としての確率分布において、最も高い確率に対応するデータ値を、最も確からしいデータ値として推定する。その際、その最も高い確率を示す確率データも併せて出力する。この総合判断処理部２における処理についても後に詳細に説明する。なお、４は、総合判断処理部２におけるフィードバックループを示し、今回出力した各種のデータ値を前回推定値として総合判断処理部２等に入力するものである。

総合判断処理部２からの出力は、各種の車両制御装置３に与えられる。この車両制御装置３としては、例えば車間制御クルーズシステム、衝突軽減システム、操舵アシストシステム等の各種の運転支援制御装置が適用できる。すなわち、運転支援制御装置が、総合判断処理部２からの出力に基づいて、自動車の運転者に対して情報提供を行なったり、警報を行なったり、ブレーキやスロットルバルブ等を操作して車両の走行状態を制御したり、エアバックやシートベルト等の安全装置を作動させたり、あるいは電動ステアリング装置の操舵力を制御したりすることで、各種の運転支援を行なうことができる。このような、運転支援装置を車両に実装する場合、車種に依存して、採用するセンサの種類、能力等が多岐にわたることが考えられる。本実施形態によるセンサフュージョンシステムでは、そのようなセンサの相違を考慮する必要がないので、特に車両に適用されることが好ましいのである。

次に、データ値の確からしさを示す確率分布を求めて出力する確率分布出力部１ａ〜１ｄについて詳細に説明する。なお、以下の説明では、変数が連続値を取る場合と離散値を取る場合とについて、検出したデータ値から確率分布を求める方法について説明する。

例えば、ミリ波レーダでは、ミリ波の送受信結果に基づいて、反射物までの距離、相対速度、及び方位等が、一意の値として検出される。この反射物までの距離、相対速度及び方位は、自車と反射物との相対的な位置や速度の関係において連続的に変化するものである。このように、連続値を状態量として持つデータを、一意の値として検出するセンサについて、その検出したデータ値を確率分布（正確には、尤度(Likelihood)）に変換するために、以下に説明するような手法を採用する。

まず、確率分布の表現形式として、出力された値を中心に、ガウス分布と一様分布の組み合わせからなる形式を用いる。この表現形式を用いる根拠は、センサが間違った値を検出して出力してくる可能性と、センサが検出した検出値は、ある標準偏差で分布をもつであろうと仮定することにある。

例えば、センサが反射物の方位を示す値として、角度αを検出した場合、そのセンサの誤認識確率（間違ったものを認識する確率）が２０％、標準偏差が０．４とすると、図２に示すグラフの様に、検出値αを中心に標準偏差でガウス分布する成分が８０％（図２のＡの部分の積分値が全体の８割）と、一様分布の成分が２０％（図２のＢの部分の積分値が全体の２割）という組み合わせで確率分布が構成できる。

なお、各センサの誤認識確率及び標準偏差は、センサの精度や特性、あるいは実際の検出結果の集計によって求めることができる。

一方、車両の種別のように、離散値を状態量として持つデータを、確率分布の形式で出力するには、次のようにすれば良い。以下、離散値を状態量として持つデータとして、車両の種別を例として説明する。なお、車両の種別は、例えばカメラが検出する画像信号に対してテンプレートマッチングを行なう画像処理アルゴリズムによって判定されることができる。

例えば、車両の種別が取りうる状態として、「乗用車」「トラック」「バイク」「人」「バリヤー」「その他」が設定されているとする。この場合、車両の種別を確率分布の形式で出力するとは、例えば、各々の種別に対してそれぞれ「３％、１％、１０％、５０％、３０％、６％」（合計が１００％であることに注意）のように、各種別に該当する確からしさを確率で表すことを意味する。

例えば、画像処理アルゴリズムが、単に「乗用車」のように単一の結果しか出力しないものであったとき、この結果を確率分布に変換するには、以下のようにすれば良い。

まず、画像処理アルゴリズムが車両の種別として「乗用車」と出力した過去の結果を集めて、それが実際にはどの種類の車両であったかを集計する。その結果、例えば、「本当に乗用車であったのが９０％、トラックであったのが２％、…」との集計データを得ることができる。その集計データに従って、確率分布出力部に確率分布変換部を構成する。つまり、アルゴリズムが「乗用車」と出力してきたときは、その確率分布変換部が「９０％、２％、…」という確率分布を出力することになる。

また、全く逆の手法を用いることもできる。まず、さまざまな「乗用車」の画像をテンプレートマッチングを行なう画像処理アルゴリズムに入力し、それが何に分類されたかの統計を取る。この場合、例えば、乗用車と分類されたのが８０％、トラックと分類されたのが１０％、…などのように分布データが集計される。同様に、「トラック」、「バイク」などの画像についても、分布データを集計する。全ての種別で分布データが取れれば、それは２変数軸上に分布する確率分布関数、すなわち結合確率分布関数Ｐ（出力される種別｜本当の種別）が得られたことになり、今度はそれの入力変数の軸を逆にした関数を計算すれば良いことになる。つまり、出力された種別が分かったときに、本当の種別が何であるかを求める関数Ｐ（本当の種別｜出力される種別）を計算する。これは一般的に、単に逆転した条件側の変数の値で決まる正規化定数を掛けるだけで分布ができるので、簡単に計算できる。

なお、上述したような確率分布変換部は、センサの種類、データの種類（連続値か離散値か）を問わず必ず設計できる。なぜならば、確率分布変換部は、単に過去に検出したデータ値を統計的にまとめ直した分布データに基づいて構成することができ、統計的に結果がまとめられない出力は有り得ないためである。それが本手法の大きなメリットであり、センサデバイス依存、データ依存から脱却できるとする根拠でもある。

さらに、本来連続値であるところの変数も、離散化して用いることもできる。例えば、照度センサによって検出される日射量を「直射日光」、「曇天」、「夕闇」、「夜間」などと定義し直すことで、検出される日射量は、離散値に置換される。連続値にしろ離散値にしろ、その変数の状態が、「相互に排他的」で「網羅的（必ず常時どれか一つの値を取る）」ように定義すれば、最終的にその変数は、合計が１００％となる状態の確率の集まりで表現される。

上述のような手法により、各検出手段が検出したデータ値の確率分布が求められると、それらが総合判断処理部２に出力される。

ここで、各確率分布出力部１ａ〜１ｄが求めた確率分布を出力する場合、その形状に応じたマップデータを作成して出力すれば、最も忠実に確率分布を表現することができる。しかしながら、この場合、確率分布出力部１ａ〜１ｄと総合判断処理部２間で送受されるデータが膨大になってしまう。そのため、本実施形態では、確率分布をスカラー量で表して、このスカラー量を確率分布出力部１ａ〜１ｄから総合判断処理部２に出力する。

例えば、確率分布が、ガウス分布と一様分布との和として表現される場合、この確率分布は、ガウス分布を表現する「平均」と「分散」及びガウス分布と一様分布との割合を表現する「正常認識率」の３つのスカラー量によって表すことができる。

なお、ガウス分布とは、図２のグラフにおけるＡの部分の分布であり、一様分布は、図２のグラフにおけるＢの分布である。そして、ガウス分布の頂点の位置を規定するのが「平均」、裾野の広がりを規定するのが「分散（または標準偏差）」、一様分布の厚み、同時にガウス分布の上下方向のスケールを規定するのが「正常認識率（または誤認識率）」である。

ただし、確率分布出力部１ａ〜１ｄによっては、上述したガウス分布と一様分布との組み合わせとは異なる確率分布を出力することも考えられる。図３（ａ）〜（ｄ）は、ガウス分布と一様分布との組み合わせとは異なる確率分布の例を示すグラフである。このような形状の確率分布においては、その形状を示すスカラー量として、上述した平均や分散ではなく、それぞれの形状に対応したスカラー量が用いられることになる。

次に、総合判断処理部２について詳細に説明する。総合判断処理部２では、まず、各確率分布出力部１ａ〜１ｄからスカラー量によって確率分布が出力された場合には、受信したスカラー量に基づいて確率分布を再現する。

そして、図４（ａ）に示すように、同じデータ値（角度）に関する複数の確率分布の積を取ることにより、データ値を融合する。すなわち、図４（ｂ）に示すように、積を取った結果としての確率分布において、最も高い確率に対応するデータ値を、最も確からしいデータ値として推定する。このように、各確率分布の積を取ることによって、最も確からしいデータ値が推定できる理由は、「課題を解決するための手段」の欄において既に説明したので、その説明を省略する。

なお、図４（ａ）、（ｂ）に示すように、複数の確率分布の積は必ず確率分布になり、データ値（変数）が連続値であろうと、離散値であろうと、その確率分布において最大確率に対応するデータ値を抽出することができる。以下にデータ値が離散値を取る場合の、確率分布の乗算及び最も確からしいデータ値の推定について説明する。

例えば、１つの出力部から、車種の確率分布が「３％、１％、１０％、５０％、３０％、６％」と出力され、他の出力部からも「３％、１％、１０％、５０％、３０％、６％」と出力されてきたと仮定する。その場合、積を取って、正規化する（合計が１００％になる様に全体に定数を掛ける）と、「0.25、0.03、2.82、70.50、25.38、1.02(%)」となる。よって、４番目の種別がより確信の高いデータ値として、抽出されることになる。

このように、確率分布出力部１ａ〜１ｄから「真の種別はこれであるらしい」という尤度を示す確率分布の形式で複数の情報が集められたとき、単純な積で組み合わせられ、しかも必ずそれはどれかの種別（状態）で最大値をとる。なお、複数の種別（状態）が最大値を取った場合、どれを抽出しても良いことになる。

車両の種別は、上述したように、画像認識手段において、テンプレートマッチング画像認識アルゴリズムを実行することによって検出される以外に、ミリ波の電波強度や画像認識の結果として推定される車両の幅に基づいて検出される。つまり、例えば車種が「乗用車」であれば、取りうる電波強度や幅は決まってくる。逆に言うと、幅等が決まれば、どの車種がもっとももらしいか（尤度）、という車種の確率分布も求められることになる。

道路種別も同様で、直接的には「ナビゲーションシステムからの道路種別情報」から道路種別が検出され、間接的には、「白線認識による車線幅」から道路種別を検出（推定）できる。この場合にも、それぞれの検出結果の尤度を示す確率分布を求めることができる。

さらに、走行環境の１つである日照量は、「照度センサ」「ワイパーのＯＮ／ＯＦＦ信号」「画像処理による画面全体の輝度平均値判定アルゴリズム」「時刻」等によってそれぞれ検出され、その検出値の尤度を示す確率分布が求められる。また、走行環境としての路面状況も、「照度センサ」「ワイパーのＯＮ／ＯＦＦ信号」「外気温」「画像処理による路面状況認識アルゴリズム」「インフラからの路車間通信による情報」等によって検出でき、かつその検出値の確率分布を求めることができる。

図５は、上述したような、各変数の因果関係の一例を図示したものである。図３において、丸が変数（ノード）、ノード間の矢印は因果関係を示しており、原因から結果の方向に矢印が向いている。また、白抜きの丸は推定したいデータ、色付きの丸は得られるデータを示すノードである。さらに、色付きの丸で示されるノードに対しては、そのデータの提供元となるアルゴリズム名等が記載されている。

ただし、この図の矢印はデータの流れを表しているわけではなく、矢印の親と子のノードに関係があることを示しているだけである。つまり、子のデータの値がはっきりすると、親のデータの値がなんであるかのヒントが与えられるわけで、情報が矢印の向きと逆に流れることもある。逆もまた同様で、しかも矢印でたどっていけるノードにも、情報が伝播していくことがある。

この図を参照すると、確率（尤度）がどの変数から影響されるのかが容易に理解される。例えば前述した車両の種別に関しては、「種別」のノードに結ばれたノードは電波強度（ミリ波の反射電波強度がどの程度あるか）、車両画像（対象物の画像がどの車種のテンプレート画像に近い外観を持つか）、幅の３つがある。いま、電波強度や画像のマッチングによって車種がそれぞれ測定できたとすれば、それは種別に対して尤度（確率分布）を出力する。さらに、幅からも車種が推定され、その確率分布が与えられる。また、逆に、種別が分かれば幅が絞り込めるわけであり、相互に影響を与える。

すなわち、画像処理によるテールランプ認識で与えられた結果は、「後部左右端」の位置の確率分布を変化させ、それによりさらに幅が絞り込まれる。それがさらに種別の確率に影響を及ぼす。逆に、パターンマッチングで「トラック」の確率が高いと判定されれば、種別の確率から幅の取りうる値が絞り込まれる。各確率分布出力部１ａ〜１ｄから送られてくる確率分布は、総合判断処理部２において、このような因果関係をまとめたモデルにより組み合わされ、最終的な推定したいデータ値（変数）の確率分布を算出する。

ただし、各確率分布出力部１ａ〜１ｄから出力される確率分布は、検出手段の検出精度に依存して動的に変化される。すなわち、各確率分布出力部１ａ〜１ｄが、各検出手段の検出精度が低下する条件と、その時の低下度合いを統計的に集計したデータベースを記憶している。

例えば、画像認識装置において、暗くなると誤認識が増える場合、確率分布出力部１ｄが、暗さと誤認識率との関係をデータベース（関数）として記憶しておく。そして、確率分布出力部１ｄに、「暗さ」に関してのデータを入力する。なお、図１では、総合判断処理部２によって推定された「暗さ」に関するデータが確率分布出力部１ｄに入力される例を示しているが、照度センサの検出値を直接入力しても良い。

そして、画像認識装置の確率分布出力部１ｄでは、入力された「暗さ」に関するデータ値に基づいて、画像認識装置での認識処理によって検出されたデータ値の確率分布を動的に変更する。図６（ａ）、（ｂ）は、「暗さ」に関するデータに基づいて変更された確率分布の一例を示すグラフである。図６（ａ）は明るい時の画像認識処理によって検出されたデータ値の確率分布を示しており、図６（ｂ）は暗い時又は雨天時の画像認識処理によって検出されたデータ値の確率分布を示している。

このように、１つの確率分布出力部１ｄから出力される確率分布の確率が低下したとき、他の確率分布出力部が相対的に高い確率の確率分布を出力していれば、総合判断処理部２では、その高い確率の確率分布の重み付けを増した形で用いられることになる。従って、総合判断処理部２におけるデータ値の推定精度が向上する。

ここで、画像認識装置の検出精度に影響を与える「暗さ」に関するデータは、総合判断処理部２ではなく、確率分布出力部１ｄに与えられ、確率分布出力部１ｄにおいて、そのデータに基づいて確率分布を変更する。従って、画像認識装置等の検出手段の検出精度が変動しても、その影響は、検出手段と確率分布出力部１ａ〜１ｄとからなる系内に閉じられることになるため、総合判断処理部２での処理等に何ら変更を要しない。

なお、検出手段としてのセンサ、画像認識処理等の認識アルゴリズムによって、検出精度が変化する条件は当然のことながらそれぞれ異なる。従って、検出精度の変化に応じて、各確率分布出力部１ａ〜１ｄが出力する確率分布を変更するためには、検出精度に影響を与える要因に関するデータをそれぞれ取り込む必要がある。

総合判断処理部２は、上述したように、複数の確率分布の積を取った結果としての確率分布において、最も高い確率に対応するデータ値を出力する。その際、その最も高い確率を示す確率データも併せて出力する。このように、データ値と併せて信頼度データを出力することにより、その出力を複数の制御装置が受け取る場合であっても、それらの制御装置の種類や数に依存せず、出力するデータを標準化できる。すなわち、出力先となる制御装置では、信頼度データを併せて受け取ることにより、その制御装置毎に、制御を実行する上で必要な精度を満足しているかを判定できる。従って、個々の制御装置毎に要求精度が異なっても、それらに応じた別データを用意する必要がなくなるので、車両に各種の制御装置を実装する上での作業効率を著しく向上することができる。

なお、信頼度データとしては、データ値の誤り確率、正解確率、確率分布、または、その確率分布の平均、分散、正常認識率の少なくとも１つを採用することができる。特に、総合判断処理部２が、複数の確率分布の積を取り、その積を取った確率分布において最も高い確率を持つデータ値を、最も確からしいデータ値として採用する場合、その最も高い確率を信頼度データとして出力することが好ましい。これにより、特別な計算を必要とせず、かつ信頼度の指標として客観的に分かりやすい信頼度データを出力することができる。

実施形態における運転支援制御装置の構成を示す構成図である。 ガウス分布と一様分布の組み合わせによって表現した確率分布を示すグラフである。 （ａ）〜（ｄ）は、それぞれ、ガウス分布と一様分布との組み合わせとは異なる確率分布の例を示すグラフである。 （ａ）は、同じ種類のデータ値に関する複数の確率分布を同時に示したグラフであり、（ｂ）は、それらの複数の確率分布の積を取った結果としての確率分布を示すグラフである。 各変数（データ値）の因果関係の一例を示した図である。 （ａ）は明るい時の画像認識処理によって検出されたデータ値の確率分布を示すグラフであり、（ｂ）は暗い時又は雨天時の画像認識処理によって検出されたデータ値の確率分布を示すグラフである。

符号の説明

１ａ〜１ｄ 確率分布出力部
２ 総合判断処理部
３ 車両制御装置

Claims (11)

1. 所望の種類のデータの値を検出する複数の検出手段と、
   前記複数の検出手段がそれぞれ検出する前記所望種類のデータ値の真値に対する尤度を示す確率分布を求めて、この所望種類データ値の確率分布を出力する複数の出力手段と、
   前記複数の出力手段からそれぞれ出力される、前記所望種類データ値の確率分布に基づいて、最も確からしい所望種類データ値を推定する総合判断手段とを備え、
   前記複数の出力手段は、前記複数の検出手段の各々が過去に検出したデータ値を統計的にまとめ直した分布データに基づいて構成され、対応する検出手段によって検出されたデータ値を前記確率分布に変換する確率分布変換部をそれぞれ有することを特徴とするセンサフュージョンシステム。
2. 前記総合判断手段は、前記複数の出力手段の各々から出力される確率分布の積を取ることを特徴とするセンサフュージョンシステム。
3. 前記総合判断手段は、前記複数の出力手段の各々から出力される確率分布の積を取った結果の確率分布において最も高い確率を持つ所望種類データ値を、前記最も確からしい所望種類データ値として採用することを特徴とする請求項２に記載のセンサフージョンシステム。
4. 前記確率分布は、ガウス分布と一様分布との和によって表されることを特徴とする請求項１乃至請求項３のいずれかに記載のセンサフージョンシステム。
5. 前記出力手段は、前記確率分布の形状をスカラー量に変換して出力し、
   前記総合判断手段は、受信したスカラー量を前記確率分布の形状に再変換することを特徴とする請求項１乃至請求項４のいずれかに記載のセンサフージョンシステム。
6. 前記出力手段は、前記検出手段の検出精度に影響を与える要因に関係するデータを受け取り、当該データの値に基づいて、前記確率分布を変更することを特徴とする請求項1乃至請求項５のいずれかに記載のセンサフュージョンシステム。
7. 請求項1乃至請求項６のいずれかに記載されたセンサフュージョンシステムは車両に適用され、前記総合判断手段が推定した最も確からしい所望種類データ値は、車両に搭載された車載機器を制御する制御装置に与えられ、当該制御装置は、前記所望種類データ値に基づいて車載機器を制御することを特徴とする車両制御装置。
8. 前記総合判断手段は、道路種別、路面状況、日射量、及び先行車両を含む物体の位置、速度、大きさ、種別の少なくとも１つを所望種類データとして、最も確からしい所望種類データ値を推定するものであり、
   前記車載機器の制御装置は、自動車の運転者に対する情報提供を行なう情報提供装置の制御装置、警報器の制御装置、車両の走行状態を制御する走行機器の制御装置、及び車両の運転操作装置の状態を制御する運転状態制御装置、乗員を保護する乗員保護装置の制御装置の少なくとも１つであることを特徴とする請求項７に記載の車両制御装置。
9. 前記総合判断手段は、推定した最も確からしい所望種類データ値を少なくとも１つの前記車載機器の制御装置に出力する際、その所望種類データ値の信頼度を示す信頼度データを併せて出力することを特徴とする請求項７又は請求項８のいずれかに記載の車両制御装置。
10. 前記信頼度データは、所望種類データ値の誤り確率、正解確率、確率分布、または、その確率分布の平均、分散、正常認識率の少なくとも１つであることを特徴とする請求項９に記載の車両制御装置。
11. 前記総合判断手段が、前記複数の出力手段の各々から出力される確率分布の積を取り、その積を取った確率分布において最も高い確率を持つ所望種類データ値を、前記最も確からしい所望種類データ値として採用する場合、その最も高い確率を前記信頼度データとして出力することを特徴とする請求項９に記載の車両制御装置。

Images