WO2024105815A1 - 車載情報処理装置、車載情報処理システム及び車載情報処理方法 - Google Patents

Abstract

優先度が低い領域に領域より、優先度が高い領域に対して演算資源量を多くして、緊急度が高い物体に対する認識遅延を抑制することが可能な車載情報処理装置を実現する。車載情報処理装置は、制御部（110）を備え、制御部（110）は、車両（10）に搭載された外界センサ（210）、（260）、（290）、（310）～（360）から外界データを取得する外界データ取得部（111）と、全部又は一部の外界センサ（210）、（260）、（290）、（310）～（360）から取得した外界データを構成する複数の点に対しクラスタリングを行い、点群クラスタを生成する点群クラスタ生成部（112）と、点群クラスタに係る外界データから求められた点群クラスタの車両（10）に対する相対速度に基づいて、点群クラスタ又は点群クラスタが存在する外界領域に優先度を設定する優先度設定部（113）と、優先度に応じて外界データの認識処理の演算資源量を決定する演算資源量決定部（114）と、を有する。

Description

車載情報処理装置、車載情報処理システム及び車載情報処理方法

　本発明は、車載情報処理装置、車載情報処理システム及び車載情報処理方法に関する。

　近年、車両の運転支援や自動運転に必要な技術の開発が行われており、これら技術の要素技術として車両の周辺状況を把握する技術がある。運転支援や自動運転の高度化に伴い、車両の周辺状況をより詳細に把握することが重要となっており、この手段としてカメラ、ミリ波レーダ、ＬｉＤＡＲなどの外界センサを多数用いるようになってきている。

　運転支援や自動運転では、これら外界センサで取得した外界センシングデータに対し認識処理を施して回避すべき障害物や走行すべき領域などを検出し、認識結果を総合的に判断し、必要に応じ車両の運転者の操作も考慮して、最終的に必要な動作を決定する。

　特許文献１には、ステレオカメラにて視差画像を取得し、視差画像からワールド座標系で物体の座標を導出し、車両の進行予定領域上に位置する物体を優先物体として人か否かを判定する技術が記載されている。

特開２０２０－１６０９１４公報

外界センサの数が増えると認識処理の対象となる外界センシングデータも増加し、認識処理に伴う演算量が増え、演算負荷の低減が課題となる。特に、高解像度のデータを扱ったり、高精度の認識処理を施したりする場合には、個々の外界センサのセンシングデータ単位でも認識処理の演算量が増え、演算負荷低減への要求は大きくなる。
演算量を抑制する方法として、外界センサがセンシングする領域に応じて優先度をつけて認識処理を行うことで、認識処理を効率化する方法がある。このような方法として、特許文献１に記載の技術が知られている。
しかし、公道を走行するような車両に関して運転支援や自動運転の制御を行う際には、周辺に物体が多数存在する状況があり、そのような状況では優先物体が多く演算量の抑制が難しくなる。
また、自転車や自動車など移動速度の速い周辺の物体にも対応が必要であり、周辺の物体から近づくケースなどで優先物体の認識が遅れ、制御の遅延につながることがある。
本発明の目的は、優先度が低い領域より、優先度が高い領域に対して演算資源量を多くして、緊急度が高い物体に対する認識遅延を抑制することが可能な車載情報処理装置、車載情報処理システム及び車載情報処理方法を実現することである。

　上記目的を達成するため、本発明は次のように構成される。

　車載情報処理装置は、制御部を備え、制御部は、車両に搭載された外界センサから外界データを取得する外界データ取得部と、全部又は一部の前記外界センサから取得した外界データを構成する複数の点に対しクラスタリングを行い、点群クラスタを生成する点群クラスタ生成部と、前記点群クラスタに係る前記外界データから求められた前記点群クラスタの前記車両に対する相対速度に基づいて、前記点群クラスタ又は前記点群クラスタが存在する外界領域に優先度を設定する優先度設定部と、前記優先度に応じて前記外界データの認識処理の演算資源量を決定する演算資源量決定部と、を有する。

　また、車載情報処理システムは、車両の周囲の物体を検出する複数の外界センサと、上記車載情報装置の制御部と同様な構成の制御部と、を備える。

　また、車載情報処理方法は、車両の周囲の物体を、複数の外界センサにより検出し、複数の前記外界センサから外界データを取得し、全部又は一部の前記外界センサから取得した外界データを構成する複数の点に対しクラスタリングを行い、点群クラスタを生成し、前記点群クラスタに係る前記外界データから求められた前記点群クラスタの前記車両に対する相対速度に基づいて、前記点群クラスタ又は前記点群クラスタが存在する外界領域に優先度を設定し、前記優先度に応じて前記外界データの認識処理の演算資源量を決定する。

　公道を走行するような車両においてもセンシング対象としている周辺の領域に応じて優先度を適切に判断し、優先度が低い領域より、優先度が高い領域に対して演算資源量を多くして、緊急度が高い物体に対する認識遅延を抑制することが可能な車載情報処理装置、車載情報処理システム及び車載情報処理方法を実現することができる。また、演算資源を認識精度や認識機能の向上に用いることで、緊急度の高い物体に対する誤認識や未認識の発生を抑制したり、物体の種別や動作など詳細な情報取得したりすることも可能となる。

本発明が対象とする外界センシングシステムのセンサ構成例を示す図である。 本発明による外界センシングシステムの動作例を説明する図である。 実施例１よる外界センシングシステムの接続構成例を示す図である。 実施例１による制御部の機能ブロック図である。 実施例１による外界センシングシステムの処理フローを示す図である。 カメラ取得画像の領域分割の例を示す図である。 カメラ取得画像の認識処理の順序例を示す図である。 実施例２による外界センシングシステムのセンサ構成例を示す図である。 車両の状態に伴う認識処理の優先度重み付けの例を示す図である。 車両の状態に伴う認識処理の優先度重み付けの例を示す図である。 車両の状態に伴う認識処理の優先度重み付けの例を示す図である。 車両の状態に伴う認識処理の優先度重み付けの例を示す図である。 車両の状態に伴う認識処理の優先度重み付けの例を示す図である。 実施例３による外界センシングシステムのセンサ構成例を示す図である。 複数ＥＣＵを用いる外界センシングシステムの処理フローの例を示す図である。 ＥＣＵ間画像転送対応通信路経由での画像データの転送設定の例を示す図である。 ＥＣＵ間画像転送対応通信路の利用設定を示す図である。 実施例４による外界センシングシステムのセンサ構成例を示す図である。 実施例３の接続構成例におけるカメラの画角分割の例を示す図である。

　以下、本発明を実施するための形態について図面を参照して説明する。

　（実施例１）
　本発明が対象とする外界センシングシステムのセンサ構成例について図１を用いて説明する。

　図１において、自車両１０は、自車両１０の周囲の物体を検出する外界センサとしてカメラ６台と全周囲をセンシング可能なＬｉＤＡＲ　Ａ２９０を有している。カメラ６台は前方監視用のカメラＦ３１０、左前方監視用のカメラＦＬ３２０、右前方監視用のカメラＦＲ３３０、左後方監視用のカメラＲＬ３４０、右後方監視用のカメラＲＲ３５０、後方監視用のカメラＲ３６０で構成する。

　カメラＦ３１０の水平画角をカメラ画角Ｆ４１０、カメラＦＬ３２０の水平画角をカメラ画角ＦＬ４２０、カメラＦＲ３３０の水平画角をカメラ画角ＦＲ４３０、カメラＲＬ３４０の水平画角をカメラ画角ＲＬ４４０、カメラＲＲ３５０の画角をカメラ画角ＲＲ４５０、カメラＲ３６０の水平画角をカメラＲ画角４６０として示している。

　図２を用いて本発明による外界センシングシステム動作例を説明する。図２では３台の周辺車両として、車両Ａ２０、車両Ｂ３０、車両Ｃ４０が存在する。自車両１０に対して、車両Ａは速度Ｖａで接近し、車両Ｂは速度Ｖｂで離れ、車両Ｃは速度Ｖｃで接近している。この状況において、自車両１０はＬｉＤＡＲ　Ａ２９０を用いて周辺に存在する車両を反映した距離情報を含む点群を取得する。

　そして、空間的に近傍にある点の集合体である点群クラスタを作成し、点群クラスタ毎に自車両１０からの代表的な相対距離を取得する。さらに、点群クラスタ毎に相対距離の時間的変化を求め、自車両１０に対する相対速度を算出する。

　なお、ＬｉＤＡＲ　Ａ２９０がセンシングにより直接的に相対速度を測定可能な場合には、相対距離の時間的変化から算出した相対速度の代わりにセンシングで得た相対速度を用いても良い。また、点群クラスタを作成するのに必要な情報を得ることが可能な外界センサであればＬｉＤＡＲ以外のセンサを用いても良い。

　点群クラスタは、画像を構成する点である画素をもとにした集合体でも良い。すなわち、カメラで取得した画像データをもとにして点群クラスタを作成しても構わない。但し、空間的に近傍にあるかを判定する上で距離情報が必要となるので、複数カメラによるステレオ視などの技術を用いて各画素に距離情報を与えた上で用いる必要がある。この際、ステレオ視などで距離情報を得られなかった画素については除外したり、近傍画素の距離情報から推定したりして対応する必要がある。

　ＬｉＤＡＲ　Ａ２９０で物体を検出した方位、かつ相対速度から判断し、自車両１０に接近中である物体の存在する方位と重なりの大きいカメラ画角Ｆ４１０、カメラ画角ＦＬ４２０、カメラ画角Ｒ４６０に対応するカメラである、カメラＦ３１０、カメラＦＬ３２０、カメラＲ３６０で取得した画像データに対して認識処理の優先度を高める。

　相対速度から判断し、自車両１０から離れていく物体の方位のみと重なりの大きいカメラ画角Ｆ４３０に対応するカメラであるカメラＦＲ３３０で取得した画像データについては認識処理の優先度を高めることはしない。自車両１０から離れていく物体だけが存在する画像の認識処理優先度を高めることなく、車両Ａ２０及び車両Ｃ４０に対応した画像の認識処理のみ優先度を高めることで、車両Ａ２０及び車両Ｃ４０に対する認識処理に演算リソースを多く割くことが可能となり、これから自車両１０に影響を与える可能性のある物体に対する認識精度の向上や認識に要する時間を短縮することができる。

　認識処理の優先度を高めるのは、各カメラで取得した画像データ単位より細かい単位であっても良い。例えば、各カメラで取得した画像データを複数に分割した単位でも良いし、対象となる点群クラスタの存在する部分に対応する画像上の領域にある画像データだけでも良い。点群クラスタの存在する部分に対応する画像上の領域の優先度を高める場合には、点群クラスタの作成に用いたセンシングデータを得る外界センサと、認識処理を行うセンシングデータを得る外界センサの位置ずれを考慮して、対象となる点群クラスタの存在する部分に対応する領域より、認識処理を行うセンシングデータの領域をやや大きくとることも考えられる。

　相対速度（自車両１０と離れる方向を正、近づく方向を負とする）を相対距離と組み合わせて利用し、例えば、相対距離を相対速度で割り符号を反転して、センシングした際の状態が継続したと仮定した場合の衝突までの時間（以降、衝突猶予時間）を求めると、認識処理の優先度を段階的に設定することも可能である。

　例えば、衝突猶予時間が正の小さい値となる点群クラスタほど、衝突する場合における時間的猶予が短いと考えられる。そこで、そのような点群クラスタに対応する物体は緊急度の高い認識対象と判断し、当該点群クラスタの存在する方位をカバーする画角に対応するカメラで取得した画像データに対して認識処理の優先度をより高くすることができる。

　点群クラスタの相対速度が正、すなわち衝突猶予時間が負の場合、当該点群クラスタに対応する物体は離れていくことを示すので、当該点群クラスタの存在する方位をカバーする画角に対応するカメラで取得した画像データに対しては認識処理の優先度を高めることはしない。

　あるカメラの対応する画角に複数の点群クラスタが存在する場合には、当該カメラで取得した画像に対する認識処理の優先度は、それら複数の点群クラスタで衝突猶予時間が正で最も小さい値、すなわち衝突する場合における時間的猶予が最も短い点群クラスタを対象に認識処理の優先度を設定する。

　相対距離を相対速度で割り衝突猶予時間を求める際に、相対速度が０に近い場合は、衝突猶予時間は非常に大きくなり、０の場合は無限大となるが、このような場合には、認識処理の優先度調整で優先度を高くする対象として扱うことがないような大きな固定値となるようにクリップ処理を行い、衝突猶予時間が無限大となることを避ける。

　図２に示す状況において、衝突猶予時間を用いて認識処理の優先度を決めると例えば次にようになる。

　車両Ｂ３０は自車両１０から離れていくので、周辺車両の中では自車両１０に最も近いが認識処理の優先度を高める要素とはならない。車両Ａ２０と車両Ｃ４０では車両Ｃ４０の方が自車両１０に近いが、車両Ａ２０の相対速度Ｖａが車両Ｃ４０の相対速度Ｖｃより大きい。図２に示した状況では、車両Ａ２０の衝突猶予時間が車両Ｃ４０の衝突猶予時間より短くなるような相対速度Ｖａと相対速度Ｖｃの関係を想定する。このような状況では、車両Ｃ４０より相対距離は遠いが衝突猶予時間の短い車両Ａ２０に対応する点群クラスタが存在する方位の認識処理の優先度が高いと判断する。

　結果、車両Ａ２０の方位と重なりの大きいカメラ画角Ｆ４１０、カメラ画角ＦＬ４２０で取得した画像データに対する認識処理の優先度が最も高くなり、車両Ｃ４０の方位と重なりの大きいカメラ画角Ｒ４６０に対応するカメラＲ３６０で取得した画像データに対する認識処理の優先度はその次に高いと扱う。すなわち、単純に物体までの相対距離で認識処理の優先度を決定する場合に比べて、緊急度の高さに適切に対応して認識処理の優先度を決定することができる。

　尚、衝突猶予時間の計算は相対距離と相対速度を用いた単純な方法を示したが、対象物との相対速度の時間的変化や相対方位の変化も考慮するなど、より高度な方法を用いて衝突猶予時間の推定を行うことも考えられ、その際に衝突の可能性の低くなった対象物に関しては緊急度を低下させることも考えられる。

　図２を用いて説明した動作例を実現する外界センシングシステムの接続構成例を図３に示す。図３に示すように、外界センサであるＬｉＤＡＲ　Ａ２９０、カメラＦ３１０、カメラＦＬ３２０、カメラＦＲ３３０、カメラＲＬ３４０、カメラＲＲ３５０、およびカメラＲ３６０は外界の認識処理を含む信号処理機能を有するＥＣＵ　Ｔｙｐｅ　Ａ１１０（制御部）に直接接続している。

　ＬｉＤＡＲ　Ａ２９０からは点群データ、カメラＦ３１０、カメラＦＬ３２０、カメラＦＲ３３０、カメラＲＬ３４０、カメラＲＲ３５０、およびカメラＲ３６０からは画像データを数十フレーム毎秒程度のフレームレートでＥＣＵ　Ｔｙｐｅ　Ａ１１０に送信する必要がある。このため、必要なセンシングデータ通信帯域の確保、及び通信遅延抑制の観点で直接接続を行う。外界センサとＥＣＵ　Ｔｙｐｅ　Ａ１１０の間の通信には、例えば数～数十Ｇｂｐｓ程度の高速シリアル通信を用いる。

　ＥＣＵ　Ｔｙｐｅ　Ａ１１０はＣＡＮなどのインタフェースを介して自車両１０に搭載される他のＥＣＵとも通信を行う。ＥＣＵ　Ｔｙｐｅ　Ａ１１０が他のＥＣＵと接続することで、外界を認識した結果を走行判断や走行制御を行うＥＣＵに伝えたり、車両の走行状態を取得したりすることが可能である。ＥＣＵ　Ｔｙｐｅ　Ａ１１０はＥＣＵの処理能力次第で外界センシングに関する処理以外を行う場合もある。

　図４は、ＥＣＵ　Ｔｙｐｅ　Ａ１１０の概略内部機能ブロック図である。

　図４において、ＥＣＵ　Ｔｙｐｅ　Ａ１１０は、自車両１０に搭載された外界センサ２９０、３１０～３６０から外界データを取得する外界データ取得部１１１と、外界センサ取得部１１１が外界センサ２９０、３１０～３６０から取得した外界データのうち三次元位置情報を利用可能な外界データを構成する複数の点に対しクラスタリングを行い、点群クラスタを生成する点群クラスタ生成部１１２と、外界データの画像の歪み、画像の明るさ補正、色の再現及び補正、画像のズレ等の補正を行う画像補正処理部１１６と、点群クラスタ生成部１１２が生成した点群クラスタに係る外界データから求められた点群クラスタの自車両１０に対する相対速度に基づいて、点群クラスタ又は点群クラスタが存在する外界領域に優先度を設定する優先度設定部１１３と、を備える。
　さらに、ＥＣＵ　Ｔｙｐｅ　Ａ１１０は、優先度設定部１１３が設定した優先度に応じて外界データの認識処理の演算資源量を決定する演算資源量決定部１１４と、画像に対する認識処理を行う画像認識処理部１１７と、ＬｉＤＡＲ　Ａ２９０から取得した点群データを元に点群クラスタ生成部１１２が生成した点群クラスタに対して認識処理を行う点群クラスタ認識処理部１１８と、点群クラスタ認識処理部１１８の処理結果と画像認識処理部１１７の処理結果とを統合し、外界認識結果として出力する認識結果統合処理部１１５と、を備える。

　ＥＣＵ　Ｔｙｐｅ　Ａ１１０で行う処理の例を図５に示す。図５ではＬｉＤＡＲ点群処理とカメラ画像処理とに分け、それぞれ１フレーム分の処理を示している。すなわち、１フレーム毎に図５に示す処理を繰り返し行う。ＬｉＤＡＲ点群フレーム処理は、ＬｉＤＡＲ　Ａ２９０で取得した外界センシングデータの処理を行い、カメラ画像フレーム処理は、カメラＦ３１０、カメラＦＬ３２０、カメラＦＲ３３０、カメラＲＬ３４０、カメラＲＲ３５０、カメラＲ３６０で取得した画像データの処理を行う。

　ＬｉＤＡＲ点群処理及びカメラ画像処理で実施しした認識結果は認識結果統合処理部１１５へ送られ、フュージョン処理を行って自車両１０の周辺状況の最終認識結果となる。

　ＬｉＤＡＲ点群処理とカメラ画像処理及び認識結果統合処理をＥＣＵ内で実行する際には、複数のプロセッサコアによる分散処理を行っても良いし、時分割で行っても良い。分散処理と時分割処理を組み合わせて実行しても良い。

　複数のカメラから得られるそれぞれの画像データの処理においても時分割処理や分散処理を行って良いが、それぞれの画像の認識処理に割り当てる演算リソース量、すなわち利用可能なプロセッサコアの数や処理可能時間、各種専用処理回路の割り当てなどは、認識優先度により調整する。

　ＬｉＤＡＲ点群フレーム処理では、ＬｉＤＡＲ点群データ取得ステップＳ７１０にてＬｉＤＡＲ　Ａ２９０で取得した外界センシングデータを外界データ取得部１１１に取り込み、取り込んだデータに対し、点群取得信号処理ステップＳ７２０で点群クラスタ生成部１１２がセンサの個体差やセンサの車両取り付け誤差などに伴う誤差補正を行う。また、一定レベルに満たない入力信号のフィルタ処理などセンシング信号に含まれるノイズの除去を行う。

　次に、点群クラスタ化処理ステップＳ７３０で、点群クラスタ生成部１１２が点群のクラスタ化を行う。点群のクラスタ化は、例えば、ある点について空間上で距離が一定以下の周囲の点を検出し、そのような周囲の点が一定個数以上存在する場合は当該点を有効な点とした上で、検出した周囲の点と同一のクラスタに属する点とすることを繰り返して行う。但し、物体と路面の分離が必要なので、予めセンサの位置と水平面の関係を考慮して路面を推定し、路面及びそれより空間上で下に位置する点は除外して扱う。また、クラスタ化した結果、クラスタを構成する点の数が一定以下の場合は、ノイズと見なして当該点群クラスタを除外する。

　点群クラスタ化処理Ｓ７３０では、抽出した点群クラスタ毎に、自車両１０からの相対距離が小さい方から順にクラスタを構成する数個から数十個程度の点を選択し、それらの点の相対距離を平均し、自車両１０から当該点群クラスタまでの相対距離とする。点群クラスタに対応する物体の一部でも自車両１０に接触すれば衝突を意味するので、点群クラスタを構成する点で相対距離の小さい方の値を用いるが、１点ではノイズの影響が大きいので、複数の点の平均を用いて点群クラスタまでの相対距離を決める。

　点群クラスタ化処理ステップＳ７３０で抽出した点群クラスタは点群クラスタ相対速度検出ステップＳ７４０で前フレームの点群クラスタと対応付けを行い、前フレームからの経過時間及び相対距離の差分から相対速度を算出する。相対速度は相対距離の時間的変化と捉え、接近方向を負の値とする。前フレームの点群クラスタとの対応付けは、例えば点の重なりの最も多い点群クラスタを対応付けたり、前フレームまでの当該点群クラスタの移動傾向を考慮して、経過時間から前フレームの点群クラスタの位置を推定し、推定した位置との重なりの最も多い点群クラスタを対応づけたりして行う。

　点群クラスタ相対速度検出ステップＳ７４０はＬｉＤＡＲの代わりにミリ波レーダを用いる場合や、ＬｉＤＡＲでも相対速度を得ることが可能なセンシング方式である場合には、センシング結果として得られる相対速度を用いても良い。

　点群クラスタ相対速度検出ステップＳ７４０で自車両１０に対する周辺物体の相対速度を得た後、衝突猶予時間算出ステップＳ７５０で、優先度設定部１１３は、点群クラスタ毎に相対距離を相対速度で割り符号を反転して、各点群クラスタの衝突猶予時間を算出する。つまり、優先度設定部１１３は、相対速度を用いて、点群クラスタが自車両１０に接触すると仮定した際の接触までに要する時間を表す衝突猶予時間を算出し、衝突猶予時間に基づいて、点群クラスタ又は点群クラスタが存在する方位の外界領域に優先度を設定する。

　尚、相対速度の絶対値が非常に小さく衝突猶予時間が非常に大きくなる場合に備え、例えば、衝突猶予時間が３０秒を超える場合には３０秒でクリッピングするなどの処理を行う。また、計算した衝突猶予時間が負となる場合、すなわち相対速度が正の場合も、衝突猶予時間を取り得る最大値の３０秒として設定し、離れていく物体に対応する点群クラスタを衝突猶予時間の長い点群クラスタとして取り扱うことで、認識処理の優先度が高くなることを抑制する。

　衝突猶予時間通知ステップＳ７６０では、点群クラスタ毎に当該点群クラスタが存在する方位の範囲を求め、求めた方位の範囲を当該点群クラスタの衝突猶予時間と共に認識処理優先度設定ステップＳ７３５に通知し、優先度設定部１１３により優先度が設定される。通知は変数や共通メモリ領域、プロセス間通信など実装の形態に適した方法で行う。

　方位については、本実施例１では水平方向を分けて複数カメラで画像データを取得しているので、それぞれのカメラで取得した画像データの単位で認識処理を行う場合には、水平方向のみで良い。但し、垂直方向で別のカメラを用いる構成が含まれる場合には、垂直方向の方位も必要となる。また、個々のカメラで撮影した画像を水平に分割して上下で認識処理を分ける場合にも、分割した画像領域毎に認識処理の優先度を決めるために垂直方向の方位も必要となる。各点群クラスタ単位で認識処理の優先度を決める場合にも、認識処理対象の存在する範囲を特定するために水平方向と垂直方向の情報が必要となる。

　点群クラスタ認識処理ステップＳ７７０では、点群クラスタ認識処理部１１８がそれぞれの点群クラスタに対して点群クラスタを構成する点群データを参照し認識処理を行う。点群クラスタを構成する各点データの空間上の位置関係やレーザ反射光の信号強度の分布から、対象物の種別検出や、ノイズと思われる点群クラスタの除外を行う。

　点群クラスタの認識処理を行う際にも認識の優先度を考慮しても良い。すなわち、衝突猶予時間算出ステップＳ７５０で算出した衝突猶予時間の短い点群クラスタから順に認識処理を行うことや、衝突猶予時間の長い点群クラスタに対してはノイズ除外処理のみ行い物体の存在のみを検出する比較的軽い認識処理を施し、衝突猶予時間が一定時間以下の点群クラスタに対しては種別（四輪車以上、二輪車、自転車、歩行者等）を検出する比較的重い認識処理を行うことも考えられる。

　衝突猶予時間の短い点群クラスタから順に認識処理を行うことで、緊急度の高い物体に対し迅速に認識結果を出せる利点が得られる。また、衝突猶予時間が一定時間以下になってから対象の種類まで識別処理を行う認識処理を行うことで、走行経路決定や衝突回避動作への影響の大きい自車両１０近傍の対象物に限定して負荷の高い認識処理を行え、全体的な認識処理負荷を抑制できる利点がある。

　点群クラスタ認識処理ステップＳ７７０の認識結果は、複数の外界センサから得たセンシングデータに対する認識結果を統合する認識結果統合処理に送られ、自車両１０に対するさまざまな方向の認識結果の合成、複数の外界センサによる認識結果の整合性の確認や、不整合の生じた認識結果に対する認識結果の選択や除外等を経て、最終的な外界認識結果となる。

　カメラ画像処理は、まず、カメラ画像データ取得ステップＳ７１５で外界データ取得部１１１により、各カメラからの画像データを取り込む。各カメラから取得した画像データは、画像補正処理ステップＳ７２５で、画像補正処理部１１６が画像の歪み、画像の明るさ補正、色の再現及び補正、画像のズレ等の補正を行う。この際、各カメラの個体差や、カメラの車両取り付け誤差などに伴う補正も含めて行う。色については、画素により異なる赤、緑、青など異なる透過波長特性を持つカラーフィルタを用いる画像センサで取得した画像データを用いる場合には、周辺の複数画素を用いて色の復元を行う。

　画像補正処理ステップＳ７２５では、必要に応じて、あるカメラから取得した画像データを、複数の画像上の領域に分割して処理をしても良い。また、カメラ毎に異なる領域分割を行っても良い。例えば、あるカメラが画角の広い魚眼レンズで画像を取得する場合、当該カメラで取得した画像データについては画像の中心部と周辺部で歪が大きく異なるので、当該カメラについては中心部と複数の周辺部に領域分割し、それぞれの領域を別画像として切り出し、領域毎に適切な歪の補正を行うことが考えられる。

　認識処理優先度設定ステップＳ７３５は、衝突猶予時間通知ステップＳ７６０で得た各点群クラスタの方向の範囲と衝突猶予時間をもとに、優先度設定部１１３が、画像補正処理ステップＳ７２５から出力される画像データ毎に認識処理の優先度を決定する。ただし、画像補正処理ステップＳ７２５から出力される各々の画像データを画像上の複数の領域に分割し、分割した単位で優先度を決定しても良い。

　認識の優先度は、認識処理を行う画像データの単位で、当該画像に含まれる方向と一定以上方向の重なる点群クラスタを考慮すべき点群クラスタとし、これら点群クラスタの中で最も衝突猶予時間の短い衝突猶予時間を用いて決める。認識処理を行う画像データの単位は点群クラスタに対応する範囲毎としても良く、この場合は当該点群クラスタの衝突猶予時間を用いて決める。

　考慮すべき点群クラスタとして判定する際の重なり具合の基準は、例えば、認識処理の仕様を考慮して決める。すなわち、認識処理において物体認識に最低限必要となる画像に含まれる物体の部分の割合を考慮する。認識処理にて認識可能な割合の物体部分が含まれないと、認識処理で当該物体の認識はできないので、そのような物体に対応する点群クラスタに関する情報は除外して扱う。

　認識の優先度を決める際、単純な方法としては、衝突猶予時間が一定以下になった場合に優先度高として扱えばよい。認識の優先度を複数の段階に分ける場合には、衝突猶予時間の値で段階的に区切り、各レベルに対し段階的な優先度の割り当てを行う。例えば、優先度を緊急、最高、高、中、低などの５段階に分け、衝突猶予時間の範囲を区切り、時間の短い順に割り当てをすることが考えられる。

　認識処理優先度設定ステップＳ７３５では、優先度を決める際、自車両１０の走行状態や操作状態をもとに優先度に重み付けを行っても良い。例えば、通常走行時は前方に対応するカメラＦ３１０で取得した画像に対して優先度を高め、後退時は後方及び斜め後方に対応するカメラであるカメラＲ３６０、カメラＲＬ３４０、カメラＲＲ３５０で取得した画像に対して優先度を高めることが考えられる。自車両１０の後退時は車庫入れなどで大きく旋回することが多いため、斜め後方の優先度も高める。カメラＲＬ３４０やカメラＲＲ３５０の画角は一部側方前方も含むため、これらのカメラで取得した画像に関しては、画像を垂直に分割し、後方側に対応する領域の画像のみ優先度を高めても良い。

　画像データに対する認識処理を点群クラスタ単位で行う場合には、当該点群クラスタの存在する方位を含む撮影を行うカメラの中で、最も高い優先度重み付けを持つカメラで取得した画像上で当該点群クラスタに対応する領域に対し優先的に認識処理を行うことも考えられる。

　認識演算資源量決定ステップＳ７４５では、認識処理優先度設定ステップＳ７３５で決めた認識処理の優先度から、演算資源量決定部１１４が、画像認識処理ステップＳ７５５で行う認識処理の画像データ単位ごとに認識処理に割り当てる演算資源の決定を行う。演算資源とは、処理時間、処理に用いるプロセッサの数、認識処理に用いる専用回路、プロセッサや専用回路の動作に用いるメモリアクセス帯域やメモリ容量などである。また、認識処理を行う順序も決定する。演算資源量決定部１１４は、優先度に応じてカメラＦ３１０、ＦＬ３２０、ＦＲ３３０、ＲＬ３４０、ＲＲ３５０、Ｒ３６０により撮影された複数の画像領域毎（又は画像毎）に認識処理の演算資源量を決定する。

　優先度に応じた演算資源量の割り当てを行うために、優先度の低い認識処理に対しては認識処理に用いる画像データの解像度を下げたり、認識処理を施すフレームの間引き（間引くタイミングのフレームに対しては認識処理を省略する）により実際に認識処理を行う頻度を下げたり、認識性能（認識率）や認識機能（判別可能な対象の種別の多さ）の異なるロジックをもつ認識処理を用意し、性能や機能は劣るが演算処理の軽いロジックを用いたりする。解像度を下げる程度、フレームを間引く頻度、演算処理負荷の異なる認識ロジックへの切り替えなどにより、複数の優先度に対応することが可能である。

　認識頻度を下げる場合には、特定のフレームの処理に認識処理が集中することや、自車両１０に対し特定の方向の画像の認識処理が長期間行われないことを防止するため、複数のフレームを考慮して、どのタイミングでどの方向の画像データの認識処理を行うか計画して処理を行う。

　認識処理を行う順序は、通常は優先度の高いものを先に行うこととするが、特定の方向の画像の認識処理が長期間連続して間引かれていることを検出した場合には、優先度が緊急など特に優先度の高い画像データ以外では当該方向の画像データに対する処理を先に行うこととする。このように認識処理を行うことで、演算資源量の割り当ての際に誤差があり、処理時間が不足し認識処理が途中で打ち切られる場合でも、ある方向の画像データの認識処理が長期間実施されなくなる状態を回避できる。

　画像認識処理ステップＳ７５５では、画像認識処理部１１７が、認識演算資源量決定ステップＳ７４５で決定した内容に基づき、認識処理をそれぞれの画像データに対して行う。認識演算資源量決定ステップＳ７４５で認識処理を省略すると決めた画像データの認識処理は省略する。複数の画像データに対し認識処理を行う際、画像データ毎に逐次処理しても良いし、複数のプロセッサコアを利用して並列処理を行っても良い。また、２つの画像データ毎に並列処理し、この並列処理を順に処理を行うなど、並列処理と逐次処理を組み合わせても良い。認識処理時間が想定より長くなり次のフレーム処理に支障が発生しそうな場合には処理を打ち切る。

　画像認識処理ステップＳ７５５で得た認識結果は、複数の外界センサ２９０、３１０～３６０から得たセンシングデータに対する認識結果を統合する認識結果統合処理部１１５に送られ、認識結果の整合性の確認や、不整合のある認識結果に対する認識結果の選択や除外などを経て、最終的な外界認識結果となる。

　図６及び図７を用いて、カメラＦ３１０、カメラＦＬ３２０及びカメラＦＲ３３０で取得する画像データを複数の画像上の領域に分割して取り扱い、認識頻度を変えることで領域毎に優先度の異なる認識処理を行う例を示す。

　図６に示すように、カメラＦＬ３２０で取得する画像は領域Ｄ５１４及び領域Ｆ５１６に分けて取り扱う。カメラＦ３１０で取得する画像は領域Ａ５１１、領域Ｂ５１２及び領域Ｃ５１３に分けて取り扱う。カメラＦＲ３３０で取得する画像は領域Ｅ５１５及び領域Ｇ５１７で取り扱うことを想定する。

　図７では図６で示した各領域の認識処理を行う順序の例を示している。図７でＡ～Ｇのアルファベットは、図６に示す領域Ａ５１１から領域Ｇ５１７にそれぞれ対応しており、角括弧で囲んだ単位で認識処理を行うことを示している。例えば、［Ｂ、Ａ、Ｃ］６１２では領域Ｂ５１２、領域Ａ５１１及び領域Ｃ５１３を纏めて認識処理を行う。すなわち、カメラＦ３１０で取得した画像全体の認識処理を行うことを示す。［Ａ］６１１は領域Ａ５１１のみの認識処理を行うことを示す。

　同じカメラで取得した画像の領域を角括弧で囲んだように纏めて一括で認識処理を施すことで、画像の領域分割により、ある物体の画像がそれぞれの画像領域では一部しか含まれていない状況となっても、纏めて処理を行う際には領域分割の影響を受けない形で認識処理を行うことが可能となり、画像に対する認識率の向上を図れる。

　図７では、自車両１０が前方に高速で直進している状況を想定しており、領域Ａ５１１の優先度は高、領域Ｂ５１２、領域Ｃ５１３、領域Ｄ５１４及び領域Ｅ５１５の優先度は中、領域Ｆ５１６及び領域Ｇ５１７の優先度は低となっている状況として、認識処理を行う際の順序となっている。

　この順序に従うと、図７に示す８回の連続した認識処理において、領域Ａ５１１は４回、領域Ｂ５１２、領域Ｃ５１３、領域Ｄ５１４及び領域Ｅ５１５は２回、領域Ｆ５１６及び領域Ｇ５１７は１回認識処理を行うことができる。

　図７に示すように、認識処理の優先度に応じて認識処理の順序を適切に調整すれば、同じカメラで取得した画像の領域分割による影響を抑制しつつ、優先度の高い領域の認識頻度を高くすることが可能である。

　実施例１においては、車載情報処理装置は、ＥＣＵ　Ｔｙｐｅ　Ａ１１０（制御部）を備えている。

　本発明の実施例１によれば、優先度が低い領域より、優先度が高い領域に対して演算資源量を多くして、緊急度が高い物体に対する認識遅延を抑制することが可能な車載情報処理装置、車載情報処理システム及び車載情報処理方法を実現することができる。

　尚、実施例１ではカメラで取得した画像の認識に対する優先度の調整を示したが、ＬｉＤＡＲやミリ波レーダなど他の外界センサで取得したセンシングデータに対して認識処理を行い物体種別等の検出を行う場合においても、点群クラスタの生成は認識処理前に実施するので、点群クラスタとの相対速度や衝突猶予時間を用いて認識処理の優先度を調整することが可能である。

　（実施例２）
　次に、本発明の実施例２について説明する。

　実施例１で示したＬｉＤＡＲ　Ａ２９０を用いる構成に対し、ＬｉＤＡＲを前方監視用のＬｉＤＡＲ　Ｆ２１０と、後方監視用のＬｉＤＡＲ　Ｒ２６０とに変更した構成である実施例２について説明する。

　図８は、実施例２のシステム接続構成例を示す図である。

　実施例２では、自車両１０は外界センサとしてカメラ６台と前方監視用のＬｉＤＡＲ　Ｆ２１０と後方監視用のＬｉＤＡＲ　Ｒ２６０を有している。それぞれのカメラの画角は実施例１と同じである。ＬｉＤＡＲは実施例１と異なり、前方監視用と後方監視用となり、左右監視用は存在しない。外界センサ構成の変更に伴い、外界の認識処理を含む信号処理機能を有するＥＣＵはＥＣＵ　Ｔｙｐｅ　Ａ１１０からＥＣＵ　Ｔｙｐｅ　Ｂ１２０（制御部）に変更している。

　ＥＣＵ　Ｔｙｐｅ　Ｂ１２０もＣＡＮなどのインタフェースを介して自車両１０に搭載される他のＥＣＵとも通信を行う。他のＥＣＵと接続することで、外界を認識した結果を走行判断や走行制御を行うＥＣＵに伝えたり、自車両１０の走行状態を取得したりすることが可能である。

　実施例２においても、ＬｉＤＡＲ　Ｆ２１０とＬｉＤＡＲ　Ｒ２６０でセンシング可能な範囲における認識処理の優先度の求め方は実施例１で示した方法と同じである。すなわち、ＬｉＤＡＲ　Ｆ２１０やＬｉＤＡＲ　Ｒ２６０で得た点群データから点群クラスタを生成し、点群クラスタ毎の衝突猶予時間を算出し、衝突猶予時間の短い物体を示している点群クラスタの方向に対応するカメラの画像に対して認識処理の優先度を高める。

　ＬｉＤＡＲでカバーされない左右側方については、車両の挙動や状態に応じて認識処理の優先度に重み付けをつけることで対応する。車両の挙動や状態に応じて重み付けを変更する例について図９Ａ～図９Ｅを用いて説明する。

　図９Ａ～図９Ｅにおいては、認識処理の優先度の重み付け方法として５種類のモードを用いることを想定している。モード毎に優先度を高める領域の画角を示している。

　図９Ａに示すＭｏｄｅ　ＤＦＦは高速巡行用のモードで、主に高速道路を含む自動車専用道路を高速巡行している際のモードとなる。高速巡行の状況では、カーブは緩いので優先度を高める領域は前方に絞ることができる。しかし、遠くの物体が短時間で接近する可能性が高いので、遠くまで認識するために高解像度画像に対する認識処理が必要となり、認識処理の頻度も高くしたい。そこで、認識処理の優先度を高める領域をカメラ画角Ｆ４１０に限定している。

　図９Ｂに示すＭｏｄｅ　ＤＦは前進用のモードで、主に一般道を巡行している際のモードとなる。一般道の走行では高速巡行時ほど遠方を認識する必要はないが、左右からの飛び出しや急カーブへの対処が必要となるため、カメラ画角Ｆ４１０に加えてカメラ画角ＦＬ４２０、カメラ画角ＦＲ４３０に対する部分の認識優先度も高めている。

　図９Ｃに示すＭｏｄｅ　ＤＲは後退用のモードで、リバースギアに入れている際のモードとなる。後退時は走行速度が遅いが、車庫入れなどで操舵角が大きくなることが多いため、後方監視用の画角であるカメラ画角Ｒ４６０に加えて、主に斜め後方監視用のカメラ画角ＲＬ４４０及びカメラ画角ＲＲ４５０に対する部分の認識優先度も高めている。

　図９Ｄに示すＭｏｄｅ　ＤＦＬは後退以外で操舵角が一定以上左になった場合、及び左方向指示器が入っている際のモードである。操舵角が一定以上左になった場合、及び左方向指示器が入っている状況では、左折や左車線への車線変更等が予想されるため、前方をカバーするカメラ画角Ｆ４１０に加え、進行先として予想される左前方をカバーするカメラ画角ＦＬ４２０、及び左後方から迫る物体や左折に伴い巻き込む可能性のある物体の検出用にカメラ画角ＲＬ４４０に対する部分の認識優先度も高めている。

　図９Ｅに示すＭｏｄｅ　ＤＦＲは後退以外で操舵角が一定以上右になった場合、及び右方向指示器が入っている際のモードであり、Ｍｏｄｅ　ＤＦＬとは左右反対のモードとなる。

　認識処理の優先度を高める際、図９Ａ～図９Ｅに示したように優先度を高める画角が各カメラの画角と一致する場合には、各カメラで取得した画像データ単位で認識処理の優先度を高めれば良い。

　但し、ＥＣＵの処理性能に余裕がある場合などは、例えば、図９Ｂに示したＭｏｄｅ　ＤＦにおいて、カメラＲＬ３４０及びカメラＲＲ３５０で取得した画像で、カメラ画角ＦＬ４２０及びカメラ画角ＦＲ４３０の画角と重なる領域についても認識処理の優先度を高めることも考えられる。自車両１０からみて同一の方向にある物体であっても、複数のカメラで取得した複数の画像データに対し認識処理を施すことで、片方のカメラでは死角となっているような状態にある物体の認識や、各画像に対する認識結果の比較による認識精度の向上が期待できる。

　尚、カメラで取得した画像データに対する認識処理は、厳密には各カメラで取得した画像データに対し画像補正処理を施した画像データに対する認識処理となる。以下同じである。

　車両の挙動や状態に応じて求めた認識処理の優先度に対する重み付けを、ＬｉＤＡＲ　Ｆ２１０及びＬｉＤＡＲ　Ｒ２６０のセンシング結果に基づく各点群クラスタの衝突猶予時間から求めた認識処理の優先度に加味する際には、例えば優先度の重み付け結果を優先度そのものとして扱い、衝突猶予時間から求めた優先度と比較して、優先度の高い方を当該方向の優先度として扱うことが考えられる。この場合、車両の挙動や状態に応じて決める認識処理の優先度に対する重み付けも高、中、低３段階に分け、重み付けに対応して認識優先度を高、中、低とする。

　認識処理の優先度に対する重み付けを３段階とする場合には、例えばＭｏｄｅ　ＤＦでは中速域ではカメラ画角Ｆ４１０の重み付けを高、カメラ画角ＦＬ４２０及びカメラ画角ＦＲ４３０は中の重み付けを行い、低速域ではカメラ画角Ｆ４１０、カメラ画角ＦＬ４２０及びカメラ画角ＦＲ４３０を全て重み付け高とすることも考えられる。すなわち、中速域ではある程度の速度で走行できる幹線道路を巡行しているので、より前方監視に比重を置き、低速域では生活道路などの走行も考慮して、広い画角に対してまんべんなく優先度を高めて認識処理を行うことが考えられる。

　車両の挙動や状態に応じて求める認識処理の優先度に対する重み付けを高、中、低の三段階、点群クラスタの衝突猶予時間を用いた認識処理の優先度を緊急、最高、高、中、低とし、優先度の高い方を当該方向の優先度とする場合、優先度高～低については車両の挙動や状態でも検出した点群クラスタの衝突猶予時間によっても選択され、優先度緊急や最高は検出した点群クラスタの衝突猶予時間によってのみ発生することになる。

　すなわち、実施例２の構成では、点群クラスタの衝突猶予時間を用いた認識処理の優先度づけはＬｉＤＡＲ　Ｆ２１０及びＬｉＤＡＲ　Ｒ２６０でセンシング可能な前後方向のみに対して行うので、優先度緊急及び最高も前後方向のみで発生する。自車両１０は前後方向に関しては高速域を含む移動を行うが、横方向に関してはスリップなどを起こしていない通常の状況では操舵に伴う移動に限定され、移動速度が限られることから、遠方監視の必要性は低い。

　そこで、センサのコストやＥＣＵの処理負荷とのバランスを考慮して、実施例２の構成とすることも考えられる。

　また、横方向に関する優先度の判定をもう少し厳密に行いたい場合には、左方向はカメラＦＬ３２０及びカメラＲＬ３４０、右方向はカメラＦＲ３３０及びカメラＲＲ３５０を組み合わせて、画角が重なっている領域についてそれぞれステレオ視を行い、ステレオ視で得られた各画素の距離情報と当該画素の画像上の位置情報から当該画素の空間上の位置を算出することで、各画素を空間上の位置情報を持つ点として扱い、これらの点の集合を点群として取り扱うことも考えられる。点群が得られれば、横方向についても点群クラスタが得られ、各点群クラスタの衝突猶予時間も得られ、これら情報をもとに認識処理の優先度を求めることができる。

　さらに、ＬｉＤＡＲ　Ｒ２６０のみ、あるいはＬｉＤＡＲ　Ｆ２１０及びＬｉＤＡＲ　Ｒ２６０の両方を省略し、ＬｉＤＡＲではセンシングできない自車両１０周辺に関しては必要なカメラの画角を広げることで２台以上のカメラで撮影できるようにして、複数のカメラで取得した画像によるステレオ視で得た各画素の距離情報から点群クラスタを抽出し、点群クラスタ及び各点群クラスタの衝突猶予時間を用いて認識処理の優先度を求めることも考えられる。

　実施例２においては、車載情報処理装置は、ＥＣＵ　Ｔｙｐｅ　Ｂ１２０（制御部）を備えている。

　実施例２においては、実施例１と同様な効果を得ることができる他、自車両１０と他車両との相対速度が速い可能性がある前方向及び後方向に監視方向について、認識処理の優先度を判定し、左右側方は、自車両１０の挙動や状態に応じて重み付けを決めることで、点群取得に必要なセンサのコストを抑制したり、センシング対象として重要な前後方向にＬｉｄａｒ点群処理を限定してＥＣＵの演算性能を確保したりすることができる。

　（実施例３）
　次に、本発明の実施例３について説明する。

　実施例２で示した構成を基に、外界センサから取り込んだデータの認識処理を含む信号処理機能を有するＥＣＵを複数用いるシステムの接続構成例を図１０に示す。外界センサである複数のカメラと複数のＬｉＤＡＲの構成は実施例２の構成と同じである。

　図１０に示す構成では、認識処理を含む信号処理機能を有するＥＣＵは、ＦｒｏｎｔセンシングＥＣＵ１６０（第１制御部）、ＲｅａｒセンシングＥＣＵ１７０（第２制御部）及び統合ＥＣＵ１５０（統合制御部）で構成する。

　ＦｒｏｎｔセンシングＥＣＵ１６０は、カメラＦ３１０、カメラＦＬ３２０、カメラＦＲ３３０及びＬｉＤＡＲ　Ｆ２１０を直接接続しており、主として自車両１０前方の外界センシング処理を行う。

　ＲｅａｒセンシングＥＣＵ１７０は、カメラＲ３６０、カメラＲＬ３４０、カメラＲＲ３５０及びＬｉＤＡＲ　Ｒ２６０を直接接続しており、主として自車両１０後方の外界センシング処理を行う。

　外界センサそれぞれから出力される単位時間当たりのセンシングデータ量を考慮し、各外界センサはＦｒｏｎｔセンシングＥＣＵ１６０あるいはＲｅａｒセンシングＥＣＵ１７０に直接接続している。

　統合ＥＣＵ１５０はＦｒｏｎｔセンシングＥＣＵ１６０とＲｅａｒセンシングＥＣＵ１７０、及び自車両１０に搭載される他のＥＣＵにＣＡＮや車載イーサーネットを介して接続している。統合ＥＣＵ１５０はＦｒｏｎｔセンシングＥＣＵ１６０及びＲｅａｒセンシングＥＣＵ１７０で処理した外界の認識結果の統合処理に加え、ＦｒｏｎｔセンシングＥＣＵ１６０及びＲｅａｒセンシングＥＣＵ１７０で抽出した点群クラスタに関する情報及び自車両１０に搭載される他のＥＣＵから車両の挙動や状態から自車両１０の各方向の認識処理の優先度を判定して、ＦｒｏｎｔセンシングＥＣＵ１６０及びＲｅａｒセンシングＥＣＵ１７０の認識処理などの処理負荷のバランスが取れるように調整を行う。

　ＦｒｏｎｔセンシングＥＣＵ１６０とＲｅａｒセンシングＥＣＵ１７０の間は、複数のカメラで取得する動画像データの転送に対応した高速通信路であるＥＣＵ間画像転送対応通信路１６５で直接接続している。ＥＣＵ間画像転送対応通信路１６５には例えば高速シリアル通信等を用いる。この際、カメラとＥＣＵの間をデジタル接続するために利用する通信技術を流用しても良い。ＥＣＵ間画像転送対応通信路１６５が動画像データの双方向通信を必要とする場合であっても、ＦｒｏｎｔセンシングＥＣＵ１６０からＲｅａｒセンシングＥＣＵ１７０へのデータ転送用と、逆方向のデータ転送用に分け、それぞれに片方向の通信路を用いてもよい。

　図１０に示す構成における処理フローの例を図１１に示す。図１１ではＦｒｏｎｔセンシングＥＣＵ１６０、ＲｅａｒセンシングＥＣＵ１７０、統合ＥＣＵ１５０の各処理に分けて示している。各処理は１フレーム分の処理を示しており、フレーム毎に繰り返し行う。

　ＦｒｏｎｔセンシングＥＣＵ１６０で行うＦｒｏｎｔセンシングＥＣＵ処理において、ＬｉＤＡＲ　Ｆ点群データ取得ステップＳ８１０～ＬｉＤＡＲ　Ｆ点群クラスタ衝突猶予時間算出ステップＳ８５０までの処理は、実施例１にて図５を用いて説明したＬｉＤＡＲ点群データ取得ステップＳ７１０～衝突猶予時間算出ステップＳ７５０と同様の処理を、ＬｉＤＡＲ　Ｆ２１０で取得した点群データに対して行う。

　ＬｉＤＡＲ　Ｆ点群クラスタ衝突猶予時間通知ステップＳ８６０では、点群クラスタ毎に当該点群クラスタが存在する方位の範囲を求め、当該点群クラスタの衝突猶予時間と共に統合ＥＣＵ１５０に通知する。通知されたデータは統合ＥＣＵ１５０で行う画像認識優先度設定ステップＳ９６０で参照する。通知にはＦｒｏｎｔセンシングＥＣＵ１６０と統合ＥＣＵ１５０を接続するＣＡＮ等の通信路を用いて行う。
方位については、本実施例３では水平方向を分割して複数カメラで画像を取得しているので、それぞれのカメラで取得した画像データ単位で認識処理を行う場合には、方位の情報は水平方向のみで良い。但し、垂直方向で別のカメラを用いる構成が含まれる場合には、垂直方向の情報も必要となる。また、個々のカメラで撮影した画像を水平に分割して上下で認識処理を分ける場合にも、分割した画像領域毎に認識処理の優先度を決めるために垂直方向の情報も必要となる。

　ＬｉＤＡＲ　Ｆ点群クラスタ認識処理ステップＳ８７０ではそれぞれの点群クラスタに対して点群クラスタを構成する点群データを参照した認識処理を行う。この認識処理では点群クラスタを構成する各点データの空間上の位置関係やレーザ反射光の信号強度の分布から、対象物の種別検出や、ノイズと思われる点群クラスタの除外を行う。認識結果は統合ＥＣＵ１５０の認識結果統合処理ステップＳ９８０に送信する。送信はＦｒｏｎｔセンシングＥＣＵ１６０と統合ＥＣＵ１５０を接続するＣＡＮ等の通信路を用いて行う。

　ＲｅａｒセンシングＥＣＵ１７０への画像データ転送設定ステップＳ８８０では、統合ＥＣＵ１５０の画像転送パスモード指定ステップＳ９７０での結果に基づき、ＦｒｏｎｔセンシングＥＣＵ１６０に直接接続されているカメラＦ３１０、カメラＦＬ３２０、カメラＦＲ３３０で取得した画像データやそれら画像データを元に生成したデータに関し、ＲｅａｒセンシングＥＣＵ１７０で必要となる画像データをＥＣＵ間画像転送対応通信路１６５経由でＲｅａｒセンシングＥＣＵ１７０に送信するよう設定を行う。

　Ｆ直接接続カメラ画像データ取得Ｓ８９０ではＦｒｏｎｔセンシングＥＣＵ１６０に直接接続されているカメラＦ３１０、カメラＦＬ３２０、カメラＦＲ３３０から画像データの取得を行う。

　Ｆ直接接続カメラ画像データ取得ステップＳ８９０で取得した画像データは、Ｆ直接カメラ画像補正処理ステップＳ８９２で画像の歪み、画像の明るさ補正、色の再現及び補正、画像のズレ等の補正を行う。この際、各カメラの個体差や、カメラの車両取り付け誤差などに伴う補正も含めて行う。色については、画素により異なる赤、緑、青など異なる透過波長特性を持つカラーフィルタを用いる画像センサで取得した画像データを用いる場合には、周辺の複数画素を用いて色の復元を行う。

　Ｆ直接カメラ画像補正処理ステップＳ８９２では、必要に応じてあるカメラから取得した画像を、複数の画像の領域に分けて、複数の画像に分割して処理しても良い。また、カメラ毎に異なる画像の領域分割を行っても良い。例えば、あるカメラで画角の広い魚眼レンズで画像を取得する場合、画像の中心部と周辺部で歪が大きく異なるので、当該カメラについては中心部と複数の周辺部に領域分割し、それぞれの領域を別画像として切り出し、領域毎に適切な歪の補正を行うことが考えられる。

　Ｆ直接カメラ画像補正処理ステップＳ８９２で補正した画像データのうちＲｅａｒセンシングＥＣＵ１７０で必要となる画像データは、ＲｅａｒセンシングＥＣＵ１７０への画像データ転送設定ステップＳ８８０での設定に基づき、ＲｅａｒセンシングＥＣＵ１７０へ送信される。

　Ｆ直接接続カメラ画像認識処理ステップＳ９００は、ＦｒｏｎｔセンシングＥＣＵ１６０に直接接続されているカメラＦ３１０、カメラＦＬ３２０、カメラＦＲ３３０で取得した画像データに関して、ＦｒｏｎｔセンシングＥＣＵ１６０で認識処理すべき画像データの認識処理を行う。各画像データの認識処理の方法、内容及び、各画像データの処理順序は、統合ＥＣＵ１５０による画像認識演算資源量決定ステップＳ９６５の結果に従う。

　Ｆ直接接続カメラ画像認識処理ステップＳ９００の認識処理結果は統合ＥＣＵ１５０の認識結果統合処理ステップＳ９８０に送信する。送信はＦｒｏｎｔセンシングＥＣＵ１６０と統合ＥＣＵ１５０を接続するＣＡＮ等の通信路を用いて行う。ＦｒｏｎｔセンシングＥＣＵ１６０に直接接続されているカメラで取得した画像でも、認識処理をＲｅａｒセンシングＥＣＵ１７０に任せる画像データについては認識処理を行わない。

　Ｆ間接接続カメラ画像データ取得ステップＳ９１０では、カメラＲ３６０、カメラＲＬ３４０、カメラＲＲ３５０から取得した画像データのうちＦｒｏｎｔセンシングＥＣＵ１６０で必要な画像データを、ＥＣＵ間画像転送対応通信路１６５経由で受信する。

　Ｆ間接接続カメラ画像認識処理ステップＳ９２０は、Ｆ間接接続カメラ画像データ取得ステップＳ９１０で受信した画像データのうち、認識処理すべき画像データの認識処理を行う。各画像データの認識処理の方法や内容及び、各画像データの処理順序は、統合ＥＣＵ１５０による画像認識演算資源量決定ステップＳ９６５の結果に従う。

　Ｆ間接接続カメラ画像認識処理ステップＳ９２０の認識処理結果は統合ＥＣＵ１５０の認識結果統合処理ステップＳ９８０に送信する。送信はＦｒｏｎｔセンシングＥＣＵ１６０と統合ＥＣＵ１５０を接続するＣＡＮ等の通信路を用いて行う。

　ＲｅａｒセンシングＥＣＵ１７０で行うＲｅａｒセンシングＥＣＵ処理は、直接接続されているカメラがカメラＲ３６０、カメラＲＬ３４０、カメラＲＲ３５０となり、間接接続されているカメラ（ＦｒｏｎｔセンシングＥＣＵ１６０に直接接続されているカメラ）がカメラＦ３１０、カメラＦＬ３２０、カメラＦＲ３３０、と入れ替わる以外は、ＦｒｏｎｔセンシングＥＣＵ処理と同等の処理を行う。

　統合ＥＣＵ１５０で行う統合ＥＣＵ処理では、まず、車両状態取得ステップＳ９５０で認識処理の優先度重み付けに必要な自車両１０の挙動や状態の情報を取得する。取得する挙動や状態の情報としてはギアの状態（前進用か後退用か）、操舵状態、方向指示器の点灯設定等がある。

　画像認識優先度設定ステップＳ９６０では、ＬｉＤＡＲ　Ｆ点群クラスタ衝突猶予時間通知ステップＳ８６０、ＬｉＤＡＲ　Ｒ点群クラスタ衝突猶予時間通知ステップＳ８６５より得たＬｉＤＡＲ　Ｆ２１０及びＬｉＤＡＲ　Ｒ２６０でのセンシング結果に基づき検出した点群クラスタの方向と衝突猶予時間、及び車両状態取得ステップＳ９５０で取得した情報から、実施例１及び実施例２に示した方法などを用いて、認識処理対象となる各画像に対する認識処理の優先度を算出する。

　認識処理の対象となる各画像は各カメラで取得した画像や、Ｆ直接接続カメラ画像補正処理ステップＳ８９２やＲ直接接続カメラ画像補正処理ステップＳ８９７で画像補正するのに伴い分割した画像、さらには画像認識処理を行う際に分割して取り扱う画像などが考えられる。どのような画像データ単位で優先度を算出するかは、認識処理で取り扱う画像データの単位に依存して決める。

　画像認識演算資源量決定ステップＳ９６５では画像認識優先度設定ステップＳ９６０の結果に基づき、実施例１で説明した認識演算資源量決定ステップＳ７４５と同様の方法で、認識処理の画像データの単位に認識処理の演算資源量及び認識処理の順序を決定する。但し、ＦｒｏｎｔセンシングＥＣＵ１６０とＲｅａｒセンシングＥＣＵ１７０での認識処理の分担や、ＥＣＵ間画像転送対応通信路１６５で転送可能な画像データの量や組合せについても考慮する。認識処理の順序もＦｒｏｎｔセンシングＥＣＵ１６０とＲｅａｒセンシングＥＣＵ１７０のそれぞれに対して決定する。

　画像認識演算資源量決定ステップＳ９６５で決定した内容は、ＦｒｏｎｔセンシングＥＣＵ１６０で行うＦ直接接続カメラ画像認識処理ステップＳ９００、Ｆ間接接続カメラ画像認識処理ステップＳ９２０、ＲｅａｒセンシングＥＣＵ１７０で行うＲ直接接続カメラ画像認識処理ステップＳ９０５、およびＲ間接接続カメラ画像認識処理ステップＳ９２５にＣＡＮ等のパスで伝えられ、それぞれの画像認識処理に反映される。

　画像転送パスモード指定ステップＳ９７０では画像認識演算資源量決定ステップＳ９６５の決定に基づき、それぞれのＥＣＵで当該認識処理に必要な画像データを参照できるように、ＲｅａｒセンシングＥＣＵ１７０への画像データ転送設定ステップＳ８８０及びＦｒｏｎｔセンシングＥＣＵ１７０への画像データ転送設定ステップＳ８８５に転送設定情報を伝える。

　この結果、画像転送パスモード指定ステップＳ９７０により決定された内容に基づき、ＦｒｏｎｔセンシングＥＣＵ１６０及びＲｅａｒセンシングＥＣＵ１７０は、それぞれのＥＣＵに直接接続されたカメラにより取得した画像データでもう一方のＥＣＵが必要とするデータをＥＣＵ間画像転送対応通信路１６５経由で送信する。

　認識結果統合処理ステップＳ９８０では、ＬｉＤＡＲ　Ｆ点群クラスタ認識処理ステップＳ８７０、Ｆ直接接続カメラ画像認識処理ステップＳ９００、Ｆ間接接続カメラ画像認識処理ステップＳ９２０、ＬｉＤＡＲ　Ｒ点群クラスタ認識処理ステップＳ８７５、Ｒ直接接続カメラ画像認識処理ステップＳ９０５、およびＲ間接接続カメラ画像認識処理ステップＳ９２５の認識結果を統合し、最終的な外界検出結果を求めて、自動運転や運転支援に必要な走行計画や判断の処理に提供する。

　認識結果の統合においては、自車両１０に対するさまざまな方向の認識結果の合成、複数の外界センサによる認識結果の整合性の確認や、不整合の生じた認識結果に対する認識結果の選択や除外等を行う。

　図１２は、画像転送パスモード指定ステップＳ９７０にてＥＣＵ間画像転送対応通信路１６５経由での画像データの転送設定の例を示す図である。図１２には、各カメラで取得した画像データの単位で転送設定を行う例を示している。

　図１２では自車両１０を中心とした八方向のうちいずれかの一方向に認識処理の優先度の高い状況が生じたときのみ、ＥＣＵ間画像転送対応通信路１６５経由で画像データの転送を行い、直接接続されていないカメラで取得した画像に対する認識処理をＦｒｏｎｔセンシングＥＣＵ１６０及びＲｅａｒセンシングＥＣＵ１７０の一方あるいは両方で行う。

　図１２に示した各行の動作について説明する。自車両１０の前方向の認識処理優先度が高い場合は、ＦｒｏｎｔセンシングＥＣＵ１６０はカメラＦ３１０で取得した画像データに対してのみ認識処理を行い、カメラＦ３１０以外で取得した画像データの認識処理はＲｅａｒセンシングＥＣＵ１７０で行う。そこで、カメラＦＬ３２０及びカメラＦＲ３３０で取得した画像データ（厳密にはカメラで取得した画像データに画像補正処理を施したデータ、以下同じ）は、ＥＣＵ間画像転送対応通信路１６５経由でＲｅａｒセンシングＥＣＵ１７０に送信する。

　自車両１０の右前方向の認識処理優先度が高い場合は、ＦｒｏｎｔセンシングＥＣＵ１６０はカメラＦ３１０及びカメラＦＲ３３０で取得した画像データに対してのみ認識処理を行い、カメラＦ３１０及びカメラＦＲ３３０以外で取得した画像データの認識処理はＲｅａｒセンシングＥＣＵ１７０で行う。そこで、カメラＦＬ３２０で取得した画像データはＥＣＵ間画像転送対応通信路１６５経由でＲｅａｒセンシングＥＣＵ１７０に送信する。

　自車１０の右方向の認識処理優先度が高い場合は、ＦｒｏｎｔセンシングＥＣＵ１６０はカメラＦＲ３３０及びカメラＲＲ３５０で取得した画像データに対してのみ認識処理を行い、ＦＲ３３０及びカメラＲＲ３５０以外で取得した画像データの認識処理はＲｅａｒセンシングＥＣＵ１７０で行う。そこで、カメラＦ３１０及びカメラＦＬ３２０で取得した画像データはＥＣＵ間画像転送対応通信路１６５経由でＲｅａｒセンシングＥＣＵ１７０に送信する。また、カメラＲＲ３５０で取得した画像データはＥＣＵ間画像転送対応通信路１６５経由でＦｒｏｎｔセンシングＥＣＵ１６０に送信する。

　認識優先度の高いカメラＦＲ３３０及びカメラＲＲ３５０で取得した画像データをＦｒｏｎｔセンシングＥＣＵ１６０に集めて処理を行うことで、自車両１０の右方向全体を包括して一つのＥＣＵで処理でき、２台のカメラの両方で捉えられる方向の整合性確認をＦｒｏｎｔセンシングＥＣＵ１６０で行える利点がある。また、高速走行への対応からＦｒｏｎｔセンシングＥＣＵ１６０はＲｅａｒセンシングＥＣＵ１７０より処理性能の高いＥＣＵを用いることが考えられ、このような構成では認識優先度の高い方向の認識処理をＦｒｏｎｔセンシングＥＣＵ１６０で行える利点もある。

　自車両１０の右後ろ方向の認識処理優先度が高い場合は、ＲｅａｒセンシングＥＣＵ１６０はカメラＲ３６０及びカメラＲＲ３５０で取得した画像データに対してのみ認識処理を行い、カメラＲ３６０及びカメラＲＲ３５０以外で取得した画像データの認識処理はＦｒｏｎｔセンシングＥＣＵ１６０で行う。そこで、カメラＲＬ３４０で取得した画像データはＥＣＵ間画像転送対応通信路１６５経由でＦｒｏｎｔセンシングＥＣＵ１６０に送信する。

　自車両１０の後方向の認識処理優先度が高い場合は、ＲｅａｒセンシングＥＣＵ１７０はカメラＲ３６０で取得した画像データに対してのみ認識処理を行い、カメラＲ３６０以外で取得した画像データの認識処理はＦｒｏｎｔセンシングＥＣＵ１６０で行う。そこで、カメラＲＬ３４０及びカメラＲＲ３５０で取得した画像データはＥＣＵ間画像転送対応通信路１６５経由でＦｒｏｎｔセンシングＥＣＵ１６０に送信する。

　自車両１０の左前方向、左方向、左後ろ方向の認識処理優先度が高い場合は、それぞれ右前方向、右方向、右後ろ方向と左右が異なる以外同じとなる。

　実施例３でも実施例２と同様に横方向に関する優先度の判定をもう少し厳密に行いたい場合には、左方向はカメラＦＬ３２０及びカメラＲＬ３４０、右方向はカメラＦＲ３３０及びカメラＲＲ３５０を組み合わせ、画角が重なっている領域についてそれぞれステレオ視を利用することが考えられる。

　ステレオ視では組み合わせるカメラで取得した画像データの両方を参照する必要があるので、一つのＥＣＵに組となるカメラの画像データを集めて処理を行う方が良い。そこで、左右方向のステレオ視に関する処理を行う際には、予め画像データの各画素の視差情報から点群クラスタを求める処理を行うＥＣＵを決め、当該ＥＣＵでステレオ視を利用した点群クラスタ関連の処理に必要な画像データを参照できるようＥＣＵ間画像転送対応通信路１６５の利用設定を行う。

　左方向と右方向のステレオ視を行うために必要なＥＣＵ間画像転送対応通信路１６５の利用設定を図１３に示す。図１３において、右方向に関してＦｒｏｎｔセンシングＥＣＵ１６０でステレオ視及びその結果の点群クラスタ情報への変換を行う場合、カメラＲＲ３５０で取得した画像データは常にＲｅａｒセンシングＥＣＵ１７０からＦｒｏｎｔセンシングＥＣＵ１６０にＥＣＵ間画像転送対応通信路１６５経由で送信するようにする。右方向に関してＲｅａｒセンシングＥＣＵ１７０でステレオ視の処理及びその結果から点群クラスタ情報を求める場合、カメラＦＲ３３０で取得した画像データは常にＦｒｏｎｔセンシングＥＣＵ１６０からＲｅａｒセンシングＥＣＵ１７０にＥＣＵ間画像転送対応通信路１６５経由で送信するようにする。左方向についてもカメラＦＬ３２０及びカメラＲＬ３４０で取得した画像データに関して同様に取り扱う。

　ステレオ視及びその結果から点群クラスタ情報を求めるＥＣＵはＦｒｏｎｔセンシングＥＣＵ１６０及びＲｅａｒセンシングＥＣＵ１７０の構成により、左右方向共にＦｒｏｎｔセンシングＥＣＵ１６０でも良いし、ＲｅａｒセンシングＥＣＵ１７０でも良い。また、左方向をＦｒｏｎｔセンシングＥＣＵ１６０で処理し、右方向をＲｅａｒセンシングＥＣＵ１７０で処理するなど、左右で異なるＥＣＵで処理しても良い。また、画像認識処理の優先度を考慮して、動的に処理を割り当てることも考えられる。

　点群クラスタ情報の取得は画像認識優先度算出ステップＳ９６０で必要となるため、ステレオ視及びその結果から点群クラスタ情報を求める処理は画像認識優先度算出ステップＳ９６０より前に行う必要がある。そこで、ステレオ視による点群クラスタ情報の作成は前フレームの画像データを用いて行う。あるいは、ステレオ視及びその結果から点群クラスタ情報を求める処理を行うＥＣＵを固定しておき、当該ＥＣＵには常にステレオ視の処理に必要なカメラの画像データが送られる設定として、ステレオ視処理に必要な処理までは、画像認識処理とは別に処理の早い段階で行っても良い。ステレオ視自体は、基本的には画像補正処理後に組となる画像の局所的なマッチング処理により実施するので、認識処理の前段階で処理可能である。

　実施例３においては、車載情報処理装置は、Ｆｒｏｎｔ　センシングＥＣＵ　１６０（第1制御部）と、Ｒｅａｒ　センシングＥＣＵ　１７０（第２制御部）と、を備えている。

　実施例３でも、ＬｉＤＡＲ　Ｒ２６０のみ、あるいはＬｉＤＡＲ　Ｆ２１０及びＬｉＤＡＲ　Ｒ２６０の両方を省略し、ＬｉＤＡＲではセンシングできない自車両１０周辺に関して、必要なカメラの画角を広げることなどして２台以上のカメラで撮影を行い、カメラで取得した画像データのステレオ視による各画素の視差情報から求めた距離情報を用いて点群を取得し、その点群から点群クラスタを抽出し、各点群クラスタの衝突猶予時間を算出して認識処理の優先度を決定することも考えられる。

　左方向と右方向以外は、ステレオ視に必要となる画像データを取得するカメラが同一のＥＣＵに直接接続されているので、当該ＥＣＵにてステレオ視及びその結果から点群クラスタ情報を求める処理を行えば、ステレオ視の処理に伴うＥＣＵ間画像転送対応通信路１６５による画像データの転送は不要である。

　実施例３によれば、ＦｒｏｎｔセンシングＥＣＵ１６０と、ＲｅａｒセンシングＥＣＵ１７０と、を備え、高優先度の認識方向に関するカメラからの出力を処理するに適した一方のＥＣＵにより認識処理を行い、高優先度の認識方向以外の方向に関するカメラからの出力は、他のＥＣＵにより認識処理を行うように構成したので、緊急度が高い物体に対する認識遅延を、さらに抑制することが可能な車載情報処理装置、車載情報処理システム及び車載情報処理方法を実現することができる。

　（実施例４）
　次に、本発明の実施例４について説明する。

　実施例４として比較的単純な運転支援システム等で用いる構成を図１４に示す。実施例４では外界センシング用のセンサとしてカメラＦ３１０及びＬｉＤＡＲ　Ｆ２１０のみを有しており、これらセンサから得た情報を基に外界認識を行う機能を有するＥＣＵ　Ｔｙｐｅ　Ｃ１３０（制御部）を備えている。

　ＥＣＵ　Ｔｙｐｅ　Ｃ１３０はＣＡＮなどのインタフェースを介して自車両１０に搭載される他のＥＣＵとも通信を行う。他のＥＣＵと接続することで、外界を認識した結果を走行判断や走行制御を行うＥＣＵに伝えたり、車両の走行状態を取得したりすることが可能である。

　実施例４ではカメラＦ３１０で取得する画像データは、画像の歪補正などの画像補正処理を行った後に、図１５に示すカメラ画角ＦＡ４１１、カメラ画角ＦＢ４１２、カメラ画角ＦＣ４１３の三方向に分けて取り扱う。これらの各領域は画像として図６に示すカメラＦ画像の領域Ａ５１１、領域Ｂ５１２、領域Ｃ５１３に対応する。

　ＬｉＤＡＲ　Ｆ２１０で取得する点群データを用い、これまでに示した実施例１～３と同様に点群クラスタを抽出し、各点群クラスタの衝突猶予時間を得て、各点群クラスタの位置する方向に基づきカメラ画角ＦＡ４１１、カメラ画角ＦＢ４１２、カメラ画角ＦＣ４１３の各方向の認識処理の優先度を算出する。また、各点群クラスタに対し認識処理を行う。

　点群クラスタの作成に用いる点群データは、これまでに示した実施例１～３と同様にミリ波レーダによるセンシングやカメラによるステレオ視により得たデータを用いることも考えられる。特に、カメラによるステレオ視を用いる場合、図１４に示す構成は外界センサとしてステレオカメラ１台のみを接続した構成に変更できる。

　認識処理の優先度の重み付けも、これまでに示した実施例１～３と同様に、車両の挙動や状態を基に行っても良い。

　認識処理の優先度の重み付けを反映した最終的な認識処理の優先度に従う方法で、図６に示したように、領域Ａ５１１、領域Ｂ５１２、領域Ｃ５１３それぞれの画像データに対する認識処理を行う。

　各領域の画像データの認識結果とＬｉＤＡＲで取得した点群データに基づく認識結果は、認識結果統合処理を経て最終的な外界認識結果となり、運転支援に必要な走行計画や判断の処理に用いられる。

　図１４に示す実施例４のように、比較的簡単な外界センサ構成であっても、カメラで取得した画像を複数領域に分割することで、緊急度に応じて優先度を調整した認識処理が可能である。

　周辺の物体との相対速度を用いることで、進行予定領域上の物体であっても、自車両１０から離れていく物体、すなわち認識する必要性の低い物体は優先物体から除外でき、認識処理の演算量を抑制できる。さらに、衝突までの猶予時間を用いて認識処理の優先度を決めることで、周辺の物体から近づくケースであっても衝突まで猶予のない物体の認識優先度を高めることができ、緊急度の高い物体に対する認識遅延を抑制できる。

　すなわち、自車両１０の周辺に物体が多数存在する場合や、自転車や自動車など移動速度の速い物体が存在する場合でも、認識処理に対する優先度を必要性や緊急度を適切に反映して設定できるので、認識処理を効率的に行うことが可能となる。

　実施例４においては、車載情報処理装置は、ＥＣＵ　Ｔｙｐｅ　Ｃ（制御部）を備えている。

　実施例４においても、実施例１と同様な効果を得ることができる。

　尚、本明細書では、自車両１０から物体までの測距や自車両１０と物体の相対速度の検出手段として主としてＬｉＤＡＲを用いて説明したが、本発明においては、ミリ波レーダや複数カメラによるステレオ視を用いても良い。

　また、ＬｉＤＡＲ、ミリ波レーダや複数カメラによるステレオ視以外による外界センシングであっても、認識処理前に少なくとも物体の存在、存在する方向及び、距離を取得できる手段であれば、それらの内容から外界センシングの方向に応じて認識処理の優先度を決めることができるので、センシング手段は任意で構わない。

　また、図４に示したＥＣＵ　Ｔｙｐｅ　Ａ１１０は、画像補正処理部１１６と、画像認識処理部１１７と、点群クラスタ認識処理部１１８と、を備えているが、これら画像補正処理部１１６を省略しても、画像認識処理部１１７あるいは点群クラスタ認識処理部１１８のいずれか一方を省略しても、本発明は成立する。

　さらに、自車両１０から物体までの測距や自車両１０と物体の相対速度や相対距離の検出手段として認識処理に類する処理を行うことも考えられる。相対速度や相対距離の検出手段として認識処理に類する処理が、当該処理より後に行うセンシングデータに対する認識処理に対して軽い負荷で行う簡易的な認識処理であれば、最終的な認識処理を効率的に行うことも可能である。ここで、認識処理の対象とするセンシングデータはカメラ画像に限定する必要はなく、他の外界センサで得たセンシングデータに対する処理であっても良い。

　本明細書で示した外界センサの構成やＥＣＵの構成は例であり、本明細書で示した手法に基づき認識処理の優先度を調整できる構成であれば他の構成であっても構わない。ＥＣＵへの処理の実装もソフトウェアによる実装、論理回路などの電子回路による実装、ソフトウェアと電子回路の組合せなどどのような実装方法を用いても良い。またＥＣＵも一つの箱に入った形態だけでなく、ＳｏＣ（Ｓｙｓｔｅｍ　ｏｎ　Ｃｈｉｐ）や電子回路を実装した基板など、機能を実現できればどのような形態も考えられる。

　１０・・・自車両、２０・・・車両Ａ、３０・・・車両Ｂ、４０・・・車両Ｃ、１１０・・・ＥＣＵ　Ｔｙｐｅ　Ａ、１１１・・・外界データ取得部、１１２・・・点群クラスタ生成部、１１３・・・優先度設定部、１１４・・・演算資源量決定部、１１５・・・認識結果統合処理部、１１６・・・画像補正処理部、１１７・・・画像認識処理部、１１８・・・点群クラスタ認識処理部、１２０・・・ＥＣＵ　Ｔｙｐｅ　Ｂ、１３０・・・ＥＣＵ　Ｔｙｐｅ　Ｃ、１５０・・・統合ＥＣＵ、１６０・・・ＦｒｏｎｔセンシングＥＣＵ、１６５・・・ＥＣＵ間画像転送対応通信路、１７０・・・ＲｅａｒセンシングＥＣＵ、２１０・・・ＬｉＤＡＲ　Ｆ、２６０・・・ＬｉＤＡＲ　Ｒ、２９０・・・ＬｉＤＡＲ　Ａ、３１０・・・カメラＦ、３２０・・・カメラＦＬ、３３０・・・カメラＦＲ、３４０・・・カメラＲＬ、３５０・・・カメラＲＲ、３６０・・・カメラＲ、４１０・・・カメラ画角Ｆ、４１１・・・カメラ画角ＦＡ、４１２・・・カメラ画角ＦＢ、４１３・・・カメラ画角ＦＣ、４２０・・・カメラ画角ＦＬ、４３０・・・カメラ画角ＦＲ、４４０・・・カメラ画角ＲＬ、４５０・・・カメラ画角ＲＲ、４６０・・・カメラ画角Ｒ、５１１・・・領域Ａ、５１２・・・領域Ｂ、５１３・・・領域Ｃ、５１４・・・領域Ｄ、５１５・・・領域Ｅ、５１６・・・領域Ｆ、５１７・・・領域Ｇ、６１１・・・［Ａ］（領域Ａの処理）、６１２・・・［Ｂ、Ａ、Ｃ］（領域Ｂ、Ａ及びＣの処理）、６１６・・・［Ｄ］（領域Ｄの処理）、６１７・・・［Ｅ］（領域Ｅの処理）、６１８・・・［Ｄ、Ｆ］（領域Ｄ及びＦの処理）、６１９・・・［Ｅ，Ｇ］（領域Ｅ及びＧの処理）

Claims (12)

1. 　車両に搭載された外界センサから外界データを取得する外界データ取得部と、
   　全部又は一部の前記外界センサから取得した外界データを構成する複数の点に対しクラスタリングを行い、点群クラスタを生成する点群クラスタ生成部と、
   　前記点群クラスタに係る前記外界データから求められた前記点群クラスタの前記車両に対する相対速度に基づいて、前記点群クラスタ又は前記点群クラスタが存在する外界領域に優先度を設定する優先度設定部と、
   　前記優先度に応じて前記外界データの認識処理の演算資源量を決定する演算資源量決定部と、
   　を有する制御部を備えることを特徴とする車載情報処理装置。
2. 　請求項１に記載の情報処理装置において、
   　前記優先度設定部は、前記相対速度を用いて、前記点群クラスタが前記車両に接触すると仮定した際の前記接触までに要する時間を表す衝突猶予時間を算出し、前記衝突猶予時間に基づいて、前記点群クラスタ又は前記点群クラスタが存在する外界領域に優先度を設定することを特徴とする車載情報処理装置。
3. 　請求項１又は２に記載の車載情報処理装置において、
   　前記外界センサの全部又は一部はカメラであることを特徴とする車載情報処理装置。
4. 　請求項３に記載の車載情報処理装置において、
   　前記演算資源量決定部は、前記優先度に応じて前記カメラにより撮影された画像中の画像領域毎に前記認識処理の前記演算資源量を決定することを特徴とする車載情報処理装置。
5. 　請求項３に記載の車載情報処理装置において、
   　前記演算資源量決定部は、前記優先度に応じて前記カメラにより撮影された画像の解像度、認識処理の周期、認識処理のロジック、のうち少なくとも一つを変更することを特徴とする車載情報処理装置。
6. 　請求項３に記載の車載情報処理装置において、
   　前記外界データ取得部は、複数の前記カメラにより撮影された複数の画像を取得し、前記演算資源量決定部は、前記優先度に応じて前記複数の画像毎に認識処理の演算資源量を決定することを特徴とする車載情報処理装置。
7. 　請求項３に記載の車載情報処理装置において、
   　前記外界データ取得部は、複数の前記カメラにより撮影された複数の画像を取得し、前記演算資源量決定部は、前記優先度に応じて前記複数の画像中の画像領域毎に認識処理の演算資源量を決定することを特徴とする車載情報処理装置。
8. 　請求項１又は２に記載の車載情報処理装置において、
   　前記外界センサは、カメラと、ＬｉＤＡＲと、を有することを特徴とする車載情報処理装置。
9. 　請求項１又は２に記載の車載情報処理装置において、
   　前記外界センサは、カメラと、前記車両の前方監視用のＬｉＤＡＲと、前記車両の後方監視用のＬｉＤＡＲと、を有することを特徴とする車載情報処理装置。
10. 　請求項１又は２に記載の車載情報処理装置において、
    　前記制御部は、
    　前記車両の前方の外界センシングを行う第１制御部と、
    　前記車両の後方の外界センシングを行う第２制御部と、
    　を有し、
    　前記外界センサは、カメラと、前記車両の前方監視用のＬｉＤＡＲと、前記車両の後方監視用のＬｉＤＡＲと、を有することを特徴とする車載情報処理装置。
11. 　車両の周囲の物体を検出する複数の外界センサと、
    　制御部と、
    　を備え、
    　前記制御部は、
    　複数の前記外界センサから外界データを取得する外界データ取得部と、
    　全部又は一部の前記外界センサから取得した外界データを構成する複数の点に対しクラスタリングを行い、点群クラスタを生成する点群クラスタ生成部と、
    　前記点群クラスタに係る前記外界データから求められた前記点群クラスタの前記車両に対する相対速度に基づいて、前記点群クラスタ又は前記点群クラスタが存在する外界領域に優先度を設定する優先度設定部と、
    　前記優先度に応じて前記外界データの認識処理の演算資源量を決定する演算資源量決定部と、
    　を有することを特徴とする車載情報処理システム。
12. 　車両の周囲の物体を、複数の外界センサにより検出し、
    　複数の前記外界センサから外界データを取得し、
    　全部又は一部の前記外界センサから取得した外界データを構成する複数の点に対しクラスタリングを行い、点群クラスタを生成し、
    　前記点群クラスタに係る前記外界データから求められた前記点群クラスタの前記車両に対する相対速度に基づいて、前記点群クラスタ又は前記点群クラスタが存在する外界領域に優先度を設定し、
    　前記優先度に応じて前記外界データの認識処理の演算資源量を決定することを特徴とする車載情報処理方法。

Images