JP4530827B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

本発明は、自車に搭載された撮像装置の自車前方の撮影画像に含まれた先行車、路側物等の画像につき、必要なもののみ画像認識処理が行えるようにして処理負担の軽減を図るようにした画像処理方法及び画像処理装置に関する。

従来、ＡＣＣと呼ばれる追従走行の車両走行支援システム（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、被害軽減自動ブレーキシステム、衝突警報システム、ブレーキペダル操作時に減速度をアシストするブレーキアシスト機能等を備えた車両にあっては、自車の走行中に自車前方の先行車、障害物等の認識対象の物標やガードレールのような路側物等の不要な物標を区別して精度よく認識することが重要である。

そして、これらの物標の認識には、レーザレーダ、ＦＭ−ＣＷレーダ等のレーダの自車前方の探索結果が用いられる（例えば、特許文献１参照。）。

さらに、各物標の認識精度を高めるため、自車に前記の測距レーダとＣＣＤ単眼カメラ等の画像センサとを備え、測距レーダの自車前方の探索結果と画像センサの自車前方の撮影画像の画像認識処理とに基づき、例えば、レーダが探索した自車前方の探索範囲に各注視領域（注目領域）を設定し、各注視領域の画像にパターンマッチング処理等の画像認識処理を実行し、いわゆるセンサフュージョンで車両等の特徴を抽出して先行車等の物標を精度よく認識することが提案されている（例えば、特許文献２参照。）。

特開２００４−１２１８６号公報（段落［０００２］、［００１７］、図１） 特開平７−１２０５５５号公報（段落［０００７］−［００１０］、［００３６］―［００３７］、図１、図２、図７、図８）

前記のセンサフュージョンの画像認識処理においては、交通状況等に基づいて前記レーダ探索範囲に多数の画像の注視領域が設定される場合、全ての領域の画像の認識処理を行なうと、その処理負担が膨大になって処理に時間がかかり、処理に必要なメモリの容量も多くなることから、高性能、高価なＣＰＵが必要になる問題がある。

本発明は、自車前方の撮影画像につき、自車の追従走行制御等に必要な重要度の高い画像から順に画像認識処理が行なえるようにしてその処理負担を軽減することを目的とする。

上記した目的を達成するために、本発明の画像処理方法は、自車前方のレーダ探索結果から自車前方の撮影画像に含まれた車両、路側物等の各物標の領域を検出し、前記撮影画像上に自車からの距離に比例して幅広になる画像認識範囲を設定し、前記画像認識範囲内に、操舵状態を含む自車の走行状態から予測した自車の推定進路に近い範囲を設定し、前記画像認識範囲に属する各領域の画像につき、前記推定進路に近い範囲の領域の画像は、前記推定進路に近い範囲外の画像より優先して、自車に近いものから順に、優先順位が高い画像に選択して画像認識処理の優先順序を決定し、前記推定進路に近い範囲外の領域の画像は、自車に近いものから順に、前記推定進路に近い範囲の領域の画像に続く優先順位の画像に選択して前記画像認識処理の優先順序を決定し、前記画像認識処理の優先順序の決定に変化が発生したときには、複数回連続して同じ優先順序の決定になることを条件に、前記画像認識処理の優先順序を、最新の優先順序に変更することを特徴としている（請求項１）。

そして、自車前方の設定した認識限界距離より遠方に位置する領域の画像を、認識対象外の無効画像に設定し（請求項２）、自車の車両センタ軸もしくは推定進路中心から横幅方向に設定距離以上離れた領域の画像を、認識対象外の無効画像に設定することが好ましく（請求項３）、これら場合、撮影画像の領域の個数が設定個数より多いときにのみ、認識対象外の無効画像の設定を行なうことが望ましい（請求項４）。

さらに、自車速が設定車速以下になる低速走行のとき、自車走行路が設定値以下の推定道路半径の急カーブ路のとき、自車の舵角もしくはヨーレートの大きさ及び変化量がそれぞれ基準値より大きいときに、優先順序の決定を禁止して画像認識処理を停止することが好ましい（請求項５、６、７）。

つぎに、本発明の画像処理装置は、自車前方を探索するレーダと、自車前方を撮影する撮像センサと、前記レーダの自車前方のレーダ探索結果から前記撮像センサの自車前方の撮影画像の車両、路側物等の各物標の領域を検出する領域検出手段と、前記撮影画像上に自車からの距離に比例して幅広になる画像認識範囲を設定し、前記画像認識範囲内に、操舵状態を含む自車の走行状態から予測した自車の推定進路に近い範囲を設定し、前記画像認識範囲に属する各領域の画像につき、前記推定進路に近い範囲の領域の画像は、前記推定進路に近い範囲外の画像より優先して、自車に近いものから順に、優先順位が高い画像に選択して画像認識処理の優先順序を決定し、前記推定進路に近い範囲外の領域の画像は、自車に近いものから順に、前記推定進路に近い範囲の領域の画像に続く優先順位の画像に選択して前記画像認識処理の優先順序を決定する優先順決定手段と、前記画像認識処理の優先順序の決定に変化が発生したときには、複数回連続して同じ優先順序の決定になることを条件に、前記画像認識処理の優先順序を、最新の優先順序に変更する優先順序変更手段とを備えたことを特徴としている（請求項８）。

そして、自車前方の設定した認識限界距離より遠方に位置する領域の画像を、認識対象外の無効画像に設定する無効画像設定手段を備え（請求項９）、無効画像設定手段に、自車の車両センタ軸もしくは推定進路中心から横幅方向に設定距離以上離れた領域の画像を、認識対象外の無効画像に設定する機能を付加することが好ましく（請求項１０）、これらの場合、撮影画像の領域の個数が設定個数より多いときにのみ、無効画像設定手段が認識対象外の無効画像の設定を行なうことが望ましい（請求項１１）。

さらに、車速センサの自車速が設定車速以下になる低速走行のときに、優先順序の決定を禁止して画像認識処理を停止する車速条件の処理停止手段を備え（請求項１２）、自車走行路が設定値以下の推定道路半径の急カーブ路のときに、優先順序の決定を禁止して画像認識処理を停止するカーブ路条件の処理停止手段を備え（請求項１３）、舵角センサが検出した自車の舵角もしくはヨーレートセンサが検出した自車のヨーレートの大きさ及び変化量がそれぞれ基準値より大きいときに、優先順序の決定処理を禁止して画像認識処理を停止する操舵条件の処理停止手段を備えることが好ましい（請求項１４）。

まず、請求項１、８の構成によれば、レーダ探索結果に基づいて、自車前方の撮影画像から各物標の領域を検出し、自車からの距離に比例して幅広になる画像認識範囲に自車の推定進路に近い範囲を設定し、前記推定進路に属する推定進路上或いはその付近の画像は、前記推定進路に近い範囲外の画像より優先して、自車に近いものから順に、優先順位が高い画像に選択して画像認識処理の優先順序が決定できる。また、前記画像認識範囲に属する各領域の画像のうちの前記推定進路に近い範囲外の領域の画像は、自車に近いものから順に、前記推定進路に近い範囲に属する領域の画像に続く優先順位の画像に選択して前記画像認識処理の優先順序を決定できる。

そのため、この優先順序の決定に基き、自車から遠くなる程（遠距離程）認識精度が低下することを考慮した自車前方の一定範囲の重要度（注視度）の高い領域の画像のみに適切に優先順序をつけ、必要に応じて優先順序を的確に変更することができ、例えば自車の制御に必要（重要）な設定個数の領域の画像を、重要度（注視度）の高いものから順に選択して画像認識処理を施すことができ、この場合、全ての領域の画像に認識処理を施さなくてよく、処理負担が軽減されて画像認識処理が短時間に迅速に行なえる。

さらに、決定した優先順序が直前に決定した優先順序から変化すると、それから複数回連続して同じ優先順序の決定になり、優先順序が安定していることを条件に、画像認識処理の優先順序を、決定した最新の優先順序に変更するため、優先順序の頻繁な変動を防止して画像認識処理の安定化等を図ることができる。

さらに、請求項２、９のように、レーダ探索によって捕捉された自車前方の各物標の領域のうちの認識限界距離より前方の領域の画像を、認識対象外の無効画像に設定することにより、例えば、自車の推定進路上或いはその付近の領域の画像であっても、前記認識限界距離より前方の重要度の低い遠方の領域の画像については、確実に優先順序をつける対象から除くことができ、優先順序の信頼性が向上する。

また、請求項３、１０のように、自車の車両センタ軸もしくは推定進路中心から横幅方向に設定距離以上離れた領域の画像を、認識対象外の無効画像に設定すると、自車前方の横幅方向に十分に離れた重要度の低い領域の画像を、確実に優先順序をつける対象から除くことができ、優先順序の信頼性が向上する。

つぎに、請求項４、１１のように、自車前方の撮影画像中の領域の個数が設定個数より多いときにのみ前記の認識対象外の無効画像の設定を行うようにすると、自車前方の物標が少なく、全部の物標の画像認識を行なっても処理負担が大きくならないようなときに、それらの画像にもれなく優先順序をつけて画像認識処理を行なうことができ、例えば山道の走行中に先行車の画像の領域が撮影画像の端に移動したようなときにも、その領域の画像の画像認識処理を確実に行なうことができ、先行車を見失うことがない。

また、請求項５、１２のように、設定車速以下の十分な低速走行のときに優先順序の決定処理を禁止して画像認識処理を停止したり、請求項６、１３のように、自車走行路が設定値以下の推定道路半径の急カーブ路のときに、優先順序の決定処理を禁止して画像認識処理を停止したり、請求項７、１４のように、舵角センサが検出した自車の舵角もしくはヨーレートセンサが検出した自車のヨーレートの大きさ及び変化量がそれぞれ基準値より大きいときに、優先順序の決定を禁止して画像認識処理を停止したりすると、不必要な画像認識処理を行なわないようにして、画像認識処理負担の一層の軽減を図ることができる。

つぎに、本発明をより詳細に説明するため、その１実施形態について、図１〜図６にしたがって詳述する。

図１は例えばＡＣＣ或いは被害軽減自動ブレーキシステムを備えた自車１の画像処理装置を含む走行制御装置のブロック図、図２は図１の画像認識処理の優先順序決定のフローチャート、図３は図２の一部の詳細なフローチャート、図４、図５、図６は優先順序決定の説明図である。

そして、図１において、２は自車１に搭載された測距用のレーダであり、スキャン式のレーザレーダ、ミリ波レーダ等からなり、横幅方向（左右方向）に走査して自車前方を探索する。３は自車に搭載された撮像センサとしてのカメラであり、ＣＣＤ単眼カメラ等からなり、自車前方を連続的に撮影する。

また、４は車輪速センサからなる車速センサ、５は舵角センサ、６はヨーレートセンサ６であり、これらのセンサ４〜６等によって自車１の走行状態等が検出・監視される。なお、７はＡＣＣのオン、オフ操作用の制御スイッチである。

そして、レーダ２の探索出力、カメラ３の撮影画像出力及び、各センサ４〜６の検出出力等は、マイクロコンピュータ構成のＥＣＵ８に取り込まれる。

このとき、レーダ２、カメラ３、各センサ４〜６及びＥＣＵ８が画像処理装置を形成し、ＥＣＵ８は、予め設定された画像認識処理の優先順序決定プログラムを実行することにより、つぎの（Ａ）〜（Ｇ）のソフトウエア処理の各手段を備える。

（Ａ）領域検出手段
この手段は、レーダ２の自車前方のレーダ探索結果から、カメラ３の自車前方の撮影画像に含まれた車両、路側物等の各物標の領域を検出する。

具体的には、レーダ２がレーザレーダの場合、レーダ２は横幅方向に走査しながらレーザパルスを送信し、この送信に基くリフレクタ等での反射パルスを受信する。

そして、前記反射パルスの受信の有無から、自車前方の先行車のような障害物やガードレールのような路側物等の各物標の有無を検出し、前記レーザパルスの送信とその反射パルスの受信との時間差に基いて各物標の自車１からの距離を算出し、周知のクラスタリング処理により、各受信点を近傍のほぼ同じ距離の受信点とグループ化して撮影画像中の各物標の横幅を検出し、例えば検出した横幅の矩形の各領域を撮影画像中の各物標の領域として検出する。

このとき、ＥＣＵ８は、レーダ２の測距結果から、ほぼ自車１の前端中央を原点とする各物標の位置も同時に検出し、各物標の領域について、例えば図４のような自車１からの位置関係を認識する。

なお、（自車前方の模式的な平面図である）図４において、Ｚ、Ｘｏｆｆｓｅｔは後述する直交軸であり、αａ、αｂは物標、βａ、βｂは物標αａ、αｂの領域である。

（Ｂ）優先順序決定手段
この手段は、各領域の画像につき、操舵状態を含む自車１の走行状態から予測した自車の推定進路に近いものから順であって、かつ、自車に近いものから順に、優先順位が高い画像に選択し、画像認識処理の優先順位が高い画像に決定する。

具体的には、例えば、車速センサ４が検出する自車速の変化傾向と、舵角センサ５、ヨーレートセンサ６が検出する操舵角、ヨーレートに基く自車１の進行方向の履歴とから、自車１の今後の自車速及び進行方向を予測し、予測した自車速及び進行方向の走行軌跡から、時々刻々の自車１の推定進路を予測して更新する。

そして、例えば図４に示すように自車１が直進する場合、その推定進路中心は自車１の前後方向の車両センタ軸である図中のＺ軸に一致し、このＺ軸にほぼ自車１の前端の横幅方向（左右方向）のセンタ位置で直交するＸｏｆｆｓｅｔ軸が推定進路に対する自車１の横幅方向の軸である。

このとき、図４に示したように、自車１の前方に自車１に近いものから順の物標αａ、αｂが位置し、カメラ３の撮影画像から物標αａの矩形の領域βａ、物標αｂの矩形の領域βｂが検出されたとすると、全ての領域βａ、βｂのＺ軸、Ｘｏｆｆｓｅｔ軸の座標位置を求め、Ｚ軸の座標値が小さい順であって、Ｘｏｆｆｓｅｔ軸の座標値が小さい順に領域βａ、βｂを選択し、選択順に領域β１、β２の画像を優先順位が高い画像に選択し、全ての領域βａ、βｂについて画像認識処理の優先順序を決定してもよいが、この実施形態においては、この優先順序決定手段により、撮影画像に自車からの距離に比例して幅広になる画像認識範囲を設定し、各領域の画像を、前記画像認識範囲に属する領域の画像に制限する。

すなわち、自車前方５０（ｍ）までの範囲の物標の画像認識を行なう場合は、図４に示すように、撮影画像上で、例えば自車前方の５（ｍ）〜５０（ｍ）の範囲に、５（ｍ）の位置で最短になって５０（ｍ）の位置で最長になる自車１からみてほぼ逆台形の画像認識範囲γを設定し、この画像認識範囲γに横幅の半分以上が含まれる各領域を画像認識範囲γに属する領域とし、これらの領域の画像のみを画像認識処理を行なう認識対象の画像とする。

そして、図４においては、領域βａのみが画像認識範囲γに属し、領域βｂは画像認識範囲γに属さないため、領域βａの物標αａの画像は認識対象の画像であり、領域βｂの物標αｂの画像は認識対象外の画像であり、物標αｂの画像は優先順序をつける画像からは除かれる。

このようにすることによって、画像認識範囲γに属さない不必要な領域βｂの物標αｂの画像が自動的に画像認識処理から除かれ、ＥＣＵ８の処理負担が軽減される。

つぎに、画像認識範囲γに属する各領域の画像の優先順序を決定するため、例えば図５に示すように、画像認識範囲γに物標α１、α２の領域β１、β２が属する場合、推定進路中心からのＸｏｆｆｓｅｔ軸方向の距離が短い領域β１の画像、換言すれば、推定道路中心に近い物標α１の画像を優先順位の高い画像に選択して優先順序を決定する。

そのため、画像認識範囲γのＺ軸を中心とするほぼ自車１の横幅（車幅）のＺ軸方向の範囲δを自車１の推定進路に近い範囲とし、範囲δに属する領域β１の画像を、範囲δ外の領域β２の画像より優先順位の高い画像に選択し、領域β１の画像、領域β１の画像の順に優先順序を決定する。

さらに、例えば図６に示すように範囲δに属する複数個の物標α１＊、α２＊の領域β１＊、β２＊が存在する場合は、Ｚ軸方向の距離が短い領域β１＊の画像、換言すれば、自車１に近い物標α１＊の画像から順に優先順位の高い画像に選択し、物標α１＊、α２＊の画像の順に優先順序を決定する。

なお、範囲δ外の物標の画像についても、自車１に近いものから順に、優先順位の高い領域の画像に選択し、範囲δ内の画像に続く優先順位の画像に選択して優先順序を決定する。

したがって、画像認識範囲γにおいて、前記の範囲δに属する自車１の推定進路に近い範囲の物標の画像については、範囲δ外の物標の画像より優先して、自車１に近いものから順に優先順位を決定し、範囲δ外の物標の画像については、自車１に近いものから順に、範囲δ内の画像に続く優先順位に決定することができ、カメラ３の撮影画像中の各物標の領域のうちの推定進路にしたがって走行する自車１の前方の画像認識範囲γの各領域の画像についてのみ、自車１に最も近いものから順に、優先順位の高い画像に選択して優先順序を決定することができる。

ところで、何らかの原因で一時的な優先順序の変動が頻繁に生じるような走行環境下等において、前記の優先順序の決定に基づいて優先順序を頻繁に変更すると、画像認識処理が不安定になり、その結果、自車１の走行制御の精度低下等を招くおそれがある。

そこで、この実施形態においては、ＥＣＵ８につぎの優先順序変更手段も備える。

（Ｃ）優先順序変更手段
この手段は、画像認識処理の優先順序の決定に変化が発生したときには、複数回連続して同じ優先順位になることを条件に、各領域の画像の優先順序を変更する。

具体的には、例えば、時々刻々のレーダ２の探索結果及びカメラ３の撮影結果とに基いてくり返し決定される優先順序決定手段の優先順序につき、少なくとも最新のものから順の設定回数分（例えば秒単位の時間分）の優先順序を、それらの物標または領域の座標値とともに書き換え自在に保持し、新たな優先順序が決定されたときに、各順位の画像の座標値の変化等により、直前の優先順序との一部の入れ替え、新たな優先順序への変化が発生したか否かを検出する。

そして、前記の入れ替え、新たな優先順序への変化が発生すると、優先順序決定手段から後段の手段等に通知する優先順序は発生前の順序に保持したまま、優先順序決定の決定した優先順序が設定回数続けて同じ順序になるか否かを監視し、設定回数同じ優先順序になったときに、前記の後段の手段等に通知する画像認識処理の優先順序を、最新の順序に変更する。

そのため、優先順序決定手段が決定した優先順序に瞬時的な入れ替えや変化があっても、優先順序を不用意に変更しないようにして頻繁な変動を防止し、画像認識処理の安定化等を図ることができる。

さらに、この実施形態においては、後述するように自車前方に存在する物標が少ない場合は極力全ての物標の画像認識処理を行なうようにするため、前記の画像認識範囲γを、Ｚ軸方向及びＸｏｆｆｓｅｔ軸方向に広く設定している。そして、物標が多いときのＥＣＵ８の処理負担が大きくならないようにするため、つぎの無効画像設定手段も備える。

（Ｄ）無効画像設定手段
この手段は、自車前方の設定した認識限界距離より遠方に位置する領域の画像を、認識対象外の無効画像に設定する。また、自車の車両センタ軸もしくは推定進路中心から横幅方向に設定距離以上離れた領域の画像も、認識対象外の無効画像に設定する。

ただし、これらの認識対象外の無効画像の設定は、領域検出手段により検出された撮影画像の領域の個数がＣＰＵ８の処理能力等を考慮した設定個数（例えば、８個）より多いときにのみ実行し、検出した領域の個数が設定個数以下のときは行なわない。

すなわち、自車前方に物標が多数個存在するときは、前記の画像認識範囲γ内の領域の画像であっても、設定された認識限界距離より遠方に位置する領域の画像については、優先順決定手段に認識対象外の無効画像であることを通知し、優先順序の対象から外し、同様に、自車１の車両センタ軸もしくは推定進路中心から横幅方向に設定距離以上離れた領域の画像についても、優先順決定手段に認識対象外の無効画像であることを通知し、優先順序の対象から外す。

このようにすることで、自車前方に物標が多数個存在するときにも、優先順序がつけられる領域の画像が多くならないようにして、ＥＣＵ８の処理負担を確実に軽減することができる。なお、自車１の車両センタ軸は図４等のＺ軸であり、自車１が直進しているときは、Ｚ軸から横幅方向（Ｘｏｆｆｓｅｔ軸方向）に設定距離以上離れた領域の画像を無効画像とし、自車１がカーブ路を走行しているときは、Ｚ軸でなく推定進路中心から横幅方向に設定距離以上離れた領域の画像を無効画像とする。

一方、自車前方の物標が少ないときは、前記の画像認識範囲γに属する全ての領域の画像に優先順序がつけられ、前記の無効画像の設定を行なわないため、例えば山道での追従走行中に、撮影画像中の唯一の物標の画像である先行車の画像が画像認識範囲γの左右の端に急に移動しても、途切れることなく連続して先行車を認識して捕捉し続けることができる。なお、場合によっては、自車前方の物標が少ないときは、前記の画像認識範囲γの制限も解除し、撮影画面の全ての物標に優先順序をつけてもよい。

さらに、この実施形態においては、画像認識が不要な場合や認識の信頼度が低くなる場合等には画像認識処理を行なわないようにしてＥＣＵ８の処理負担を一層確実に低減するため、以下の各処理停止手段も備える。

（Ｅ）車速条件の処理停止手段
この手段は、車速センサ４の自車速が例えば５Ｋｍ／ｈ〜１０Ｋｍ／ｈの設定車速以下になる低速走行のときは、レーダ２の探索結果で十分であり、画像認識処理が不要であることから、優先順序決定手段に処理の禁止を指令し、優先順位の決定処理を禁止して画像認識処理を停止する。

（Ｆ）カーブ路条件の処理停止手段
この手段は、舵各センサ５の検出舵角及びヨーレートセンサ６の検出ヨーレートから自車走行路が設定値以下の推定道路半径の急カーブ路であることを検出したときに、そのような急カーブ路では、自車１の推定進路の精度が低くなり、自車速も低速になることから、優先順序決定手段に処理の禁止を指令し、優先順位の決定処理を禁止して画像認識処理を停止する。

（Ｇ）操舵条件の処理停止手段
この手段は、舵角センサが検出した自車の舵角もしくはヨーレートセンサが検出した自車のヨーレートの大きさ及び変化量がそれぞれ基準値より大きいときに、自車１の推定進路の精度が低くなると予測されることから、優先順序決定手段に処理の禁止を指令し、優先順位の決定処理を禁止して画像認識処理を停止する。

以上の各手段を備えることにより、ＥＣＵ８は、例えば図２、図３に示す手順で画像認識処理の優先順序を決定する。

すなわち、図２のステップＳ１により領域検出手段がレーダの自車前方のレーダ探索結果から図４の領域βａ、βｂのような各物標の領域を検出し、ステップＳ２により優先順決定手段が自車１の推定進路を決定し、ステップＳ３により優先順決定手段が画像認識範囲γの領域の画像を検出し、ステップＳ４によりその範囲γの検出領域の個数が設定個数か否かを、無効画像設定手段が判別する。

そして、設定個数以下のときは、ステップＳ５により、優先順決定手段が画像認識範囲γの全ての領域の画像の優先順序をつける。

さらに、ステップＳ６、Ｓ７により、優先順序変更手段が優先順序の変更の有無を判断し、必要に応じて優先順序を変更した後、ステップＳ８により、優先順序を決定して確定する。

一方、画像認識範囲γの検出領域の個数が設定個数より多いときは、ステップＳ４からステップＳ９に移行し、無効画像設定手段が認識限界距離より遠方に位置する領域の画像、自車１の車両センタ軸もしくは推定進路中心から横幅方向に設定距離以上離れた領域の画像を、無効画像に設定して除外する。

さらに、ステップＳ１０に移行し、このステップ１０により、車速条件、カーブ路条件、操舵条件の処理停止手段が図３のステップＱ１、Ｑ２、Ｑ３の判別を実行して画像認識処理の停止条件に該当するか否かを判別し、該当するときには、ステップＱ４により画像認識処理の停止に決定して図２のステップＳ１１に移行し、該当しないときは、ステップＱ４を通らずに、ステップＳ１１に移行する。

そして、画像認識処理の停止に決定したときは、優先順序を決定することなくステップＳ１に戻り、画像認識処理を行なわないようにする。画像認識処理の停止に決定しないときは、ステップＳ１１からステップＳ１２に移行して自車１に近い物標の画像から順に優先順序をつけた後、ステップＳ６に移行し、ステップＳ６〜Ｓ８の処理を行なって優先順序を決定し、確定する。

さらに、確定した優先順序にしたがって、ＥＣＵ８が各領域の画像に画像認識処理を施し、この画像認識処理の結果に基づき、例えば先行車に一定の車間距離で追従走行するように、自車１のスロットル制御ユニット９、ＡＴ（自動変速）制御ユニット１０、ブレーキユニット１１、ステアリング制御ユニット１２に必要な制御指令を与え、自車１の加減速や操舵の自動制御を行い。また、必要に応じて表示警報ユニット１３から運転状況の表示や衝突の警報を行いドライバの運転支援を行なう。

この場合、例えばＥＣＵ８の処理能力やメモリの容量等から画像認識処理する最適個数の画像を設定し、前記の優先順序にしたがって、その最適個数の物標の画像に画像認識処理を施すことにより、自車前方の全部の物標について認識処理を施す場合に比してＥＣＵ８のＣＰＵの処理負担を大幅に軽減し、自車１の走行制御に重要な物標を、重要度の高いものから順に迅速に認識することができ、ＥＣＵ８に高性能の高価なＣＰＵを用いる必要がなく、装置が高価になることもない。

そのため、安価な構成で迅速に必要な物標の画像認識処理が行なえ、この認識結果に基き、昼夜の別なく良好にＡＣＣ、自動ブレーキ制御等を行なうことができる。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、構成の簡素化等を図る場合は、優先順序変更手段、無効画像設定手段、各処理停止手段の全部または一部を省いてもよい。

また、画像認識処理の優先順序決定手法が図２、図３と異なっていてもよいのは勿論であり、画像認識範囲γ、優先順序の変更の設定回数等を、実験等に基いて適当に設定してよいのも勿論である。

つぎに、優先順序をつける物標を一層限定する場合は、例えば、画像認識範囲γに存在する時間が所定時間以下の物標、レーダ２の探索結果から横幅が０．８〜２．４の車両範囲外と推定される物標を、識対象外の無効画像に設定してもよい。

また、昼と夜とで前記の認識限界距離を切り替えるようにしてもよく、この場合、昼間は５０（ｍ）、夜間は３０（ｍ）程度にすることが実用的で好ましい。

そして、レーダ２、カメラ３等は種々の形式、方式のものあってよいのも勿論である。

ところで、自車１の装備部品数を少なくするため、例えば図１のレーダ２、カメラ３は自車１の他の制御のセンサに兼用する場合にも適用することができる。

この発明の１実施形態のブロック図である。 図１の画像認識処理の優先順序決定のフローチャートである。 図２の一部の詳細な動作説明用のフローチャートである。 図１の優先順序決定の説明図である。 図１の優先順序決定の説明図である。 図１のの優先順序決定の説明図である。

符号の説明

１ 自車
２ レーダ
３ カメラ
４ 車速センサ
５ 舵角センサ
６ ヨーレートセンサ
８ ＥＣＵ
α１、α２、α１＊、α２＊、αａ、αｂ 物標
β１、β２、β１＊、β２＊、βａ、βｂ 領域

Claims (14)

1. 自車前方のレーダ探索結果から自車前方の撮影画像に含まれた車両、路側物等の各物標の領域を検出し、
   前記撮影画像上に自車からの距離に比例して幅広になる画像認識範囲を設定し、
   前記画像認識範囲内に、操舵状態を含む自車の走行状態から予測した自車の推定進路に近い範囲を設定し、
   前記画像認識範囲に属する各領域の画像につき、
   前記推定進路に近い範囲に属する領域の画像は、前記推定進路に近い範囲外の画像より優先して、自車に近いものから順に、優先順位が高い画像に選択して画像認識処理の優先順序を決定し、
   前記推定進路に近い範囲外の領域の画像は、自車に近いものから順に、前記推定進路に近い範囲に属する領域の画像に続く優先順位の画像に選択して前記画像認識処理の優先順序を決定し、
   前記画像認識処理の優先順序の決定に変化が発生したときには、複数回連続して同じ優先順序の決定になることを条件に、前記画像認識処理の優先順序を、最新の優先順序に変更することを特徴とする画像処理方法。
2. 自車前方の設定した認識限界距離より遠方に位置する領域の画像を、認識対象外の無効画像に設定したことを特徴とする請求項１に記載の画像処理方法。
3. 自車の車両センタ軸もしくは推定進路中心から横幅方向に設定距離以上離れた領域の画像を、認識対象外の無効画像に設定したことを特徴とする請求項１または２に記載の画像処理方法。
4. 請求項２または３に記載の画像処理方法であって、
   撮影画像の領域の個数が設定個数より多いときにのみ、認識対象外の無効画像の設定を行なうことを特徴とする画像処理方法。
5. 自車速が設定車速以下になる低速走行のときに、優先順序の決定を禁止して画像認識処理を停止することを特徴とする請求項１〜４のいずれかに記載の画像処理方法。
6. 自車走行路が設定値以下の推定道路半径の急カーブ路のときに、優先順序の決定を禁止して画像認識処理を停止することを特徴とする請求項１〜５のいずれかに記載の画像処理方法。
7. 自車の舵角もしくはヨーレートの大きさ及び変化量がそれぞれ基準値より大きいときに、優先順序の決定を禁止して画像認識処理を停止することを特徴とする請求項１〜６のいずれかに記載の画像処理方法。
8. 自車前方を探索するレーダと、
   自車前方を撮影する撮像センサと、
   前記レーダの自車前方のレーダ探索結果から前記撮像センサの自車前方の撮影画像に含まれた車両、路側物等の各物標の領域を検出する領域検出手段と、
   前記撮影画像上に自車からの距離に比例して幅広になる画像認識範囲を設定し、前記画像認識範囲内に、操舵状態を含む自車の走行状態から予測した自車の推定進路に近い範囲を設定し、前記画像認識範囲に属する各領域の画像につき、前記推定進路に近い範囲に属する領域の画像は、前記推定進路に近い範囲外の画像より優先して、自車に近いものから順に、優先順位が高い画像に選択して画像認識処理の優先順序を決定し、前記推定進路に近い範囲外の領域の画像は、自車に近いものから順に、前記推定進路に近い範囲に属する領域の画像に続く優先順位の画像に選択して前記画像認識処理の優先順序を決定する優先順序決定手段と、
   前記画像認識処理の優先順序の決定に変化が発生したときには、複数回連続して同じ優先順序の決定になることを条件に、前記画像認識処理の優先順序を、最新の優先順序に変更する優先順序変更手段とを備えたことを特徴とする画像処理装置。
9. 自車前方の設定した認識限界距離より遠方に位置する領域の画像を、認識対象外の無効画像に設定する無効画像設定手段を備えたことを特徴とする請求項８に記載の画像処理装置。
10. 無効画像設定手段に、自車の車両センタ軸もしくは推定進路中心から横幅方向に設定距離以上離れた領域の画像を、認識対象外の無効画像に設定する機能を付加したことを特徴とする請求項８または９に記載の画像処理装置。
11. 請求項９または１０に記載の画像処理装置であって、
    撮影画像の領域の個数が設定個数より多いときにのみ、無効画像設定手段が認識対象外の無効画像の設定を行なうことを特徴とする画像処理装置。
12. 車速センサの自車速が設定車速以下になる低速走行のときに、優先順序の決定を禁止して画像認識処理を停止する車速条件の処理停止手段を備えたことを特徴とする請求項８〜１１のいずれかに記載の画像処理装置。
13. 自車走行路が設定値以下の推定道路半径の急カーブ路のときに、優先順序の決定を禁止して画像認識処理を停止するカーブ路条件の処理停止手段を備えたことを特徴とする請求項８〜１２のいずれかに記載の画像処理装置。
14. 舵角センサが検出した自車の舵角もしくはヨーレートセンサが検出した自車のヨーレートの大きさ及び変化量がそれぞれ基準値より大きいときに、優先順序の決定を禁止して画像認識処理を停止する操舵条件の処理停止手段を備えたことを特徴とする請求項８〜１３のいずれかに記載の画像処理装置。

Images