WO2013073310A1

WO2013073310A1 - 車載用環境認識装置

Info

Publication number: WO2013073310A1
Application number: PCT/JP2012/075886
Authority: WO
Inventors: 雅幸竹村; 彰二村松; 健志磨; 雅男坂田
Original assignee: 株式会社日立製作所
Priority date: 2011-11-15
Filing date: 2012-10-05
Publication date: 2013-05-23
Also published as: KR20140057643A; JP2013105385A; EP2782085A1; CN103930938A; JP5628137B2; US20140300731A1

Abstract

　警報や車両制御が作動する状況において精度良く認識結果を求めることができ、より高精度な車両周囲の環境認識を実現する車載用環境認識装置を得るために、車載用環境認識装置100は、撮像部110で撮像した画像に基づいて自車周囲の環境を認識する車載用環境認識装置であって、画像から予め設定された複数の検出要素を検出する検出部211～213と、複数の検出要素の少なくとも一つの検出精度を自車の状況に応じて調整する調整部320を有している。これにより、車両状況に応じた警報・車両制御部400による制御タイミングの修正、安定性向上、推定精度、算出精度の高精度化を図る。

Description

車載用環境認識装置

　本発明は、撮像部により撮像した画像に基づいて自車両の周囲環境を認識する車載用環境認識装置及びそれを用いた警報・車両制御システムに関する。

　乗用車などの車両の周囲環境を認識するカメラの開発が進められている。近年は、複数カメラを利用した複数アプリケーションを実行する周囲環境装置の開発も進んでいる。

　特許文献１では，マルチプロセッサシステムにおいて、車両動作状況に応じて、マルチアプリの中から実行すべきアプリケーションを動的に選択し、選択されたアプリケーションを複数のプロセッサに動的に割り当てることで、プロセッサの有効活用を実施している。

WO 2008/062512

　しかしながら、限られたCPU性能の中では、アプリケーションの出力性能には限界がある。車両の周囲環境に応じてアプリケーションを切り替えることで、状況に応じアプリケーションを切り替えることができても、単体のアプリケーションの性能を向上させることは困難である。

　本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、警報や車両制御が作動する状況において精度良く認識結果を求めることができ、より高精度な車両周囲の環境認識を実現する車載用環境認識装置を得ることである。

　上記課題を解決する本発明の車載用環境認識装置は、撮像部で撮像した画像から予め設定された複数の検出要素を検出する検出部と、複数の検出要素の少なくとも一つの検出精度を自車の状況に応じて調整する調整部を有している。

　本発明の車載用環境認識装置によれば、警報や車両制御が作動する状況において精度良く認識結果を求めることができ、より高精度な車両周囲の環境認識を実現することができる。したがって、車両状況に応じた警報や車両制御のタイミングの修正、安定性向上、推定精度、算出精度の高精度化を図ることができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第１実施の形態における車載用環境認識装置の構成図。車両挙動部の構成図。警報・車両制御部の構成図。アプリ制御部の構成図。各シーンにおける複数の検出処理の関与度と処理負荷の割合を示す表。各シーンにおける複数の検出処理の処理負荷の割合を示す図。処理フロー図。急な車線逸脱に対する警報・車両制御の出力例を示す図。カーブに沿った車線維持制御の出力例を示す図。第２実施の形態における車載用環境認識装置の構成図。各シーンにおける複数の検出処理の関与度と処理負荷の割合を示す表。各シーンにおける複数の検出処理の処理負荷の割合を示す図。低速横速度左車線逸脱時の警報・車両制御の出力例を示す図。高速横速度左車線逸脱時の警報・車両制御の出力例を示す図。

［第１実施の形態］
　図１は、本実施の形態における車載用環境認識装置100の構成図である。
　車載用環境認識装置100は、例えば車両に搭載されるカメラ装置が備えるマイクロコンピュータ内に設けられており、ＲＯＭ内のソフトウエアプログラムをＣＰＵで実行することによって具現化される。

　車載用環境認識装置100は、自車両が走行している車線（走行レーン）を認識するレーン認識アプリケーションを備えており、撮像部110において撮像された画像をレーン認識部210で利用して、複数の検出要素を検出し、具体的には、車線を区画する白線と自車両との横位置、ヨー角、カーブの曲がり具合を示す曲率を検出する。

　レーン認識部210は、横位置検出部211と、ヨー角検出部212と、曲率検出部213を備えており、各検出部211～213は、他の検出部とは独立に検出精度を可変に調整できる構成を有している。なお、以下では、アプリケーションを、単にアプリと称する。

　横位置検出部211では、撮像部110において撮像された画像に基づいて白線の横位置を検出する横位置検出処理Aが行われる。横位置検出部211は、白線の横位置を見つける分解能を向上させることで、横位置の検出精度を向上させることができる。ただし、それに伴って処理負荷も上がるために、アプリの制御には全体の処理時間を把握しながら、各検出部に割り当てるCPUの処理負荷を決定し、検出精度を調整する必要がある。

　ヨー角検出部212では、撮像部110において撮像された画像に基づいて自車両のヨー角を検出するヨー角検出処理Bが行われる。ヨー角検出部212は、白線の傾きの分解能を向上させることで、横位置の場合と同様にヨー角の検出精度を向上させることができる。ただし、これも横位置検出部211と同様に分解能を向上させるほど、処理時間も上昇する。

　曲率検出部213では、撮像部110において撮像された画像に基づいて自車両が走行しているカーブの曲率を検出する曲率検出処理Cが行われる。曲率検出部213においては、より高解像度な画像を利用することで、曲率の検出精度を向上させる方法がある。他にも、道路曲率が急に変化することはないとして検出精度を落とし、処理周期をレーン認識2回に対して曲率検出は1回として、他の処理にCPUの処理負荷を割り当てる方法もある。また、曲率推定用プログラムの繰り返し演算の回数を増やす手法や、曲率推定に利用する入力点の数を増やす手法などもあり、それぞれ処理時間と検出精度に影響を及ぼす。

　レーン認識部210は、各検出部211～213で検出した検出要素である横位置、ヨー角、曲率の情報を警報・車両制御部400に出力する。そして、車両挙動部500は、自車両の車速、操舵角、ヨーレートの情報を警報・車両制御部400に出力する。

　警報・車両制御部400は、レーン認識部210から出力される横位置、ヨー角、曲率の情報と、車両挙動部500から出力される車速、操舵角、ヨーレートの情報を基にして、車線逸脱抑制のための警報や車両制御の実施について判断する。警報・車両制御部400では、実際に警報や車両制御を実施する前から警報・車両制御の実施タイミングも推定している。
横位置、ヨー角、車速、操舵角から車線逸脱のタイミングが推定できる。

　警報・車両制御部400では、警報・車両制御の実施のタイミングを大まかに推定した段階で、その警報や制御を精度良く、安定的に実施するために必要な検出精度を、アプリ制御部300に対して要求する。アプリ制御部300では、警報・車両制御部400からの要求精度に応じ、レーン認識部210の検出処理の処理負荷の配分もしくは検出処理の内容を変更する。

　ただし、要求精度が高すぎて規定の処理周期で処理が完了しないような場合、処理実施内容を調整して規定処理周期T内に処理を完了するように制御する。また、警報・車両制御部400からの要求精度を、シーン別に調整する構成としても良い。このように警報・車両制御の実施の規定時間前に予測した前段階で、実施する警報・車両制御の内容に適した出力精度へ変化するように、アプリの制御をアプリ制御部300で実施する。

　図２は、車両挙動部の構成図である。
　車両挙動部500は、警報・車両制御部400に対して自車両の挙動の情報を出力する。自車両の挙動の情報は、車両に取り付けられたセンサから取得する。車両挙動部500は、車速センサから自車両の車速を得る車速部510、車輪の回転数を計測するセンサから情報を得る車輪速部520、車両のハンドルの操舵状況を計測するセンサから得られる操舵角部530、車両の走行方向の変化の度合いを示すヨーレートを計測するセンサから得るヨーレート部540、車両の横方向の加速度を計測するセンサから得る横G部550を有する。警報・車両制御部400では、これら車両挙動情報と、画像認識結果からの情報を統合して、警報・車両制御の実施を判断する際に利用する。

　図３は、警報・車両制御部の構成図である。
　警報・車両制御部400は、車載用環境認識装置100からの認識結果、本実施例においては、レーン認識部210の各検出部211～213で検出した横位置、ヨー角、曲率の情報を入力情報として利用する。また、図２において説明した車両挙動部500より得られた車両挙動の情報も入力情報として利用する。これら車載用環境認識装置100と車両挙動部500の入力情報から、車線逸脱抑制などの自車両の安全を確保するための車両制御を実施するか、もしくは安全をドライバーに喚起するための警報を鳴らす制御を実施するかどうかを警報・車両制御部400にて判断する。

　警報・車両制御部400は、予測判断部410、認識出力要求部420、警報・車両制御実施部430を有している。予測判断部410は、実際に警報・車両制御を実施する前に、自車両の安全確保のための警報・車両制御の必要があるかどうかを予測する。ここで、警報・車両制御の必要があると予測した場合には、認識出力要求部420における要求の値を変化させる。

　認識出力要求部420は、予測判断部410で実施すると予測された警報・車両制御の内容に応じて、車載用環境認識装置100に対して警報・車両制御に利用する情報であるか、また、警報・車両制御を判断、実施する際にどの程度影響を及ぼす認識結果であるかを、関与度という尺度で表現し、実施する警報・車両制御の内容に応じた認識結果の出力精度を要求する。認識出力要求部420は、アプリ制御部300に対して、環境認識結果の出力結果をより適切な精度へ変更するように要求する。

　また、予測判断部410では、警報・車両制御実施前から認識出力要求部420で、認識結果の値を適切に変更するように要求し、その後、警報・車両制御を実施するタイミングに至ると、警報・車両制御実施部430にて、より適切な認識出力を利用し、警報・車両制御を実施する。

　図４は、アプリ制御部の構成図である。
　アプリ制御部300は、レーン認識部210で検出される複数の検出要素の少なくとも一つの検出精度を自車の状況に応じて調整するものであり（精度調整部）、要求精度処理負荷換算部310と、処理負荷調整部320と、実施依頼部330を有する。

　要求精度処理負荷換算部310は、自車の状況に基づいて警報・車両制御が行われると予測される場合に、自車の状況に応じて複数の検出要素ごとに予め設定された検出精度の要求値に基づいて、各検出部211～213の処理負荷を換算する。具体的には、警報・車両制御部400にて作成された関与度という尺度で示された各認識出力に対する検出精度の要求値の表から、その関与度に応じてレーン認識アプリの各処理A～Cと、認識精度に影響しないその他の処理Zを実行した場合の処理負荷を換算する。ここでは、予測された警報・車両制御シーンの関与度、通常時の関与度、通常時の処理負荷を参照しながら、予測された警報・車両制御シーンの無調整時の処理負荷を推定する処理が行われる。

　要求精度処理負荷換算部310で換算された処理負荷は、規定処理周期T内に全ての処理が収まるかどうかを考慮せずに計算されており、各検出部211～213の各処理を合計すると、規定処理周期T内に収まらない場合も発生する。また、計算結果によっては、各処理の処理時間の合計が規定処理周期Tよりも短くなり、規定処理周期Tを大きく割り込むような、処理負荷の小さな場合も想定される。

　このため処理負荷調整部320では、この処理負荷換算結果を規定処理周期T内に収まるように処理負荷を調整し、また、処理時間に余裕がある場合には全体的に精度を上げ、より高精度で、より安定性を図った処理へ変更する。これらの処理負荷調整部320の内容を経て、実施依頼部330が、レーン認識部210に対して、より適切な認識出力精度（検出精度）となるように実行依頼を出す。

　図５は、各シーンにおける複数処理の関与度と処理負荷の割合を示す表であり、警報・車両制御の関与度に基づくCPUの処理負荷の配分を示している。

　図５には、警報・車両制御部400において、レーン認識アプリに対してレーン認識結果をより適切な認識精度となるように依頼するための関与度が示されている。縦方向には自車の状況（シーン）を示し、各状況に応じた認識出力結果それぞれに関する関与度の数値を示している。自車の状況とは、警報・車両制御に関する自車の状態の変化を示し、本実施の形態では、通常時、低速横速度車線逸脱時、高速横速度車線逸脱時、カーブ中車線中央走行制御時について述べる。

　通常時とは、車線内を走行中であって安全確保のための警報や車両制御が対象外とされるような場合のレーン認識状況を示し、具体的には、走行レーン中央付近を走行している状況で車線逸脱予想時間がＳ秒以上の場合である。ただし、図９に示すように、同様にＳ秒以上でありなおかつ曲線路　曲率半径８００ｍ以下のカーブを走行する場合を、カーブ中車線中央走行制御時とする。車線逸脱予想時間Ｓ秒未満の場合は、図８に示すように車線に対する車両の傾きヨー角が大きく、横方向へ移動する速度、横速度がＦ[m/s]以上の場合には高速横速度車線逸脱時と定義し、反対に横速度が閾値Ｆ[m/s]未満の場合には低速横速度車線逸脱時と定義する。

　レーン認識を利用した警報・車両制御では、低速横速度車線逸脱時（警報・車両制御）、高速横速度車線逸脱時（警報・車両制御）、カーブ走行中の車両制御の、警報や制御が作動するシーンについて、警報や制御を実施するために認識出力の各検出要素（横位置、ヨー角、曲率）がどの程度関与するかどうかを関与度という指標を用いて示す。

　関与度は、実施予定の警報・車両制御に対して、レーン認識アプリの複数の認識処理（横位置検出処理A、ヨー角検出処理B、曲率検出処理C）の認識出力を、どの程度利用するかということと、警報・車両制御をより高精度、より安定的に実施するために適した認識精度を要求するという意味合いを含めて予め数値が設定されている。

　通常時の関与度と比較して、値が高ければ、そのシーンにおいて警報・車両制御の実施に大きく関与する認識出力であることを意味する。反対に、数値が低い場合には、その警報・車両制御の実施時に、ほぼ参照されていない認識出力であることを意味し、その認識出力は、そのシーン前後において必ずしも高精度、安定性を必要としないことを意味する。このように関与度は、警報・車両制御部400の認識出力要求部420にて設定し、図５の関与度の表は、アプリ制御部300で参照される。

　図５の中央の列に並ぶ表は、処理負荷換算表であり、関与度を受け取ったアプリ制御部300の要求精度処理負荷換算部310にて計算される。関与度で表された数値をそのまま処理に反映した場合においてCPUの処理負荷がどの程度になるかを推定するための計算を実施している。

　低速横速度車線逸脱時の横位置に関する処理負荷の計算例を以下に示す。ここでは、通常時の警報・車両制御関与度とレーン認識部処理負荷を参照しながら、低速横速度車線逸脱時の横位置の関与度から、低速横速度車線逸脱時の横位置の処理負荷が計算される。
レーン認識部処理負荷（低速横速度車線逸脱時の横位置の処理負荷）＝
（[低速横速度車線逸脱時の横位置検出処理Aの関与度]/[通常時の横位置検出処理Aの関与度]）×[通常時の横位置検出処理Aの負荷]
　46≒45.454545…=(50/33)×30

　このように、処理負荷換算表では、規定処理周期T内にレーン認識アプリの動作が終了するかどうかということとは無関係に、警報・車両制御側が要求する認識精度を実現するにはどの程度の処理負荷になるかを、関与度に基づいて算出する。

　次に、図５の一番右側の列は、処理負荷換算表により算出した各処理の処理負荷が規定処理周期T内に収まるように、各処理の処理負荷を再分配した処理負荷再分配表である。
この処理負荷再分配表には、CPUの処理負荷を再分配して、全体で100％以下に収まるよう調整を加えた結果が示されている。ただし、複数の処理のうち、認識精度に影響しない、その他の処理Ｚに関しては、レーン認識の精度に関係なく、必ず実行する処理であり、その処理負荷は常に一定であり、再分配においても影響はないように計算する。

　処理負荷換算表の総計が100%を超える場合、通常時の関与度以下の関与度の値に関しては、処理負荷換算表の処理負荷を確保する。そして、通常時の関与度を超える値に関しては、全体で100%となるように、処理負荷の再分配を実施する。

　例えば、低速横速度車線逸脱時の処理負荷換算表の結果が、横位置検出処理Aが46%、ヨー角検出処理Bが23%、曲率検出処理Cが16%、その他の処理Zが20%となった場合、処理B、C、Zの処理負荷は、再分配を適用せずにそのまま値を維持する。すなわち、処理Zに関しては、処理負荷を低減する方法がなく、処理B、Cに関しては通常時よりもＣＰＵ負荷が低いためこれ以上の削減を控える必要があることから、再分配は適用しない。

　一方、処理Aに関しては、通常時より処理負荷分担が増えているので、処理負荷の再分配が行われる。処理Aの処理負荷は、下記の式に基づいて再分配される。
　100-(処理Bの処理負荷換算値)-(処理Cの処理負荷換算値)-(処理Zの処理負荷換算値)
　　＝処理Aの再配分後の処理負荷
　100-23%-16%-20%=41%

　すなわち、処理Aは、再分配によって46%から41%に変更される。これにより、低速横速度車線逸脱時の再分配後の処理負荷は、処理Aが41%、処理Bが23%、処理Cが16%、処理Zが20%となる。

　また、通常時より処理負荷分担が増えているロジックが複数あった場合には、処理負荷換算表の処理負荷の大きさも考慮し、CPU負荷の再分配を実施する。例えば、処理Aの処理負荷の換算値が45%、処理Bの処理負荷の換算値が35%であり、処理Aと処理Bの再配分後の処理負荷の合計を75%にする必要がある場合には、下記の計算式により再配分値が算出される。
　処理Aの再配分値　42.2% ≒　75% * {A(45%)/ (A(45%)+B(35%))}
　処理Bの再配分値　32.8% ≒　75% * {B(35%)/ (A(45%)+B(35%))}

　このように処理負荷調整部320では、処理負荷再分配表では、最低認識精度を保証しつつも、より警報や制御を高精度、安定的に実施できるようなCPUへの処理負荷の再分配を実施する。この処理負荷の再分配値をベースにして、次フレームの認識処理を実施するように依頼を実施依頼部330よりレーン認識部210に出す。

　図６は、各シーンにおける複数の検出処理の処理負荷の割合を示す図である。
　通常時に対して、警報・車両制御が実施されるシーン（低速横速度車線逸脱時、高速横速度車線逸脱時、カーブ中車線中央走行制御時）では、レーン認識における各処理A～Cの処理負荷の配分を動的に変更することで、より高精度で安定的な警報や制御を実施する。各シーンで警報や制御を実施する際に重要視される認識出力の精度を向上するために、認識処理の処理負荷を上げていることが確認できる。

　例えば、低速横速度車線逸脱時は、低速で横方向へ移動しているため、横位置の情報が警報・車両制御の結果に大きく影響する。したがって、処理Aの処理負荷が通常時よりも上げられている。そして、高速横速度車線逸脱時は、高速で横方向へ移動しているため、ヨー角の情報が警報・車両制御の結果に大きく影響する。したがって、処理Bの処理負荷が通常時よりも上げられている。また、カーブ中車線中央走行制御時は、多少の横位置ずれよりも、カーブに沿って車線の中央を走行する制御のため、ヨー角と曲率の情報が警報・車両制御の結果に大きく影響する。したがって、処理Bと処理Cの処理負荷が通常時よりも上げられている。　

　図７は、車載用環境認識装置を用いた警報・車両制御システムの処理フロー図である。
　ステップS1では、撮像部110（車載カメラ）により自車両の周囲が撮像され、ステップS2では、その画像を利用してレーン認識処理（処理A～C、Z）が実施される。初期動作に関しては、通常時の処理負荷のまま実施される。

　ステップS3では、車両挙動及びレーン認識処理の認識結果が警報・車両制御部400で利用可能となった状況から、初めての各警報・車両制御シーンかどうかが判定される。レーンの認識結果が不認識、もしくは、動作して間もなくまだ警報・車両制御に使うには早いと判断されているような場合には、Noと判断される。

　警報・車両制御に利用可能なレーン認識の状況下では、警報・車両制御が今後発生しそうであり、警報・車両制御を実施予定であるかなどの予測判断が、警報・車両制御部400の予測判断部410で実施される。そして、上記初めての各警報・車両制御シーンであると判定された場合には、Yesと判断され、警報・車両制御に関して上記以外であり、実施と予測判断できない場合には、Noと判断される。

　ステップS3でNoの場合、図５の通常時の処理を実施するのみであり、フローもNoの経路をたどり、これまでの認識処理から変更することなく、レーン認識アプリの認識処理を実施し、カメラの撮像に至り、次フレームの処理を繰り返す処理となる。

　ステップS3でYesの場合、すなわち、予測判断部410において今後警報・車両制御を実施予定だと判断された場合には、どのシーンにおいて何秒後に警報・車両制御が実施されるかということを予測すべく、ステップS4に移行する。

　ステップS4では、予測判断部410での予想が規定時間前に達した場合、規定時刻に実施すると予測される警報・車両制御の内容とその時刻を認識出力要求部420へ伝える。認識出力要求部420は、規定時刻後に実施する警報・車両制御の内容に応じて、より適切な警報・車両制御を実施するために必要な認識出力の精度を向上させる要求をする。

　そして、規定時刻後の警報・車両制御に利用しない出力は停止させ、重要視されない出力は精度低下させることで、CPUの処理負荷を軽減し、また、重要視される出力への処理負荷を増やすことで、実施予定の警報・車両制御の精度、安定性を向上することに貢献する。

　認識出力の停止や、精度低下、精度維持、精度向上などは、警報・車両制御への関与度という指標に基づいて調整する。認識出力が警報・車両制御へどの程度、関与するかを考慮し、関与度として数値化する。

　要求される認識出力の精度を反映させて、警報・車両制御に利用される情報の高精度、高安定性を確保し、また、利用しないもしくは重要視されない情報の精度低下を許容することで、ドライバーから見た警報・車両制御の高精度化、高安定性化を試みる。

　関与度では、認識アプリケーションが規定処理周期内に完了するかどうかということを考慮せずに、高精度な警報・車両制御を実施するために要求したい精度と、最低でも保証したい精度を関与度という指標に反映させる。

　ステップS5では、要求精度処理負荷換算が行われる。例えば、規定処理周期T内に各処理A～C、Zが完了せずに処理時間が伸びるような場合には、認識結果が遅れて出力されることとなり、警報・車両制御の遅延要因として基本的に望ましくない。このため、規定処理周期内に処理が完了するかどうかを、まずは見極める必要がある。

　そこで、関与度で要求されている認識精度を実現するためには、どの程度の処理負荷となるかを計算する必要がある。このため、ステップS5では、予測された警報・車両制御シーンの関与度、通常時の関与度、通常時の処理負荷を参照しながら、予測された警報・車両制御シーンの無調整時の処理負荷を推定する。この要求精度処理負荷換算は、アプリ制御部300の要求精度処理負荷換算部310にて行われる。

　ステップS6では、レーン認識アプリの各処理の処理負荷調整が行われる。レーン認識の各処理が規定処理周期T内に早期に終了する場合、もしくは規定処理周期T内に終了しないことが明らかな場合には、各処理の処理負荷を再分配して調整する。規定処理周期T内で早期に終了する場合には、全体の認識精度を同率で向上すべく、すべてを足して１００％の規定処理周期Tで終了するような調整を実施する。処理負荷再分配表における処理負荷率は１アプリ規定周期内に処理できる総負荷を100%としている。

　一方、規定処理周期T内に全ての処理が収まりきらず、終了しないことが明らかである場合には、各処理の少なくとも一つの処理の処理負荷を低減させる必要がある。通常処理の関与度と比較して、通常関与度以下の数値の場合には、その処理負荷を保証することとし、精度向上のための処理負荷が高い項目を低減の対象とする。各処理の処理負荷をすべて加算して100%となるような処理負荷とするために、精度向上を示す項目の総計を調整する。調整処理の詳細については、図５に記載の通りとする。この処理負荷調整は、アプリ制御部300の処理負荷調整部320にて行われる。

　ステップS7では、ステップS6による処理負荷の調整後に、その調整後の処理負荷に従って各検出部211～213がそれぞれの認識処理を実施するように、アプリ実施依頼を行う。アプリ実施依頼は、アプリ制御部300の実施依頼部330からレーン認識部210に対して出される。

　以下に、各シーンについて効果と処理負荷の分配例について示す。
（１）低速横速度車線逸脱時について
　低速横速度車線逸脱時における車線逸脱では、車線に対する車両の傾きは小さいものと仮定することができ、車線に対する車両の傾きを示すヨー角の検出精度は、それほど高い必要性がない。時々刻々と変化する横位置の値を見ているだけで、今後の警報・車両制御の予測が可能である。また、曲率についても、警報・車両制御の直前においては、更新の必要性が低いと考えられる。

　このため、横位置が警報・車両制御に大きく関与するとして通常時よりも関与度を上げ、その他のヨー角、横位置に関しては関与度を低下させている。これにより、低速横速度車線逸脱時の警報・車両制御に重要な判断基準となる横位置の検出精度、安定性を向上し、ヨー角、曲率の処理負荷を抑制することで、ドライバーに与える警報・車両制御の精度、安定性を向上させることができる。

（２）高速横速度車線逸脱時について
　高速横速度車線逸脱時における車線逸脱では、車線に対する車両の傾きが大きく車線に対する車両の傾きを示すヨー角の検出精度が、今後、車線逸脱するかの予測に重要な要因となる。また、横位置に関してもある程度の精度を必要とする。一方、曲率については、警報・車両制御の直前においては、更新の必要性が低いと考えられる。

　このため、ヨー角が警報・車両制御に大きく関与するとして通常時よりも関与度を上げ、横位置に関しては関与度をほぼ維持してその精度を保持し、曲率に関しては関与度を大きく低下させる。これにより、高速横速度車線逸脱時の警報・車両制御に重要な判断基準となるヨー角の検出精度、安定性を向上し、曲率の処理負荷を抑制することで、ドライバーに与える警報・車両制御の精度、安定性を向上させることができる。

（３）カーブ中車線中央走行制御時について
　カーブ中の車線中央走行制御時は、自車両を道路のカーブに沿って走行させることが重要な要素となる。このため、車線中の横位置などは、多少検出精度に誤差があっても影響が少ない。また、横位置の更新周期が多少遅くなっても大きく影響を与えることはない。一方、道路に沿って自車両を走行させるには、自車両の傾きヨー角と、道路の曲がり具合を示す曲率が重要な要素となる。このため、警報・車両制御に大きく影響を与えるヨー角、曲率については通常時よりも関与度を上げ、制御には大きな影響を与えない横位置については、関与度を下げて対応する。これにより、カーブ中の車線中央走行制御時の警報・車両制御に重要な判断基準となるヨー角と曲率の検出精度、安定性を向上し、横位置の処理負荷を抑制することで、ドライバーに与える警報・車両制御の精度、安定性を向上させることができる。

　図８（ａ）は、急な車線逸脱に対する警報・車両制御の出力例を示す図、図８（ｂ）は、急な車線逸脱状態を模式的に示す図である。図８の実施例では、急な車線逸脱時に曲率の関与度を０とした場合の例を示す。なお、図８（ｂ）の一対の実線は、車線11の境界線を示し、点線は、車線11の中心を示すものである。

　自車両１が直線状の車線11を走行中に、右側に急に車線を逸脱した場合、車線逸脱時の警報や制御に曲率の項を考慮して計算するよりも、横位置とヨー角を精度良く算出することに特化したほうが、全体としての警報・車両制御の精度が向上する。したがって、曲率の関与度を０とし、処理A、Bのみを実施し、処理Cを省略している。認識出力が警報・車両制御前後に明らかに変化する、実施例の一つである。

　図９（ａ）は、カーブに沿った車線維持制御の出力例を示す図、図９（ｂ）は、カーブ走行状態を模式的に示す図である。
　図９（ａ）では、カーブ12に沿った車線維持制御時に横位置の関与度を３フレーム中2回を０として処理Aの実施回数を減少させた場合の例を示す。カーブ12に沿った車線維持制御時は、車線の曲がりぐらいに沿って走ることが優先されるために、多少車線中央からずれるよりも、レーンに沿って安定走行することが重要視される。このため、曲率の項を重要視して計算し、横位置の更新が多少遅れても問題ないとする。横位置関与度を０にすることで、出力を飛ばし、ヨー角、曲率の検出結果を重要視し、全体としての警報・車両制御の精度を向上させる。

　上記構成を有する車載用環境認識装置によれば、複数の認識処理の処理負荷の割合を状況に応じて変更させて、重要度の低い認識処理については処理負荷を減少させ、その減少分だけ、重要度の高い認識処理についての処理負荷を増加させる。したがって、より細かく正確な認識処理を行うことができ、かかる認識内容に基づく警告・車両制御を正確に行うことができる。すなわち、警報や車両制御が作動する状況において精度良く認識結果を求めることができ、より高精度な車両周囲の環境認識を実現することができる。したがって、車両状況に応じた警報や車両制御のタイミングの修正、安定性向上、推定精度、算出精度の高精度化を図ることができる。

［第２実施の形態］
　次に、本発明の第２実施の形態について説明する。図１０は、第２実施の形態における車載用環境認識装置の構成図である。なお、第１実施の形態と同様の構成要素には、同一の符号を付することでその詳細な説明を省略する。

　車載用環境認識装置101は、撮像部110で撮像された画像を処理する画像処理部200を有している。画像処理部200は、その中に複数のアプリケーション、すなわち、レーン認識と側方車両検知を行うマルチアプリを有しており、レーン認識部210と側方車両検知部220を有している。

　側方車両検知部220は、警報・車両制御に関与する出力精度を調整可能な検出部として、左側方検出部221と右側方検出部222を有する。左側方検出部221は、自車両の左側方における車両の存在を検出し、右側方検出部222は、自車両の右側方における車両の存在を検出する。

　画像処理部200は、これらレーン認識部210と側方車両検知部220の認識結果を警報・車両制御部400に出力する。警報・車両制御部400では、車両挙動部500からの車両挙動情報と併せて、警報・車両制御の実施について予測し、判断する。

　次に、各シーンにおける動作の違いについて、図１１～図１４を用いて説明する。
　図１１は、各シーンにおける複数処理の関与度と処理負荷の割合を示す表、図１２は、各シーンにおける複数処理の処理負荷の割合を示す図、図１３（ａ）は、低速横速度左車線逸脱時の警報・車両制御の出力例を示す図、図１３（ｂ）は、車線逸脱状態を模式的に示す図、図１４（ａ）は、高速横速度左車線逸脱時の警報・車両制御の出力例を示す図、図１４（ｂ）は、急な車線逸脱状態を模式的に示す図である。

　図１１、図１２で、処理負荷再分配表の％表示は、レーン認識部のデフォルト処理時間50msecが100%として計算されている表示で、車両検知部もデフォルト処理時間50msecで100％として計算されている。それぞれのアプリのデフォルト処理時間が異なるような場合には、合わせて規定周期Ｔとなるような計算であれば、総処理負荷には問題ない。このため各アプリのデフォルト処理時間が異なる場合には、処理負荷再分配表の２アプリの合計％が200％を超える場合もありうる。

（１）低速横速度左車線逸脱時について
　低速横速度車線逸脱時の車線逸脱は、図１３（ｂ）に示すように車線11に対する自車両１の傾きは小さいものと仮定することができる。したがって、レーン認識に関しては、車線11に対する自車両１の傾きを示すヨー角の認識精度はそれほど高い必要性がない。時々刻々と変化する横位置の値を見ているだけで、今後の警報・車両制御の予測が可能である。また、曲率についても、警報・車両制御の直前においては、更新の必要性が低いと考えられる。

　このため、横位置が警報・車両制御に大きく関与すると考え、図１１に示すように、横位置検出処理Aの関与度を通常時の33%から50%に上昇させ、ヨー角及び曲率に関しては検出処理B、Cの関与度を通常時の33%から25%に低下させている。

　これにより、低速横速度車線逸脱時の警報・車両制御に重要な判断基準となる横位置の検出精度、安定性を向上し、ヨー角、曲率の処理負荷を抑制し、ドライバーに与える警報・車両制御の精度、安定性を向上させることができる。

　側方車両検知に関しては、左側に車線変更する際に、自車両１から離れた方の隣接車線の車両を検知する必要は必ずしもないと考え、右側方検出処理は一時的に処理を停止しても問題ないと考える。

　そこで、関与度は、図１１に示すように、左側方のみを通常時の関与度50%と同様の関与度50%で実施し、反対側の右側方に関しては、車両検知の一時停止を意味する関与度０%を設定する。

　これにより、低速横速度車線逸脱時の警報・車両制御に不要な処理負荷を削減することで、警報・車両制御に関連する出力の認識精度を向上するためにCPU負荷を割り当てることができ、ドライバーが感じられる警報・車両制御の精度、安定性を向上させることができる。

　最終的に、処理負荷再配分表に示すように、認識出力精度に関係する項目のみを再調整する。図１１では、レーン認識部210のその他の処理Z（20%）と、車両検知部220の車両その他の処理Y（10%)は、認識出力の精度に関連せずに必要な処理であり、認識精度に影響することなく必要な処理時間である。

　再分配の際には、これらの項目（その他の処理Z及び車両その他の処理Y）は、再分配の対象外とし、全ての項目の割合の総計が、２つのアプリケーションであれば２００％となるような調整を実施する（図１２の通常時を参照）。

　この際に、１つのアプリケーションとは異なり、もともと側方車両検知の処理負荷分として配分されているCPU処理負荷領域を、図１２の低速横速度車線逸脱時や高速横速度車線逸脱時、あるいは、カーブ中車線中央走行制御時に示すように、レーン認識が利用するような負荷分配を行っても問題ない。

　マルチアプリケーションの方が、CPU処理負荷の適応的な処理負荷の分配が可能であり、より精度向上の有効性が高くなる。特に、車線逸脱のシーンに関しては、不必要となる車線逸脱と反対側の隣接車線の車両検知の処理を省くことで、警報・車両制御に重要なレーン認識の処理について高精度化、高安定化を図り、ドライバーに高精度、高安定な警報・車両制御を提供することができる。

（２）高速横速度左車線逸脱時について
　高速横速度車線逸脱時の車線逸脱は、図１４に示すように、車線11に対する自車両１の傾きが大きいものと仮定できる。したがって、レーン認識に関しては、車線11に対する自車両１の傾きを示すヨー角の認識精度が、車線逸脱するかの予測に重要な要因となり、また、横位置に関してもある程度の精度を必要とする。一方、曲率については、警報・車両制御の直前においては、更新の必要性が低いと考えられる。

　このため、ヨー角が警報・車両制御に大きく関与するとし、図１１に示すように、ヨー角検出処理Bの関与度を通常時の33%から50%に上昇させ、横位置に関しては横位置検出処理Aの関与度をほぼ維持してその精度を30%に保持し、曲率に関しては曲率検出処理Cの関与度を通常時の33%から20%まで大きく低下させている。

　これにより、高速横速度車線逸脱時の警報・車両制御に重要な判断基準となるヨー角の検出精度、安定性を向上し、曲率の処理負荷を抑制することで、ドライバーに与える警報・車両制御の精度、安定性を向上させることができる。

　側方車両検知に関しては、上記低速の場合と同様に左側に車線変更する際に、自車両からは離れた方の隣接車線の車両を検知する必要は必ずしもないと考え、右側方検出処理は一時的に処理を停止しても問題ないと考える。

　これにより、高速横速度車線逸脱時の警報・車両制御に不要な処理負荷を削減することで、警報・車両制御に関連する出力精度の認識精度を向上するためにCPU負荷を割り当てることができ、ドライバーが感じられる警報・車両制御の精度、安定性を向上させることができる。

　上記同様に、CPU処理負荷の再分配を実施する。図１２の高速横速度車線逸脱時の処理負荷配分に示すように、側方車両検知の処理負荷分として分配されているCPU処理負荷領域をレーン認識の処理負荷に割り当てることによって、車線逸脱中に処理負荷を高めたいレーン認識と、処理負荷を低下させてもユーザには影響のない側方車両検知を組み合わせることで、ユーザの利便性を損なわないようにしながらも、車線逸脱時の判定の認識精度向上を行うことを可能とする。

（３）カーブ中車線中央走行制御時
　カーブ中の車線中央走行制御時は、自車両を道路のカーブに沿って走行させることが重要な要素となる。このため、車線中の横位置などは、多少認識精度に誤差があっても影響が少ない。また、横位置の更新周期が多少遅くなっても大きく影響を与えることはない。
一方、道路に沿って自車両を走行させるには、自車両の傾きヨー角と、道路の曲がり具合を示す曲率が重要な要素となる。このため、警報・車両制御に大きく影響を与えるヨー角、曲率については関与度を上げ、制御には大きな影響を与えない横位置については、関与度を下げて対応する。

　側方車両検知に関しては、左右隣接車線の車両を監視すべく、通常通りの関与度とする。このため、車両検知の処理負荷分は、そのまま車両検知が利用し、レーン認識の処理負荷分内で出力精度を変化させるためのCPU負荷の再分配を実施する。図１２に再分配後の処理負荷を記す。

　図１３は、低速横速度左車線逸脱時の警報・車両制御の出力例を示す図、図１４は、高速横速度左車線逸脱時の警報・車両制御の出力例を示す図である。
　図１３及び図１４では、極端に関与度を操作した場合の認識出力例を示している。通常の認識出力では、レーン認識（横位置、ヨー角、曲率）、車両検知（左車両、右車両）の認識出力を出力する。しかし、図１３に示すように、低速横速度左車線逸脱時に、極端な処理負荷の再分配を行った例では、関与度を大きく調整し、ヨー角（処理B）と曲率（処理C）と右車両（処理E）の認識出力結果を停止させるような関与度の配分を実施し、横位置（処理A）、左車両（処理D）に処理負荷の再分配を行う。これにより、警報・車両制御を利用するユーザにとっては、警報・車両制御の精度が向上したかのように体感させることが可能となる。

　同様に、図１４に示すように、高速横速度左車線逸脱時に、極端な処理負荷の再分配を行った例では、関与度を大きく調整し、曲率（処理C）と左車両（処理D）の認識出力結果を停止させるような関与度の配分を実施し、横位置（処理A）、ヨー角（処理B）、右車両（処理E）に処理負荷の再分配を行う。これにより、警報・車両制御を利用するユーザにとっては、警報・車両制御の精度が向上したかのように体感させることが可能となる。

　上記構成を有する車載用環境認識装置によれば、認識結果の情報を利用して警報や車両制御を実施する警報・車両制御部と連携して、警報や車両制御に利用する認識結果の情報の精度が向上するように、各アプリケーションの処理分解能、画像解像度、認識距離、処理周期、処理タイミング、などを変更することができる。したがって、警報や車両制御が作動する状況において精度良く認識結果を求めることができ、より高精度な車両周囲の環境認識を実現できる。

　以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

100　車載用環境認識装置
110　撮像部
210　レーン認識部
211　横位置検出部
212　ヨー角検出部
213　曲率検出部
221　左側方検出部
222　右側方検出部
300　アプリ制御部（精度調整部）
310　要求精度処理負荷換算部
320　処理負荷調整部
330　実施依頼部
400　警報・車両制御部
410　予測判断部
420　認識出力要求部
430　警報・車両制御実施部
500　車両挙動部
510　車速部
520　車輪速部
530　操舵角部
540　ヨーレート部
550　横G部

Claims

　撮像部で撮像した画像に基づいて自車周囲の環境を認識する車載用環境認識装置であって、
　前記画像から予め設定された複数の検出要素を検出する検出部と、
　前記複数の検出要素の少なくとも一つの検出精度を自車の状況に応じて調整する精度調整部と、
　を有することを特徴とする車載用環境認識装置。
　前記精度調整部は、
　前記自車の状況に基づいて警報・車両制御が行われると予測される場合に、前記自車の状況に応じて前記複数の検出要素ごとに予め設定された検出精度の要求値に基づいて、前記検出部が前記複数の検出要素を検出する検出処理を実行したときの処理負荷を換算する要求精度処理負荷換算部と、
　該要求精度処理負荷換算部により換算された処理負荷で前記検出部が前記検出処理を実行した場合に、前記検出処理が規定処理周期内に収まるか否かを判断し、判断結果に応じて前記複数の検出処理のうち少なくとも一つの検出処理の処理負荷を調整する処理負荷調整部を有することを特徴とする請求項１に記載の車載用環境認識装置。
　前記処理負荷調整部は、前記検出処理が規定処理周期内に収まらないときは、前記複数の検出処理のうち少なくとも一つの検出処理の処理負荷を低減させることを特徴とする請求項２に記載の車載用環境認識装置。
　前記処理負荷調整部は、前記検出処理の処理時間が規定処理周期よりも短いときは、前記複数の検出処理のうち少なくとも一つの検出処理の処理負荷を増加させることを特徴とする請求項２に記載の車載用環境認識装置。
　前記精度調整部は、自車の状況に応じて前記複数の検出処理の少なくとも一つの検出処理を省略させることを特徴とする請求項１に記載の車載用環境認識装置。