JP7350168B2 - 画像処理装置 - Google Patents

Description

本発明は、自動二輪車等の車両に設置され、カメラから外界状況を取得し、外界状況を認識し、制御信号を生成する車載制御装置のうち、特に画像処理装置に関する。

安全かつ快適な車社会の実現のため、運転支援システムの導入が進んでいる。例えば、ＡＣＣ：Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）は設定した車速内で、前方の車との車間距離を保ちながら、追従走行を行う。

自動二輪車は、制動時や駆動時、路面状況などにより生じる車体前後の沈み込み量が大きいことが、四輪車（いわゆる自動車）との相違点として挙げられる。特に画像認識用のカメラを用いてＡＣＣを実現する場合、自動二輪車では、車体前後の沈み込みが発生した際にカメラのトラッキング処理が追い付かず、トラッキングに失敗する可能性が高くなる。ＡＣＣに限らず、画像認識用のカメラを用いる場合には、車両に生じる車両挙動、特にピッチ角の傾きに対応する課題がある。

特許文献１には、画像処理部にて撮像画像から認識に使用する画像を生成する際に、車両挙動を考慮して切り取り範囲を変更するという技術が示されている。特許文献１には、四輪など他の車両向けに開発したカメラにおいて、画像処理部で撮像画像から認識部で使用する画像を切り出す際に、センサ情報から車両に生じたピッチ角を求め、ピッチ角に応じて画像処理部における撮像画像の切り取り範囲を設定することで、認識部に渡す画像を生成する段階でピッチ角の影響を除去させる、切り取り方式を利用することが記載されている。

特開２０１４－１４３５４７号公報

特許文献１の技術を、トラッキング処理にそのまま適用すると、ピッチ角による切り取り位置補正方向とトラッキング処理で予測される検知対象の移動方向が異なる場合に、検知対象が移動する方向の画像が画像処理段階で切り取られてしまうと、探索範囲内に検知対象を捉えることが出来なくなる可能性がある。また、従来技術は、センサ情報から自車両のピッチ角を推定して切り取り範囲を変更するものであるため、センサ情報が不正な値を出力した際に切り取り範囲を誤る可能性がある。したがって、従来技術である切り取り方式では、ピッチ角が発生した際のトラッキング処理の精度の課題は解決できない。

本発明は、トラッキング処理の精度向上を実現することができる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、車載カメラで撮像された複数のフレーム画像毎に対象物体の探索範囲を設定し、前記対象物体を時系列で追跡するトラッキング処理部と、車両のピッチ角情報を用いて、前記探索範囲を変更する探索範囲計算部とを有することを特徴とする。

本発明によれば、トラッキング処理の精度向上を実現することができる画像処理装置を提供する。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１における画像処理装置の概略ブロック図。 本発明が対応するトラッキング処理の例。 本発明の実施例１における従来技術との差異を示す例。 本発明の実施例１における信頼度によって探索範囲を設定する例。 本発明の実施例１における画像処理のフローチャート。 本発明の実施例１におけるロール角に対する適用例。 本発明の実施例２における画像処理装置の概略ブロック図。 本発明の実施例２における画像処理のフローチャート。 本発明の実施例３における画像処理装置の概略ブロック図。 本発明の実施例３における画像処理のフローチャート。

以下、本発明の実施形態を図面に基づいて説明する。
なお、以下の各実施例では、本発明の画像処理装置を自動二輪車に適用した場合を例に説明するが、本技術は自動二輪車に限定されない。例えば３輪バイクの様な自動三輪車やトラックのような自動四輪車等のピッチングが発生しうる車両全てに適用可能である。

従来から、カメラで撮像した画像の認識により、物体を検出し、検知対象を時系列で追跡するトラッキング処理がある。トラッキング処理の例について、図２を用いて説明する。まず、図２（ａ）に示す画像のように、過去フレーム（フレームｎ-１）から検知対象を検出し、検出対象に識別子を付加する。図２（ａ）に示す例では、自動二輪車に識別子Ａを付加し、先行車に識別子Ｂを付加している。

続いて、過去フレームにおけるトラッキング処理結果からカルマンフィルタを用いて、検知対象Ａ、Ｂの位置や移動方向を予測する。そして、予測結果から現在フレーム（フレームｎ）における検知対象Ａ、Ｂの探索範囲を設定する。図２（ｂ）に示す例では、自動二輪車Ａが自車両に接近する方向、つまり、画像内を左下方に移動すると予測して、探索範囲が設定され、また、先行車Ｂが自車から離れる方向、つまり、画像内を上方に移動すると予測して、探索範囲が設定されている。

続いて、現在フレームに設定された探索範囲を探索する。そして、現在フレームにおける物体の検出結果と予測結果とを対応付けることによって、現在フレームにおいて検出された検知対象と過去フレームの検知対象Ａ、Ｂとが同様の物体であるかを判断する。現在フレームの検知対象を過去フレームの検知対象Ａ、Ｂと同様の物体と判断すれば同様の識別子を付加し、過去フレームと異なる物体と判断した場合は新たに識別子を付加する。

上記トラッキング処理は、過去フレームと現在のフレームとを対応付けて認識を行うが、その際、カメラ位置が一定である前提で処理される。しかし、自車両にピッチ角が発生するとカメラ自体も傾き、フレーム内の検知対象の位置が移動してしまう。ピッチ角によりフレーム内の検知対象の位置が変わってしまうと、過去フレームと現在フレームとの間における検知対象の対応付けが出来ず、トラッキングが失敗するという課題がある。したがって、トラッキング処理において、車両に生じる車両挙動、特にピッチ角の傾きに対応する必要がある。

オートバイなどの自動二輪車は、四輪の乗用車と比較して、制動時や駆動時、路面状況などにより生じる車体前後の沈み込み量が大きいという特性がある。したがって、例えば自動二輪車に、乗用車用の画像処理装置をそのまま搭載し、画像認識用のカメラで撮像した画像を用いて認識処理を行った場合に、探索範囲内に検知対象を捉えることが出来なくなる可能性があり、トラッキング処理において自動二輪車の車体に発生するピッチ角の影響によりトラッキングを失敗してしまうおそれがある。

各実施例では、従来のように画像処理部で車両挙動を考慮した画像の切り取りを行うのではなく、任意の車両のピッチ角の傾きに対して、その傾きの情報を認識カメラの認識部にて利用する処理を実行する。本発明では、課題（１）ピッチ角に変化が発生した場合にどのようにトラッキング処理の探索範囲を設定するか、課題（２）車両のピッチ角情報が正確に取得できない場合にどのようにトラッキング処理の探索範囲を設定するか、これらの課題（１）、（２）を解決することを目的とする。

各実施例では、上記課題（１）に対しては、トラッキング処理により前回フレームから予測される検知対象の移動方向から設定される探索範囲に対し、車両に生じるピッチ角情報を利用して、探索範囲の更新を行い、上記課題（２）に対しては、取得するピッチ角情報が正確であるかを判断する信頼度を設定し、ピッチ角情報と信頼度によりトラッキング処理の探索範囲を可変にすることにより、これらの課題を解決する。

上記課題（１）、（２）に対して、ピッチ角センサを用いる手段に関して実施例１を用いて説明し、ピッチ角センサの代わりに車両の制御部の出力を用いる手段に関して実施例２を用いて説明し、ピッチ角センサの代わりに画像処理装置内部で算出される制駆動力を用いる手段に関して実施例３を用いて説明する。

［実施例１］
実施例１では、時々刻々と変わる車両のピッチ角に対し、ピッチ角センサ２からピッチ角情報を取得し、ピッチ角が生じた際の認識画像上の検知対象の位置の変化をズレ情報５１として出力し、またそのズレ情報５１の出力が正確であるかを信頼度５２として出力する。そして、ズレ情報５１と、信頼度５２と、トラッキング処理部１０で算出された検知対象の予測結果とから、認識画像上における検知対象の探索範囲を設定する方法を提供する。

まず、図３を用いて、トラッキング処理に従来技術を適用した際の課題と、本提案による解決方法について説明する。

従来技術は、センサ情報から自車両に生じるピッチ角を推定し、そのピッチ角による撮像画像内の検知対象の位置の変化に対し、画像処理部における切り取り位置を変更する切り取り方式を採用することによって対応しようとしている（図３（ａ）参照）。
しかし、従来技術では、主に物体検出を行うマッチング処理を考慮して認識精度向上に焦点を当てており、トラッキング処理に関しては明記されていない。トラッキング処理は、検出された検知対象に対して、検知対象の位置や移動方向を予測して探索範囲を設定し、複数フレームにおいて対応付けを行うことによって検知対象を追跡するものである。トラッキング処理では、自車両に生じるピッチ角情報以外に検知対象の移動方向も考慮して探索範囲を設定する必要がある。

このようなトラッキング処理において、従来技術を適用した場合、例えば図３（ｂ）に示すように、ピッチ角変化に対応するために、画像内の切り出し位置を上方に移動させることになる。したがって、通常のトラッキング処理では、識別子Ａ、Ｂの検知対象の移動方向を考慮して探索範囲を設定するので、識別子Ａの検知対象の移動方向が下方向であった場合、画像処理部において移動方向の画像が切り取られてしまい、識別子Ａを識別するための探索範囲が十分に設定できなくなる。したがって、識別子Ａの対応付けが失敗し、識別子Ａの検知対象を識別できない可能性がある。

従来技術では、画像処理部にて認識画像を生成する際に切り取り位置を補正することによってピッチ角変化の課題に対応しようとするものである。これに対し、本実施例では、画像処理部で認識画像を生成する際にピッチ角情報を考慮した切り取りは実施しない。本実施例では、認識部６にてピッチ角情報を使用し、トラッキング処理における検知対象の探索範囲をピッチ角情報に応じて可変に設定しようとするものである（図３（ｃ）参照）。

本実施例によれば、画像処理部でピッチ角情報を考慮した切り取りを実施しないので、トラッキング処理において検知対象の移動方向が切り取られてしまうという従来技術の課題は生じない。そして、ピッチ角情報によって探索範囲を設定するので、撮像画像の範囲内に検知対象が存在する限り、車両にピッチ角の変化が生じた際でも探索範囲内に検知対象を捉えることができる。したがって、ピッチ角の変化が発生しても、複数のフレーム間における検知対象の対応付けが可能となる。

図３を用いて従来技術と本実施例との差異を説明したが、次に、自車両にピッチ角の変化が生じた際に、トラッキング処理にてピッチ角情報を利用して探索範囲を設定する本実施例の原理について図１を用いて詳細説明する。

本実施例の構成図を図１に示す。車両に、カメラ１とピッチ角センサ２とを備え、それらはＣＡＮバス３を用いて接続されている。ピッチ角センサ２は、特に限定されないが、例えば、慣性計測装置ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を用いることができる。慣性計測装置ＩＭＵでは、ピッチ角を含む３次元の角度、角速度、加速度が求められる。これらデータは、ＣＡＮやＥｔｈｅｒｎｅｔなどのデータとして送信される。

図１に、画像処理装置であるカメラ１の内部構成を示す。カメラ１は、撮像部４、画像処理部５、認識部６、制御生成部７、および通信インターフェース部８を備えている。撮像部４は、ＣＭＯＳセンサなどの撮像素子で画像を撮像する。画像処理部５は、撮像部４で撮像された画像を用いて、認識処理で使用する画像を生成する。認識部６は、車両やレーンの検知や、検知対象の時系列の追跡（トラッキング）等を行う。制御生成部７は、認識部６の認識結果を元に、車両のブレーキやアクセルなどのアクチュエータへの制御信号を生成する。通信インターフェース部８は、ＣＡＮなど外部ＥＣＵとカメラの通信を行う。

認識部６は、記憶部９と、トラッキング処理部１０と、変化量計算部２０とを備えている。記憶部９は、先行車などの他の車両や車線のレーンの検知、路面認識、トラッキング処理結果などの過去の認識結果を記憶する。トラッキング処理部１０は、識別子を付加した検知対象に対し、カルマンフィルタを用いて検知対象の動きを予測する予測情報から探索範囲を設定し、検知対象の時系列追跡を行う。変化量計算部２０は、ピッチ角情報からフレーム画像における対象物体の上下方向変化量をズレ情報５１として出力する。変化量計算部２０は、ピッチ角センサ２から取得したピッチ角情報５０からピッチ角が生じた際の認識画像上の検知対象の位置の変化をズレ情報５１として出力し、またそのズレ情報の出力が正確であるかを信頼度５２として出力する。ピッチ角情報５０は、自車両に発生するピッチ角や単位時間当たりのピッチ角変化量、ピッチ角変化方向を含む。

トラッキング処理部１０の処理方法について、一例としてカルマンフィルタを用いた検知対象のトラッキング方法を記載したが、トラッキング処理の手法についてはこの例に限定されない。

トラッキング処理部１０は、検知対象の予測情報によって設定された探索範囲に対し、変化量計算部２０の出力と検知対象の予測情報とから、探索範囲を変更する探索範囲計算部１１を有し、トラッキング処理部１０は、探索範囲を、探索範囲計算部１１にて変更された探索範囲に更新する。

トラッキング処理部１０は、更新された探索範囲内に検知対象が存在するかどうか探索範囲内を全探索することにより判断する。探索した結果、過去にトラッキングを行って識別子を付加した検知対象が存在した場合、同じ識別子を付加して検知対象の追跡を行う。新たな検知対象が発見された場合は新たな識別子を付加する。ズレ情報５１には、上下方向の変化量や左右方向の変化量を含み、認識画像上の検知対象の変化量を画素量として出力してもよい。

信頼度５２は、単位時間あたりのピッチ角の変化量から算出され、単位時間当たりのピッチ角変化量が閾値よりも大きい場合に、低い信頼度として出力し、単位時間当たりのピッチ角変化量が閾値よりも小さい場合に、高い信頼度として出力する。本実施例では、信頼度５２を数値として扱うことを想定しているが、信頼度としてレベルや電気信号などを使用してもよい。

信頼度５２は、単位時間当たりのピッチ角変化量から算出するだけでなく、記憶部９に記憶している路面認識情報を基に、走行中の路面状況により信頼度を設定することも可能である。例えば、路面状況が凸凹している悪路や急勾配であると認識した場合に低い信頼度として出力し、逆に凹凸の少ない平坦な路面であると判断した場合は高い信頼度として出力する。なお、信頼度５２は高い信頼度と低い信頼度の二つに限定されず、多段階に用いられても良い。

探索範囲計算部１１は、図４のように、信頼度に応じて探索範囲を変更する。例えば、図４（ａ）に示すように、信頼度５２が閾値よりも高い場合、トラッキング処理における探索範囲を信頼度５２が閾値のときよりも縮小させる。これにより、無駄なＣＰＵ負荷を低減させることができる。一方、図４（ｂ）に示すように、信頼度５２が閾値よりも低い場合は、トラッキング処理における探索範囲を信頼度５２が閾値のときよりも拡大させる。これにより、マージンを大きく取り、瞬間的なピッチ角の変化に対応可能とする。

上記の構成を踏まえ、ピッチ角センサ２から取得するピッチ角情報を用いてトラッキング処理における認識画像の探索範囲を設定するフローチャートを図５に示す。

まず、認識画像から検知対象を検出し、検知対象に識別子を付加する（Ｓ１）。そして、記憶部９から過去のトラッキング処理結果を取得する（Ｓ２）。過去のトラッキング情報から検知対象の移動方向を予測し、フレーム内における探索範囲を設定する（Ｓ３）。

ピッチ角センサ２のピッチ角情報５０を通信インターフェース部８を通して取得する（Ｓ４）。次に、変化量計算部２０にてピッチ角情報５０からフレーム内における検知対象のズレ情報５１とその信頼度５２を計算する（Ｓ５）。続いて信頼度５２が高いのか、低いのかを判断する（Ｓ６）。信頼度５２が閾値よりも大きい場合には高いと判断し、閾値よりも小さい場合には低いと判断する。
ここで、信頼度が低いと判断された場合、フレーム内に設定されている探索範囲の上下方向を、予め設定された基準の探索範囲よりも拡大する（Ｓ７）。一方、信頼度が高いと判断された場合、探索範囲の上下方向を、予め設定された基準の探索範囲よりも縮小する（Ｓ８）。

その後、ズレ情報５１に従って探索範囲の位置を更新する（Ｓ９）。トラッキング処理部１０は、更新された探索範囲内を探索し、より詳しくは、更新された探索範囲に従って識別子を付加した検知対象が探索範囲内に存在するかどうか探索範囲内を全探索する。そして、更新された探索範囲内に検知対象が存在した場合、同じ識別子を付加し確定する（Ｓ１０）。そして上記フローによってトラッキング処理を行った結果を記憶部に保存する（Ｓ１１）。

本実施例のカメラ１は、カメラ１で撮像された複数のフレーム画像毎に対象物体の探索範囲を設定し、対象物体を時系列で追跡するトラッキング処理部１０と、車両のピッチ角情報を用いて、トラッキング処理部１０の探索範囲を変更する探索範囲計算部１１とを有する。

より詳しくは、カメラ１は、画像を撮像する撮像部４と、画像を生成する画像処理部５と、ピッチ角センサ２から出力される複数のピッチ角と、画像処理部５にて生成された画像から画像認識を行う認識部６とを備える。そして、認識部６は、フレーム内の物体を時系列で追跡するトラッキング処理を行うトラッキング処理部１０と、過去の認識結果を記憶する記憶部９と、ピッチ角からフレーム内の物体のズレ情報５１を算出する変化量計算部２０を有する。

トラッキング処理部１０は、変化量計算部２０からの入力と過去の認識結果とからトラッキング処理における探索範囲を設定する探索範囲計算部１１を備える。そして、変化量計算部２０は、ズレ情報５１に加え、ズレ情報５１が正確であるかを計算し、信頼度５２として出力する。探索範囲計算部１１は、ズレ情報５１と、信頼度５２と、過去のトラッキング処理結果と、を用いて、認識画像内の探索範囲を設定する。

本実施例のカメラ１によれば、トラッキング処理によって前回フレームから予測される検知対象の移動方向から探索範囲を設定し、その設定された探索範囲に対して、自動二輪車に生じるピッチ角を利用し、トラッキング処理の探索範囲の変更を行う。そして、取得するピッチ角の情報が正確であるかを判断する信頼度５２を設定し、信頼度５２によりトラッキング処理の探索範囲を可変にする。

探索範囲計算部１１は、信頼度５２により探索範囲を可変にする。例えば信頼度５２が低いと判断された場合は探索範囲を拡大し、信頼度５２が高いと判断された場合は探索範囲を縮小する。

変化量計算部２０は、ピッチ角センサ２から取得したピッチ角情報５０から認識画像内の物体のズレ情報（上下方向変化量）５１を画素量として算出し、探索範囲計算部１１の計算精度を向上させる。

したがって、自動二輪車のように自動車と比較してピッチ角が大きく変化する車両であっても、探索範囲内に検知対象を捉えることができる。したがって、ピッチ角が発生した際のトラッキング処理の精度向上を図ることができる。

実施例１では、車両の前後方向に発生する車両挙動であるピッチ角に焦点を当てて説明したが、図６（ａ）のように車両に左右方向にロール角が発生した場合においても、ズレ情報５１と信頼度５２による同様の方法で、図６（ｂ）のように探索範囲を拡大、縮小させることが可能であり、ピッチ角とロール角が同時に発生した場合においても、本発明を適用可能である。

［実施例２］
実施例２では、ピッチ角センサ２からピッチ角情報５０を取得する代わりに、車両の制動力や駆動力を制御する制御装置の出力からピッチ角情報５０を取得する方式について説明する。車両の制駆動力を制御する制御装置の出力から車両に発生するピッチ角をリアルタイムで算出することが可能であり、ピッチ角センサを備えていない車両に対しても本提案を適用可能としている。その方式を実施例１に追加する。

本実施例の構成図を図７に示す。実施例１との差分は次の通りである。ピッチ角センサ２の代わりに、駆動力制御装置４０と制動力制御装置４１を用いている。そして、認識部６は、駆動力制御装置４０と制動力制御装置４１の制駆動力制御量５３を通信インターフェース部８を経由して取得する。本実施例では、実施例１に対して、車両に発生するピッチ角情報５０を計算するピッチ角情報計算部３０が追加となっている。

制駆動力制御量５３からピッチ角情報５０を計算するフローチャートについて図８を用いて説明する。

認識画像から検知対象を検出し、検知対象に識別子を付加する（Ｓ１）。記憶部９から過去のトラッキング処理結果を取得する（Ｓ２）。そして、取得した過去のトラッキング情報から検知対象の移動方向を予測し、フレーム内における探索範囲を設定する（Ｓ３）。

駆動力制御装置４０と制動力制御装置４１から制駆動力制御量５３を取得し、ピッチ角情報計算部３０にてピッチ角情報５０を算出する（Ｓ２０）。ピッチ角情報５０の計算方法は、公知の方法を用いて行われる。

次に、変化量計算部２０にてピッチ角情報５０からフレーム内における検知対象のズレ情報５１とその信頼度５２を計算する（Ｓ５）。続いて信頼度５２が高いのか、または低いのかを判断し（Ｓ６）、信頼度５２が低いと判断された場合、探索範囲の上下方向を拡大する（Ｓ７）。信頼度５２が高いと判断された場合、探索範囲の上下方向を縮小する（Ｓ８）。その後、ズレ情報５１に従って探索範囲の位置を更新する（Ｓ９）。

トラッキング処理部１０は、更新された探索範囲内を探索し、識別子を付加した検知対象が探索範囲内に存在するかどうか探索範囲内を全探索する。そして、検知対象が存在した場合には、同じ識別子を付加し確定する（Ｓ１０）。そして、上記フローによってトラッキング処理を行った結果を記憶部９に保存する（Ｓ１１）。以上のように、実施例１のＳ４の処理に代わり、Ｓ２０の処理が追加されている。

実施例２の画像処理装置は、車両の制御装置と通信を行う為の通信インターフェース部８を有し、認識部６は、駆動力制御装置４０と制動力制御装置４１からの制駆動力制御量５３を用いて、自車両に発生するピッチ角情報５０を算出するピッチ角情報計算部３０を有する。そして、変化量計算部２０にてピッチ角情報計算部３０から出力されるピッチ角情報５０を用いてフレーム内の検知対象のズレ情報５１を算出する。

このように、実施例２では、制駆動力制御量５３からピッチ角情報５０を計算するピッチ角情報計算部３０を、実施例１の構成に追加することで、ピッチ角センサ２を備えていない車両に対しても車両挙動を考慮した探索範囲の設定が可能となり、トラッキングの精度向上を可能とする。

［実施例３］
実施例３では、実施例１のピッチ角センサ２からピッチ角情報５０を取得する代わりに、認識結果を元にブレーキやアクセルなどのアクチュエータへの制御信号を生成する制御生成部７から出力される目標制駆動力制御量５４からピッチ角情報５０を取得することを特徴とする。実施例３は、カメラ１内で完結する構成となっており、実施例１であるピッチ角センサや実施例２のような外部の制駆動力制御量５３を必要としない。したがって、車種ごとの適合の作業を最小限に抑えることが期待できる。その方式を実施例１に追加する。

実施例３の構成図を図９に示す。実施例１との差分は次の通りである。
実施例１のピッチ角センサ２の代わりに、制御生成部７から出力される目標制駆動力制御量５４を入力としてピッチ角情報５０を算出するピッチ角情報計算部６０が追加されている。

また、目標制駆動力制御量５４は、カメラ内部で演算された制御量である為、ドライバーがブレーキやアクセルを操作した際のオーバーライドによる制御量変化は含まれていない。ドライバーによるオーバーライドが発生した場合に、目標制駆動力制御量５４によって計算されたピッチ角情報５０と車両に実際に発生するピッチ角とに差異が発生してしまう。

本実施例では、運転者操作を検知した際に探索範囲の設定方法を工夫する必要がある。具体的には、運転者がブレーキやアクセルを操作したかどうかの運転者操作情報５５を通信インターフェース部８を経由して取得し、オーバーライド情報５６を出力する運転者操作検知部７０が追加されている。

目標制駆動力制御量５４からピッチ角情報５０を計算するフローチャートについて図１０を用いて説明する。

まず、認識画像から検知対象を検出し、検知対象に識別子を付加する（Ｓ１）。記憶部９から過去のトラッキング処理結果を取得する（Ｓ２）。過去のトラッキング情報から検知対象の移動方向を予測しフレーム内における探索範囲を設定する（Ｓ３）。

カメラの認識結果からカメラ内の制御生成部７で演算される目標制駆動力制御量５４からピッチ角情報計算部６０にてピッチ角情報５０を算出する（Ｓ３０）。次に、変化量計算部２０にてピッチ角情報５０からフレーム内における検知対象のズレ情報５１とその信頼度５２を計算する（Ｓ５）。

通信インターフェース部８を経由して、運転者操作情報５５を取得する（Ｓ３１）。運転者操作情報５５を入力として、運転者操作検知部７０にてオーバーライドが検知されたかどうかを判断する（Ｓ３２）。運転者操作検知部７０にて運転者のオーバーライドが検知された場合、トラッキング処理における探索範囲を最大限に拡大する（Ｓ３３）。

オーバーライドが検知されない場合は、信頼度５２が高いのか、または低いのかを判断する（Ｓ６）。そして、信頼度が低いと判断された場合、探索範囲の上下方向を拡大する（Ｓ７）。信頼度が高いと判断された場合、探索範囲の上下方向を縮小する（Ｓ８）。その後、ズレ情報５１に従って探索範囲の位置を更新する（Ｓ９）。

トラッキング処理部１０は、更新された探索範囲内を探索し、識別子を付加した検知対象が探索範囲内に存在するかどうか探索範囲内を全探索する。そして、検知対象が存在した場合、同じ識別子を付加し確定する（Ｓ１０）。そして上記フローによってトラッキング処理を行った結果を記憶部９に保存する（Ｓ１１）。

上記のように、本実施例では、実施例１におけるＳ４の代わりに、Ｓ３０の処理が追加され、さらにＳ３１とＳ３２、Ｓ３３の処理が追加されている。

実施例３において、目標制駆動力制御量５４からピッチ角情報５０を算出する手法が異なっているが、検知対象のズレ情報５１とその信頼度５２を用いてトラッキング処理の探索範囲を設定する手法については実施例１と共通である。

しかし、運転者操作検知部７０でオーバーライドを検知した場合、目標制駆動力制御量５４から算出したピッチ角情報５０には車両に発生するピッチ角との差異が生まれてしまう為、探索範囲は正確ではなくなってしまう。そこで、オーバーライドを検知した場合は、信頼度が最も低いと判断し、探索範囲を最大限に広げることを特徴とする。

実施例３によれば、カメラ１は、認識部６の認識結果から車両を制御するために内部で計算される制御量を算出する制御生成部７を有し、ピッチ角情報計算部６０は、制御生成部７の出力からピッチ角情報５０を算出し、変化量計算部２０にてピッチ角情報計算部６０から出力されるピッチ角情報５０からフレーム内の物体のズレ情報５１を算出する。

認識部６は、運転者の操作を検知する運転者操作検知部７０を有し、オーバーライドを検知した場合、変化量計算部２０から信頼度が低いと出力する。

全ての実施例で紹介した技術はステレオカメラ、単眼カメラ問わず適用することができる。また、本提案は点群情報として出力するLiDARにも適用可能である。また、全ての実施例で三つの方法でピッチ角情報を求めたが、リアルタイムにピッチ角情報を算出する手段であれば、特に限定されない。

実施例１～３のカメラ１によれば、四輪車両向けに開発した認識用カメラに対し、二輪車用のピッチ角に対応する装置を付加することで、認識カメラを搭載した車両にピッチ角が発生した場合においても、トラッキング処理時にピッチ角情報を用いて探索範囲を設定することで、撮像画像内に検知対象が存在する限り検知対象を時系列で追跡することが可能となる。

また、信頼度を新しく追加することにより、ピッチ角センサなどのセンサ情報が不正な値を出力した際に探索範囲を拡大し、マージンを大きくすることにより、検知対象が探索範囲から外れることによってトラッキングが失敗してしまう課題を解決することが可能である。また信頼度が高い場合は探索範囲を縮小し無駄な演算負荷を無くすことが出来る。従来は演算負荷が高い場合、探索範囲を間引くなどの処理を行っていたが、本発明では必要が無くなる為、認識精度向上に貢献する。また、ハードウェアの温度上昇を抑えるなどの効果が期待できる。

これにより、二輪車において、車両にピッチ角が発生した場合においても安定したトラッキング処理を行うことができる。

実施例２によれば、ピッチ角センサを備えていない車両に対しても車両挙動を考慮した探索範囲の設定が可能となり、実施例３によれば、本発明がカメラ内部で実現可能な為、車種ごとの適合の作業を最小限に抑えることが期待できる。
また、実施例１～３では車両に発生するピッチ角に着目して技術を述べたが、ピッチ角だけに限らずピッチ角とロール角が同時に発生する場合でも適用可能である。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１・・・カメラ（画像処理装置）
２・・・ピッチ角センサ（ＩＭＵ）
３・・・ＣＡＮバス
４・・・撮像部
５・・・画像処理部
６・・・認識部
７・・・制御生成部
８・・・通信インターフェース部
９・・・記憶部
１０・・・トラッキング処理部
１１・・・探索範囲計算部
２０・・・変化量計算部
３０・・・ピッチ角情報計算部
４０・・・駆動力制御装置
４１・・・制動力制御装置
５０・・・ピッチ角情報
５１・・・ズレ情報
５２・・・信頼度
５３・・・制駆動力制御量
５４・・・目標制駆動力制御量
５５・・・運転者操作情報
５６・・・オーバーライド情報
６０・・・ピッチ角情報計算部
７０・・・運転者操作検知部

Claims (2)

1. 車載カメラで撮像された複数のフレーム画像毎に対象物体の探索範囲を設定し、前記対象物体を時系列で追跡するトラッキング処理部と、
   車両のピッチ角情報を用いて、前記探索範囲を変更する探索範囲計算部と、
   前記ピッチ角情報から前記フレーム画像における対象物体の上下方向変化量を出力する変化量計算部と、
   過去の認識結果を記憶する記憶部を有し、
   前記探索範囲計算部は、前記上下方向変化量に従って探索範囲を更新し、
   前記変化量計算部は、前記上下方向変化量の出力が正確であるかを示す信頼度を算出し、
   前記探索範囲計算部は、前記信頼度が閾値よりも高いと判断された場合に前記探索範囲を縮小し、前記信頼度が閾値よりも低いと判断された場合に前記探索範囲を拡大し、
   前記信頼度は、前記記憶部に保存されている路面認識情報に基づいて設定されることを特徴とする画像処理装置。
2. 車載カメラで撮像された複数のフレーム画像毎に対象物体の探索範囲を設定し、前記対象物体を時系列で追跡するトラッキング処理部と、
   車両のピッチ角情報を用いて、前記探索範囲を変更する探索範囲計算部と、
   前記ピッチ角情報から前記フレーム画像における対象物体の上下方向変化量を出力する変化量計算部と、
   運転者によるアクセル操作やブレーキ操作を検知する運転者操作検知部を有し、
   前記探索範囲計算部は、前記上下方向変化量に従って探索範囲を更新し、
   前記変化量計算部は、前記上下方向変化量の出力が正確であるかを示す信頼度を算出し、
   前記探索範囲計算部は、前記信頼度が閾値よりも高いと判断された場合に前記探索範囲を縮小し、前記信頼度が閾値よりも低いと判断された場合に前記探索範囲を拡大し、
   前記変化量計算部は、前記運転者操作検知部で運転者の操作が検知された場合、前記信頼度が低いと判断することを特徴とする画像処理装置。

Images