JP4483413B2 - 移動物体検出装置及び移動物体検出方法 - Google Patents

Description

本発明は、移動体に設けられて移動するカメラで撮像した動画像から移動物体を検出する移動物体検出装置に関する。

カメラで撮像した動画像から移動物体を検出する移動物体検出装置が各種開発されている。このような移動物体検出装置では、カメラの性能や装置内部の電気信号の雑音等が原因で動画像の各フレーム画像にノイズが混入する場合がある。このような撮像したフレーム画像中に混入するノイズの影響を排除しないと、高精度に移動物体を検出できない。そこで、これらのノイズの影響を排除し、移動物体の画像を高精度に検出することができる移動物体検出装置が開発されている（特許文献1参照）。

また、車両等にカメラを搭載し、前方を走行している人物や車両等を移動物体として検出する移動物体検出装置がある。この移動物体検出装置の場合、移動するカメラの動きを車速センサやジャイロセンサ等により検出し、動的フレーム間差分を行う。この動的フレーム間差分結果の領域に基づいて、テンプレートマッチングやアクティブ探索法を用いることにより移動物体を検出している。
特開２００１−１５５１６３号公報 特開２００３−３４６１６０号公報

しかしながら、車両にカメラを搭載した移動物体検出装置の場合、道路の継ぎ目等で車両が大きく一瞬振動することにより、カメラが一瞬ぶれ、瞬間的にパルス状のノイズがフレーム画像に混入する。そのため、移動物体検出装置ではこの瞬間的に発生するパルス状のノイズにセンサが追従できない場合、動的フレーム間差分結果の大部分の領域を移動物体と認識し、移動物体を誤検出する。

また、特許文献１に記載されている移動物体検出装置では、電気信号の雑音等によるノイズの影響を排除するのが目的であるため、車両の走行によるパルス状のノイズは想定されておらず、このパルス状のノイズの影響を排除することはできない。

そこで、本発明は、センサが追従できないノイズの影響を排除し、高精度に移動物体を検出することができる移動物体検出装置を提供することを課題とする。

本発明に係る移動物体検出装置は、移動体に設けられ、動画像のフレーム画像から移動物体を検出する移動物体検出装置であって、撮像手段と、前回更新したフレーム画像を記憶する第１記憶手段と、撮像手段の運動情報を検出する運動情報検出手段と、運動情報検出手段により検出した運動情報に基づいて撮像手段の動きに応じて第１記憶手段に記憶しているフレーム画像を補正し、当該補正したフレーム画像と撮像手段で今回撮像したフレーム画像とを差分する動的フレーム間差分手段と、動的フレーム間差分手段による動的フレーム間差分結果から得られる領域の画素数としきい値とを比較することによってノイズか否かを判定するノイズ判定手段とを備え、ノイズ判定手段でノイズであると判定した場合、今回の動的フレーム間差分結果及び撮像手段で今回撮像したフレーム画像を棄却し、ノイズ判定手段でノイズでないと判定した場合、前回の動的フレーム間差分結果を今回の動的フレーム間差分結果に更新するとともに、第１記憶手段に記憶しているフレーム画像を撮像手段で今回撮像したフレーム画像に更新することを特徴とする。

この移動物体検出装置では、まず、運動情報検出手段（例えば、ジャイロセンサ、車速センサ、加速センサ、角速度センサ）により移動体に設けられた撮像手段の運動情報（例えば、移動量、速度、加速度、角度変化量、角速度）を検出し、撮像手段の動きを取得する。また、移動物体検出装置では、撮像手段により撮像し、動画像の各フレーム画像を取得する。そして、移動物体検出装置では、動的フレーム間差分手段により、第１記憶手段に記憶しているフレーム画像を撮像手段の動きに応じて補正する。これにより、補正したフレーム画像を、今回撮像したフレーム画像と同位置で撮像したフレーム画像に相当するものとして扱うことができる。さらに、移動物体検出装置では、動的フレーム間差分手段により今回撮像したフレーム画像と補正したフレーム画像とを差分する。このとき、２つのフレーム画像間において移動物体が移動している場合、動的フレーム間差分結果に、その移動した分の領域が結果として表れる。また、撮像手段が瞬間的にぶれ、この撮像手段のぶれを運動情報検出手段で検出できない場合、動的フレーム間差分結果に、そのぶれた分の領域が結果として表れる。このノイズの影響を受けている動的フレーム間差分結果の領域は、移動物体の移動を表している動的フレーム間差分結果の領域よりも非常に大きい領域である。そこで、移動物体検出装置では、ノイズ判定手段により動的フレーム間差分結果で得られる領域の画素数としきい値とを比較し、動的フレーム間差分結果がノイズの影響を受けているか否かを判定する。移動物体検出装置では、ノイズの影響を受けていると判定した場合、今回の動的フレーム間差分結果及び今回撮像したフレーム画像を棄却する。一方、移動物体検出装置では、ノイズの影響を受けていないと判定した場合、移動物体を検出するための動的フレーム間差分結果を今回の動的フレーム間差分結果に更新し、今回撮像したフレーム画像を第１記憶手段に更新して記憶する。このように、移動物体検出装置では、運動情報検出手段で検出できないノイズが入った場合でも、動的フレーム間差分結果及び今回撮像したフレーム画像を棄却することでノイズの影響を排除でき、ノイズの影響を受けていない動的フレーム間差分結果のみを用いることにより、移動物体を高精度に検出することができる。

本発明の上記移動物体検出装置では、ノイズ判定手段でノイズでないと判定した場合に更新する動的フレーム間差分結果を記憶する第２記憶手段を備え、第２記憶手段に記憶している動的フレーム間差分結果に基づいて移動物体を検出する構成としてもよい。

この移動物体検出装置では、ノイズ判定手段によりノイズの影響を受けていないと判定した場合、今回の動的フレーム間差分結果を第２記憶手段に記憶し、今回の動的フレーム間差分結果を用いて移動物体を検出する。また、移動物体検出装置では、ノイズ判定手段によりノイズの影響を受けていると判定した場合、今回の動的フレーム間差分結果を棄却し、第２記憶手段に記憶されている前回更新した動的フレーム間差分結果を用いて移動物体を検出する。

本発明の上記移動物体検出装置では、動的フレーム間差分手段による動的フレーム間差分結果から得られる領域の画素数の平均画素数に基づいて動的にしきい値を決定するしきい値決定手段を備える構成としてもよい。

この移動物体検出装置では、しきい値決定手段により動的フレーム間差分結果の領域の平均画素数に基づいて、動的にしきい値を変更する。したがって、移動物体検出装置では、移動物体の大きさや数が変化しても適切にしきい値を変化させることができるため、ノイズ判定精度が向上し、移動物体を高精度に検出することができる。

本発明に係る移動物体検出方法は、移動体に設けられた撮像手段により撮像した動画像のフレーム画像から移動物体を検出する移動物体検出方法であって、撮像手段の運動情報を検出する運動情報検出ステップと、運動情報検出ステップにより検出した運動情報に基づいて撮像手段の動きに応じて前回更新したフレーム画像を補正し、当該補正したフレーム画像と撮像手段で今回撮像したフレーム画像とを差分する動的フレーム間差分ステップと、動的フレーム間差分ステップによる動的フレーム間差分結果から得られる領域の画素数としきい値とを比較することによってノイズか否かを判定するノイズ判定ステップとを含み、ノイズ判定ステップでノイズであると判定した場合、今回の動的フレーム間差分結果及び撮像手段で今回撮像したフレーム画像を棄却し、ノイズ判定ステップでノイズでないと判定した場合、前回の動的フレーム間差分結果を今回の動的フレーム間差分結果に更新するとともに、動的フレーム間差分ステップで使用するフレーム画像を撮像手段で今回撮像したフレーム画像に更新することを特徴とする。

本発明の上記移動物体検出方法では、ノイズ判定ステップでノイズでないと判定した場合に更新する動的フレーム間差分結果を記憶する記憶ステップを含み、記憶ステップで記憶した動的フレーム間差分結果に基づいて移動物体を検出する構成としてもよい。

本発明の上記移動物体検出方法では、動的フレーム間差分ステップによる動的フレーム間差分結果から得られる領域の画素数の平均画素数に基づいて動的にしきい値を決定するしきい値決定ステップを含む構成としてもよい。

上記した各移動物体検出方法では、上記した各移動物体検出装置と同様の作用効果を奏する。

本発明によれば、センサが追従できないノイズの影響を排除し、高精度に移動物体を検出することができる。

以下、図面を参照して、本発明に係る移動物体検出装置及び移動物体検出方法の実施の形態を説明する。

本実施の形態では、本発明を、自動車に搭載され、自動車の前方を移動する移動物体（例えば、歩行者や他の自動車）を検出する移動物体検出装置に適用する。本実施の形態に係る移動物体検出装置では、自動車の走行中に瞬間的に発生するパルス状のノイズを検出し、ノイズが入ったフレーム画像及び動的フレーム間差分結果を棄却する。ノイズとしては、例えば、道路の継ぎ目等によってカメラが大きくぶれることでフレーム画像に入るノイズである。これらのノイズは、瞬間的なノイズなので、各種センサの性能によっては追従できないノイズである。

図１〜図４を参照して、移動物体検出装置１の構成について説明する。図１は、本実施の形態に係る移動物体検出装置の構成図である。図２は、図１の動的フレーム間差分装置で処理されるノイズが入っていない場合の画像の一例である。図３は、図１の動的フレーム間差分装置で処理されるノイズが入っている場合の画像の一例である。図４は、動的フレーム間差分結果の差分結果画素数と動的しきい値の変化を示す図である。

移動物体検出装置１では、当該移動物体検出装置１を搭載した自動車の前方を撮像し、動画像の各フレーム画像を得る。移動物体検出装置１では、現在のフレーム画像と過去のフレーム画像とを動的フレーム間差分し、移動物体を検出する。この際、移動物体検出装置１では、フレーム画像にノイズが入っているか否かを判定し、ノイズが入っている場合にはそのフレーム画像及び動的フレーム間差分結果を棄却する。そのために、移動物体検出装置１は、カメラ２、ジャイロセンサ３、車速センサ４、動的フレーム間差分装置５、しきい値計算装置６、ノイズ判定装置７、差分結果出力装置８、入力バッファ１１，１２及び出力バッファ２１，２２を備える。

なお、本実施の形態では、カメラ２が特許請求の範囲に記載する撮像手段に相当し、ジャイロセンサ３及び車速センサ４が特許請求の範囲に記載する運動情報検出手段に相当し、動的フレーム間差分装置５が特許請求の範囲に記載する動的フレーム間差分手段に相当し、しきい値計算装置６が特許請求の範囲に記載するしきい値決定手段に相当し、ノイズ判定装置７が特許請求の範囲に記載するノイズ判定手段に相当し、入力バッファ１２が特許請求の範囲に記載する第１記憶手段に相当し、出力バッファ２２が特許請求の範囲に記載する第２記憶手段に相当する。

カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）カメラである。カメラ２では、当該カメラ２を設置した自動車の前方を撮像し、動画像の各フレーム画像を取得する（例えば、図２（ａ），図３（ａ）に示すフレーム画像）。カメラ２では、その撮像したフレーム画像のデータを入力バッファ１１に送信する。なお、カメラ２は少なくとも輝度情報が得られればよいので、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラや赤外線カメラでもよいし、また、白黒カメラやカラーカメラでもよい。

ジャイロセンサ３は、自動車が走行する際に生じる自動車のロール角、ピッチ角及びヨー角の角度変化量（すなわち、カメラ２の角度変化量）を検出し、その角度変化量をジャイロ信号として動的フレーム間差分装置５に送信する。車速センサ４は、自動車の走行速度を検出し、その車速を車速信号として動的フレーム間差分装置５に送信する。

入力バッファ１１は、単位時間Ｔ毎（例えば、１／３０秒毎）にカメラ２で撮像した時刻ｔにおけるフレーム画像Ｉ（ｔ）を記憶するバッファである。単位時間Ｔは、カメラ２で撮像する動画像におけるフレーム間隔に相当する時間である。入力バッファ１２は、ノイズ判定装置７においてノイズがないと判定された場合、入力バッファ１１に記憶されているフレーム画像Ｉ（ｔ）を更新して記憶するバッファである。ノイズ判定装置７においてノイズが入っていると判定された場合、入力バッファ１１に記憶されている時刻ｔにおけるフレーム画像Ｉ（ｔ）は棄却される。したがって、入力バッファ１２には、ｎ（ｎ＝１，２，３，…）単位時間ｎＴ前の時刻ｔ−ｎＴにおけるノイズが入っていないフレーム画像Ｉ（ｔ−ｎＴ）だけが記憶される。

例えば、入力バッファ１１には、図２（ｂ），図３（ｂ）に示すフレーム画像Ｉ（ｔ）が記憶される。入力バッファ１２には、図２（ａ），図３（ａ）に示すフレーム画像Ｉ（ｔ−ｎＴ）が記憶される。図２（ａ），図３（ａ）に示すフレーム画像Ｉ（ｔ−ｎＴ）は、同じフレーム画像であり、走行している自動車の前方にある横断歩道を横断し始めている歩行者を撮像した時刻ｔ−ｎＴにおけるフレーム画像である。図２（ｂ）に示すフレーム画像Ｉ（ｔ）は、図２（ａ）に示すフレーム画像からｎ単位時間ｎＴ経過後に撮像した時刻ｔのフレーム画像である。そのため、図２（ｂ）に示すフレーム画像Ｉ（ｔ）は、図２（ａ）に示すフレーム画像Ｉ（ｔ−ｎＴ）に比べて、ｎ単位時間ｎＴの間にカメラ２（実際には、自動車）が前方に移動したために歩行者に接近し、歩行者が移動したために横断歩道の中央付近まで移動しているフレーム画像となっている。図３（ｂ）に示すフレーム画像Ｉ（ｔ）は、図３（ａ）に示すフレーム画像Ｉ（ｔ−ｎＴ）からｎ単位時間ｎＴ経過後に撮像した時刻ｔのフレーム画像であり、カメラ２が下方にぶれることによってノイズが入ったものである。そのため、図３（ｂ）に示すフレーム画像Ｉ（ｔ）は、同じ時刻ｔにおける図２（ｂ）に示すフレーム画像に比べて、ノイズによりカメラ２が下方にぶれた分だけ、歩行者、建物及び横断歩道等が全体的に上方に移動したフレーム画像となっている。

動的フレーム間差分装置５では、単位時間Ｔ毎に、ジャイロ信号による角度変化量及び車速信号による走行速度に基づいて、入力バッファ１１に記憶されているフレーム画像Ｉ（ｔ）と入力バッファ１２に記憶されているフレーム画像Ｉ（ｔ−ｎＴ）それぞれを撮像したときのカメラ２の移動量である並進移動ベクトルを計算する。そして、動的フレーム間差分装置５では、このフレーム画像Ｉ（ｔ）とフレーム画像Ｉ（ｔ−ｎＴ）との撮像時間間隔ｎＴの間における角度変化量及び並進移動ベクトルに基づいて、入力バッファ１２に記憶されているフレーム画像Ｉ（ｔ−ｎＴ）を補正する（以下、この補正したフレーム画像を補正フレーム画像Ｉ（ｔ−ｎＴ）とする）。補正フレーム画像Ｉ（ｔ−ｎＴ）は、歩行者の絶対位置が時刻ｔ−ｎＴの時と同じ位置であるが、時刻ｔにおけるカメラ２の位置で撮像されたフレーム画像に相当するフレーム画像となる。

例えば、図２（ａ），図３（ａ）に示すフレーム画像Ｉ（ｔ−ｎＴ）は、図２（ｃ），図３（ｃ）に示すフレーム画像のように補正される。図２（ｃ），図３（ｃ）に示す補正フレーム画像Ｉ（ｔ−ｎＴ）は、図２（ａ），図３（ａ）に示すフレーム画像Ｉ（ｔ−ｎＴ）と比較して、歩行者の横断歩道上の位置は同じで、ｎ単位時間ｎＴの間にカメラ２が移動した分だけ歩行者に接近した位置で撮像したフレーム画像に相当するものとなる。

そして、動的フレーム間差分装置５では、補正フレーム画像Ｉ（ｔ−ｎＴ）と入力バッファ１１に記憶されているフレーム画像Ｉ（ｔ）において、２つのフレーム画像で対応する位置にある画素毎に、輝度値の差分の絶対値を計算する。この輝度値の差分の絶対値は、２つのフレーム画像において輝度値の変化がない画素の場合（例えば、建物や横断歩道等の動かない物体の場合）、計算結果は０あるいはほぼ０となる。また、２つのフレーム画像において輝度値の変化がある画素の場合（例えば、歩行者が移動する場合）、計算結果は０でない正の値となる。そして、動的フレーム間差分装置５では、画素毎の差分の絶対値からなる動的フレーム間差分結果のデータを出力バッファ２１に送信する。

例えば、図２（ｃ），図３（ｃ）に示す補正フレーム画像Ｉ（ｔ−ｎＴ）と図２（ｂ），図３（ｂ）に示すフレーム画像Ｉ（ｔ）とで画素毎に輝度値の差分の絶対値をそれぞれ求めると、図２（ｄ），図３（ｄ）に示す画像Ｄ（ｔ）がそれぞれ得られる。図２（ｄ），図３（ｄ）に示す画像Ｄ（ｔ）では、差分結果の輝度値が０あるいはほぼ０となる画素が黒で表示され、差分結果の輝度値が０でない正の値となる画素が白で表示される。図２（ｄ）に示す画像Ｄ（ｔ）は、図２（ｂ）のノイズの入っていないフレーム画像Ｉ（ｔ）を用いて動的フレーム間差分しているため、移動する歩行者のみが移動領域として白い画素領域で表されている。図３（ｄ）に示す画像Ｄ（ｔ）は、図３（ｂ）のノイズの入っているフレーム画像Ｉ（ｔ）を用いて動的フレーム間差分しているため、カメラ２が下方へぶれた分だけ建物や横断歩道等についても移動領域として白い画素領域で表わされている。このように、ノイズが入っている図３（ｄ）に示す画像Ｄ（ｔ）では、移動していない建物や横断歩道等についてまで移動領域として得られるので、図２（ｄ）に示す画像Ｄ（ｔ）に比べ非常に多くの領域が移動領域となっている。

出力バッファ２１は、単位時間Ｔ毎に、動的フレーム間差分装置５で得られた時刻ｔにおける動的フレーム間差分結果Ｄ（ｔ）を記憶するバッファである。出力バッファ２２は、ノイズ判定装置７においてノイズが入っていないと判定された場合、出力バッファ２１に記憶されている動的フレーム間差分結果Ｄ（ｔ）を更新して記憶するバッファである。ノイズ判定装置７においてノイズが入っていると判定された場合、出力バッファ２１に記憶されている時刻ｔにおける動的フレーム間差分結果Ｄ（ｔ）は棄却される。したがって、出力バッファ２２には、ｎ（ｎ＝１，２，３，…）単位時間ｎＴ前の時刻ｔ−ｎＴにおけるノイズが入っていない動的フレーム間差分結果Ｄ（ｔ−ｎＴ）だけが記憶される。

しきい値計算装置６では、出力バッファ２１に記憶されている動的フレーム間差分結果Ｄ（ｔ）の移動領域を表す画素数（以下、差分結果画素数とする）の過去数回における平均値を計算し、その平均値の定数倍（ただし、定数は１より大きな値）の変動しきい値を計算する。過去数回の差分結果画素数の平均値を用いるのは、ノイズ等による差分結果画素数の急激な変化の影響を抑えるためである。また、差分結果画素数の平均値を１より大きな定数で定数倍するのは、平均的な差分結果画素数よりも大きな値をしきい値とするためである。したがって、変動しきい値により、ノイズが入った場合の差分結果画素数とノイズが入ってない場合の差分結果画素数とを識別することができる。

しきい値計算装置６では、変動しきい値と予め定めた固定しきい値とを比較し、大きい値をノイズ判定装置７で用いる動的しきい値とする。フレーム画像にノイズが入った場合、差分結果画素数は、フレーム画像の全画素数のうち大きな割合を占めることとなる。そこで、固定しきい値は、実験やシミュレーション等により求められたノイズが入った場合の差分結果画素数に基づいて設定される。変動しきい値も考慮した動的しきい値とするのは、フレーム画像中の歩行者等の移動物体の数が増加した場合やカメラ２が移動物体に接近した場合等によって差分結果画素数が増加しても、ノイズが入っていない場合の差分結果画素数とノイズが入っている場合の差分結果画素数とを識別可能とするためである。

図４には、自動車の移動に伴った差分結果画素数及び動的しきい値の時間的変化の一例を示す。図４において、差分結果画素数は実線で示され、変動しきい値は一点鎖線で示され、固定しきい値は破線で示され、動的しきい値は一点鎖線及び破線の太線で示される。差分結果画素数が急激に変動している部分（ＮＳ１，ＮＳ２参照）は、その時刻にノイズが入ったフレーム画像があったことを示す。変動しきい値は、過去数回の差分結果画素数の平均値を定数倍しているので、ノイズの影響で差分結果画素数が急激に変動している部分もあるが（ＮＳ１，ＮＳ２参照）、その影響が排除され、連続的な安定した曲線となっている。

固定しきい値のみを用いると、差分結果画素数が少ない場合には差分結果画素数が固定しきい値を超えることはないが、差分結果画素数が増加した場合には差分結果画素数が固定しきい値を超えることがある。しかし、変動しきい値を用いると、差分結果画素数が増加した場合でも、ノイズが入っていない場合の差分結果画素数が変動しきい値を超えることはない。したがって、動的しきい値を用いると、ノイズが入っていない場合の差分結果画素数は常に動的しきい値を超えることはなく、ノイズが入っている場合の差分結果画素数のみが動的しきい値を超えることとなる（ＮＳ１，ＮＳ２参照）。

ノイズ判定装置７では、しきい値計算装置６で計算した動的しきい値と差分結果画素数とを比較する。差分結果画素数が動的しきい値以上の場合、ノイズ判定装置７では、フレーム画像Ｉ（ｔ）にノイズが入っていると判定する。この場合、ノイズ判定装置７では、出力バッファ２１に記憶されている動的フレーム間差分結果Ｄ（ｔ）を棄却するとともに、入力バッファ１１に記憶されているフレーム画像Ｉ（ｔ）を棄却する。したがって、出力バッファ２２に記憶されている動的フレーム間差分結果Ｄ（ｔ−ｎＴ）が更新されないとともに、入力バッファ１２に記憶されているフレーム画像Ｉ（ｔ−ｎＴ）も更新されない。一方、差分結果画素数が動的しきい値未満の場合、ノイズ判定装置７では、入力バッファ１１に記憶されているフレーム画像Ｉ（ｔ）にノイズが入っていないと判定する。この場合、ノイズ判定装置７では、出力バッファ２１に記憶されている動的フレーム間差分結果Ｄ（ｔ）を出力バッファ２２に更新して記憶させるとともに、入力バッファ１１に記憶されているフレーム画像Ｉ（ｔ）を入力バッファ１２に更新して記憶させる。

差分結果出力装置８では、出力バッファ２２に記憶されているノイズの入っていない動的フレーム間差分結果を用いて移動物体を検出し、その検出結果を出力する。

移動物体の検出手法の一例としては、動的フレーム間差分結果に基づいて、カメラ２で撮像したフレーム画像からアクティブ探索法及びテンプレートマッチングにより移動物体を検出する。アクティブ探索法では、移動物体を検出する際に、移動物体でない領域における移動物体の探索を省略する。つまり、動的フレーム間差分結果の移動領域の位置や大きさを考慮して探索領域を決定する。この際、出力バッファ２２が更新されなかった場合、更新されなかったｎ単位時間ｎＴに応じて、移動物体の探索領域を上下左右に広げる。つまり、探索領域を広げることで、ノイズが入っているとして棄却されたフレーム画像分の移動物体の移動が検出可能となる。テンプレートマッチングでは、移動物体を検出する際に、カメラ２と移動物体との距離により、マッチング領域を変化させる。つまり、カメラ２から遠くにある移動物体に対しては、マッチング領域を小さくし、カメラ２の近くにある移動物体に対しては、マッチング領域を大きくする。

図１を参照して、移動物体検出装置１における動作を説明する。特に、ノイズ判定装置７における動作については、図５のフローチャートに沿って説明する。なお、図５では、ステップをＳと略記している。

カメラ２では、自動車の前方を撮像し、単位時間Ｔ毎に動画像のフレーム画像Ｉ（ｔ）のデータを入力バッファ１１に送信する。入力バッファ１１には、このフレーム画像Ｉ（ｔ）が記憶される。入力バッファ１２には、時刻ｔ−ｎＴに撮像されたノイズの入っていないフレーム画像Ｉ（ｔ−ｎＴ）が記憶されている。

ジャイロセンサ３では、自動車が走行する際に生じる自動車の角度変化量（すなわち、カメラ２の角度変化量）を検出する。そして、ジャイロセンサ３では、検出した角度変化量をジャイロ信号として動的フレーム間差分装置５に送信する。車速センサ４では、自動車の走行速度を検出する。そして、車速センサ４では、検出した走行速度を車速信号として動的フレーム間差分装置５に送信する。

動的フレーム間差分装置５では、ジャイロ信号の角度変化量及び車速信号の走行速度に基づき、入力バッファ１１に記憶されているフレーム画像Ｉ（ｔ）と入力バッファ１２に記憶されているフレーム画像Ｉ（ｔ−ｎＴ）それぞれを撮像したときのカメラ２の移動量である並進移動ベクトルを計算する。そして、動的フレーム間差分装置５では、フレーム画像Ｉ（ｔ）とフレーム画像Ｉ（ｔ−ｎＴ）との撮像時間間隔ｎＴの間における角度変化量及び並進移動ベクトルに基づいて、入力バッファ１２に記憶されているフレーム画像Ｉ（ｔ−ｎＴ）を補正する。動的フレーム間差分装置５では、この補正したフレーム画像Ｉ（ｔ−ｎＴ）と入力バッファ１１に記憶されているフレーム画像Ｉ（ｔ）とで、対応する位置にある画素毎に、輝度値の差分の絶対値を計算する。そして、動的フレーム間差分装置５では、その動的フレーム間差分結果Ｄ（ｔ）のデータを出力バッファ２１に送信する。

出力バッファ２１には、動的フレーム間差分装置５で得られた動的フレーム間差分結果Ｄ（ｔ）が記憶される。

しきい値計算装置６では、出力バッファ２１に記憶されている動的フレーム間差分結果Ｄ（ｔ）を用いて、動的フレーム間差分結果Ｄ（ｔ）の差分結果画素数の過去数回の平均値を定数倍した変動しきい値を計算する。そして、しきい値計算装置６では、変動しきい値と予め定めた固定しきい値とを比較して、大きい値を動的しきい値とする。しきい値計算装置６では、この計算した動的しきい値をノイズ判定装置７に送信する。

ノイズ判定装置７では、出力バッファ２１に記憶されている動的フレーム間差分結果Ｄ（ｔ）から差分結果画素数を計算する（Ｓ１）。

ノイズ判定装置７では、Ｓ１で計算した差分結果画素数がしきい値計算装置６で計算された動的しきい値以上か否かを判定する（Ｓ２）。

ノイズ判定装置７では、Ｓ２において差分結果画素数が動的しきい値未満と判定した場合、フレーム画像にはノイズが入っていないと判定し、出力バッファ２１に記憶されている動的フレーム間差分結果Ｄ（ｔ）を出力バッファ２２に更新して記憶させる（Ｓ３）。さらに、ノイズ判定装置７では、入力バッファ１１に記憶されているフレーム画像Ｉ（ｔ）を入力バッファ１２に更新して記憶させる（Ｓ４）。

一方、ノイズ判定装置７では、Ｓ２において差分結果画素数が動的しきい値以上と判定した場合、フレーム画像にはノイズが入っていると判定し、出力バッファ２１に記憶されている動的フレーム間差分結果Ｄ（ｔ）を棄却するとともに、入力バッファ１１に記憶されているフレーム画像Ｉ（ｔ）を棄却する（Ｓ５）。そのため、出力バッファ２２に記憶されている動的フレーム間差分結果Ｄ（ｔ−ｎＴ）と入力バッファ１２に記憶されているフレーム画像Ｉ（ｔ−ｎＴ）は更新されない。

差分結果出力装置８では、出力バッファ２２に記憶されているノイズの入っていない動的フレーム間差分結果を用いて移動物体を検出し、その検出結果を出力する。

この移動物体検出装置１によれば、道路の継ぎ目等によってカメラが大きくぶれることでフレーム画像に瞬間的なノイズが入った場合に、動的フレーム間差分結果の差分結果画素数が全画素数のうちの大きな割合を占めることに着目し、動的しきい値と差分結果画素数との大小を比較することによって、センサが追従できないノイズを検出することができる。

これにより、移動物体検出装置１では、フレーム画像にノイズが入っていると判定した場合、そのフレーム画像及び動的フレーム間差分結果を棄却することによって、センサが追従できないノイズの影響を排除することができ、移動物体を高精度に検出できる。特に、移動物体検出装置１では、ノイズが入っていると判定した動的フレーム間差分結果を棄却した場合でも、出力バッファ２２に記憶されているノイズの影響を受けていない動的フレーム間差分結果を用いることにより、移動物体を高精度に検出できる。

さらに、移動物体検出装置１では、差分結果画素数に応じた変動しきい値も考慮した動的しきい値をノイズの判定に用いているので、多数の移動物体が存在する場合やカメラ２に移動物体が接近した場合等で差分結果画素数が増加しても、ノイズか否かを高精度に判定できる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では、自動車に搭載され、自動車の前方を移動する歩行者や車両等を検出する移動物体検出装置に適用したが、自動二輪車、船舶、飛行機、ロボット等の他の移動体に搭載され、それらの移動体の周辺を移動する移動物体を検出する移動物体検出装置に適用してもよい。

また、本実施の形態では、移動物体検出装置の各手段を動的フレーム間差分装置、しきい値計算装置、ノイズ判定装置及び差分結果出力装置の各ハードウェアにより構成したが、１つのマイクロプロセッサにより各手段をソフトウェアによって構成してもよい。

また、本実施の形態では、角度変化量を求めるためにジャイロセンサを用い、移動量を求めるために車速センサを用いたが、角度変化量を求めるために角速度を計測する角速度センサを用いてもよいし、移動量を求めるために加速度を計測する加速度センサを用いてもよい。

また、本実施の形態では、ノイズ判定に用いるしきい値を変動しきい値と固定しきい値による動的しきい値を用いたが、変動しきい値のみあるいは固定しきい値のみを用いてノイズを判定してもよい。

本実施の形態に係る移動物体検出装置の構成図である。 図１の動的フレーム間差分装置で処理されるノイズが入っていない場合の画像の一例であり、（ａ）が時刻ｔ−ｎＴのときのフレーム画像であり、（ｂ）が時刻ｔのときのフレーム画像であり、（ｃ）が（ａ）のフレーム画像を補正したフレーム画像であり、（ｄ）が（ｂ）と（ｃ）のフレーム画像を用いて動的フレーム間差分を行った結果の画像である。 図１の動的フレーム間差分装置で処理されるノイズが入っている場合の画像の一例であり、（ａ）が時刻ｔ−ｎＴのときのフレーム画像であり、（ｂ）が時刻ｔのときにノイズが入っているフレーム画像であり、（ｃ）が（ａ）のフレーム画像を補正したフレーム画像であり、（ｄ）が（ｂ）と（ｃ）のフレーム画像を用いて動的フレーム間差分を行った結果の画像である。 動的フレーム間差分結果の差分結果画素数と動的しきい値の変化を示す図である。 図１のノイズ判定装置における処理を表すフローチャートである。

符号の説明

１…移動物体検出装置、２…カメラ、３…ジャイロセンサ、４…車速センサ、５…動的フレーム間差分装置、６…しきい値計算装置、７…ノイズ判定装置、８…差分結果出力装置、１１，１２…入力バッファ、２１，２２…出力バッファ

Claims (6)

1. 移動体に設けられ、動画像のフレーム画像から移動物体を検出する移動物体検出装置であって、
   撮像手段と、
   前回更新したフレーム画像を記憶する第１記憶手段と、
   前記撮像手段の運動情報を検出する運動情報検出手段と、
   前記運動情報検出手段により検出した運動情報に基づいて前記撮像手段の動きに応じて前記第１記憶手段に記憶しているフレーム画像を補正し、当該補正したフレーム画像と前記撮像手段で今回撮像したフレーム画像とを差分する動的フレーム間差分手段と、
   前記動的フレーム間差分手段による動的フレーム間差分結果から得られる領域の画素数としきい値とを比較することによってノイズか否かを判定するノイズ判定手段と
   を備え、
   前記ノイズ判定手段でノイズであると判定した場合、今回の動的フレーム間差分結果及び前記撮像手段で今回撮像したフレーム画像を棄却し、
   前記ノイズ判定手段でノイズでないと判定した場合、前回の動的フレーム間差分結果を今回の動的フレーム間差分結果に更新するとともに、前記第１記憶手段に記憶しているフレーム画像を前記撮像手段で今回撮像したフレーム画像に更新することを特徴とする移動物体検出装置。
2. 前記ノイズ判定手段でノイズでないと判定した場合に更新する動的フレーム間差分結果を記憶する第２記憶手段を備え、
   前記第２記憶手段に記憶している動的フレーム間差分結果に基づいて移動物体を検出することを特徴とする請求項１に記載する移動物体検出装置。
3. 前記動的フレーム間差分手段による動的フレーム間差分結果から得られる領域の画素数の平均画素数に基づいて動的にしきい値を決定するしきい値決定手段を備えることを特徴とする請求項１または請求項２に記載する移動物体検出装置。
4. 移動体に設けられた撮像手段により撮像した動画像のフレーム画像から移動物体を検出する移動物体検出方法であって、
   前記撮像手段の運動情報を検出する運動情報検出ステップと、
   前記運動情報検出ステップにより検出した運動情報に基づいて撮像手段の動きに応じて前回更新したフレーム画像を補正し、当該補正したフレーム画像と前記撮像手段で今回撮像したフレーム画像とを差分する動的フレーム間差分ステップと、
   前記動的フレーム間差分ステップによる動的フレーム間差分結果から得られる領域の画素数としきい値とを比較することによってノイズか否かを判定するノイズ判定ステップと
   を含み、
   前記ノイズ判定ステップでノイズであると判定した場合、今回の動的フレーム間差分結果及び前記撮像手段で今回撮像したフレーム画像を棄却し、
   前記ノイズ判定ステップでノイズでないと判定した場合、前回の動的フレーム間差分結果を今回の動的フレーム間差分結果に更新するとともに、前記動的フレーム間差分ステップで使用するフレーム画像を前記撮像手段で今回撮像したフレーム画像に更新することを特徴とする移動物体検出方法。
5. 前記ノイズ判定ステップでノイズでないと判定した場合に更新する動的フレーム間差分結果を記憶する記憶ステップを含み、
   前記記憶ステップで記憶した動的フレーム間差分結果に基づいて移動物体を検出することを特徴とする請求項４に記載する移動物体検出方法。
6. 前記動的フレーム間差分ステップによる動的フレーム間差分結果から得られる領域の画素数の平均画素数に基づいて動的にしきい値を決定するしきい値決定ステップを含むことを特徴とする請求項４または請求項５に記載する移動物体検出方法。

Images