しかし、対象物の動きが急に変化して異なる時間の形状情報間の差が瞬間的に変化した場合、平滑化する区間にその瞬間的な変化の増加過程が含まれるときとその瞬間的な変化の減少過程が含まれるときの2回を非周期的な変化として検出する場合がある。この場合、対象物の動きが1回だけ変化したにもかかわらず、2回変化したとして検出してしまう。
そこで、本発明は、対象物の動きの周期的変化を抑制するために平滑化を行った場合でも対象物の動きにおける非周期的変化を高精度に検出できる対象物検出装置及び対象物検出方法、警報装置及び警報方法並びに運転支援装置及び運転支援方法を提供することを課題とする。
本発明に係る対象物検出装置は、異なる時間に撮像された複数の画像から対象物の動きを検出する対象物検出装置であって、各時間の画像から対象物を検出する対象物検出手段と、対象物検出手段で検出された対象物の形状情報を取得する形状情報取得手段と、形状情報取得手段でそれぞれ取得された異なる時間の形状情報間の対象物の形状変化情報を取得する形状変化情報取得手段と、形状変化情報取得手段でそれぞれ取得された異なる時間の複数の形状変化情報を平滑化する平滑化手段と、平滑化手段で平滑化された形状変化情報に基づいて対象物の動きを判定する判定手段とを備え、平滑化手段は、複数の形状変化情報にそれぞれ重み付けして平滑化し、平滑化する区間において現在時間に近い形状変化情報であるほど重みを大きくすることを特徴とする。
この対象物検出装置では、所定時間毎に撮像された画像から対象物検出を行い、対象物が検出された場合にはその対象物の形状情報を取得する。そして、対象物検出装置では、異なる時間の各画像からそれぞれ取得された形状情報間の形状変化情報を取得する。さらに、対象物検出装置では、対象物の動きにおける周期的変化を抑止するために、異なる時間の複数の形状変化情報を平滑化する。この平滑化区間は検出している現在時間から過去側に設定される区間であり、時間が進むにつれて現在時間が変化するので、平滑化区間も現在時間に応じて変化する。そして、対象物検出装置では、平滑化された形状変化情報に基づいて対象物の動きが変化(特に、非周期的な変化)しているかを判定する。特に、対象物検出装置では、平滑化に行う際に、複数の形状変化情報にそれぞれ重みを付けして平滑化し、平滑化区間において現在時間に近い形状変化情報であるほど重みを大きくする。このような重み付けを行うことによって、対象物の動きが急に変化して、形状変化情報が瞬間的に変化した場合、平滑化区間にその瞬間的な変化の増加過程が入っているときには平滑化された形状変化情報の値が大きくなり、平滑化区間にその瞬間的な変化の減少過程が入っているときには平滑化された形状変化情報の値が小さくなる。その結果、平滑化区間に瞬間的な変化の増加過程における形状変化情報が入っているときだけを、対象物の動きにおける非周期的な変化として検出できる。このように、この対象物検出装置は、複数の形状変化情報を平滑化する際に平滑化する区間において現在時間に近い形状変化情報であるほど大きな重み付けて平滑化することにより、対象物の動きにおける1回の非周期的変化を2回の変化として検出することを抑制でき、対象物の動きにおける非周期的変化を高精度に検出することができる。
本発明の上記対象物検出装置では、対象物検出手段で検出された対象物の数が多いほど、平滑化手段は、平滑化する区間において現在時間に近い形状変化情報であるほど大きくする重み付けを促進する。
対象物検出装置では対象物毎に上記の検出処理を行っているので、対象物の数が多いほど検出処理回数が増加し、対象物の動きにおける1回の非周期的な変化を2回の変化として検出する回数も増える可能性がある。そこで、対象物の数が多いほど、平滑化区間において現在時間に近い形状変化情報であるほど大きくする重み付けを促進して、平滑化区間における現在時間に近い形状変化情報ほどより大きな重みを設定する。これによって、平滑化区間に瞬間的な変化の増加過程が入っているときには平滑化された形状変化情報の値がより大きくなり、平滑化区間に瞬間的な変化の減少過程が入っているときには平滑化された形状変化情報の値がより小さくなるので、対象物の動きにおける1回の非周期的変化を2回の変化として検出することをより抑制できる。その結果、対象物の数が多くなっても、対象物の動きにおける1回の非周期的変化を2回の変化として検出する数を減少できる。
本発明に係る対象物検出方法は、異なる時間に撮像された複数の画像から対象物の動きを検出する対象物検出方法であって、各時間の画像から対象物を検出する対象物検出ステップと、対象物検出ステップで検出された対象物の形状情報を取得する形状情報取得ステップと、形状情報取得ステップでそれぞれ取得された異なる時間の形状情報間の対象物の形状変化情報を取得する形状変化情報取得ステップと、形状変化情報取得ステップでそれぞれ取得された異なる時間の複数の形状変化情報を平滑化する平滑化ステップと、平滑化ステップで平滑化された形状変化情報に基づいて対象物の動きを判定する判定ステップとを含み、平滑化ステップでは、複数の形状変化情報にそれぞれ重み付けして平滑化し、平滑化する区間において現在時間に近い形状変化情報であるほど重みを大きくすることを特徴とする。この対象物検出方法は、上記の対象物検出装置と同様の作用効果を有している。
本発明に係る警報装置は、異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて警報を行う警報装置であって、各時間の画像から対象物を検出する対象物検出手段と、対象物検出手段で検出された対象物の形状情報を取得する形状情報取得手段と、形状情報取得手段でそれぞれ取得された異なる時間の形状情報間の対象物の形状変化情報を取得する形状変化情報取得手段と、形状変化情報取得手段でそれぞれ取得された異なる時間の複数の形状変化情報を平滑化する平滑化手段と、平滑化手段で平滑化された形状変化情報に基づいて対象物の動きを判定する判定手段と、判定手段で対象物の動きに変化があると判定された場合には警報の発動を促進する警報手段とを備え、平滑化手段は、複数の形状変化情報にそれぞれ重み付けして平滑化し、平滑化する区間において現在時間に近い形状変化情報であるほど重みを大きくすることを特徴とする。
この警報装置は、上記した対象物検出装置の対象物検出手段、形状情報取得手段、形状変化情報取得手段、平滑化手段、判定手段を備えているので、対象物の動きにおける非周期的変化を高精度に検出することができる。したがって、この警報装置では、対象物の動きに非周期的変化があることが高精度に検出された場合には、その非周期的変化に対する警報の発動を促進することができる。
本発明に係る警報方法は、異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて警報を行う警報方法であって、各時間の画像から対象物を検出する対象物検出ステップと、対象物検出ステップで検出された対象物の形状情報を取得する形状情報取得ステップと、形状情報取得ステップでそれぞれ取得された異なる時間の形状情報間の対象物の形状変化情報を取得する形状変化情報取得ステップと、形状変化情報取得ステップでそれぞれ取得された異なる時間の複数の形状変化情報を平滑化する平滑化ステップと、平滑化ステップで平滑化された形状変化情報に基づいて対象物の動きを判定する判定ステップと、判定ステップで対象物の動きに変化があると判定された場合には警報の発動を促進する警報ステップとを含み、平滑化ステップでは、複数の形状変化情報にそれぞれ重み付けして平滑化し、平滑化する区間において現在時間に近い形状変化情報であるほど重みを大きくすることを特徴とする。
この警報方法は、上記した対象物検出方法の対象物検出ステップ、形状情報取得ステップ、形状変化情報取得ステップ、平滑化ステップ、判定ステップを含む方法なので、対象物の動きにおける非周期的変化を高精度に検出することができる。したがって、この警報方法では、対象物の動きに非周期的変化があることが高精度に検出された場合には、その非周期的変化に対する警報の発動を促進することができる。
本発明に係る運転支援装置は、異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて運転支援を行う運転支援装置であって、各時間の画像から対象物を検出する対象物検出手段と、対象物検出手段で検出された対象物の形状情報を取得する形状情報取得手段と、形状情報取得手段でそれぞれ取得された異なる時間の形状情報間の対象物の形状変化情報を取得する形状変化情報取得手段と、形状変化情報取得手段でそれぞれ取得された異なる時間の複数の形状変化情報を平滑化する平滑化手段と、平滑化手段で平滑化された形状変化情報に基づいて対象物の動きを判定する判定手段と、判定手段で対象物の動きに変化があると判定された場合には運転支援の発動を促進する運転支援手段とを備え、平滑化手段は、複数の形状変化情報にそれぞれ重み付けして平滑化し、平滑化する区間において現在時間に近い形状変化情報であるほど重みを大きくすることを特徴とする。
この運転支援装置は、上記した対象物検出装置の対象物検出手段、形状情報取得手段、形状変化情報取得手段、平滑化手段、判定手段を備えているので、対象物の動きにおける非周期的変化を高精度に検出することができる。したがって、この運転支援装置では、対象物の動きに非周期的変化があることが高精度に検出された場合には、その非周期的変化に対する運転支援の発動を促進することができる。
本発明に係る運転支援方法は、異なる時間に撮像された複数の画像から検出された対象物の動きに基づいて運転支援を行う運転支援方法であって、各時間の画像から対象物を検出する対象物検出ステップと、対象物検出ステップで検出された対象物の形状情報を取得する形状情報取得ステップと、形状情報取得ステップでそれぞれ取得された異なる時間の形状情報間の対象物の形状変化情報を取得する形状変化情報取得ステップと、形状変化情報取得ステップでそれぞれ取得された異なる時間の複数の形状変化情報を平滑化する平滑化ステップと、平滑化ステップで平滑化された形状変化情報に基づいて対象物の動きを判定する判定ステップと、判定ステップで対象物の動きに変化があると判定された場合には運転支援の発動を促進する運転支援ステップとを含み、平滑化ステップでは、複数の形状変化情報にそれぞれ重み付けして平滑化し、平滑化する区間において現在時間に近い形状変化情報であるほど重みを大きくすることを特徴とする。
この運転支援方法は、上記した対象物検出方法の対象物検出ステップ、形状情報取得ステップ、形状変化情報取得ステップ、平滑化ステップ、判定ステップを含む方法なので、対象物の動きにおける非周期的変化を高精度に検出することができる。したがって、この運転支援方法では、対象物の動きに非周期的変化があることが高精度に検出された場合には、その非周期的変化に対する運転支援の発動を促進することができる。
なお、運転支援は、例えば、対象物の動きに変化があると判定された場合にその対象物との衝突回避のための運転支援、車両挙動を安定させるための運転支援の少なくとも1つを含む。衝突回避は、例えば、制動介入による衝突回避、操舵介入による衝突回避、及び、ドライバへの注意喚起の少なくとも1つを含む。これら以外の周知技術であってもよい。制動介入は、例えば、自動ブレーキ、制動力サポート、表示、音声、振動等の物理刺激によるドライバへの制動操作の促しの少なくとも1つを含む。これら以外の周知技術であってもよい。また、操舵介入は、例えば、自動操舵、操舵力サポート、物理刺激によるドライバへの操舵操作の促しの少なくとも1つを含む。これら以外の周知技術であってもよい。運転支援/警報の発動の促進は、運転支援/警報を発動することによって促進する場合のみならず、支援対象としての対象物が変化していると判定され易くする(検出範囲を広げる、検出精度を上げるなど)ことによって促進する場合、運転支援/警報の発動の条件を緩和する(閾値を下げるなど)ことによって促進する場合、運転支援/警報の内容のレベルを引き上げる(HMIによる表示/警報から介入制御に移行など)ことによって促進する場合を含む。
本発明によれば、複数の形状変化情報を平滑化する際に平滑化する区間において現在時間に近い形状変化情報であるほど大きな重み付けて平滑化することにより、対象物の動きにおける1回の非周期的変化を2回の変化として検出することを抑制でき、対象物の動きにおける非周期的変化を高精度に検出することができる。
以下、図面を参照して、本発明の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。
本実施の形態では、本発明を、車両に搭載される対象物検出装置に適用する。本実施の形態に係る対象物検出装置は、一定時間毎に撮像される複数のフレームの画像から車両の走行に影響を与えるような対象物の動きの変化(特に、非周期的変化)を検出する。そして、本実施の形態に係る対象物検出装置は、その対象物変化検出結果を運転支援装置や警報装置(HMI[Human Machine Interface]装置)等に提供する。
なお、対象物としては、自車両周辺に存在する動く物体であり、例えば、歩行者、自転車、車両(自動四輪車)、自動二輪車等の移動物体、車両のドア等の可動物体がある。検出対象の対象物の動きの変化は、交通環境における対象物の危険な変化であり、対象物の運動変化開始時における形状の変化を含む。対象物の動きの変化としては、例えば、歩行者や自転車が急に動きを変えて道路に飛び出してくる変化、並走している車両や自動二輪車が急に車線変更して自車線に割り込んでくる変化、前方を走行している車両や自動二輪車が急にUターンを開始する変化、前方を走行している車両や自動二輪車が道路脇の店等に入るために急に右左折する変化、駐車している車両がドアを急に開ける変化がある。なお、この検出対象の対象物の動きの変化は、非周期的な変化であり、周期的な変化は含まれない。周期的な変化としては、例えば、歩行者が歩いているときに腕や脚を周期的に動かす変化がある。
図1及び図2を参照して、本実施の形態に係る対象物検出装置1について説明する。図1は、本実施の形態に係る対象物検出装置の構成図である。図2は、図1の対象物検出装置における処理過程を説明するための一例であり、(a)が形状変化情報d(t,n)の時間変化の一例であり、(b)が類似度cosΘ(t,K,n,l)の時間変化の一例である。
対象物検出装置1は、各フレームの画像から対象物の形状情報を取得し、その形状情報を正規化し、正規化した現在フレームの形状情報とnフレーム前の形状情報との間の形状変化情報を計算する。そして、対象物検出装置1は、対象物の周期的変化を抑制するために複数の形状変化情報を重み付けして時間平均化(平滑化)し、その平均化形状変化情報から類似度cosΘを計算し、類似度cosΘが閾値未満の場合に対象物の動きに変化があると判定する。特に、対象物検出装置では、対象物の1回の変化に対して2回変化検出を抑制するために、重み付けして時間平均化する際に、平均化区間(平滑化区間)における現在時間に近い形状変化情報であるほど重みを大きくする。
そのために、対象物検出装置1は、対象物検出部10、対象物形状情報取得部11、対象物形状情報蓄積部12、対象物形状変化取得部13、対象物形状変化蓄積部14、対象物形状変化重み付き平均化部15、対象物変化検出部16、対象物形状情報記憶部20、対象物形状変化情報記憶部21を備えている。また、対象物検出装置1は、カメラ2と通信可能に接続されており、一定時間毎にカメラ2から各フレームの画像信号を受信する。なお、本実施の形態では、対象物検出部10が特許請求の範囲に記載する対象物検出手段に相当し、対象物形状情報取得部11が特許請求の範囲に記載する形状情報取得手段に相当し、対象物形状変化取得部13が特許請求の範囲に記載する形状変化情報取得手段に相当し、対象物形状変化重み付き平均化部15が特許請求の範囲に記載する平滑化手段に相当し、対象物変化検出部16が特許請求の範囲に記載する判定手段に相当する。
カメラ2は、自車両周辺を撮像するカメラである。カメラ2は、例えば、可視光領域又は赤外光領域にて撮像可能なCCD[Charge Coupled Device]カメラ、CMOS[Complementary Metal Oxide Semiconductor]カメラである。また、カメラ2は、ステレオカメラでもよいしあるいは単眼カメラでもよい、また、カラーカメラでもよいしあるいは白黒カメラでもよい。カメラ2は、自車両の前方、側方、後方等における自車両周辺を撮像可能な所定の位置に取り付けられる。カメラ2は、自車両周辺の所定の方向を撮像すると、その撮像したカラー画像(例えば、RGB[Red Green Blue]による画像)あるいは輝度画像等を取得する。カメラ2では、一定時間毎に(例えば、1/30秒毎に)、自車両周辺を撮像し、そのフレームの撮像画像のデータを画像信号として対象物検出装置1に送信する。画像信号には、1ずつ増加するフレーム番号が付与される。
対象物検出装置1は、専用のECU[Electronic Control Unit]でもよいし、あるいは、パソコン等の汎用コンピュータに構成されてもよい。対象物検出装置1は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]などからなり、組み込まれている対象物検出用のアプリケーションプログラムをロードして実行することによって対象物検出部10、対象物形状情報取得部11、対象物形状情報蓄積部12、対象物形状変化取得部13、対象物形状変化蓄積部14、対象物形状変化重み付き平均化部15、対象物変化検出部16の各処理を行う。また、対象物検出装置1は、RAMやハードディスク等の書き込み/読み出し可能な記録装置の所定の領域に対象物形状情報記憶部20、対象物形状変化情報記憶部21が構成されている。
対象物検出部10では、カメラ2から現在フレームの画像信号を受信する毎に、現在フレームの画像データから周知の画像処理により対象物を検出する。この周知の画像処理としては、どのような画像処理を適用してもよく、例えば、歩行者等の各対象物のテンプレートを予め記憶しておき、テンプレート毎にパターンマッチングを行うことによって対象物を検出する。対象物検出部10では、対象物を検出できた場合、画像から対象物を含む対象物領域(処理対象領域)を抽出する。この対象物領域は、対象物の動きの変化を検出する処理で有効となる所定領域であり、矩形領域とする。対象物領域の形状は、矩形以外の形状でもよい。対象物領域としては、対象物全体を含む領域でもよいしあるいは対象物の動きが顕著に現れる対象物の一部を含む領域でもよく、例えば、歩行者の場合、歩行者全体を含む領域でもよいしあるいは歩行者の下半身のみを含む領域でもよい。そして、対象物検出部10では、対象物を検出できた場合、その対象物の対象物領域の画像データからなる対象物部分画像信号を対象物形状情報取得部11に出力する。1フレームの画像から複数の対象物を検出できた場合、対象物部分画像信号には対象物毎の対象物領域の画像データが含まれる。なお、検出されている各対象物には識別番号が付与され、異なるフレーム間で同じ対象物が検出されている場合には同じ識別番号が付与され、異なるフレーム間でも同じ対象物のデータとして処理することができる。
対象物形状情報取得部11では、対象物部分画像信号を入力する毎に、現在フレームで検出されている各対象物について、所定の特徴量を用いて対象物領域の画像データから対象物の形状情報を表す特徴量v(t)を取得する。形状情報は、対象物の形状の特徴量を示す情報である。所定の特徴量は、確率分布として表せる特徴量である。所定の特徴量としては、例えば、画像データの輝度自体を使用する第1特徴量、画像データのエッジを使用する第2特徴量、画像データの色を使用する第3特徴量がある。第1特徴量としては、例えば、輝度、輝度のPCA、Humoment、LBP,Haarlike、fearture、poseletがある。第2特徴量としては、例えば、SIFT、PCA、SURF、GLOH、shape、context、HOG、CoHOG、FIND、edgeletがある。第3特徴量としては、例えば、RGB、Labがある。本実施の形態では、第2特徴量のSIFT特徴量を用いる。さらに、対象物形状情報取得部11では、各対象物について、式(1)により特徴量v(t)のL1 norm(マンハッタン距離)を1に正規化し、正規化した特徴量p(t)を取得する。そして、対象物形状情報取得部11では、各対象物についての正規化した特徴量p(t)からなる対象物形状信号を対象物形状情報蓄積部12に出力する。
対象物形状情報蓄積部12では、対象物形状信号を受信する毎に、現在フレームで取得できた各対象物についての正規化された特徴量p(t)を対象物形状情報記憶部20に蓄積(格納)し、蓄積対象物形状信号を対象物形状変化取得部13に出力する。対象物形状情報記憶部20には、対象物(識別番号)毎に、時系列のフレーム番号順に正規化された特徴量p(t)が格納される。格納されるのは、対象物の動きの検出に必要な予め決められた所定のフレーム分のデータである。この所定のフレーム分としては、少なくとも対象物形状変化取得部13で用いるnフレーム前分までである。
対象物形状変化取得部13では、蓄積対象物形状信号を受信する毎に、現在フレームで検出されている各対象物について、対象物形状情報記憶部20から現在フレームtでの正規化された特徴量p(t)及び現在フレームtからnフレーム前(所定時間前)の正規化された特徴量p(t−n)を読み出する。そして、対象物形状変化取得部13では、所定の尺度を用いて、その特徴量p(t)と特徴量p(t−n)との差d(t,n)を計算し、この差d(t,n)を形状変化情報として取得する。所定の尺度とは、確率分布間(特徴量p(t)、特徴量p(t−n)間)の差異を距離又は擬距離で計る尺度である。距離としては、例えば、Lp norm、マハラノビス距離、ハミング距離がある。Lp normとしては、例えば、L1 norm(マンハッタン距離)、L2 norm(ユークリッド距離)、Linfinity norm(一様ノルム)がある。マハラノビス距離を用いる場合、過去の複数の特徴量p(t)から分布を作成しておくことが好ましい。ハミング距離を用いる場合、ある程度数値を離散化しておくことが好ましい。擬距離としては、例えば、カルバック・ライブラー情報量(Kullback−Leibler divergence:以下、KL情報量と記載)がある。本実施の形態では、KL情報量を用いる。KL情報量とは、2つの確率分布P,Q間の差異を計る尺度であり、情報理論分野において周知である。KL情報量を用いた場合、対象物形状変化取得部13では、式(3)で示すD
KL(P||Q)(KL情報量)を用いて、式(2)により特徴量p(t)と特徴量p(t−n)との間の形状変化情報d(t,n)を計算する。そして、対象物形状変化取得部13では、各対象物についての形状変化情報d(t,n)からなる対象物形状変化信号を対象物形状変化蓄積部14に出力する。
対象物形状変化蓄積部14では、対象物形状変化信号を受信する毎に、現在フレームで取得できた各対象物についての形状変化情報d(t,n)を対象物形状変化情報記憶部21に蓄積(格納)し、蓄積対象物形状変化信号を対象物形状変化重み付き平均化部15に出力する。対象物形状変化情報記憶部21には、対象物(識別番号)毎に、時系列のフレーム番号順に形状変化情報d(t,n)が格納される。格納されるのは、対象物の動きの検出に必要な予め決められた所定のフレーム分のデータである。この所定のフレーム分としては、少なくとも対象物形状変化重み付き平均化部15で用いるl(エル)フレーム分である。図2(a)の例では、ある対象物の形状変化情報d(t,n)の時間変化(フレーム番号順のデータ)を示しており、対象物の動きが1回だけ急に変化して(例えば、歩行者が歩道に沿って歩いていたときに、急に向きを変えて車道側に歩きだした)、その瞬間的に変化した時間帯のd(t,n)が大きく変化している。その前後のd(t,n)の小さな変化は、対象物の周期的な変化である。
対象物形状変化重み付き平均化部15では、蓄積対象物形状変化信号を受信する毎に、現在フレームで検出されている各対象物について、対象物形状変化情報記憶部21から形状変化情報dを現在フレームを含めて過去のl(エル)フレーム分(d(t,n),d(t−1,n),・・・d(t−l+1,n))を読み出し、式(4)に示すようにl次元のベクトルu(t,n,l)を取得する。図2(a)の例では、現在フレームt
1のときに取得されたベクトルu(t
1,n,l)、現在フレームt
1よりも1フレーム前に取得されたベクトルu(t
1−1,n,l)、現在フレームt
1よりも2フレーム前に取得されたベクトルu(t
1−2,n,l)が示されるとともに、現在フレームt
1よりも所定時間経過した後の現在フレームt
2のときに取得されたベクトルu(t
2,n,l)、現在フレームt
2よりも1フレーム前に取得されたベクトルu(t
2−1,n,l)、現在フレームt
2よりも2フレーム前に取得されたベクトルu(t
2−2,n,l)が示されている。ちなみに、ベクトル(t
1,n,l)、u(t
1−1,n,l)、ベクトルu(t
1−2,n,l)はd(t,n)が瞬間的に大きく変化しているときの増加過程のときであり、ベクトル(t
2,n,l)、u(t
2−1,n,l)、ベクトルu(t
2−2,n,l)はd(t,n)が瞬間的に大きく変化しているときの減少過程のときである。
次に、対象物形状変化重み付き平均化部15では、現在フレームで検出されている各対象物について、ノイズを削減するために(対象物の周期的変化を抑制するために)、式(5)により、ベクトルuに重みベクトルIを掛けながら現在フレームを含めて過去のK個分のベクトルu(u(t,n,l),u(t−1,n,l),・・・u(t−K+1,n,l))を足し合わせて時間平均を取り、形状変化情報の重み付きの時間平均U(t,K,n,l)を計算する。この計算では、式(6)に示すl(エル)次元(ldim)の重みベクトルI(アイ)を用いる。この重みベクトルIの各値I1(アイイチ),I2(アイニ),・・・,Il(アイエル)については後で詳細に説明する。このl次元のベクトルuのK個分の区間が、時間平均化(平滑化)する区間となる。図2に示す例の場合、平均化する個数Kを3個としており、現在フレームt
1のときには3個のベクトルu(t
1,n,l)、u(t
1−1,n,l)、u(t
1−2,n,l)で時間平均U(t
1,K,n,l)が計算され、現在フレームt
2のときには3個のベクトルu(t
2,n,l)、u(t
2−1,n,l)、u(t
2−2,n,l)で時間平均U(t
2,K,n,l)が計算される。現在フレームt
1のときには3個のl次元のベクトルu(t
1,n,l)、u(t
1−1,n,l)、u(t
1−2,n,l)による時間平均化区間では、対象物の急な変化に応じて形状変化情報d(t、n)が急激に増加している。一方、現在フレームt
2のときには3個のl次元のベクトルu(t
2,n,l)、u(t
2−1,n,l)、u(t
2−2,n,l)による時間平均化区間では、対象物の急な変化に応じて形状変化情報d(t、n)が急激に減少している。
次に、対象物形状変化重み付き平均化部15では、現在フレームで検出されている各対象物について、式(7)により、形状変化情報の重み付きの時間平均U(t,K,n,l)と式(6)の重みベクトルIを用いて、類似度cosΘ(t,K,n,l)を計算する。この類似度cosΘは、n次元空間での類似度を分析する際に一般的に用いられるn次元ベクトルの類似度である。具体的には、類似度cosΘは、コサイン類似度と呼ばれ、ベクトルのなす角Θ(IとUのなす角)の余弦cosΘのことを意味し、ベクトルの向きの近さを類似性の指標としたものである。ベクトルの向きが一致している場合は最大値の1となり、ベクトルの向きが直交する場合は0となり、ベクトルの向きが逆になる場合には最小値の−1となる。したがって、対象物の動きが変化していない場合や周期的変化の場合には類似度cosΘが1近傍の値になり、対象物の動きが非周期的変化の場合には類似度cosΘが1より明らかに小さい値になる。そして、対象物形状変化重み付き平均化部15では、各対象物についての類似度cosΘからなる類似度信号を対象物変化検出部16に出力する。
図2に示す例において、式(6)に示す重みベクトルIの各値I1,I2,・・・,Ilを全て1とした場合(式(5)の時間平均が通常の移動平均の場合)、形状変化情報d(t、n)が急激に増加している現在フレームt1のときには3個のベクトルu(t1,n,l)、u(t1−1,n,l)、u(t1−2,n,l)による時間平均U(t1,K,n,l)と重みベクトルIから計算される類似度cosΘ(t1,K,n,l)の値は1より明らかに小さくなるとともに、形状変化情報d(t、n)が急激に減少している現在フレームt2のときには3個のベクトルu(t2,n,l)、u(t2−1,n,l)、u(t2−2,n,l)による時間平均U(t2,K,n,l)と重みベクトルIから計算される類似度cosΘ(t1,K,n,l)の値も1より明らかに小さくなる。そのため、図2(b)に示すように、対象物の1回の急な変化にもかかわらず、類似度cosΘには2回のピークP1,P2が現れる。このように類似度cosΘに2回のピークP1,P2が現れると、cosΘが閾値Threよりも2回小さくなり、対象物の動きが2回変化したと検出されることになる。
そこで、対象物形状変化重み付き平均化部15では、式(6)に示す重みベクトルIのI1(アイエル)側ほど大きい値を設定することにより(I1(アイイチ)側ほど小さい値を設定することにより)、現在時間(現在フレーム)に近い形状変化情報に掛けられる重みほど大きくする。このように重みベクトルIの各値を設定すると、時間平均化区間が対象物の急な変化に応じて形状変化情報d(t、n)が急激に増加している過程を含む場合には、式(5)で算出される時間平均U(t,K,n,l)が大きくなり、式(7)で計算されるcosΘ(t,K,n,l)が小さくなる。一方、時間平均化区間が対象物の急な変化に応じて形状変化情報d(t、n)が急激に減少している過程を含む場合には、式(5)で算出される時間平均U(t,K,n,l)が小さくなり、式(7)で計算されるcosΘ(t,K,n,l)が大きくなる(1に近づく)。その結果、対象物の動きにおける1回の急な変化が2回の変化として検出されることを抑制(防止)できる。
図2に示す例において、式(6)に示す重みベクトルIの各値I1,I2,I3をI1,I2,I3の順で徐々に大きな値に設定した場合、形状変化情報d(t、n)が急激に増加している現在フレームt1のときには、重みベクトルIの各値I1,I2,I3を全て1とした場合よりも、3個のベクトルu(t1,n,l)、u(t1−1,n,l)、u(t1−2,n,l)による時間平均U(t1,K,n,l)と重みベクトルIから計算される類似度cosΘ(t1,K,n,l)の値はより小さくなる。一方、形状変化情報d(t、n)が急激に減少している現在フレームt2のときには、3個のベクトルu(t2,n,l)、u(t2−1,n,l)、u(t2−2,n,l)による時間平均U(t2,K,n,l)と重みベクトルIから計算される類似度cosΘ(t1,K,n,l)の値は大きくなる(1に近づく)。そのため、図2(b)に示すように、対象物の1回の急な変化に対して、類似度cosΘには1回の大きなピークP3が現れる。このように類似度cosΘに1回のピークP3が現れるので、cosΘが閾値Threよりも1回だけ小さくなり、対象物の動きが1回変化したと検出されることになる。
なお、重みベクトルIの重みの各値をI1(アイエル)側ほど大きい値を設定する場合、各値を徐々に大きくしてもよい(全ての重みの値が異なる)。例えば、重みとして1より徐々に大きくして、I=(1,2,3,4,・・l−1,l)とする。また、複数段階に分けて段階的に値を大きくしてもよい(各段階の重みの値は異なるが、同じ段階の重みの値は同じになる)。例えば、I=(1,1,2,2,・・・)とする。これらは一例であり、実験やシミュレーション等を行って、重みベクトルIの重みの各値については適宜設定してよい。
対象物検出装置1では対象物毎に各処理を行っているので、対象物の数が多いほど処理回数が増加し、対象物の動きにおける1回の非周期的な変化を2回の変化として検出する数も増える可能がある。そこで、検出されている対象物の数が多いほど、重みベクトルIの重みの各値をI1側ほど大きい値に設定するのを促進して、Il側ほどより大きな値を設定する。これによって、時間平均化区間が対象物の急な変化に応じて形状変化情報d(t、n)が急激に増加している過程を含む場合には、式(5)で算出される時間平均U(t,K,n,l)がより大きくなり、式(7)で計算されるcosΘ(t,K,n,l)がより小さくなる。一方、時間平均化区間が対象物の急な変化に応じて形状変化情報d(t、n)が急激に減少している過程を含む場合には、式(5)で算出される時間平均U(t,K,n,l)がより小さくなり、式(7)で計算されるcosΘ(t,K,n,l)がより大きくなる(より1に近づく)。したがって、対象物の動きにおける1回の非周期的な変化を2回の変化として検出することを更に抑制できる。その結果、対象物の数が多くなっても、対象物の動きにおける1回の急な変化を2回の変化として検出する数を抑制できる。
なお、重みベクトルIの重みの各値をI1側ほど大きい値に設定するのを促進する場合、例えば、対象物の数が多くなるほどIl側ほどより大きな値を設定してもよいし、対象物の多くなる数に応じて段階的にIl側ほどより大きな値を設定してもよいし、あるいは、対象物の数が所定数以上になるとIl側ほどより大きな値を設定してもよい。この促進については、対象物の数を変えた実験やシミュレーション等を行って、適宜行ってよい。
対象物変化検出部16では、類似度信号を入力する毎に、現在フレームで検出されている各対象物について、類似度cosΘが閾値Threより小さいか否かを判定する。閾値Threは、予め設定され、上記したnフレーム前、lフレーム分、時間平均のK個、重みベクトルIの各重み等の各値を考慮して適宜設定される。そして、対象物変化検出部16では、類似度cosΘが閾値Threより小さい場合(時間平均化区間において対象物の形状の類似性が低い場合)には対象物の動きに変化(特に、非周期的変化)があると判定し、類似度cosΘが閾値Thre以上の場合には対象物の動きに変化がないと判定する。図2(b)に示す例の場合、ピークP3が現れるときに、類似度cosΘが閾値Threより小さくなり、対象物の動きに変化があると判定される。そして、対象物変化検出部16では、各対象物についての判定結果を対象物変化検出結果Rとし、対象物変化検出結果Rからなる対象物変化検出結果信号を運転支援装置や警報装置等に送信する。
ちなみに、対象物変化検出結果Rを用いて運転支援を行う場合、その運転支援には、例えば、対象物の動きが変化あると判定されている場合にその対象物との衝突回避のための運転支援、車両挙動を安定させるための運転支援の少なくとも1つを含む。衝突回避は、例えば、制動介入による衝突回避、操舵介入による衝突回避、及び、衝突を回避するためのドライバへの注意喚起の少なくとも1つを含む。衝突回避は、これら以外の周知技術であってもよい。制動介入は、例えば、自動ブレーキ、制動力サポート、表示、音声、振動等の物理刺激によるドライバへの制動操作の促しの少なくとも1つを含む。また、操舵介入は、例えば、自動操舵、操舵力サポート、物理刺激によるドライバへの操舵操作の促しの少なくとも1つを含む。制動介入や操舵介入は、これら以外の周知技術であってもよい。運転支援装置/警報装置では、対象物の動きに変化があると判定されている場合には運転支援/警報の発動を促進する。運転支援/警報の発動の促進としては、運転支援/警報を発動することによって促進する場合のみならず、支援対象としての対象物が変化していると判定され易くする(検出範囲を広げる、検出精度を上げるなど)ことによって促進する場合、運転支援/警報の発動の条件を緩和する(閾値を下げるなど)ことによって促進する場合、運転支援/警報の内容のレベルを引き上げる(HMIによる表示/警報から介入制御に移行など)ことによって促進する場合を含む。
図1を参照して、対象物検出装置1おける処理の流れを図3のフローチャートに沿って説明する。図3は、図1の対象物検出装置における処理の流れを示すフローチャートである。
カメラ2では、一定時間毎に、自車両周辺を撮像し、そのフレームの画像データからなる画像信号を対象物検出装置1に送信する。対象物検出装置1では、その画像信号を受信し、現在フレームの画像データを入力する(S1)。そして、対象物検出装置1では、現在フレームの画像データから対象物を検出し、検出できた対象物の対象物領域を抽出する(S2)。なお、本実施の形態では、このS2での処理が特許請求の範囲に記載する対象物検出ステップに相当する。
検出できた対象物毎に、対象物検出装置1では、対象物領域内の画像データを用いて対象物の形状情報を表す特徴量v(t)(SIFT特徴量の確率分布)を計算する(S3)。さらに、対象物検出装置1では、式(1)に示すように、特徴量v(t)のL1 normを1に正規化して、形状情報を表す正規化された特徴量p(t)を取得する(S4)。そして、対象物検出装置1では、その正規化特徴量p(t)(形状情報)を蓄積する(S5)。なお、本実施の形態では、このS3及びS4での処理が特許請求の範囲に記載する形状情報取得ステップに相当する。
対象物検出装置1では、蓄積されている現在フレームとnフレーム前の形状情報を表す正規化された特徴量p(t)、p(t−n)を読み出し、式(3)のKL情報量を用いて、式(2)により特徴量p(t)とp(t−n)との差d(t、n)(形状変化情報)を計算する(S6)。そして、対象物検出装置1では、その形状変化情報d(t,n)を蓄積する(S7)。なお、本実施の形態では、このS6での処理が特許請求の範囲に記載する形状変化情報取得ステップに相当する。
対象物検出装置1では、蓄積されている現在フレームを含むlフレーム分の形状変化情報d(t,n),d(t−1,n),・・・d(t−l+1,n)を読み出し、式(4)に示すようにベクトルu(t,n,l)を取得する(S8)。さらに、対象物検出装置1では、式(5)により、式(6)に示す重みベクトルI(I1側ほど大きな重みが設定)を用いて、重みベクトルIを掛けながらK個分のベクトルu(u(t,n,l),u(t−1,n,l),・・・u(t−K+1,n,l))を足し合わせて時間平均を取り、形状変化情報の重み付きの時間平均U(t,K,n,l)を計算する(S8)。さらに、対象物検出装置1では、式(7)により、時間平均U(t,K,n,l)と式(6)に示す重みベクトルIを用いて、類似度cosΘ(t,K,n,l)を計算する(S8)。なお、本実施の形態では、このS8での処理が特許請求の範囲に記載する平滑化ステップに相当する。
対象物検出装置1では、類似度cosΘ(t,K,n,l)が閾値Threより小さいか否かを判定する(S9)。S9の判定にて類似度cosΘが閾値Threより小さいと判定した場合、対象物検出装置1では、対象物の動きに変化があると判定する(S10)。一方、S9の判定にて類似度cosΘが閾値Thre以上と判定した場合、対象物検出装置1では、対象物の動きに変化がないと判定する。そして、検出できた全ての対象物についての判定が終了すると、対象物検出装置1では、その全ての判定結果を含む対象物変化検出結果Rからなる対象物変化検出結果信号を運転支援装置や警報装置等に送信し。現在フレームでの処理を終了する。現在フレームでの処理が終了すると、対象物検出装置1では、S1の処理に戻り、カメラ2から送信される次フレームの画像信号を待つ。なお、本実施の形態では、このS9での処理が特許請求の範囲に記載する判定ステップに相当する。
この対象物検出装置1によれば、複数の形状変化情報を時間平均化する際に時間平均化区間において現在時間に近い形状変化情報であるほど大きな重み付けて時間平均化することにより、対象物の動きにおける1回の非周期的変化を2回の変化として検出することを抑制でき、対象物の動きの非周期的変化を高精度に検出することができる。
また、対象物検出装置1によれば、対象物の数が多い場合、時間平均化区間において現在時間に近い形状変化情報であるほど大きくする重み付けを促進することにより、対象物の動きにおける1回の非周期的変化を2回の変化として検出することを更に抑制できる。その結果、対象物の数が多くなっても、対象物の動きにおける1回の非周期的変化を2回の変化として検出する数を低減できる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では対象物検出装置に適用したが、この対象物検出装置の対象物検出機能を有し、対象物検出機能で得られる対象物変化判定結果に基づいて運転支援を行う運転支援装置や対象物変化判定結果に基づいて警報(HMI)を行う警報装置(HMI装置)等に適用してもよい。運転支援装置の場合、対象物変化判定結果において対象物の動きに変化ありの判定結果がある場合には各種運転支援手段による運転支援の発動を促進する。警報装置の場合、対象物変化判定結果において対象物の動きに変化ありの判定結果がある場合には各種警報手段による警報の発動を促進する。
また、本実施の形態ではカメラ(撮像手段)が車両に予め搭載されたカメラとしたが、ドライバ等が車両に持ち込んだスマートフォン等の通信端末に搭載されたカメラでもよいし、あるいは、車外の交通環境や建物に設置されたカメラや他車両や歩行者のカメラで撮像された画像データを用いてもよい。これらの車載以外のカメラの画像データを用いる場合、無線通信等の通信手段によって画像データを取得する。
また、本実施の形態では車両に予め搭載される対象物検出装置(運転支援装置、警報装置)としたが、カメラの画像データを無線通信等で取得できる装置であれば、ドライバ等が車両に持ち込んだスマートフォン等の通信端末やノートパソコンやタブレット型パソコン等のパソコンに対象物検出用のアプリケーションプログラムを組み込みことによって構成された対象物検出装置でもよいし、あるいは、車両と通信可能な車外のセンタ等に構成される対象物検出装置でもよい。
また、本実施の形態では対象物検出装置における対象物検出方法の一例を示したが、実施の形態に示した対象物検出方法以外でもよく、例えば、形状情報を正規化したが正規化しないでもよいし、類似度cosΘを用いたが周知の他の類似度でもよい。