次に図面を参照してこの発明の実施の形態を説明する。
図1は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。該装置は、車両に搭載され、可視カメラ1Rおよび1Lと、カメラ1Rおよび1Lによって得られる画像データに基づいて車両周辺の対象物を検出するための画像処理ユニット2と、該検出結果に基づいて音声で警報を発生するスピーカ3と、カメラ1Rまたは1Lによって得られる画像を表示すると共に、運転者に車両周辺の対象物を認識させるための表示を行うヘッドアップディスプレイ(以下、HUDと呼ぶ)4とを備えている。可視カメラ1Rおよび1Lは、可視光領域で撮像可能なCCDカメラおよびCMOSカメラ等によって構成されることができ、撮像される物体の照度が高いほど、出力される映像信号のレベルが高くなる(すなわち、撮像画像における輝度値が高くなる)特性を有している。
この実施例では、図2に示すように、カメラ1Rおよび1Lは、車両10の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されており、車両の前方を撮像する。2つのカメラ1Rおよび1Lは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。
画像処理ユニット2は、入力アナログ信号をデジタル信号に変換するA/D変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置(CPU)、CPUが演算に際してデータを記憶するのに使用するRAM(ランダムアクセスメモリ)、CPUが実行するプログラムおよび用いるデータ(テーブル、マップを含む)を記憶するROM(リードオンリーメモリ)、スピーカ3に対する駆動信号およびHUD4に対する表示信号などを出力する出力回路を備えている。カメラ1Rおよび1Lの出力信号は、デジタル信号に変換されてCPUに入力されるよう構成されている。HUD4は、図2に示すように、車両10のフロントウィンドウの、運転者の前方位置に画面4aが表示されるように設けられている。こうして、運転者は、HUD4に表示される画面を視認することができる。
ここで、図3を参照して、本願発明の原理を説明する。(a)は、夜間において、車両のヘッドライト(通常のロービームの状態)で前方を照射した場合に可視カメラによって撮像された可視画像の一例である。符号101で示される領域内に車両に対面するよう歩行者103が存在しているが、車両のヘッドライトの照射範囲は、路面から約1メートル程度の高さであるよう制限されているため、歩行者103の上半身、特に頭部は、認識可能なように撮像されない。歩行者103の下半身は、該ライトの照射範囲内にあるため、認識可能なように撮像されている。
従来より、歩行者を撮像画像から検出するには、歩行者の上半身に特徴的な部分が多いため、上半身を判定することにより歩行者を検出することが行われていた。特に頭部は、歩行者全般にわたって共通の楕円形状をなしており、検出しやすい。しかしながら、(a)に示すように、夜間において可視カメラによって前方の歩行者を撮像しても、歩行者の頭部を認識可能なように撮像することは困難であり、従来からの形状判定手法を用いて頭部を検出することはできない。
そこで、本願発明では、車両のヘッドライトで照射される範囲において撮像される、歩行者の足の部分に着目する。歩行者が車両に対面または対背面しているとき、足は、二本の縦長の形状として撮像され、また、歩行している場合には、二本の足が交互に動かされるという特徴を有する。
ここで、(b)を参照すると、(b−1)は、車両の位置を基準として、歩行者の左足が前にあり右足が後ろにある状態を示し、(b−2)は、歩行者の右足が前にあり左足が後ろにある状態を示す。このように、車両の可視カメラから歩いている歩行者を見ると、左足が右足より近距離にある状態(b−1)と、右足が左足より近距離にある状態(b―2)とが交互になって現れる。(b−1)の状態では、左足の画像領域の輝度値は、右足の画像領域の輝度値より高く、(b−2)の状態では、右足の画像領域の輝度値は、左足の画像領域の輝度値より高い。
(c)は、(a)の歩行者103が車両に向かって歩いている状態を可視カメラにより撮像したときの、左足の脛の部分の画像領域の輝度値(該画像領域の輝度平均値により表している)111Lと、右足の脛の部分の画像領域の輝度値(該画像領域の輝度平均値により表している)111Rとの時間的推移の一例を示す。この図に示されるように、時間t1からt2の間の(b−1)の状態と、時間t2からt3の間の(b−2)の状態とが交互に現れ、前者では、左足の輝度値111Lが高くなるにつれて右足の輝度値111Rは低くなり、後者では、右足の輝度値111Rが高くなるにつれて左足の輝度値111Lは低くなる、という特徴を有する。言い換えると、輝度差(=左足の輝度値111L−右足の輝度値111R)の符号が周期的に変化し、時間t1からt2の間の(b−1)の状態では、輝度差は正の値として算出され、時間t2からt3の間の(b−2)の状態では、輝度差は負の値として算出され、輝度差の符号が交互に現れるという特徴を有する。同様の特徴は、輝度差を、右足の輝度値111Rから左足の輝度値11Lを減算することによって定義した場合でも現れる。ここで、輝度差の符号が正と負の間で変化する点(111Lと111Rとが交差する点)が、図では符号C1、C2、およびC3によって示されており、以下、この点を変曲点と呼ぶ。
なお、車両の歩行者に対する位置変化の影響や環境光の影響等により、脛の部分に照射される光は変化しやすく、脛領域の輝度値の絶対値は変動しやすい。したがって、左および右の脛領域の輝度値の絶対値の変動を調べることに比べ、両者の輝度値の差分を調べることにより、このような外乱の影響を低減して、ロバストに歩行者を判定することができる。
図3(c)は、足の脛の部分の輝度値の時間的な変化を表している。車両のヘッドライトは、前述したように路面から約1メートルの高さの照射範囲であるため、脛の部分は、より確実に照射される部分である。また、歩行するとき、左足の脛と右足の脛の間の開きは、左足の大腿部と右足の大腿部の間の開きよりも大きくなる。したがって、大腿部に比べ、脛の部分の方が、左右の輝度差が大きいため、上記のような輝度差を取得しやすい。したがって、本願発明では、足のうち、特に脛の部分の輝度値を利用し、該輝度値が図3(c)のような挙動を呈するかどうかで、歩行者を判定する。しかしながら、大腿部の輝度値についても、図3(c)に示すのと同様の挙動を呈するので、大腿部の輝度値を用いて歩行者を判定してもよい。また、大腿部と脛部の両方を含む画像領域の輝度値を用いて、歩行者判定を行ってもよい。
さらに、歩行者判定の精度をより向上させるため、図3(c)の輝度値の挙動の周期(周波数)を考慮することができる。図3(c)のシミュレーションの場合には、左足の脛の輝度値111Lについて、極小値間の周期は1233ミリ秒であり、右足の脛の輝度値111Rについて、極小値間の周期は1366ミリ秒である。この周期は、歩行者の歩行周期を表しており、一般的な成人の歩行をシミュレーションや実験等を介して調べると、上記周期Tの周波数Fが、およそ0.7〜0.9Hz(周期Tで表すと、およそ1100〜1430ミリ秒)であることがわかった。
したがって、左足の輝度値111Lおよび(または)右足の輝度値111Rの上記周期T(極小値間、または極大値間)を調べ、これが所定範囲内であれば、歩行者と判定することができる。代替的に、上記周期Tは、変曲点C1からC3の間の時間長(t1〜t3)に対応するので、変曲点間の周期を調べ、これが、所定範囲内であるかどうかを調べてもよい。この場合、2つの変曲点C1およびC2の間の時間長(これは、T/2に対応する)が所定範囲内にあるかどうかを調べてもよいし、3つの変曲点C1からC3の間の時間長(これは、Tに対応する)が所定範囲内にあるかどうかを調べてもよい。なお、周期Tに代えて、該周期Tに対応する周波数Fが、所定範囲内にあるかどうかを調べてもよい。
次に、図4を参照して、具体的な処理内容を説明する。図4は、この発明の一実施形態に従う、画像処理ユニット2によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
ステップS11〜S13において、カメラ1Rおよび1Lの出力信号(すなわち、撮像された可視画像のデータ)を入力として受け取り、これをA/D変換し、それを画像メモリに格納する。ここで得られる画像データは、輝度情報を含んだグレースケール画像である。以下の処理では、カメラ1Rで撮像された右画像(代替的、左画像でもよい)のグレースケール画像に基づいて処理を行う。
ステップS14において、図3を参照して述べたような原理に従って歩行者判定処理を行い、車両に対面または対背面する歩行者を検出する。ステップS14で歩行者が検出されたならば、その情報を運転者に報知する。報知は、任意の適切な手法で実現されることができる。たとえば、HUD4の表示画面4a上に表示された撮像画像上に、判定された歩行者を強調表示することによって報知してもよいし、スピーカ3を介して歩行者が存在することを運転者に知らせてもよい。強調表示は、任意の形態でよく、たとえば、判定された歩行者を囲む枠を重畳表示することによって行うことができる。
以下、ステップS14で実行される歩行者判定処理の第1から第3の実施例を説明する。
図5は、第1の実施例に従う、歩行者判定処理のフローである。
ステップS21において、グレースケール画像において、物体と路面との交点と考えられる点(路面交点と呼ぶ)を抽出する。路面交点は、任意の適切な手法で抽出されることができる。この実施例では、グレースケール画像に対し、周知の手法(たとえば、ガボール(Gabor)フィルタ等のフィルタ)を用いてエッジを抽出し、該エッジに基づいて路面交点を抽出する。エッジは、輝度変化が大きいほど、強度の強いエッジとして抽出される。
歩行者の左右の足は、背景に対して比較的大きい輝度変化を有すると共に、歩行者の足が路面に接する所でも、比較的輝度変化が大きいという特徴を持つ。したがって、左右の足の輪郭は、所定の強度を持つ4本の垂直方向(図3(a)の画像の縦方向)のエッジとして抽出されることができ、これらのエッジの下端を、路面交点として抽出する。ここで図6(a)を参照すると、右足の輪郭を表すエッジVE1およびVE2と左足の輪郭を表すVE3およびVE4からなる4本のエッジVE1〜VE4が抽出され、これらのエッジの下端a1〜a4が、路面交点として抽出されている。
なお、左右の足が閉脚しているときには、左右の足の境界部に対応するエッジVE2およびVE3が抽出されにくい場合も生じうる。したがって、足の側面の輪郭を表すエッジVE1およびVE4が、歩行者の足幅に相当するかどうかを調べることにより、路面交点a1およびa4を特定してもよい。たとえば、エッジVE1とVE4の間の幅wを、以下の式に従って実空間の幅Wに変換する。
W=w×Z/(F/p)
ここで、Zは、エッジVE1およびVE4を持つ対象物までの距離(m)であり、この実施例ではカメラ1Rおよび1Lを備えているので、周知の三角測量法等によって算出されることができる。Fは、カメラ1Rの焦点距離(m)を示し、pは、画素ピッチ(m/pixel)を示す。こうして算出された幅Wが、成人の平均の足幅を表す所定範囲内(たとえば、30〜70センチメートルの間)にあるかどうかを調べ、所定範囲内にあれば、エッジVE1およびVE4が左右の足の側面を表しているため、その下端a1およびa4を路面交点とすることができる。
他の実施例では、歩行者の足が路面に接する部分の輝度変化が大きいという特徴を利用して、所定値以上の強度を持ち、かつ、前述したように成人の平均の足幅に相当する所定範囲内の長さを持つ水平方向(図3(a)の画像の横方向)のエッジを抽出する。これにより、図6(b)に示すようなエッジHE1が抽出される。このエッジ上の点、この実施例では該エッジの中点a5を、路面交点として抽出する。中点a5に代えて、たとえば該エッジの左右端の点を路面交点として抽出してもよい。
さらなる他の実施例では、垂直方向のエッジと水平方向のエッジとが交差する点を抽出して、これを路面交点とすることができる。図6(c)には、垂直方向のエッジVE5と水平方向のエッジHE2との交点a6および垂直方向のエッジVE6と水平方向のエッジHE2との交点a7が路面交点として抽出されている。なお、前述したように、交点a6およびa7との間の距離(幅)が、成人の平均の足幅に相当するかどうかを判断し、相当すれば、これらの交点を路面交点と判断してもよい。
図5に戻り、ステップS22において、こうして抽出された路面交点の車両からの距離を算出する。この実施例では、一対の可視カメラ1R、1Lが搭載されているので、以下の式に示すように、周知の三角測量法等を利用して算出されることができる。ここで、Fは、前述したように、カメラ1R、1Lの焦点距離であり、pは画素ピッチを示す。Bは、基線長すなわちカメラ1Rの撮像素子の中心位置とカメラ1Lの撮像素子の中心位置との間の距離であり(両カメラの光軸の間隔)、dは、視差量、すなわち、カメラ1Rの路面交点の画素位置とカメラ1Lの対応する路面交点の画素位置の間のずれ)を示す。
Z=B×F/(d×p)
ステップS23において、処理領域ROI(Region of Interest)を設定し、ステップS24において、該処理領域が、足に相当する領域かどうかを判断することにより、足以外の対象物を除外する。ステップS21で抽出した路面交点は、多数存在するおそれがあり、これらの路面交点の中には、足以外の物体と路面との交点も含まれるおそれがある。したがって、より精度を上げるため、路面交点として抽出された点に対して処理領域を設定し、該処理領域に出現するエッジ等の特徴から、該処理領域が足部分であるかどうかを判断する。
処理領域ROIは、成人の平均の足の長さおよび幅に基づいて、各路面交点に対して設定されることができる。具体的には、路面交点を中心に、所定幅(実空間において、たとえば30〜70センチメートルの間の値とすることができる)を持ち、かつ該路面交点から上方に向かって所定長さ(実空間において、たとえば70〜90センチメートルの間の値とすることができる)の四角形の領域を、処理領域ROIとして設定する。図6(d)には、図6(b)で抽出された路面交点a5に対して設定された処理領域ROIが示されている。なお、図6(a)の場合には、路面交点a1とa4の間の中点に対して同様に処理領域ROIを設定することができ、図6(c)の場合には、路面交点a6とa7の中点に対して同様に処理領域ROIを設定することができる。
ステップS24では、こうして設定された処理領域ROIが、足を表す特徴を有するかどうかを判断することにより、該処理領域ROIが足領域かどうかを判断する。たとえば、処理領域ROIから、ガボールフィルタ等を用いて垂直方向のエッジを抽出し、その長さ、角度および強度を調べる。足は、垂直方向に所定値以上の長さを持ち、かつ背景に対して輝度変化が比較的大きいという特徴を持つよう撮像される。したがって、最も大きい強度を持つエッジの長さが所定範囲内かどうか、最も大きい強度を持つエッジの角度(画像の垂直なラインに対する角度)が所定範囲内かどうか、および所定値以上の強度を持つエッジが存在するかどうかを調べ、これらの条件がすべて満たされれば、処理領域ROIは足を表していると判断する。この処理により、建物などの人工構造物や、路面の標識などを、後続の処理から除去することができる。
なお、上記条件に加え、または上記条件に代えて、他の条件を用いて処理領域ROIが足領域かどうかを調べてもよい。たとえば、周知のパターン(テンプレート)マッチング等の手法を用い、足のエッジを表したパターンを予め記憶しておき、処理領域ROIから抽出されたエッジと、該記憶されたパターンとをマッチングして相関(類似度)を調べ、相関が高いと判断されたならば、処理領域ROIは足を表すと判断してもよい。
こうして、設定された処理領域ROIのうち、足領域と判断された処理領域ROIの路面交点が、次のステップS25で用いられる。ステップS25では、路面交点に基づいて、脛の画像領域を探索する。
一実施例では、図6(a)のように垂直方向のエッジV1〜VE4に基づいて路面交点a1からa4が抽出されていれば、図6(e)の斜線で示されるように、路面交点a1およびa2のエッジVE1とVE2の間を、右の脛領域20Rとし、路面交点a3およびa4のエッジVE3とVE4の間を左の脛領域20Lとして識別する。代替的に、路面交点a1およびa4のエッジVE1およびVE4の間の領域を、a1およびa4の間の中点で二分し、右および左の脛領域と識別してもよい。
脛領域の垂直方向の長さは、任意に設定してよい。たとえば、路面交点(右脛領域については、a1およびa2のいずれかでよく、左脛領域については、a3およびa4のいずれかでよい)から所定長さで制限することができ、該所定の長さは、たとえば成人の平均の脛の長さに対応するよう設定されることができる。あるいは、いずれかの垂直エッジ(たとえば、右脛領域については、VE1とVE2のうち短い方の垂直エッジ、左脛領域については、VE3とVE4のうち短い方の垂直エッジ)の長さにより制限してもよい。
他の実施例では、図6(b)に示すように水平方向のエッジHE1に基づいて路面交点a5が設定されていれば、図6(f)の斜線の領域20で示されるように、上記設定された処理領域ROI(前述したように、成人の平均の足幅に対応するような幅に設定される)により脛領域の幅を画定することができる。垂直方向については、処理領域ROIの縦方向の長さが、成人の平均の足の長さに対応するよう設定されているので、成人の平均の足の長さに対する脛の長さの比率に基づいて、処理領域ROI内に脛領域の上辺の境界を設定することができる。路面交点a5を通る垂直のライン(点線で表される)によって脛領域20を二分し、右の脛領域20Rおよび左の脛領域20Lを決定することができる。代替的に、脛領域20の左右の境界を、水平方向のエッジHE1の左右の端点により定めてもよい。
なお、図6(c)に示すように、垂直方向のエッジVE5,VE6と水平方向エッジHE2の交点を路面交点a6、a7として抽出している場合には、エッジVE5とVE6の間の領域を脛領域と判断し、これを、図6(f)のように左右に二分して、左右の脛領域としてよい。脛領域の上下の境界については、図6(e)を参照して述べたように、垂直方向のエッジVE5またはVE6の長さに基づいて設定してもよいし、図6(f)で述べたように、足の長さに対する脛の長さの比率を処理領域ROIに適用することにより決定してもよい。
さらなる代替の実施例を説明すると、脛は、路面に対して垂直に近い方向を持ち、かつ一定の幅を持つ物体であるとみなすことができる。したがって、一定の方向および幅に感受性を持つフィルタを用いることにより、比較的強いフィルタ出力が得られやすく、脛の中心線(脛を垂直方向に二分した線)は、該フィルタ出力のピーク値を得ることで抽出されやすい。この代替の実施例では、この点に着目し、たとえばガボールフィルタ等を用いて、路面交点から上方に向かって所定範囲の画像領域をフィルタリングし、歩行者の両足幅に対応する範囲内に存在する垂直方向のフィルタ出力のうち、路面交点から上向きに歩行者の足の長さに対応する範囲を探索し、最も強い強度または所定値以上の強度を有する点の列を2列抽出する。これら2列の画素列を、それぞれ、左足および右足の脛の中心線を表す画像領域とすることができる。この2列の画素列のそれぞれを中心とする画像領域であって、路面交点に対して一定の距離にあり、かつ歩行者の片足幅に対応する範囲の画像領域を、左右の脛領域とすることができる。
図5に戻り、ステップS26において、ステップS25で特定された左右の脛領域の輝度値を算出する。これは、左右の脛領域に含まれる画素の輝度値の平均値を算出することにより行ってよい。こうして算出された輝度値が、所定値以上かどうかを判断する。これは、輝度値がほぼ飽和状態にあるかどうかを判断するための処理であるので、該所定値は、飽和に近い値(たとえば、256階調であれば、255に近い値)に設定される。
たとえば歩行者が車両に近すぎる場合、歩行者が白い服を着ている場合、街灯などの車両周辺の環境光によって歩行者が照らされている場合等には、脛領域全体にわたって輝度値が高くなる。このような状態では、歩行している場合でも、左脛領域と右脛領域との差が良好に得られず、図3を参照して説明したような歩行者判定が困難になる。他方、このような輝度値が高い状態は、昼間の場合と同様に、歩行者の形状が明瞭に撮像されている状態を示す。したがって、脛領域の輝度値が所定値以下の場合には、図3で説明したような輝度値の変化に基づく手法で歩行者を判定し(ステップS27)、脛領域の輝度値が該所定値より大きい場合には、従来からの既知の形状判定の手法によって、歩行者を判定する(ステップS28)。
ステップS28の形状判定による歩行者の検出には、任意の適切な手法を用いることができる。たとえば、グレースケール画像からエッジを抽出し、該エッジに対し、周知のパターンマッチングの手法を適用して、歩行者を検出する。足領域の輝度値がほぼ飽和している場合には、前述したように、歩行者全体が明瞭に撮像されている状態である可能性が高い。したがって、歩行者の頭部の形状や、頭部から肩にかけての形状等を判定することにより、歩行者を検出することができる。このような形状を用いた歩行者の判定手法は、たとえば、特開2001−222719号公報、特開2005−149144号公報、特開2005−25568号公報、特開2005−149145号公報などに示されている。または、ニューラルネットワークを用いて、頭部を検出するようにしてもよい。たとえば、特開2005―190400号公報や特開2005−122351号公報には、ニューラルネットワークを用いて顔の画像領域を検索する手法が示されている。
ステップS27で実行される歩行者判定には、さらにいくつかの実施例があり、これらを、図7〜図9を参照して説明する。
図7は、第1の実施例に従う、輝度変化に基づく歩行者判定プロセスのフローチャートである。ステップS31では、左脛領域の輝度値(左脛領域に含まれる画素の輝度値の平均とすることができる)と右脛領域の輝度値(右脛領域に含まれる画素の輝度値の平均とすることができる)との差を算出する。この実施例では、輝度差=左脛領域の輝度値−右脛領域の輝度値、により算出する。代替的に、輝度差を、右脛領域の輝度値から左脛領域の輝度値を減算することにより算出してもよい。
前述したように、図4の処理は所定の時間間隔(サイクル)で実行されるので、所定時間間隔で撮像画像が取得されて上記の輝度差が算出される。したがって、ステップS32で、現在までに算出された輝度差の時間的推移を調べる。たとえば、今回のサイクルと、所定数だけ過去のサイクルの間に算出された輝度差(たとえば、Nフレームの撮像画像について算出されたN個の輝度差)の時間的変化を調べることができる。
ステップS33において、該輝度差の時間的変化において、図3を参照して説明した変曲点(輝度差の符号が正と負の間で変化する点)が検出されるかどうかを判断する。変曲点が検出されなければ(ステップS33がNo)、ステップS36に進み、歩行者ではないと判定する。
輝度差の時間的変化に変曲点が検出されたならば(ステップS33がYes)、ステップS34に進み、2つの時間的に連続して検出された変曲点の符号が変化しているかどうかを判断する。すなわち、図3(c)に示すように、負から正への変曲点C1の次に、正から負への変曲点C2が検出されたならば、または、正から負への変曲点C2の次に、負から正への変曲点C3が検出されたならば(ステップS34がYes)、ステップS35において歩行者と判定する。このような変化が存在しなければ(ステップS34がNo)、ステップS36に進む。
なお、この実施例では、2個の時間的に連続して検出した変曲点を用いて歩行者と判定しているが、代替的に、n個(>2)の連続した変曲点について、正から負への変曲点と負から正への変曲点とが交互に現われれば、歩行者と判定するようにしてもよい。
また、代替的に、変曲点が1つ検出されたならば、図3(c)のように、左脛領域の輝度値の変化と右脛領域の輝度値の変化とが逆相であることを示すので、歩行者と判定してもよい。なお、この場合、より判定精度を高めるため、ここでの判定結果を歩行者候補とし、該歩行者候補に対して、さらなる他の判定手法(たとえば、形状判定等)を適用した結果に基づいて、最終的に歩行者と判定するようにしてもよい。
図8は、第2の実施例に従う、輝度変化に基づく歩行者判定プロセスのフローチャートである。図7と、ステップS41が設けられている点で異なる。ステップS41において、変曲点間の周期が、所定範囲内かどうかを判断する。図3(c)を参照して説明したように、一般的な歩行は、周波数Fが約0.7〜0.9Hz程度で行われ、これに従って変曲点が現れる。周波数Fに対応する1つの周期Tの長さは、変曲点C1〜C3の間の長さに相当する。したがって、3つの連続して検出された変曲点C1〜C3の間の長さが、所定範囲内(約0.7〜0.9Hzの周波数Fに対応する時間長T)にあるかどうかを判断し、該所定範囲内にあれば(ステップS41がYes)、ステップS35において歩行者と判定し、該所定範囲内になければ(ステップS41がNo)、ステップS36において歩行者ではないと判定する。
代替的に、2つの変曲点C1およびC2の間の長さが、所定範囲内(約0.7〜0.9Hzの周波数Fに対応する時間長Tの半分)にあるかどうかを判断してもよい。さらに、n個の変曲点を用いて、変曲点間の長さの平均を算出し、該平均値が該所定範囲内にあるかどうかを判断してもよい。
図9は、第3の実施例に従う、輝度変化に基づく歩行者判定プロセスのフローチャートである。図7と異なるのは、ステップS34に代えて、ステップS43が設けられている点である。ステップS43では、連続して検出された変曲点間で、輝度差が増大した後に減少しているかどうかを判断する。図3(c)に示されるように、変曲点は、両者の輝度値が交差する点であるので、変曲点における輝度差はゼロである。或る変曲点から次の変曲点に向けて、輝度差は、増大した後に減少する。ステップS43は、この挙動が検出されるかどうかを判断するための処理である。このような挙動が検出されたならば(ステップS43がYes)、ステップS35において歩行者と判定し、このような挙動が検出されなければ(ステップS43がNo)、ステップS36において歩行者ではないと判定する。
いくつかの形態で、ステップS43の判断処理を実現することができる。たとえば、輝度差を追跡し、ゼロの時点(変曲点)から極大値までの間の期間の増加速度(変化率)を算出する(たとえば、極大値を、該期間の時間長で除算することにより、増加速度を求めることができる)。増加速度の大きさが所定値以上ならば、図3(c)のように、輝度差がゼロから増大していく挙動であると判断する。また、極大値からゼロ(変曲点)までの間の期間の減少速度(変化率)を算出し(たとえば、極小値を、該期間の時間長で除算することにより、減少速度を求めることができる)、該減少速度の大きさが所定値以上ならば、図3(c)のように、輝度差がゼロへ減少していく挙動であると判断する。
また、2つの変曲点間の一周期だけでなく、複数の周期にわたって増加速度と減少速度を調べ、所定値以上の増加速度と所定値以上の減少速度の周期が所定回数以上にわたって検出されたならば、歩行者と判定してもよい。
図7〜図9において、ステップS35において歩行者と判定されたならば、その輝度差の値は、サイクル(撮像画像のフレーム番号でもよい)に対応づけられてメモリに記憶される。こうして、所定数のサイクルにわたって輝度差がメモリに記憶され、これが、次のサイクルのステップS32の時間追跡に用いられる。
上の実施形態では、歩行する生体として、歩行者を判定している。代替的に、他の歩行する生体について本願発明を適用することができる。たとえば、動物は、車両に対面または対背面で歩行するとき、車両から見ると、左右の足が交互に動かされる。したがって、上記のような手法で動物を判定することができる。
なお、上の実施形態では、一対のカメラを車両に搭載しているが、本願発明は、一台のカメラを車両に搭載し、該カメラによって撮像された画像に基づいて歩行者を判定してもよい。この場合、たとえば対象物までの距離を測定することができるレーダ等を車両に搭載し、該レーダの測定値に基づいて対象物までの距離Zを求めてもよい。代替的に、カメラの撮像画像上の各位置に、対応する距離値を予め割り当て、該位置に基づいて対象物までの距離Zを推定するようにしてもよい。この場合、画像の下から上に向かって大きくなるように距離値が割り当てられる。
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。