JP7482767B2 - 物体識別装置、および、物体識別方法 - Google Patents

Description

本発明は、カメラの撮影画像から物体の種別を識別する物体識別装置、および、物体識別方法に関する。

近年の自動車には、運転支援や自動運転の実現のため、自車両前方の移動物体の種別を識別する機能の搭載が求められている。例えば、前方の移動物体との衝突を回避する運転支援の実現には、移動物体の種別を識別したうえで、その移動物体の一般的な移動速度を考慮したブレ－キ制御をおこなう必要がある。

ここで、カメラの撮影画像に写った移動物体の種別を識別する手法として、特定物体の大量の画像を学習させて作成した識別器を用いる方法が一般に用いられる。しかし、この識別手法では、画像上の見かけの特徴パタンを学習するため、歩行者と自転車のように、撮影画像中での形状が類似した移動物体同士を正確に識別するのは困難であった。

そのため、特許文献１では、人間と推定される領域の面積の標準偏差を用いて歩行者を識別する方式が提案されている。例えば、特許文献１の請求項１では、「車両の前方を撮像する撮像手段により得られた画像より歩行者を検知する車両用の歩行者検知装置において、前記画像から人間と推定される領域を切り出し、該切り出した人間推定領域の面積を特徴量として算出する特徴量算出手段と、前記特徴量の時系列デ－タからそのばらつきを示す統計量を算出し、該算出した統計量が判定閾値より大きいとき、前記人間推定領域に対応する像が、当該車両の進行方向に対してほぼ垂直の方向に歩行している歩行者であると判定する歩行者判定手段とを備え、該歩行者判定手段は、前記特徴量の変動量の移動平均値を算出し、所定サンプル数の移動平均値の分散または標準偏差を、前記ばらつきを示す統計量として算出することを特徴とする歩行者検知装置」が開示されている。

特許第４２６７１７１号公報

特許文献１の歩行者検知装置によれば、画像から算出した人間の領域の面積を、時系列に平均をとり、移動平均の標準偏差が大きい場合に歩行者と判定する方式が開示されている。しかし、画面上の歩行者の面積は、歩行者自身の歩行挙動で時系列に変動する以外に、カメラを搭載した車両が歩行者に接近することによっても変動する。

このような、車両走行による移動物体までの距離変化の影響を軽減するには、車速により動的に変動するしきい値を設定しておき、車速センサから現在の速度を取得して、しきい値を設定したうえで移動物体の種別を判定する必要があった。しかしながら、正確なしきい値を設定するには、高精度の車速センサを利用する必要があるが、車両に搭載される一般的な車速センサでは低速時の検出精度が低いため、低速時には適切なしきい値を設定できず、結果的に、低速時には正確な歩行者判定を実行できないという問題があった。

そこで、本発明では、自車両が低速走行中であっても、前方の移動物体の種別を正確に判定することができる、物体識別装置、および、物体識別方法を提供することを目的とする。

上記課題を解決するための本発明の物体識別装置は、カメラが撮影した画像データに基づいて移動物体の種別を識別するものであって、前記画像データから移動物体の存在する物体領域を切り出す物体領域切出部と、前記物体領域の特徴量を算出する特徴量算出部と、前記特徴量の周期変動を検出する周期変動検出部と、検出した周期変動に基づき歩行者を判定する移動物体判定部と、を備えたものとした。

本発明の物体識別装置および物体識別方法によれば、自車両が低速走行中であっても、前方の移動物体の種別を正確に識別することが可能となる。

物体検出装置の実施例１の構成を示すブロック図。 物体領域切出部と、特徴量算出部の処理の内容を説明するための図。 歩行者の歩行挙動を時系列で示した図。 図３Ａの各物体領域から算出した縦横比の変動を示した図。 図３Ｂの縦横比と移動平均の差の関係を示した図。 周期変動検出部による図４Ａの解析結果。 図３Ｂの縦横比の増減を示した図。 周期変動検出部による図５Ａの解析結果。 物体識別装置の実施例１の処理の流れを示す図。 物体識別装置の実施例２の構成を示すブロック図。 自転車の走行挙動を示した図。 立ちこぎしている自転車の走行挙動を示した図。

以下、図面等を用いて、本発明の物体検出装置の実施例について説明する。なお、以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

まず、図１から図６を用いて、本発明の実施例１に係る物体識別装置１を説明する。

図１は、自車両に搭載された、実施例１の物体識別装置１、ステレオカメラ２、車両制御装置３の概略構成を示す機能ブロック図である。

ステレオカメラ２は、左カメラ２Ｌと右カメラ２Ｒの撮像素子を用いて、自車両前方のステレオ画像を撮影し、画像データＤとして出力する外界センサである。なお、本発明で用いる外界センサは、画像データＤ内の各物体との距離を検出可能なセンサであれば良く、単眼カメラに、レーザレーダ、ミリ波レーダ、超音波センサ等の測距センサを組み合わせた外界センサであっても良い。

物体識別装置１は、ステレオカメラ２が撮影したステレオ画像（画像データＤ）に基づいて自車両周辺の移動物体の種別を識別し、その識別結果を車載ネットワ－クＣＡＮを介して車両制御装置３に出力する装置である。なお、物体識別装置１が識別する移動物体の種別は、他車両、バイク、自転車、歩行者等であるが、本実施例では歩行者の識別方法を説明し、実施例２では歩行者と自転車の識別方法を説明する。

車両制御装置３は、自車両の加速系、制動系、操舵系等を制御するＥＣＵ（Electronic Control Unit）であり、物体識別装置１による移動物体の識別結果を踏まえて、移動物体との衝突等を回避できるように自車両の制動や操舵等を適切に制御する。なお、識別結果に応じた自車両制御には周知技術を利用できるので、以下では車両制御装置３の詳細説明を省略する。

＜物体識別装置１の詳細構造＞
図１に示すように、物体識別装置１は、内部バス１０、物体領域切出部１１、特徴量算出部１２、周期変動検出部１３、歩行者判定部１４、カメラインタフェースＩＦ_１、ＣＡＮインタフェースＩＦ_２を備えている。なお、物体識別装置１は、具体的には、マイコン等の演算装置、半導体メモリ等の記憶装置、および、通信装置などのハ－ドウェアを備えたコンピュータである。そして、記憶装置にロードされたプログラムを演算装置が実行することで、物体領域切出部１１等の各機能を実現するが、以下では、このような周知技術を適宜省略しながら、各部の詳細を順次説明する。

カメラインタフェースＩＦ_１は、ステレオカメラ２からステレオ画像（画像データＤ）を取得する。取得した画像データＤは、内部バス１０を通して図示しない記憶部に記憶される。

物体領域切出部１１は、記憶部に記憶された画像データＤから、物体領域Ｒを切り出す。これは画像データＤから同一物体の映った領域を抽出する処理であり、様々な方法を用いることができる。たとえばステレオ画像では、画像間の視差により画像データＤ上の各点の距離を算出できるので、画像データＤ上で近接しており、かつ、自車両との相対距離が類似する画像領域をグル－ピングすることで物体領域Ｒを抽出することができる。

図２は、横断歩道を横断中の歩行者Ｐを撮影した画像データＤの一例である。この画像データＤを処理対象とする場合、物体領域切出部１１は、歩行者Ｐを含む矩形の領域を物体領域Ｒとして検出する。なお、以下では、画像データＤ上での物体領域Ｒの幅をＸ、高さをＹとする。

特徴量算出部１２は、物体領域切出部１１で求めた物体領域Ｒの特徴量を算出する。ここで算出する特徴量は、歩行者Ｐの手足の動きを定量化できる特徴量であり、例えば、歩行者Ｐの歩行に伴い変動する物体領域Ｒの縦横比Ｒ_Ｘ／Ｙ、もしくは、物体領域Ｒの対角線の角度などである。以降では、物体領域Ｒの縦横比Ｒ_Ｘ／Ｙを特徴量とした場合について説明する。

特徴量の一例である縦横比Ｒ_Ｘ／Ｙは、図２で設定した物体領域Ｒの幅Ｘを高さＹで割った値である。自車両が歩行者Ｐに近づくと、仮に歩行者Ｐの姿勢が同一であっても、画像データＤ上での物体領域Ｒは徐々に拡大するが、実際の歩行者Ｐは高さ（身長）は変わらないため、物体領域Ｒの幅Ｘを高さＹで割ることで、ステレオカメラ２からの距離や単位に影響されない正規化された特徴量として、縦横比Ｒ_Ｘ／Ｙを求めることができる。

図３Ａは、図２の歩行者Ｐを含む物体領域Ｒの時間変化の一例である。ここでは、時刻ｔ～時刻ｔ＋６の歩行者Ｐと物体領域Ｒを、それぞれ、Ｐ_０～Ｐ_６、Ｒ_０～Ｒ_６で示している。この図から明らかなように、物体領域Ｒの高さＹは、自車両が歩行者Ｐに近づくほど大きくなる。また、物体領域Ｒの幅Ｘは、自車両が歩行者Ｐに近づくほど大きくなると同時に、歩行者Ｐが手足を前後に動かす歩行挙動によっても変化する。例えば、時刻ｔや時刻ｔ＋４での幅Ｘは前後のフレームより狭まっており、時刻ｔ＋２や時刻ｔ＋６での幅Ｘは前後のフレームより広がっている。

このため、特徴量算出部１２が、図３Ａに示す歩行者Ｐの物体領域Ｒを対象として縦横比Ｒ_Ｘ／Ｙを算出すると、図３Ｂに示すような周期変動が検出される。

周期変動検出部１３は、特徴量算出部１２で算出した物体領域Ｒの特徴量（例えば、物体領域Ｒの縦横比Ｒ_Ｘ／Ｙ）を時系列で監視し、周期変動の有無を判断する。

（第一の周期変動判定方法）
ここで、図４Ａと図４Ｂを用いて、周期変動検出部１３による、第一の周期変動判定方法を説明する。図４Ａは、図３Ｂの縦横比Ｒ_Ｘ／Ｙの値と、過去数フレ－ムの縦横比Ｒ_Ｘ／Ｙの平均値である移動平均Ａｖの値をプロットしたグラフである。このグラフからは、縦横比Ｒ_Ｘ／Ｙが周期的に増減すると、移動平均Ａｖに対して縦横比Ｒ_Ｘ／Ｙが周期的に上下することが分かる。

そこで、周期変動検出部１３は、縦横比Ｒ_Ｘ／Ｙの周期的な増減を検出するために、時刻ごとに得られる縦横比Ｒ_Ｘ／Ｙから、移動平均Ａｖに対する縦横比Ｒ_Ｘ／Ｙの大小を「周期変動判定指標」として算出し、周期変動判定指標の連続状態を「周期変動判定指標連続カウンタ（＋カウンタ、および、－カウンタ）」でカウントする。

まず、周期変動検出部１３は、過去数フレ－ムの物体領域Ｒの縦横比Ｒ_Ｘ／Ｙの値から、移動平均Ａｖの値を求める。また、その時刻の縦横比Ｒ_Ｘ／Ｙが移動平均Ａｖより大きい（以下「＋」と表記する）か小さい（以下「－」と表記する）かを求める。さらに、移動平均に対する＋の状態、－の状態の連続する回数を求める。そして、＋連続回数と－連続回数がほぼ一致する場合に、周期変動検出部１３は、縦横比Ｒ_Ｘ／Ｙが周期的に変動したとする。

図４Ｂは、周期変動検出部１３による図４Ａのグラフの解析結果の一例である。図４Ｂ（ａ）の行に、本判定方法の周期変動判定指標である、それぞれの時刻の移動平均Ａｖに対する縦横比Ｒ_Ｘ／Ｙの＋／－の状態を示し、図４Ｂ（ｂ）の行に＋の連続回数である＋カウンタ値を、図４Ｂ（ｃ）の行に－の連続回数である－カウンタ値を示している。

この例では、時刻ｔ＋１と時刻ｔ＋２の周期変動判定指標が＋、時刻ｔ＋３と時刻ｔ＋４の周期変動判定指標が－、時刻ｔ＋５と時刻ｔ＋６の周期変動判定指標が＋である。そのため、図４Ｂ（ｂ）の＋カウンタ値は、周期変動判定指標の＋が連続する時刻ｔ＋１、ｔ＋２では１回、２回とカウントアップしていき、その後、周期変動判定指標が－となる時刻ｔ＋３、ｔ＋４では、現状のカウンタ値である２回を保持し、周期変動判定指標が再度＋に変動した時刻ｔ＋５の時点で、１回からカウントアップを再開する。同様に、－カウンタ値は、周期変動判定指標の－が連続する時刻ｔ＋３、ｔ＋４では１回、２回とカウントアップしていき、その後、周期変動判定指標が＋となる時刻ｔ＋５、ｔ＋６では、現状のカウンタ値である２回を保持する。

このように、＋カウンタ値と－カウンタ値をカウントアップさせると、時刻ｔ＋４の時点で、＋の連続回数と－の連続回数が共に２回となり一致することを検知でき、周期変動検出部１３は、一定周期で縦横比Ｒ_Ｘ／Ｙが増減したと判定することができる。

（第二の周期変動判断方法）
次に、図５Ａと図５Ｂを用いて、周期変動検出部１３による、第二の周期変動判定方法を説明する。図４Ｂでは、移動平均Ａｖに対する縦横比Ｒ_Ｘ／Ｙの大小を周期変動判定指標としたが、図５Ｂでは、１フレーム前の縦横比Ｒ_Ｘ／Ｙに対する現フレームの縦横比Ｒ_Ｘ／Ｙの増減を周期変動判定指標とする。１フレーム前の縦横比Ｒ_Ｘ／Ｙに対する現フレーム前の縦横比Ｒ_Ｘ／Ｙの増減は、図５Ａの破線矢印のように示されるため、周期変動検出部１３は、図５Ａのグラフを、図５Ｂのように解析する。図５Ｂでも図４Ｂと同様に、時刻ｔ＋４の時点で、＋の連続回数と－の連続回数が共に２回となり一致するため、周期変動検出部１３は、一定周期で縦横比Ｒ_Ｘ／Ｙが増減したと判定することができる。

歩行者判定部１４は、周期変動検出部１３で周期的な変動を検出した場合に、その物体領域Ｒ内の移動物体を歩行者Ｐと判定する。

ＣＡＮインタフェースＩＦ_２は、歩行者判定部１４が歩行者Ｐを検出した場合に、その判定結果を、車載ネットワ－クＣＡＮを介して、車両制御装置３に送信する。その結果、車両制御装置３は、自車両が歩行者Ｐに接近しているという前提での車両制御を実行する。

＜物体識別装置１による処理のフローチャート＞
以上で説明した本実施例の物体識別装置１の処理の流れを、図６のフローチャートを用いて説明する。

ステップＳ１では、カメラインタフェースＩＦ_１は、ステレオカメラ２から画像データＤを取得する。

ステップＳ２では、物体領域切出部１１は、図２に示すように、画像データＤから物体領域Ｒを切り出す。

ステップＳ３では、物体領域切出部１１は、ステップＳ２で切り出した物体領域Ｒを、前時刻に切り出した物体領域Ｒと照合する。図２や図３Ａでは、簡単のため画像データＤ内に移動物体が一つだけ存在する状況を例示したが、実際には、画像データＤ中には複数の移動物体が存在する可能性があるため、同一物体の物体領域Ｒを識別したうえで、同一物体の特徴量の周期変動を検出し歩行者判定を実施する必要がある。そのため、物体領域切出部１１が物体領域Ｒを切り出す際に、前の時刻で切り出した複数の領域のどの領域と同じ物体であるかを照合する処理を実施する。連続した時刻間での物体の照合は、画面上で領域が重なっている、面積の差分が一定しきい値以下である、また、ステレオカメラ２を用いているなどで物体との実際の距離が取得できる場合には、実際の距離の値の差分が一定しきい値以下である、等の条件判定により、前の時刻で切り出した物体との照合をとっておく。これにより、それぞれの物体領域Ｒについて、過去の履歴の参照による変動の有無を判定することができる。なお、ここでは、ｎ個の移動物体が検出されたものする。

ステップＳ４では、特徴量算出部１２は、物体領域Ｒの参照カウンタｉを１に設定する。

ステップＳ５では、特徴量算出部１２は、参照カウンタｉの物体領域Ｒの種別フラグが設定されているか否かを判定する。種別フラグは物体領域Ｒに割り当てられた変数であり、物体領域Ｒが初めて検出されたときに「未識別」と設定される。ステップＳ５で参照カウンタｉの物体の種別フラグが「未識別」である場合は、識別判定が必要であるのでステップＳ６に進む。「未識別」でなく「歩行者」となっている場合は、参照カウンタｉの物体領域Ｒに既に歩行者がいると判定されているので、他の物体領域Ｒを判定対象とすべく、参照カウンタｉのカウントをインクリメントするステップＳ１２の処理に進む。

ステップＳ６では、特徴量算出部１２は、参照カウンタｉの物体領域Ｒの特徴量を算出する。例えば、図３Ａ、図３Ｂのように、時系列の物体領域Ｒに対して縦横比Ｒ_Ｘ／Ｙを算出する。

ステップＳ７では、周期変動検出部１３は、参照カウンタｉの物体領域Ｒの周期変動判定指標を算出する。以降、周期変動判定指標が、図４Ｂに示す、移動平均Ａｖに対する縦横比Ｒ_Ｘ／Ｙの＋／－である場合の事例で説明する。例えば、時刻ｔ＋３では、移動平均値Ａｖより縦横比Ｒ_Ｘ／Ｙが小さいため、周期変動検出部１３は、物体領域Ｒの周期変動判定指標として－を算出する。

ステップＳ８では、周期変動検出部１３は、参照カウンタｉの物体領域Ｒの周期変動判定指標が前時刻から変化したか否かを判定する。例えば、図４Ｂでは、時刻ｔ＋２の周期変動判定指標であった＋が、時刻ｔ＋３では－に変化しているため、ステップＳ９の処理に進む。このように、ステップＳ８は、参照カウンタｉの物体領域Ｒの周期変動判定指標の符号に変化がみられるタイミングを判定する処理である。一方、周期変動判定指標の符号に変化が見られない場合は、判定のタイミングでないため次の参照カウンタｉの物体領域ＲにカウンタをインクリメントするステップＳ１２の処理に進む。

ステップＳ９では、参照カウンタｉの物体領域Ｒの連続カウンタを比較する。具体的には＋カウンタ値と－カウンタ値を比較し、これがほぼ一致すれば周期変動ありとしてステップＳ１０の処理に進む。例えば、図４Ｂの時刻ｔ＋３では、＋カウンタ値は「２」、－カウンタ値は「１」であるため、一致せずとして＋カウンタ値または－カウンタ値をインクリメントするステップＳ１１の処理に進む。これに対し、時刻ｔ＋４では、＋カウンタ値は「２」、－カウンタ値も「２」であるため、縦横比Ｒ_Ｘ／Ｙが周期的に変動したと判定して、ステップＳ１の処理に進む。

ステップＳ１０では、前のステップＳ９で縦横比Ｒ_Ｘ／Ｙに周期変動が見られたため、歩行者判定部１４は、参照カウンタｉの物体領域Ｒの種別フラグを「歩行者」に設定する。

一方、ステップＳ１１では、参照カウンタｉの物体領域Ｒの周期変動判定指標に変化がない、もしくは＋カウンタと－カウンタが一致しないことから、周期変動の判定がまだ実施できないため、次時刻以降の判定のために、現状の＋カウンタと－カウンタの状態を更新してステップＳ１２に進む。例えば、図４Ｂの時刻ｔ＋２の場合は、現在時刻の周期変動判定指標が前時刻に引き続いて「＋」であるため、５ａに示すように＋カウンタを１インクリメントした２とし、－については変化がないため－カウンタをそのまま０とする。

ステップＳ１２では、参照カウンタｉの物体領域Ｒに対する処理が終了したため、次の物体領域Ｒを判定対象とすべく、参照カウンタｉを１インクリメントする。

ステップＳ１３では、参照カウンタｉがステップＳ３で設定した物体数ｎを超えたか否かを判定する。超えていない場合は未処理の物体領域Ｒが残っているため、ステップＳ５に戻り、次の物体領域Ｒに対する処理を実行する。超えている場合は現在時刻の処理を終了する。

なお、ステップＳ９の＋カウンタと－カウンタの一致判定については、より正確な判定のために、次に挙げる各方法を採っても良い。

（１）ノイズの値変動による誤判定を避けるため、＋カウンタと－カウンタはそれぞれ２回以上の場合に一致判定する。

（２）＋カウンタと－カウンタの一致判定は、完全一致でなく、５０％程度の誤差は許容するとする。例えば、＋が２回連続して、－が３回連続した場合も一致したとする。

（３）＋の連続回数と－の連続回数が初めて一致した時点で周期変動と判定するのでなく、一致が二回以上連続した時点で判定することで、よりロバストな判定とすることができる。図４Ｂや図５Ｂの例では、時刻ｔ＋６の時点で二回目の一致が検出されるので、この時点で周期変動と判定する。

以上の構成により、自車両の移動により移動物体との距離が変化しても、同じ歩行者の高さ（身長）は一定であることに鑑み、正規化した特徴量として縦横比Ｒ_Ｘ／Ｙを算出することで歩行者Ｐの歩行挙動を正確に検出することができる。また、特徴量として物体領域Ｒの対角線の角度の値を用いた場合も、縦横比Ｒ_Ｘ／Ｙを利用する場合と同様に、正規化した指標に基づいて歩行者Ｐの歩行挙動を正確に検出できるという効果が得られる。

以上で説明した本実施例の物体識別装置によれば、自車両が低速走行中であっても、正規化した特徴量を用いて、前方の移動物体が歩行者であることを正確に識別することが可能となる。

次に、図７から図９を用いて、本発明の実施例２に係る物体識別装置１を説明する。なお、実施例１との共通点は重複説明を省略する。

図７は、実施例２の物体識別装置１の構成を示す機能ブロック図である。図７の物体識別装置１は、図１の物体識別装置１に対し、物体実高算出部１５を追加するとともに、歩行者判定部１４を歩行者／自転車判定部１４ａに置き換えた構成である。以下、実施例１と異なる構成につき説明する。

本実施例は、移動物体の実座標上の高さを求めるため、物体実高算出部１５を備えた。物体実高算出部１５は、例えば、ステレオカメラからのステレオ画像から物体領域Ｒの実際の高さを算出するものであるが、レーザレーダ、ミリ波レーダなどの出力を用いて、物体領域Ｒの実際の高さを算出しても良い。以降はステレオカメラ２からのステレオ画像を用いて物体領域Ｒの実高さを求める例で説明する。

物体実高算出部１５は、物体領域切出部１１で切り出した物体領域Ｒに対し、実座標上の高さを算出する。ステレオ画像を用いると、ステレオカメラ２からの距離が既知の物体領域Ｒの高さＹの画素数が分かれば、その物体領域Ｒの実際の高さは式１で求めることができる。

実高さ（ｍｍ）＝（画素ピッチ×距離（ｍｍ）×高さ（画素））／焦点距離（ｍｍ）…式１
周期変動検出部１３では、実施例１と同様に周期変動判定指標を算出し、＋カウンタと－カウンタを更新する。それに加え、本実施例では、物体実高算出部１５で取得した実高さの履歴を取得し、同一物体領域の時系列方向の平均値と標準偏差を算出する。

歩行者／自転車判定部１４ａでは、実施例１の歩行者判定部１４と同様に、＋カウンタと－カウンタの一致判定により、周期変動が検出されたかを判定する。そして、周期変動が検出された場合に、さらに実高さの標準偏差を参照し、標準偏差がしきい値以下であれば物体領域切出部１１で切り出した物体領域Ｒを歩行者と判定し、しきい値より大きければ自転車と判定する。

歩行者／自転車判定部１４ａでの処理につき、図８を用いて説明する。図８は自車両の前方を横切る自転車の走行挙動を示した図である。なお、ここでは、物体領域Ｒの実高さは既に算出されているものとする。この場合、人の頭の高さが変化しない一方で、自転車をこぐ足の位置の上下により物体領域Ｒの下端の位置が上下に変動し、その結果、物体領域Ｒの高さが周期的に変動する。つまり、周期変動検出部１３で求める実座標上での物体領域Ｒの高さの標準偏差が大きくなるため、縦横比Ｒ_Ｘ／Ｙの変動が高さ方向の変動に起因すると判断できる。これは、自転車の画像を解析した時に見られる特徴であるので、このような特徴がみられた場合に、歩行者／自転車判定部１４ａは、物体領域Ｒ内の移動物体を自転車と判定することができる。

同様に、図９に示すのは、立ちこぎしている自転車Ｂの走行挙動を示した図である。凍場合は、自転車をこぐ周期に伴い人の頭の位置が周期的に上下するため、図８と同様に実座標上の高さの標準偏差が大きくなる。従って、図９のような画像データＤを撮影した場合も、歩行者／自転車判定部１４ａは、物体領域Ｒ内の移動物体を自転車と判定することができる。

実施例１では、画像データＤ上での物体領域Ｒの縦横比Ｒ_Ｘ／Ｙの周期変動を検出することで歩行者の歩行挙動を検出する例を記載した。これは、物体が歩行者の場合、高さが不変であることから高さで正規化した幅変動を検出できる効果があった。

一方、実施例２では、さらに、実座標上での物体領域Ｒの実高さの周期変動を考慮することで、歩行者と自転車を区別できるようにした。すなわち、実座標上の高さ変動がしきい値より小さければ、歩行者の幅変動による周期変動と判定し、しきい値より大きければ自転車の高さ変動による周期変動と判定する。

以上で説明した本実施例の物体識別装置１によれば、自車両が低速走行中であっても、正規化した特徴量を用いて、前方の移動物体が歩行者か自転車かを正確に識別することが可能となる。

１ 物体識別装置、
１１ 物体領域切出部、
１２ 特徴量算出部、
１３ 周期変動検出部、
１４ 歩行者判定部、
１４ａ 歩行者／自転車判定部、
１５ 物体実高算出部、
ＩＦ_１ カメラインタフェース、
ＩＦ_２ ＣＡＮインタフェース、
２ ステレオカメラ、
２Ｌ 左カメラ、
２Ｒ 右カメラ、
３ 車両制御装置、
Ｄ 画像データ、
Ｐ 歩行者、
Ｂ 自転車、
Ｒ 物体領域、
Ｗ 物体領域の幅、
Ｈ 物体領域の高さ、
Ｒ_Ｘ／Ｙ 物体領域の縦横比、
Ａｖ 縦横比の移動平均

Claims (8)

1. カメラが撮影した画像データに基づいて移動物体の種別を識別する物体識別装置であって、
   前記画像データから移動物体の存在する物体領域を切り出す物体領域切出部と、
   前記物体領域の特徴量を算出する特徴量算出部と、
   前記特徴量の周期変動を検出する周期変動検出部と、
   検出した周期変動に基づき歩行者を判定する移動物体判定部と、
   を備えた物体識別装置において、
   前記移動物体判定部は、前記特徴量の値が、前記特徴量の移動平均を超える連続回数と超えない連続回数の比率がほぼ一致する場合に、前記物体領域内の移動物体を歩行者と判定することを特徴とする物体識別装置。
2. カメラが撮影した画像データに基づいて移動物体の種別を識別する物体識別装置であって、
   前記画像データから移動物体の存在する物体領域を切り出す物体領域切出部と、
   前記物体領域の特徴量を算出する特徴量算出部と、
   前記特徴量の周期変動を検出する周期変動検出部と、
   検出した周期変動に基づき歩行者を判定する移動物体判定部と、
   を備えた物体識別装置において、
   前記移動物体判定部は、前記特徴量の値が、前記特徴量の前回値を超える連続回数と超えない連続回数の比率がほぼ一致する場合に、前記物体領域内の移動物体を歩行者と判定することを特徴とする物体識別装置。
3. 請求項１または請求項２に記載の物体識別装置において、
   前記特徴量算出部は、前記物体領域の特徴量として、前記画像データでの前記物体領域の縦横比を算出することを特徴とする物体識別装置。
4. 請求項１または請求項２に記載の物体識別装置において、
   前記特徴量算出部は、前記物体領域の特徴量として、前記画像データでの前記物体領域の対角線の角度を算出することを特徴とする物体識別装置。
5. 請求項１または請求項２に記載の物体識別装置において、
   前記移動物体判定部は、前記特徴量の値が、前記特徴量の移動平均値を周期的に上下する場合に、前記物体領域内の移動物体を歩行者と判定することを特徴とする物体識別装置。
6. 請求項１または請求項２に記載の物体識別装置において、
   前記移動物体判定部は、前記移動物体との距離と、前記移動物体の画像データ上の高さから、前記物体領域の実座標上の高さを算出し、実座標上の高さの周期変動に基づいて、前記移動物体を自転車と判定することを特徴とする物体識別装置。
7. カメラが撮影した画像データに基づいて移動物体の種別を識別する物体識別方法であって、
   前記画像データから移動物体の存在する物体領域を切り出すステップと、
   前記物体領域の特徴量を算出するステップと、
   前記特徴量の周期変動を検出するステップと、
   検出した周期変動に基づき歩行者を判定するステップと、
   を備え、
   前記歩行者を判定するステップでは、前記特徴量の値が、前記特徴量の移動平均を超える連続回数と超えない連続回数の比率がほぼ一致する場合に、前記物体領域内の移動物体を歩行者と判定することを特徴とする物体識別方法。
8. カメラが撮影した画像データに基づいて移動物体の種別を識別する物体識別方法であって、
   前記画像データから移動物体の存在する物体領域を切り出すステップと、
   前記物体領域の特徴量を算出するステップと、
   前記特徴量の周期変動を検出するステップと、
   検出した周期変動に基づき歩行者を判定するステップと、
   を備え、
   前記歩行者を判定するステップでは、前記特徴量の値が、前記特徴量の前回値を超える連続回数と超えない連続回数の比率がほぼ一致する場合に、前記物体領域内の移動物体を歩行者と判定することを特徴とする物体識別方法。

Images