JP5867267B2 - 歩行者検出装置及び歩行者検出方法 - Google Patents

Description

本発明は、歩行者の状態を画像処理により検出する歩行者検出装置及び歩行者検出方法に関する。

従来、歩行者検出装置として、車両前方の歩行者を撮像した画像データを画像処理することにより歩行者を検出する装置が知られており、特許文献１が開示されている。

特許文献１に記載されている車両周辺監視装置は、車両に搭載されて車両周囲の第１監視範囲内に所在する物体と車両との距離を検出するレーダと、車両に搭載されて第１監視範囲と重複する第２監視範囲を撮像する撮像部とを有し、レーダによる距離情報と撮像部による撮像画像に基づいて車両周辺を監視する。

この車両周辺監視装置は、レーダにより検出された第２監視範囲内に所在する物体と車両との距離に基づいて撮像画像内で、監視対象物の画像部分が含まれる可能性がある画像処理対象領域を設定する画像処理対象領域設定部と、画像処理対象領域に基づく探索領域内で歩行者の頭部の特徴量を有する特徴領域を抽出する特徴領域抽出部とを備え、抽出された特徴領域内の歩行者の頭部の輝度分布に基づいて歩行者を判定している。

このように、特許文献１に記載された車両周辺監視装置では、頭部を特徴部とし、頭部の輝度分布に基づいて歩行者を検出していた。

ＷＯ２００８−１３９５２９号公報

しかしながら、日照によりコントラストが低下した場合には、対象物が歩行者の頭部であるのかどうかの判断が困難であった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、日照によりコントラストが低下した場合でも歩行者を正確に検出することができる歩行者検出装置及び歩行者検出方法を提供することを課題とする。

本発明では、候補領域抽出部は撮像部で所定領域が撮像された画像から歩行者の足が存在する可能性のある領域を抽出し、処理領域設定部は抽出された候補領域内に処理領域を設定し、分離度評価部は設定された処理領域を２つのクラスに分け２つのクラスの間の輝度値の分離度を算出する。ヒストグラム作成部は候補領域抽出部で抽出された領域内での分離度評価部により算出された分離度の分布を表すヒストグラムを作成し、歩行者判定部は作成された分離度のヒストグラムの形状に基づいて対象物が歩行者であるか否かを判定する。

本発明によれば、処理領域を２つのクラスに分け、２つのクラスの間の輝度値の分離度を算出し、抽出された領域内での分離度の分布を表すヒストグラムを作成し、作成された分離度のヒストグラムの形状に基づいて対象物が歩行者であるか否かを判定する。即ち、分離度に基づいて歩行者らしさを表現するので、日照によりコントラストが低下した状態でも歩行者らしさが不変になり、固定の閾値による閾値処理により歩行者を容易に検出することができる。

本発明の第１実施形態に係る歩行者検出装置を搭載した車両の一例を示す図である。 本発明の第１実施形態に係る歩行者検出装置の内部構成を示すブロック図である。 本発明の第１実施形態に係る歩行者検出装置の各部の処理手順を示すフローチャートである。 本発明の第１実施形態に係る歩行者検出装置のＬＲＦからの候補領域設定を示す図である。 本発明の第１実施形態に係る歩行者検出装置の処理領域を示す図である。 本発明の第１実施形態に係る歩行者検出装置のヒストグラム作成部の処理を示す概念図である。 本発明の第１実施形態に係る歩行者検出装置の歩行者判定部の処理を示す概念図である。 本発明の第１実施形態に係る歩行者検出装置の歩行者判定部の処理を示す概念図である。

以下、本発明を適用した第１実施形態に係る歩行者検出装置及び歩行者検出方法について図面を参照して説明する。

［第１実施形態］
［歩行者検出装置の構成］
図１は本発明の第１実施形態に係る歩行者検出装置を搭載した車両の一例を示す図である。図１に示すように、歩行者検出装置は、車両１に搭載され、撮像部１０とレーザーレンジファインダー１１（以下、ＬＲＦ）と計算機２０とを有し、車両前方の歩行者を検出する。

撮像部１０は、所定領域を撮像して画像を出力するものであり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge Couple Device）の撮像素子を有している。撮像部１０は、例えば、車両１のバックミラーの裏側に取り付けられ、車両１の進行方向を向いて水平に取り付けられている。

ＬＲＦ１１は、車両１の前方のバンパー部分に取り付けられ、車両１の進行方向を向いて水平に取り付けられている。ＬＲＦ１１は、レーザーを水平に扇状に物体に向けて照射し、物体からの反射を捉えることでＬＲＦ１１から物体までの距離と方位を算出する。

図２は本発明の第１実施形態に係る歩行者検出装置の内部構成を示すブロック図である。図２に示すように、計算機２０は、候補領域抽出部２１と処理領域設定部２２と分離度評価部２３とヒストグラム作成部２４と歩行者判定部２５とを有している。

具体的には、計算機２０は、図示しない中央処理装置（ＣＰＵ）とメモリとを有し、ＣＰＵがメモリに記憶された歩行者検出プログラムを実行することで、候補領域抽出部２１と処理領域設定部２２と分離度評価部２３とヒストグラム作成部２４と歩行者判定部２５との各々の処理を実行することができる。

候補領域抽出部２１は、撮像部１０により撮像された画像から歩行者の足が存在する可能性のある領域を抽出する。処理領域設定部２２は、候補領域抽出部２１によって抽出された候補領域内に処理領域を設定する。分離度評価部２３は、処理領域設定部２２によって設定された処理領域を２つのクラスに分け、２つのクラスの間の輝度値の分離度を算出する。

ヒストグラム作成部２４は、候補領域抽出部２１により抽出された領域内での、分離度評価部２３により算出された分離度の分布を表すヒストグラムを作成する。歩行者判定部２５は、ヒストグラム作成部２４により作成された分離度のヒストグラムの形状に基づいて対象物が歩行者であるか否かを判定する。

次に、図３に示すフローチャートを参照して第１実施形態に係る歩行者検出装置により実現される歩行者検出方法を説明する。

［候補領域抽出処理］
まず、図４を参照しながら、候補領域抽出部２１による候補領域抽出処理の詳細について説明する。候補領域抽出部２１は、ＬＲＦ１１により捉えられた物体の位置から撮像部１０により撮影される画像上の対応する位置３０を求める。

次に、ステップＳ１０１において、候補領域抽出部２１は、ＬＲＦ１１により検出された位置３０を中心に、歩行者１２の足１３の部分を横断するように候補領域３１を設定する。ここで、歩行者１２の横幅が８０ｃｍ以下で、足１３の長さが３０ｃｍ以上である仮定すると、候補領域抽出部２１は、候補領域３１の実空間での横幅を８０ｃｍ、高さを３０ｃｍと設定し、物体までの距離から画像上での候補領域３１の大きさと位置を求める。

［処理領域設定処理］
次に、ステップＳ１０２において、図４に示すように、処理領域設定部２３は、水平方向に３分割された３つの小領域４０，４１，４２からなる処理領域を設定する。以下、中央の小領域４１の左右の２つの小領域４０，４２を合わせた領域をクラスＣ１（第１クラス）とし、中央の小領域４１をクラスＣ２（第２クラス）と呼ぶことにする。

［分離度評価処理］
次に、分離度評価部２３の処理の詳細について説明する。

ステップＳ１０３において、分離度評価部２３は、処理領域設定部２２により設定された処理領域のクラスＣ１とクラスＣ２との間の輝度値の分離度を式（１）によって求める。

分離度評価部２３は、クラスＣ１の平均輝度値μ１とクラスＣ２の平均輝度値μ２とを計算する。さらに、分離度評価部２３は、クラスＣ１の輝度の分散σ１とクラスＣ２の輝度の分散σ２とを計算する。

次に、分離度評価部２３は、クラスＣ１の平均輝度値μ１とクラスＣ２の平均輝度値μ２とクラスＣ１の輝度の分散σ１とクラスＣ２の輝度の分散σ２とを用いて、分離度ｓを算出する。分離度ｓは、クラスＣ１とクラスＣ２との間の輝度の差と、クラスＣ１及びクラスＣ２の輝度分布の和との比に基づいて算出された値であり、式（１）によって分離度ｓを算出することができる。

分離度ｓ＝クラス間分散／全分散＝σ_Ｂ ^２/ σ_Ｔ ^２ ‥（１）
ここで、クラス間分散σ_Ｂ ^２、クラス内分散σ_Ｗ ^２、全分散σ_Ｔ ^２は、式（２）〜式（４）で表すことができる。

σ_Ｗ ^２＝（Ｎ_１×σ1^２＋Ｎ_２×σ2^２）／（Ｎ_１＋Ｎ_２）‥（２）
ただし、Ｎ_１はクラスＣ１の画素数、Ｎ_２はクラスＣ２の画素数、σ1^２はクラスＣ１の輝度の分散、σ2^２はクラスＣ２の輝度の分散である。

σ_Ｂ ^２＝｛Ｎ_１×（μ1−μ_Ｔ）^２＋Ｎ_２×（μ2−μ_Ｔ）^２｝／（Ｎ_１＋Ｎ_２）‥（３）
ただし、μ１はクラスＣ１の平均輝度値、μ２はクラスＣ２の平均輝度値、μ_ＴはクラスＣ１とクラスＣ２を合わせた領域の平均輝度値である。

σ_Ｔ ^２ ＝σ_Ｂ ^２＋σ_Ｗ ^２‥（４）
分離度評価部２３は、式（１）〜（４）に基づいて分離度ｓを対象画像の各画素について算出する。

ここで、式（３）に示すように、クラス間分散σ_Ｂ ^２はクラスＣ１とクラスＣ２との間の輝度の差に応じて変化する値であり、各クラスＣ１，Ｃ２の平均輝度値μ１，μ２が全画素の平均輝度値μ_Ｔから離れているほど大きな値となる。全分散σ_Ｔ ^２はクラスＣ１とクラスＣ２の輝度分布の和に応じて変化する値であり、各クラスＣ１，Ｃ２の分散σ１，σ２が小さくなるほど、即ち、各クラスＣ１，Ｃ２の輝度分布が均一になるほど小さな値となる。

従って、分離度ｓはクラスＣ１の平均輝度値μ１とクラスＣ２の平均輝度値μ２との間が離れており、且つ両者の分散σ１，σ２が小さいほど、即ち、各クラスＣ１，Ｃ２の輝度分布が均一であるほど評価値が大きな値となる。

分離度ｓは、０以上１以下の値となるので、条件に応じて様々な閾値を設定しなくても１つの閾値を設定しておけば、歩行者を検出することができる。

このように第１実施形態に係る踏切検出装置によれば、昼間のように日射量が多い時間帯から朝、夕のように日射量が少ない時間帯に変化したとしても、日射条件の変化に影響を受けることなく、歩行者を検出することができる。朝、夕のように日射量が少ない時間帯では、全体的に暗い画像になるために輝度分布は輝度値が低い方向に全体的にシフトする。即ち、平均輝度値μ１、μ２の値は低下するが、μ１とμ２との差は変化しないので、クラス間分散σ_Ｂ ^２は変化しない。また、分散σ１，σ２も多少の変化を伴うだけでほとんど変化しないので、全分散σ_Ｔ ^２についても変化しない。

従って、分離度ｓは日射量が変化したとしても同様の値が算出されるので、日射条件の変化にロバストに歩行者を検出することができる。

［ヒストグラム作成処理］
次に、図６を参照してヒストグラム作成部２４の処理について説明する。

ステップＳ１０４において、ヒストグラム作成部２４は、候補領域３１の横位置に対応する分離度のヒストグラムを作成し、全てのビンをゼロで初期化する。ここで、ビンとは、ヒストグラムを構成する１つ１つの区画のことである。

次に、ヒストグラム作成部２４は、所定の大きさの処理領域４０〜４２を、候補領域３１の左から右へ走査する。このとき、ヒストグラム作成部２４は、各位置での分離度に応じた量の票を、処理領域４０〜４２の中央の小領域４１に対応するビンに投票する。

ヒストグラム作成部２４は、分離度評価部２３により算出された第１分離度とヒストグラムに既に投票されている第２分離度とを比較し、第１分離度が第２分離度よりも大きい場合にはヒストグラムのビンの値を第２分離度から第１分離度に置き換える。分離度の置き換えは、以下の式で表される。

Hist[i] = max(Hist[i], Vote)
Hist[i] ：ヒストグラムに既に投票されているi番目のビンの値（第２分離度）
Vote ：分離度評価部２３により算出された分離度で今回の投票値（第１分離度）
なお、第１分離度が第２分離度よりも小さい場合には、ヒストグラムの該当するビンの値は変化しない。

ヒストグラム作成部２４は、処理領域４０〜４２の内の中央の小領域４１の幅を所定範囲で変えながら繰り返し走査することでヒストグラムを作成する。具体的には、ヒストグラム作成部２４は、処理領域４０〜４２のクラスＣ２の小領域４１の横方向の幅を歩行者１２の片足に相当する幅から両足に相当する幅まで可変させながら走査を繰り返す。

ヒストグラム作成部２４は、片足の幅を１０ｃｍとし、両足の幅を３０ｃｍとして、これらの幅を画面上での大きさに換算し、走査処理の繰り返し範囲として設定する。これにより、ヒストグラムには最もマッチングされた処理領域の分離度が残り、足１３の中央に対応する位置に分離度のピークが発生する。そのピークの幅は足１３の幅を反映することができる。

［歩行者判定処理］
次に、図７及び図８を参照して、歩行者判定部２５の処理について説明する。

歩行者判定部２５は、ノイズの影響を軽減するためにヒストグラムを平滑化する。次に、歩行者判定部２５は、ヒストグラムから所定の閾値ＴＨ以上の分離度を持つピークの数およびピークの幅を検出する。ピークの幅ｗ１は、図７に示すようにピークが閾値ＴＨ以上となる範囲として定める。

ステップＳ１０５において、歩行者判定部２５は、ピークの数が１つで、且つ検出されたピークの幅と歩行者の両足相当の幅とが略等しいとき、即ちピークの幅が実空間で２０ｃｍ以上のときに、対象物を歩行者と判定する。図８に示す例では、ピークの数が１つで、ピークの幅ｗ２が実空間で２０ｃｍ以上であるので、対象物を歩行者と判定する。

また、歩行者判定部２５は、図７に示すように、ピークの数が２つで、且つ検出されたピークの幅と歩行者の片足相当の幅とが略等しいとき、即ち両方のピークの幅が実空間で２０ｃｍ以下で且つ２つのピーク間の距離が３０ｃｍ以下のときに対象物を歩行者と判定する。なお、歩行者判定部２５は、ピークの数が０又は３つ以上のときには、対象物を歩行者と判定しない。

［第１実施形態の効果］
このように第１実施形態に係る歩行者検出装置によれば、分離度を算出し、抽出された領域内での分離度の分布を表すヒストグラムを作成し、作成された分離度のヒストグラムの形状に基づいて対象物が歩行者であるか否かを判定する。即ち、分離度に基づいて歩行者らしさを表現するので、日照によりコントラストが低下した状態でも歩行者らしさが不変になり、固定の閾値による閾値処理により歩行者を容易に検出することができる。

また、３つの小領域の内の中央の小領域を第１クラスとし、中央の小領域の左右の２つの小領域を合わせた領域を第２クラスとし、第１クラスと第２クラスとの間の輝度値の分離度を算出するので、垂直に伸びた歩行者の足と、足の両側に位置する背景とに対応する領域間の分離度を計算できることから、歩行者の足が存在した場合に高い分離度を算出することができる。

また、処理領域の中央の小領域に対応するビンに、分離度に応じた量の票を投票するので、歩行者の足が存在する部分にヒストグラムのピークを設けることができる。

また、分離度評価部２３により算出された第１分離度とヒストグラムに既に投票されている第２分離度とを比較し、第１分離度が第２分離度よりも大きい場合にはヒストグラムのビンを第２分離度から第１分離度に置き換えるので、処理領域と画像の輝度分布が最もマッチングしたときの分離度がヒストグラムに反映されることから、最もマッチングしたときの分離度に基づいて歩行者を判定することができる。

また、歩行者の足に対応する中央の小領域の幅を変化させながら繰り返し走査するので、ある程度、歩行者の足の大きさが変化しても歩行者を検出することができる。

また、処理範囲を歩行者の足として妥当な大きさに限定することができるので、計算コストの削減ならびに誤検出の低減に寄与することができる。

また、作成されたヒストグラムから所定の閾値以上の分離度を持つピークを検出し、ピークの幅に基づいて歩行者を判定するので、歩行者の足の間隔と各足の大きさに基づいて歩行者を判定でき、正確に歩行者を判定することができる。

また、検出されたピークの幅と歩行者の両足相当の幅とが略等しく且つピークが１つであるとき対象物を歩行者と判定し、検出されたピークの幅と歩行者の片足相当の幅とが略等しく且つピークが２つであるとき対象物を歩行者と判定するので、歩行者の足の状態（開き方）に応じて適切な条件で歩行者を判定でき、足を閉じた歩行者と足を開いた歩行者を正確に検出することができる。

１ 車両
１０ 撮像部
１１ ＬＲＦ（レーザーレンジファインダー）
１２ 歩行者
１３ 足
２０ 計算機
２１ 候補領域抽出部
２２ 処理領域設定部
２３ 分離度評価部
２４ ヒストグラム作成部
２５ 歩行者判定部
３１ 候補領域
４０〜４２ 処理領域

Claims (9)

1. 所定領域を撮像して画像を出力する撮像手段と、
   前記撮像手段により撮像された画像から歩行者の足が存在する可能性のある領域を抽出する候補領域抽出手段と、
   前記候補領域抽出手段によって抽出された候補領域内に処理領域を設定する処理領域設定手段と、
   前記処理領域設定手段によって設定された処理領域を２つのクラスに分け、２つのクラスの間の輝度値の分離度を算出する分離度評価手段と、
   前記候補領域抽出手段により抽出された領域内での、前記分離度評価手段により算出された分離度の分布を表すヒストグラムを作成するヒストグラム作成手段と、
   前記ヒストグラム作成手段により作成された分離度のヒストグラムの形状に基づいて対象物が歩行者であるか否かを判定する歩行者判定手段と、
   を有することを特徴とする歩行者検出装置。
2. 前記処理領域設定手段は、前記処理領域として水平方向に３分割された３つの小領域を設定し、
   前記分離度評価手段は、前記３つの小領域の内の中央の小領域を第１クラスとし、前記中央の小領域の左右の２つの小領域を合わせた領域を第２クラスとし、第１クラスと第２クラスとの間の輝度値の分離度を算出することを特徴とする請求項１記載の歩行者検出装置。
3. 前記ヒストグラム作成手段は、前記処理領域の中央の小領域に対応するビンに、分離度に応じた量の票を投票することでヒストグラムを作成することを特徴とする請求項２記載の歩行者検出装置。
4. 前記ヒストグラム作成手段は、前記分離度評価手段により算出された第１分離度とヒストグラムに既に投票されている第２分離度とを比較し、第１分離度が第２分離度よりも大きい場合にはヒストグラムのビンを第２分離度から第１分離度に置き換えることを特徴とする請求項１乃至請求項３のいずれか１項記載の歩行者検出装置。
5. 前記ヒストグラム作成手段は、前記処理領域の内の中央の小領域の幅を所定範囲で変えながら繰り返し走査することでヒストグラムを作成することを特徴とする請求項２乃至請求項４のいずれか１項記載の歩行者検出装置。
6. 前記ヒストグラム作成手段は、小領域の幅の所定範囲として、画像上での歩行者の片足の太さ相当から歩行者の両足の太さ相当に設定することを特徴とする請求項５記載の歩行者検出装置。
7. 前記歩行者判定手段は、前記ヒストグラム作成手段により作成されたヒストグラムから所定の閾値以上の分離度を持つピークを検出し、ピークの幅に基づいて歩行者を判定することを特徴とする請求項１乃至請求項６のいずれか１項記載の歩行者検出装置。
8. 前記歩行者判定手段は、検出されたピークの幅と歩行者の両足相当の幅とが略等しく且つピークが１つであるとき対象物を歩行者と判定し、検出されたピークの幅と歩行者の片足相当の幅とが略等しく且つピークが２つであるとき対象物を歩行者と判定することを特徴とする請求項７記載の歩行者検出装置。
9. 撮像手段により所定領域を撮像して画像を出力する撮像ステップと、
   撮像された画像から歩行者の足が存在する可能性のある領域を抽出する候補領域抽出ステップと、
   抽出された候補領域内に処理領域を設定する処理領域設定ステップと、
   設定された処理領域を２つのクラスに分け、２つのクラスの間の輝度値の分離度を算出する分離度評価ステップと、
   抽出された領域内での、算出された分離度の分布を表すヒストグラムを作成するヒストグラム作成ステップと、
   作成された分離度のヒストグラムの形状に基づいて対象物が歩行者であるか否かを判定する歩行者判定ステップと、
   を有することを特徴とする歩行者検出方法。

Images