JP5892079B2

JP5892079B2 - 物体検出装置

Info

Publication number: JP5892079B2
Application number: JP2013014315A
Authority: JP
Inventors: 清水　宏明; 宏明清水
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2013-01-29
Filing date: 2013-01-29
Publication date: 2016-03-23
Anticipated expiration: 2033-01-29
Also published as: JP2014146164A

Description

本発明は、画像から対象物を検出する物体検出装置に関する。

車両の運転者は、走行中、車両周辺に存在する歩行者等に注意を払わなければならない。そのような運転者の負担を軽減するために、車両周辺の歩行者を検出するための装置が開発されている。例えば、特許文献１には、遠赤外線カメラで撮像された画像から高輝度領域を歩行者の候補領域として抽出し、この候補領域を用いて歩行者を検出することが開示されている。

特開２００８−６５７５７号公報

画像内の高輝度領域に基づいて歩行者を検出する場合、夜間の街灯、店舗照明等の発光物も高輝度であるので、発光物の形状が歩行者に似ていると、発光物を歩行者として誤検出する可能性がある。

そこで、本発明は、対象物以外の高輝度領域があっても対象物を高精度に検出できる物体検出装置を提供することを課題とする。

本発明に係る物体検出装置は、画像から対象物を検出する物体検出装置であって、異なる露光条件で撮像可能な撮像手段と、撮像手段で撮像した露光条件の異なる複数の画像からそれぞれ抽出された同じ画像位置の対象物候補領域間で高輝度領域の形状の特徴を比較する比較手段と、比較手段での比較結果に基づいて対象物候補領域が対象物か否かを判定する判定手段とを備えることを特徴とする。

この物体検出装置では、撮像手段で複数の異なる露光条件でそれぞれ撮像し、露光条件が異なる複数の画像を取得する。露光条件としては、例えば、露光時間（シャッタスピード）、レンズの絞りがある。露光条件が異なると、同じものを撮像した場合でも撮像手段で検出される光の量が変わる。物体検出装置では、露光条件の異なる複数の画像から同じ画像位置の対象物候補領域をそれぞれ抽出し、露光条件の異なる複数の対象物候補領域から高輝度領域をそれぞれ抽出し、対象物候補領域間で高輝度領域の形状の特徴を比較する。照明等の発光物（非対象物）の場合、自ら光を発して発光中心から放射状に拡散して明るくなっている。そのため、露光条件を変えても、高輝度領域として抽出される領域が殆ど変らず、高輝度領域の形状の変化が小さい。一方、歩行者等の対象物の場合、照明等の光を反射して明るくなっている。そのため、露光条件を変えると、高輝度領域として抽出される領域が変わり、高輝度領域の形状の変化が大きい。例えば、露光時間が短くなると、反射している光の量が少ない部分が高輝度でなくなり、高輝度領域が小さくなって、やがて分割する。そこで、物体検出装置では、露光条件の異なる複数の対象物候補領域間での高輝度領域の形状の特徴の比較結果に基づいて対象物候補領域が対象物か否かを判定できる。このように、物体検出装置では、複数の露光条件の画像からそれぞれ抽出された対象物候補領域間で高輝度領域の形状の特徴を比較することにより、対象物以外の高輝度領域があっても、対象物を高精度に検出できる。

本発明の上記物体検出装置では、判定手段は、比較手段の比較結果から露光条件の異なる複数の対象物候補領域間で高輝度領域の形状の特徴の変化が小さい場合、対象物候補領域が発光物であると判定する。

上記したように、照明等の発光物の場合、露光条件を変えても、高輝度領域として抽出される領域が殆ど変らず、高輝度領域の形状の変化が小さい。そこで、物体検出装置では、露光条件の異なる複数の対象物候補領域間で高輝度領域の形状の特徴を比較して、高輝度領域の形状の特徴の変化が小さい場合にはその対象物候補領域が発光物であると判定できる。ひいては、発光物と判定されなかった対象物候補領域を対象物と判定できる。

本発明の上記物体検出装置では、比較手段は、露光条件の異なる複数の対象物候補領域間で高輝度領域の重心位置を比較する。

照明等の発光物の場合、発光中心から放射状に明るさが拡散し、その拡散した領域が高輝度領域として抽出される。したがって、常に発光中心が最も高輝度であるので、露光条件を変えても、高輝度領域の重心位置が変化しない（あるいは、変化が小さい）。一方、歩行者等の対象物の場合、光を反射して明るくなっており、その反射している領域が高輝度領域として抽出される。したがって、反射している光の量が多い部分ほど高輝度であるので、露光条件を変えると、高輝度領域の重心位置も変化する。そこで、物体検出装置では、露光条件が異なる複数の対象物候補領域間で高輝度領域の重心位置を比較することによって、高輝度領域の形状の特徴が変化しているか否かを高精度に判定できる。

本発明の上記物体検出装置では、比較手段は、露光条件の異なる複数の対象物候補領域間で高輝度領域の数を比較する。

照明等の発光物の場合、上記したように露光条件を変えても高輝度領域の形状の変化が小さいので、高輝度領域が分割するようなことが殆どなく、高輝度領域の数も殆ど変化しない。一方、歩行者等の対象物の場合、上記したように露光条件を変えると高輝度領域の形状の変化が大きい。この高輝度領域の形状の変化では、領域の形状が小さくなり、やがて領域が分割する場合もある。そこで、物体検出装置では、露光条件が異なる複数の対象物候補領域間で高輝度領域の数を比較することによって、高輝度領域の形状の特徴が変化しているか否かを高精度に判定できる。

本発明によれば、複数の露光条件の画像からそれぞれ抽出された対象物候補領域間で高輝度領域の形状の特徴を比較することにより、対象物以外の高輝度領域があっても、対象物を高精度に検出できる。

本実施の形態に係る歩行者検出装置の構成図である。歩行者と判定される場合の処理過程の一例であり、（ａ）が長い露光時間の画像から抽出された歩行者候補領域であり、（ｂ）が長い露光時間の画像での歩行者候補領域から抽出された高輝度領域であり、（ｃ）が中間の露光時間の画像での歩行者候補領域から抽出された高輝度領域であり、（ｄ）が短い露光時間の画像での歩行者候補領域から抽出された高輝度領域である。発光物と判定される場合の処理過程の一例であり、（ａ）が長い露光時間の画像から抽出された歩行者候補領域であり、（ｂ）が長い露光時間の画像での歩行者候補領域から抽出された高輝度領域であり、（ｃ）が中間の露光時間の画像での歩行者候補領域から抽出された高輝度領域であり、（ｄ）が短い露光時間の画像での歩行者候補領域から抽出された高輝度領域である。図１のＥＣＵにおける歩行者検出処理の流れを示すフローチャートである。

以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。

本実施の形態では、本発明に係る物体検出装置を、車両に搭載される歩行者検出装置に適用する。本実施の形態に係る歩行者検出装置は、可視光カメラで撮像した画像から歩行者を検出し、その検出した歩行者の情報を各種運転支援装置に提供する。特に、本実施の形態では、歩行者検出装置における夜間（昼間でもトンネル内等の周辺が暗い場合に適用してもよい）での歩行者検出処理について説明する。なお、昼間での歩行者検出処理については、本実施の形態で説明する歩行者検出手法を適用してもよいが、周知の他の昼間に適した歩行者検出手法を適用すればよい。

図１〜図３を参照して、本実施の形態に係る歩行者検出装置１について説明する。図１は、本実施の形態に係る歩行者検出装置の構成図である。図２は、歩行者と判定される場合の処理過程の一例である。図３は、発光物と判定される場合の処理過程の一例である。

歩行者検出装置１は、画像から歩行者候補領域を抽出し、抽出できた歩行者候補領域内の高輝度領域に基づいて歩行者を検出する。特に、歩行者検出装置１は、夜間の街灯や店舗照明等の発光物を歩行者として誤検出しないように、３種類の異なる露光条件（露光時間）の画像からそれぞれ抽出された同じ画像位置の歩行者候補領域間で高輝度領域の形状の特徴を比較することによって歩行者候補領域が発光物か非発光物かを判定する。歩行者検出装置１は、可視光カメラ１０及びＥＣＵ[Electronic Control Unit]２０を備えている。

可視光カメラ１０は、ＣＣＤ[Charge Coupled Device]、ＣＭＯＳ[Complementary Metal Oxide Semiconductor]などを用いた自車両前方を撮像する可視光カメラである。可視光カメラ１０は、自車両の前側の中央の所定の高さ位置に取り付けられる。可視光カメラ１０は、露光条件を変えて撮像可能なカメラである。露光条件としては、例えば、露光時間（シャッタスピード）である。また、可視光カメラ１０は、少なくとも輝度情報が得られればよいので、カラーカメラでもよいしあるいは白黒カメラでもよい。可視光カメラ１０では、一定時間毎に、自車両前方を撮像し、その撮像した画像データを画像信号としてＥＣＵ２０に送信する。なお、本実施の形態では、可視光カメラ１０が特許請求の範囲に記載する撮像手段に相当する。

ＥＣＵ２０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなる電子制御ユニットである。ＥＣＵ２０には、所定の記憶領域に歩行者モデルデータベース２１が構成される。また、ＥＣＵ２０には、ＲＯＭに記憶されている各種プログラムをＲＡＭにロードしてＣＰＵで実行することによって、露光制御部２２、多重露光画像取得部２３、第１歩行者判定部２４、第１高輝度領域抽出部２５、第２高輝度領域抽出部２６、第３高輝度領域抽出部２７、発光物判定部２８、第２歩行者判定部２９が構成される。なお、本実施の形態では、第２高輝度領域抽出部２６及び第３高輝度領域抽出部２７が特許請求の範囲に記載する比較手段に相当し、発光物判定部２８及び第２歩行者判定部２９が特許請求の範囲に記載する判定手段に相当する。

歩行者モデルデータベース２１は、第１歩行者判定部２４でのパターンマッチングで用いられる歩行者モデルを格納するデータベースである。歩行者モデルデータベース２１は、ＥＣＵ２０の所定の記憶領域に構築されるデータベースである。歩行者モデルとしては、様々なモデルが格納されており、例えば、歩いている歩行者モデル、走っている歩行者モデル、止まっている歩行者モデル、男性の歩行者モデル、女性の歩行者モデル、大人の歩行者モデル、子供の歩行者モデル、老人の歩行者モデル、正面の歩行者モデル、背面の歩行者モデル、側面の歩行者モデルがあり、これらの各歩行者モデルの組み合わせの歩行者モデルもある。

露光制御部２２は、露光条件（特に、露光時間）を変えて可視光カメラ１０を撮像制御する処理部である。露光制御部２２は、可視光カメラ１０と双方向通信を行うために、ＩＥＥＥ１３９４等のバスで可視光カメラ１０と接続される。露光制御部２２では、一定時間毎に、可視光カメラ１０を露光制御し、３種類の異なる露光時間（長い露光時間＞中間の露光時間＞短い露光時間）でそれぞれ撮像させる。この３種類の露光時間は、長い露光時間を夜間の市街地で歩行者を十分に撮像できる露光時間とし、中間の露光時間、短い露光時間を順次短い露光時間とする。短い露光時間でも、夜間の街灯や店舗照明等の発光物の光を十分に撮像できる露光時間とする。長い露光時間ほど、明るい画像が得られる。

多重露光画像取得部２３は、露光制御部２２で露光制御された可視光カメラ１０で撮像した画像を取得する処理部である。多重露光画像取得部２３では、一定時間毎に、可視光カメラ１０でそれぞれ撮像された長い露光時間（最も明るい）の画像、中間の露光時間（中間の明るさ）の画像、短い露光時間（最も暗い）の画像を取得する。

第１歩行者判定部２４は、多重露光画像取得部２３で取得した長い露光時間（最も明るい）の画像から歩行者らしい領域（歩行者候補領域）を判定する処理部である。この判定手法は、周知の一般的な歩行者認識手法を用い、例えば、歩行者モデルによるパターンマッチングを用いる。第１歩行者判定部２４では、多重露光画像取得部２３で長い露光時間の画像を取得すると、歩行者モデルデータベース２１に格納されている歩行者モデル毎にその長い露光時間の画像に対してパターンマッチングを行い、マッチングした領域がある場合には矩形の歩行者候補領域を抽出する。パターンマッチングの手法としては、例えば、N.Dalal and B.Triggs.“Histogram of oriented gradient for humandetection”.CVPR,2005に開示されている手法で実現できる。

図２（ａ）には、歩行者が歩行者らしいとして判定され、長い露光時間（最も明るい）の画像から抽出された歩行者候補領域Ｃ１_Ｌを示している。この歩行者は、夜間の店舗照明等の光が当たっており、その光を白い服等で反射して明るくなっている。露光時間が長い画像の場合、反射した光でも歩行者らしい形状が得られ、歩行者モデルによるパターンマッチングが可能である。また、図３（ａ）には、２つの発光物が歩行者らしいとして判定され、長い露光時間の画像から抽出された歩行者候補領域Ｃ２_Ｌを示している。この２つの発光物は、発光中心から放射状にそれぞれ拡散して円形形状と長方形形状で明るくなっている。この２つの形状の発光物の組み合わせが歩行者に似たような形状となり、歩行者モデルによるパターンマッチングでマッチングしてしまった。

第１高輝度領域抽出部２５は、第１歩行者判定部２４で長い露光時間（最も明るい）の画像から抽出した歩行者候補領域から高輝度領域を抽出し、この高輝度領域の重心位置を計算する処理部である。第１高輝度領域抽出部２５では、第１歩行者判定部２４で抽出した歩行者候補領域の中から１つずつ歩行者候補領域を選択する。そして、第１高輝度領域抽出部２５では、その選択した歩行者候補領域内において、第１輝度判定閾値より高い輝度を持つ領域（高輝度領域）を抽出し、その抽出した領域の重心位置を計算する。第１輝度判定閾値は、長い露光時間の画像において高輝度か否かを判定するための閾値であり、長い露光時間で得られる画像の明るさを考慮して、実験等に基づいて予め設定される。この領域抽出及び重心位置計算の方法としては、例えば、歩行者候補領域内の画素毎に輝度が第１輝度判定閾値より高い画素と第１輝度判定閾値以下の画素とで２値化し、ランレングス法を用いて第１輝度判定閾値より高い画素からなる領域にラベル付けし、同じラベルの領域の重心位置を計算する。

図２（ｂ）には、図２（ａ）の長い露光時間（最も明るい）の歩行者候補領域Ｃ１_Ｌから抽出された高輝度領域Ｈ１_Ｌ１を示している。歩行者には、一側方から夜間の店舗照明等の光が当たっていたので、その一側方側が特に明るくなっていた。そのため、その一側方側が１つの高輝度領域Ｈ１_Ｌ１として抽出され、その高輝度領域Ｈ１_Ｌ１の重心位置Ｇ１_Ｌ１が計算された。また、図３（ｂ）には、図３（ａ）の長い露光時間の歩行者候補領域Ｃ２_Ｌから抽出された高輝度領域Ｈ２_Ｌ１，Ｈ２_Ｌ２を示している。２つの発光物は、発光中心から拡散して円形形状と長方形形状でそれぞれ明るくなっていた。そのため、その円形形状と長方形形状がそのままの形状で高輝度領域Ｈ２_Ｌ１，Ｈ２_Ｌ２として抽出され、その高輝度領域Ｈ２_Ｌ１の重心位置Ｇ２_Ｌ１と高輝度領域Ｈ２_Ｌ２の重心位置Ｇ２_Ｌ２が計算された。

第２高輝度領域抽出部２６は、第１高輝度領域抽出部２５で長い露光時間の歩行者候補領域内から高輝度領域を抽出している場合、中間の露光時間（中間の明るさ）の画像における長い露光時間の歩行者候補領域と同じ領域内から抽出した高輝度領域の重心位置と長い露光時間の歩行者候補領域内から抽出されている高輝度領域の重心位置とが同じ位置かを判定する処理部である。第２高輝度領域抽出部２６では、選択されている歩行者候補領域に対する第１高輝度領域抽出部２５での処理が終了すると、第１高輝度領域抽出部２５で長い露光時間の歩行者候補領域内から高輝度領域を抽出しているか否かを判定し、抽出している場合には多重露光画像取得部２３で取得した中間の露光時間の画像からその長い露光時間の歩行者候補領域と同じ位置かつ同じ矩形形状の領域（中間の露光時間の歩行者候補領域）を抽出する。そして、第２高輝度領域抽出部２６では、第１高輝度領域抽出部２５と同様の方法により、その抽出した中間の露光時間の歩行者候補領域内において、第２輝度判定閾値より高い輝度を持つ領域を抽出し、その抽出した領域の重心位置を計算する。第２輝度判定閾値は、中間の露光時間（中間の明るさ）画像において高輝度か否かを判定するための閾値であり、中間の露光時間で得られる画像の明るさを考慮して、実験等に基づいて予め設定される。第２輝度判定閾値は、中間の明るさの画像から高緯度領域を抽出するので、第１輝度判定閾値よりも小さい値である。

さらに、第２高輝度領域抽出部２６では、その抽出した高輝度領域の重心位置と第１高輝度領域抽出部２５で抽出されている高輝度領域の重心位置との距離を計算する。どの重心位置同士の距離を計算するかを決める方法は、第１高輝度領域抽出部２５で抽出されている高輝度領域に相当する領域位置内にある高輝度領域の重心位置とする。その領域位置内に高輝度領域が複数ある場合、複数の高輝度領域についてそれぞれ距離を計算し、その複数の距離の和を判定に用いるものとする。第２高輝度領域抽出部２６では中間の露光時間（中間の明るさ）の画像を用いているので、第２高輝度領域抽出部２６で抽出した高輝度領域は、長い露光時間（最も明るさ）の画像を用いた第１高輝度領域抽出部２５で抽出されている高輝度領域よりも大きくなることはない。そのようになるように、第２輝度判定閾値の値が小さくなり過ぎないようにする。そして、第２高輝度領域抽出部２６では、計算した距離が距離判定閾値以下か否かを判定し、距離が距離判定閾値以下の場合には長い露光時間の歩行者候補領域内の高輝度領域の重心位置と中間の露光時間の歩行者候補領域内の高輝度領域の重心位置とが同じ位置であると判定する。距離判定閾値は、異なる露光時間（異なる明るさ）の画像の歩行者領域間で高輝度領域の重心位置が同じ位置とみなしてよいか否かを判定するための閾値であり、実験等に基づいて予め設定される。

図２（ｃ）には、図２（ａ）の歩行者候補領域Ｃ１_Ｌと同じ画像位置の中間の露光時間（中間の明るさ）の歩行者候補領域Ｃ１_Ｍから抽出された４つの高輝度領域Ｈ１_Ｍ１，高輝度領域Ｈ１_Ｍ２，高輝度領域Ｈ１_Ｍ３，高輝度領域Ｈ１_Ｍ４を示している。歩行者の場合、自らは発光していないので、中心ほど明るいわけではなく、夜間の店舗照明等の光を反射している部分だけが明るくなる。したがって、露光時間が短くなるほど、反射している光の量が多い部分だけが高輝度領域として検出され、その高輝度領域が狭くなり（それに伴って領域の重心位置が変化し）、やがて高輝度領域が分割する。したがって、図２（ｂ）で示した長い露光時間での高輝度領域Ｈ１_Ｌ１が分割し、４つの小さな高輝度領域Ｈ１_Ｍ１，Ｈ１_Ｍ２，Ｈ１_Ｍ３，Ｈ１_Ｍ４として抽出された。この場合、高輝度領域Ｈ１_Ｌ１の重心位置Ｇ１_Ｌ１と高輝度領域Ｈ１_Ｍ１，Ｈ１_Ｍ２，Ｈ１_Ｍ３，Ｈ１_Ｍ４の各重心位置Ｇ１_Ｍ１，Ｇ１_Ｍ２，Ｇ１_Ｍ３，Ｇ１_Ｍ４との距離がそれぞれ計算され、４つの距離の和が距離判定閾値と比較され、距離判定閾値より大きいと判定され、重心位置が変化している。

また、図３（ｃ）には、図３（ａ）の歩行者候補領域Ｃ２_Ｌと同じ画像位置の中間の露光時間（中間の明るさ）の歩行者候補領域Ｃ２_Ｍから抽出された２つの高輝度領域Ｈ２_Ｍ１，Ｈ２_Ｍ２を示している。発光物の場合、自らが発光しているので、発光中心から放射状に明るさが拡散する。したがって、露光時間が短くなっても、発光中心が最も輝度が高いので、高輝度領域の重心位置が変化せず、高輝度領域の大きさもあまり小さくならない。したがって、図３（ｂ）で示した長い露光時間での高輝度領域Ｈ２_Ｌ１，Ｈ２_Ｌ２から少しだけ小さくなって、高輝度領域Ｈ２_Ｍ１，Ｈ２_Ｍ２として抽出された。この場合、高輝度領域Ｈ２_Ｌ１の重心位置Ｇ２_Ｌ１と高輝度領域Ｈ２_Ｍ１の重心位置Ｇ２_Ｍ１との距離及び高輝度領域Ｈ２_Ｌ２の重心位置Ｇ２_Ｌ２と高輝度領域Ｈ２_Ｍ２の重心位置Ｇ２_Ｍ２との距離がそれぞれ計算され、各距離が距離判定閾値とそれぞれ比較され、２つの距離が距離判定閾値以下と判定され、重心位置が同じ位置である。

第３高輝度領域抽出部２７は、第２高輝度領域抽出部２６で同じ重心位置の高輝度領域があると判定した場合、短い露光時間（最も暗い）の画像における長い露光時間の歩行者候補領域と同じ領域内から抽出した高輝度領域の重心位置と長い露光時間の歩行者候補領域内から抽出されている高輝度領域の重心位置とが同じ位置かを判定する処理部である。第３高輝度領域抽出部２７では、選択されている歩行者候補領域に対する第２高輝度領域抽出部２６での処理が終了すると、第２高輝度領域抽出部２６で長い露光時間での高輝度領域の重心位置と中間の露光時間での高輝度領域の重心位置とが同じ位置であると判定しているかを判定し、同じ重心位置と判定している場合には多重露光画像取得部２３で取得した短い露光時間の画像から長い露光時間の歩行者候補領域と同じ位置かつ同じ矩形形状の領域（短い露光時間の歩行者候補領域）を抽出する。そして、第３高輝度領域抽出部２７では、第１高輝度領域抽出部２５と同様の方法により、その抽出した短い露光時間の歩行者候補領域内において、第３輝度判定閾値より高い輝度を持つ領域を抽出し、その抽出した領域の重心位置を計算する。第３輝度判定閾値は、短い露光時間（最も暗い）画像において高輝度か否かを判定する閾値であり、短い露光時間で得られる画像の明るさを考慮して、実験等に基づいて予め設定される。第３輝度判定閾値は、最も暗い画像から高緯度領域を抽出するので、第２輝度判定閾値よりも小さい値である。

さらに、第３高輝度領域抽出部２７では、その抽出した高輝度領域の重心位置と第１高輝度領域抽出部２５で抽出されている高輝度領域の重心位置との距離を計算する。第３高輝度領域抽出部２７では短い露光時間（最も暗い）の画像を用いているので、第３高輝度領域抽出部２７で抽出した高輝度領域は、長い露光時間（最も明るさ）の画像を用いた第１高輝度領域抽出部２５で抽出されている高輝度領域や中間の露光時間（中間の明るさ）の画像を用いた第２高輝度領域抽出部２６で抽出されている高輝度領域よりも大きくなることはない。そのようになるように、第３輝度判定閾値の値が小さくなり過ぎないようにする。そして、第３高輝度領域抽出部２７では、計算した距離が距離判定閾値以下か否かを判定し、距離が距離判定閾値以下の場合には長い露光時間の歩行者候補領域内の高輝度領域の重心位置と短い露光時間の歩行者候補領域内の高輝度領域の重心位置とが同じ位置であると判定する。なお、第１高輝度領域抽出部２５で抽出されている高輝度領域の重心位置との距離を求め、その距離で判定したが、第２高輝度領域抽出部２６で抽出されている高輝度領域の重心位置との距離を求め、その距離で判定してもよい。

図２（ｄ）には、図２（ａ）の歩行者候補領域Ｃ１_Ｌと同じ画像位置の短い露光時間（最も暗い）の歩行者候補領域Ｃ１_Ｓから抽出された１つの高輝度領域Ｈ１_Ｓ１を示している。この場合、図２（ｃ）の場合よりも露光時間が更に短くなったので、図２（ｃ）で示した中間の露光時間での高輝度領域Ｈ１_Ｍ１，Ｈ１_Ｍ３，Ｈ１_Ｍ４が高輝度領域として抽出されなくなり、図２（ｃ）で示した中間の露光時間での高輝度領域Ｈ１_Ｍ２だけが小さくなって高輝度領域Ｈ１_Ｓ１として抽出された。この場合、高輝度領域Ｈ１_Ｌ１の重心位置Ｇ１_Ｌ１と高輝度領域Ｈ１_Ｓ１の重心位置Ｇ１_Ｓ１との距離が計算され、この距離が距離判定閾値と比較され、距離判定閾値より大きいと判定され、重心位置が変化している。

また、図３（ｄ）には、図３（ａ）の歩行者候補領域Ｃ２_Ｌと同じ画像位置の短い露光時間（最も暗い）の歩行者候補領域Ｃ２_Ｓから抽出された２つの高輝度領域Ｈ２_Ｓ１，Ｈ２_Ｓ２を示している。この場合、図３（ｃ）の場合よりも露光時間が更に短くなっているが、図３（ｃ）で示した中間の露光時間での高輝度領域Ｈ２_Ｍ１，Ｈ２_Ｍ２から少しだけ小さくなって、高輝度領域Ｈ２_Ｓ１，Ｈ２_Ｓ２として抽出された。この場合、高輝度領域Ｈ２_Ｌ１の重心位置Ｇ２_Ｌ１と高輝度領域Ｈ２_Ｓ１の重心位置Ｇ２_Ｓ１との距離及び高輝度領域Ｈ２_Ｌ２の重心位置Ｇ２_Ｌ２と高輝度領域Ｈ２_Ｓ２の重心位置Ｇ２_Ｓ２との距離がそれぞれ計算され、各距離が距離判定閾値とそれぞれ比較され、２つの距離が距離判定閾値以下と判定され、重心位置が同じ位置である。

発光物判定部２８は、第２高輝度領域抽出部２６での距離の判定結果及び第３高輝度領域抽出部２７での距離の判定結果に基づいて、歩行者候補領域が発光物（非歩行者）か否かを判定する処理部である。発光物判定部２８では、選択されている歩行者候補領域に対する第３高輝度領域抽出部２７での処理が終了すると、第２高輝度領域抽出部２６で長い露光時間の歩行者候補領域内の高輝度領域の重心位置と中間の露光時間の歩行者候補領域内の高輝度領域の重心位置とが同じ位置であると判定しかつ第３高輝度領域抽出部２７で長い露光時間の歩行者候補領域内の高輝度領域の重心位置と短い露光時間の歩行者候補領域内の高輝度領域の重心位置とが同じ位置であると判定している場合（すなわち、露光時間の異なる３つの歩行者候補領域間において高輝度領域の重心位置が同じ位置である場合）、その歩行者候補領域を発光物（非歩行者）と判定する。

図２に示す例の場合、上記で説明したように、露光時間の異なる歩行者候補領域Ｃ１_Ｌ，Ｃ１_Ｍ，Ｃ１_Ｓ間で高輝度領域の重心位置が変化していると判定された。一方、図３に示す例の場合、上記で説明したように、露光時間の異なる歩行者候補領域Ｃ２_Ｌ，Ｃ２_Ｍ，Ｃ２_Ｓ間で高輝度領域の重心位置が同じ位置と判定された。したがって、図３に示す歩行者候補領域は発光物（非歩行者）と判定される。

第２歩行者判定部２９は、発光物判定部２８での判定結果に基づいて歩行者候補領域毎に歩行者か否かを判定する処理部である。第２歩行者判定部２９では、抽出されている全ての歩行者候補領域について発光物判定部２８での判定が終了すると、歩行者候補領域毎に発光物判定部２８で発光物と判定されていない歩行者候補領域については歩行者と判定する。そして、第２歩行者判定部２９では、歩行者と判定した歩行者候補領域については自車両からの相対位置等の歩行者情報を計算し、各歩行者の歩行者情報からなる歩行者検出信号を運転支援装置に送信する。

図１を参照して、歩行者検出装置１での動作の流れを説明する。特に、ＥＣＵ２０における処理の流れについては図４のフローチャートに沿って説明する。図４は、図１のＥＣＵにおける歩行者検出処理の流れを示すフローチャートである。歩行者検出装置１では、以下で説明する動作を一定時間毎に繰り返し行う。

可視光カメラ１０では、ＥＣＵ２０からの露光制御に応じて長い露光時間で自車両前方を撮像し、その撮像した画像データを画像信号としてＥＣＵ２０に送信する。ＥＣＵ２０では、この画像信号を受信し、長い露光時間（最も明るい）の画像を取得する（Ｓ１）。また、可視光カメラ１０では、ＥＣＵ２０からの露光制御に応じて中間の露光時間で自車両前方を撮像し、その撮像した画像データを画像信号としてＥＣＵ２０に送信する。ＥＣＵ２０では、この画像信号を受信し、中間の露光時間（中間の明るさ）の画像を取得する（Ｓ１）。また、可視光カメラ１０では、ＥＣＵ２０からの露光制御に応じて短い露光時間で自車両前方を撮像し、その撮像した画像データを画像信号としてＥＣＵ２０に送信する。ＥＣＵ２０では、この画像信号を受信し、短い露光時間（最も暗い）の画像を取得する（Ｓ１）。

ＥＣＵ２０では、取得した露光時間の異なる画像の中から一番長い露光時間（長い露光時間）の画像を選択する（Ｓ２）。そして、ＥＣＵ２０では、その選択した画像内から歩行者らしい歩行者候補領域を抽出する（Ｓ３）。ここでは、歩行者候補領域として、１つだけ抽出される場合もあれば複数抽出される場合もある。なお、歩行者候補領域が１つも抽出されない場合、ここで、今回の処理を終了する。

ＥＣＵ２０では、Ｓ３で抽出した歩行者候補領域の中から歩行者候補領域を１つ選択する（Ｓ４）。そして、ＥＣＵ２０では、その選択した歩行者候補領域内から第１輝度判定閾値より高い輝度の領域を高輝度領域として抽出し、抽出した各高輝度領域の重心位置を計算する（Ｓ５）。ここでは、高輝度領域として、１つだけ抽出される場合もあれば複数抽出される場合もあり、１つも抽出されない場合もある。

ＥＣＵ２０では、Ｓ５の処理で高輝度領域が抽出されているか否かを判定する（Ｓ６）。Ｓ６の判定で高輝度領域が１つも抽出されていないと判定した場合、ＥＣＵ２０では、この歩行者候補領域に対する処理は終了し、Ｓ１４の処理に移行する。

Ｓ６の判定で高輝度領域が抽出されていると判定した場合、ＥＣＵ２０では、Ｓ１で取得した露光時間の異なる画像の中から２番目に長い露光時間（中間の露光時間）の画像を選択する（Ｓ７）。そして、ＥＣＵ２０では、その選択した画像からＳ４で選択した歩行者候補領域と同じ位置かつ同じ矩形形状の領域を中間の露光時間での歩行者候補領域として抽出し、その抽出した歩行者候補領域内から第２輝度判定閾値より高い輝度の領域を高輝度領域として抽出し、抽出した各高輝度領域の重心位置を計算する（Ｓ８）。さらに、ＥＣＵ２０では、Ｓ５で抽出した長い露光時間での高輝度領域の重心位置とＳ８で抽出した中間の重心位置での高輝度領域の重心位置との距離を算出し、その距離が距離判定閾値よりも小さいか否かを判定する（Ｓ９）。Ｓ９の判定で高輝度領域の重心位置間の距離が距離判定閾値以上と判定した場合、ＥＣＵ２０では、同じ重心位置に高輝度領域がないと判断し、この歩行者候補領域に対する処理は終了し、Ｓ１４の処理に移行する。

Ｓ９の判定で高輝度領域の重心位置間の距離が距離判定閾値より小さいと判定した場合、同じ重心位置に高輝度領域があると判断し、ＥＣＵ２０では、Ｓ１で取得した露光時間の異なる画像の中から３番目に長い露光時間（短い露光時間）の画像を選択する（Ｓ１０）。そして、ＥＣＵ２０では、その選択した画像からＳ４で選択した歩行者候補領域と同じ位置かつ同じ矩形形状の領域を短い露光時間での歩行者候補領域として抽出し、その抽出した歩行者候補領域内から第３輝度判定閾値より高い輝度の領域を高輝度領域として抽出し、抽出した各高輝度領域の重心位置を計算する（Ｓ１１）。さらに、ＥＣＵ２０では、Ｓ５で抽出した長い露光時間での高輝度領域の重心位置とＳ１１で抽出した短い露光時間での高輝度領域の重心位置との距離を算出し、その距離が距離判定閾値よりも小さいか否かを判定する（Ｓ１２）。Ｓ１２の判定で高輝度領域の重心位置間の距離が距離判定閾値以上と判定した場合、ＥＣＵ２０では、同じ重心位置に高輝度領域がないと判断し、この歩行者候補領域に対する処理は終了し、Ｓ１４の処理に移行する。

Ｓ１２の判定で高輝度領域の重心位置間の距離が距離判定閾値より小さいと判定した場合、同じ重心位置に高輝度領域があると判断し、ＥＣＵ２０では、３種類の異なる露光時間での歩行者候補領域内の高輝度領域の重心位置が同じ位置であるので、その歩行者候補領域を非歩行者（発光物）と判定する（Ｓ１３）。そして、ＥＣＵ２０では、Ｓ３で抽出されている全ての歩行者候補領域に対する処理が終了したか否かを判定する（Ｓ１４）。Ｓ１４の判定で全ての歩行者候補領域に対する処理が終了していないと判定した場合、ＥＣＵ２０では、Ｓ４の処理に戻って、次の歩行者候補領域に対する処理を行う。

Ｓ１４の判定で全ての歩行者候補領域に対する処理が終了したと判定した場合、ＥＣＵ２０では、Ｓ３で抽出されている全ての歩行者候補領域においてＳ１３で非歩行者と判定されていない歩行者候補領域を抽出し、その歩行者候補領域を歩行者と判定する（Ｓ１５）。そして、ＥＣＵ２０では、歩行者と判定した歩行者候補領域については歩行者情報を計算し、各歩行者の歩行者情報からなる歩行者検出信号を運転支援装置に送信する。

歩行者検出装置１によれば、３種類の異なる露光時間（露光条件）で撮像した画像内の同じ画像位置の歩行者候補領域間で高輝度領域の形状の特徴を比較することにより、歩行者以外（発光物）の高輝度領域があっても、歩行者を高精度に検出できる。特に、歩行者検出装置１は、３種類の異なる露光時間の歩行者候補領域間で高輝度領域の重心位置を比較することによって、高輝度領域の形状の特徴が変化しているか否かを高精度に判定できる。

ちなみに、歩行者検出装置１では、撮像手段として可視光カメラ１０を適用しているので、赤外光領域の波長を有さない発光物を判別することも可能である。赤外線カメラを適用すると、ＬＥＤ等の赤外領域の波長を有さない発光物に対する判別ができない場合がある。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では歩行者を検出する歩行者検出装置に適用したが、歩行者以外にも車両、自転車、自動二輪車、交通標識等の他の対象物を検出する装置にも適用可能である。また、本実施の形態では車両に搭載される歩行者検出装置（物体検出装置）に適用したが、ロボット等の移動体に搭載するなど、車載以外の物体検出装置にも適用可能である。

また、本実施の形態では可視光カメラとしたが、赤外線カメラ（近赤外線カメラ等）でもよい。本実施の形態では可視光カメラで自車両前方を撮像し、自車両前方の歩行者を検出する構成としたが、可視光カメラで後方や側方等の他の周辺方向を撮像し、他の周辺方向の歩行者を検出する構成とてもよい。また、本実施の形態では車載として、専用のＥＣＵで歩行者検出装置の各処理部を構成としたが、各処理部をパソコン等の汎用コンピュータに構成してもよい。

また、本実施の形態では３種類の異なる露光時間で画像を撮像し、３種類の異なる露光時間の画像からそれぞれ抽出された歩行者候補領域間で高輝度領域の形状の特徴を比較する構成としたが、２種類あるいは４種類以上の異なる露光時間の画像を撮像し、２種類あるいは４種類以上の異なる露光時間の画像からそれぞれ抽出された歩行者候補領域間で高輝度領域の形状の特徴を比較する構成としてもよい。また、本実施の形態では露光条件として露光時間を変える構成としたが、レンズの絞り等の他の露光条件を変える構成としてもよい。

また、本実施の形態では異なる露光時間の歩行者候補領域からそれぞれ抽出された高輝度領域間の重心位置の距離を求めて、距離に基づいて判定する構成としたが、異なる露光時間の歩行者候補領域からそれぞれ抽出される高輝度領域の数をカウントし、歩行者候補領域内の高輝度領域の数で判定してもよい。この場合、高輝度領域の数の変化がある閾値以下か否かで判定し、中間の露光時間の歩行者候補領域との判定及び短い露光時間の歩行者候補領域との判定で共に高輝度領域の数の変化がある閾値以下の場合にはその歩行者候補領域を発光物と判定する。上記したように、歩行者の場合、露光時間が短くなると、高輝度領域が小さくなって、やがて分割し、高輝度領域の数が変化する。一方、発光物の場合、露光時間が短くなっても、高輝度領域があまり小さくならず、高輝度領域の数が変化しない。

１…歩行者検出装置、１０…可視光カメラ、２０…ＥＣＵ、２１…歩行者モデルデータベース、２２…露光制御部、２３…多重露光画像取得部、２４…第１歩行者判定部、２５…第１高輝度領域抽出部、２６…第２高輝度領域抽出部、２７…第３高輝度領域抽出部、２８…発光物判定部、２９…第２歩行者判定部。

Claims

画像から対象物を検出する物体検出装置であって、
異なる露光条件で撮像可能な撮像手段と、
前記撮像手段で撮像した露光条件の異なる複数の画像からそれぞれ抽出された同じ画像位置の対象物候補領域間で高輝度領域の形状の特徴を比較する比較手段と、
前記比較手段での比較結果に基づいて前記対象物候補領域が対象物か否かを判定する判定手段と、を備え、
前記判定手段は、前記比較手段の比較結果から露光条件の異なる複数の対象物候補領域間で高輝度領域の形状の特徴の変化が小さい場合、前記対象物候補領域が発光物であると判定することを特徴とする物体検出装置。
前記比較手段は、露光条件の異なる複数の対象物候補領域間で高輝度領域の重心位置を比較することを特徴とする請求項１に記載の物体検出装置。
前記比較手段は、露光条件の異なる複数の対象物候補領域間で高輝度領域の数を比較することを特徴とする請求項１又は２に記載の物体検出装置。