JP6756908B2

JP6756908B2 - 車両周囲の歩行者を検出する方法及び装置

Info

Publication number: JP6756908B2
Application number: JP2019512544A
Authority: JP
Inventors: 依若戴; 楊張; 孝一照井; 健志磨
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2017-04-12
Filing date: 2018-04-11
Publication date: 2020-09-16
Anticipated expiration: 2038-04-11
Also published as: JPWO2018190362A1; CN108694363A; WO2018190362A1

Description

本発明は、車両周囲の歩行者を検出する方法及び装置に関する。

自動車の発展は人間に大きな利便性をもたらしている反面、それによる交通事故が長期にわたって人を悩ます大きな問題になっている。自動車運転者自身の規則違反や悪い習慣による事故のほか、中国のほとんどの道路では、歩行者の交通違反も非常に深刻である。特に、街のあちこちを走行するライダー（オートバイ、モペット、電動自転車、自転車、三輪車などの軽車両を含む）が自動車の車線を占有したり、交通信号の規定を遵守しなかったり、勝手に道路を横断したり、逆走したりするなどの交通違反は珍しくない。中国では『道路交通安全法』の第５８条に、「身体障害者用の電動車椅子、電動自転車が軽車両専用道路内を走行しているとき、最高速度を１５ｋｍ以下にしなければならない」との規定があるが、実際には、電動自転車の実際の時速は一般的に４０−５０ｋｍ前後で、法律で規定される最高時速を遥かに超えている。２０１６年には、中国の軽車両の保有台数は約３．９億台であり、そのうち、約２．２億台は電動自転車であった。このように多くの台数があるので、道路交通の軽車両による隠れた危険を無視することはできない。

それと同時に、センサや制御技術の急速な発展により、事故の危険防止のための自動車の能動的安全技術がますます注目されている。世界中で、自動車の安全に関連する衝突回避の標準化も進んでおり、２０１８年以降、ヨーロッパ新車アセスメントプログラム（ＥｕｒｏＮＣＡＰ）は自転車との衝突を避ける機能を自動車の評価対象に含める見込みである。コンチネンタル・コーポレーションはレーダーと高精度の全地球測位システムセンサーを用いて、自動車と自転車の同期移動を実現し、自転車を監視して、自動的な制動を実現した。ボルボ、スウェーデンのスポーツ用品会社及びエリクソン社は歩行者に衝突することを防止できる運転者とライダーの間の双方向通信システムを共同開発しており、ジャガーランドローバーも自転車衝突警報技術を開発中である。

米国特許出願第９，０８７，２６３Ｂ２号公報

ライダー衝突警報技術においては、センサに基づくライダー検出と追跡アルゴリズムが重要な役割を果たす。下記特許、『視覚に基づく歩行者および自転車乗車者の検出方法』（『ＶｉｓｉｏｎｂａｓｅｄＰｅｄｅｓｔｒｉａｎａｎｄＣｙｃｌｉｓｔＤｅｔｅｃｔｉｏｎＭｅｔｈｏｄ』、米国特許出願第９，０８７，２６３Ｂ２号、公開日２０１５年７月２１日、台湾中山科学研究院出願）（特許文献１）において、車載カメラをセンサとして、まず人間と自転車の部分をそれぞれ検出して、両方の空間位置関係に基づいてライダーであるか否かを判定するライダー検出アルゴリズムが開示されている。しかしながら、特許文献１では、自転車の円形車輪を検出しなければならないため、自転車の車輪が見えない場合は適用できず、歩行者がライダーであるか否かを判定できない。

さらに、車載センサの作動環境及び条件は非常に苛酷であり、高速走行中の車両の衝突回避時間が極めて短いため、車載衝突回避システムに高いリアルタイム性、高い処理速度の特徴が求められる。実際の交通状況では、多数の軽車両、動力車、さらに多数の歩行者やバリケードなどの静止物体が存在しているため、複数のライダーを検出する場合も起こり得る。しかしながら、複数のライダーを検出する場合は、演算が複雑であるとともに計算量が大きいアルゴリズムはリアルタイム性を満足できない場合が多い。従って、従来技術によれば、リアルタイムに複数のライダーを検出することが困難となる。

そこで、本発明は、歩行者のうち複数のライダーと複数の歩行者を迅速に区別し、リアルタイムに複数のライダーを検出し得る車両周囲の歩行者を検出する方法及び装置を提供する。

上記課題を解決するため、本発明に係る車両周囲の歩行者を検出する装置は、車両の撮影装置から前記車両周囲の画像情報を取得して、前記車両の現在車速を検出する取得ユニットと、前記画像情報に基づき、前記車両周囲の複数の歩行者のそれぞれの各時点での、歩行者の前記撮影装置に対する角度である向きを含む初期候補フレームパラメータを算出する初期候補フレームパラメータ算出ユニットと、前記向きに基づき、前記初期候補フレームパラメータを調整して、前記各時点での調整後の候補フレームパラメータを取得する調整ユニットと、前記調整後の候補フレームパラメータに基づき、前記複数の歩行者を１人又は複数のライダーと１人又は複数の歩行者に分類し、前記１人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する分類ユニットと、前記ライダー検出フレームパラメータ、前記１人又は複数のライダーのそれぞれの状態情報、及び前記向きの変化頻度に基づき、前記１人又は複数のライダーのうちそれぞれのライダーに危険係数を設定する危険係数設定ユニットと、を備えることを特徴とする。

前記初期候補フレームパラメータは、さらに、フレーム重心座標、フレーム幅ｗ、フレーム高さｈを含み、前記調整後の候補フレームパラメータは、前記フレーム重心座標、調整後のフレーム幅ｗ’、前記フレーム高さｈ、及び前記向きαを含み、ここで、

である。
前記分類ユニットは、前記１人又は複数のライダーのそれぞれの前記各時点での前記調整後の候補フレームパラメータを前記ライダー検出フレームパラメータとする。

このように、調整後の候補フレームパラメータによって、歩行者からライダーを分類できる。

前記分類ユニットは、前記１人又は複数の歩行者のそれぞれの初期候補フレームパラメータを前記１人又は複数の歩行者のそれぞれの前記各時点での歩行者検出フレームパラメータとし、
前記危険係数設定ユニットは、前記歩行者検出フレームパラメータ、前記１人又は複数の歩行者のそれぞれの状態情報、前記向きの変化頻度に基づき、前記１人又は複数の歩行者のうちそれぞれの歩行者に危険係数を設定する。

前記１人又は複数のライダーのうちそれぞれのライダーに対して、前記危険係数設定ユニットは、前の時点でのライダー検出フレームパラメータのフレーム重心座標と現時点でのライダー検出フレームパラメータのフレーム重心座標に基づき、前記各ライダーの前記車両に対する相対速度と相対移動方向を取得する。

前記危険係数設定ユニットは、前記ライダーごとに新ライダーであるか否かを判定し、新ライダーである場合、前記危険係数を１に設定し、新ライダーではない場合、現時点での前記ライダー検出フレームパラメータの前記フレーム重心座標と前記向き、前記相対速度、前記相対移動方向、前記状態情報、前記向きの変化頻度に基づき、前記危険係数を設定する。

前記状態情報は正常状態又は異常状態であり、前記危険係数設定ユニットは、前記ライダー検出フレームパラメータの前記フレーム高さに基づいて、前記ライダーが子供であると判定し、又は、前記画像情報から前記ライダーとほかのライダーとの距離が所定安全距離より小さいと判定し、又は、前記画像情報から前記ライダーが外部物体による干渉を受けていると判定した場合、前記状態情報を異常状態として決定する。

また、本発明に係る車両周囲の歩行者を検出する方法は、車両の撮影装置から前記車両周囲の画像情報を取得して、前記車両の現在車速を検出する第１のステップと、前記画像情報に基づき、前記車両周囲の複数の歩行者のそれぞれの各時点での、歩行者の前記撮影装置に対する角度である向きを含む初期候補フレームパラメータを算出する第２のステップと、前記向きに基づき、前記初期候補フレームパラメータを調整して、前記各時点での調整後の候補フレームパラメータを取得する第３のステップと、前記調整後の候補フレームパラメータに基づき、前記複数の歩行者を１人又は複数のライダーと１人又は複数の歩行者に分類し、前記１人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する第４のステップと、前記ライダー検出フレームパラメータ、前記１人又は複数のライダーのそれぞれの状態情報、前記向きの変化頻度に基づき、前記１人又は複数のライダーのうちそれぞれのライダーに危険係数を設定する第５のステップと、を含むことを特徴とする。

本発明によれば、歩行者のうち複数のライダーと複数の歩行者を迅速に区別し、リアルタイムに複数のライダーを検出し得る車両周囲の歩行者を検出する方法及び装置を提供することが可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施例に係る車両周囲の歩行者を検出する装置の構造図である。本発明の一実施例に係る車両周囲の歩行者を検出する方法のフローチャートである。本発明の一実施例に係る複数の歩行者のうち１人の歩行者の時点ｔ１での初期候補フレームの模式図である。図３（ａ）に示される１人の歩行者の調整後の候補フレームの模式図である。本発明の実施例に係る複数の歩行者のうちほかの歩行者の時点ｔ１での初期候補フレームの模式図である。図４（ａ）に示されるほかの歩行者の調整後の候補フレームの模式図である。向きの定義を示す模式図である。

以下、図面を用いて本発明の実施例について説明する。

図１は本発明の一実施例に係る車両周囲の歩行者を検出する装置１０の構造図である。図１に示すように、車両周囲の歩行者を検出する装置１０は、取得ユニット１１、初期候補フレームパラメータ算出ユニット１２、調整ユニット１３、分類ユニット１４、及び危険係数設定ユニット１５を備える。

図２は本発明の一実施例に係る車両周囲の歩行者を検出する方法のフローチャートである。図２に示すように、ステップＳ２１では、取得ユニット１１は、車両の撮影装置から車両周囲の画像情報を取得して、車両の現在車速を検出する。上記撮影装置（図示せず）は、車両の適切な位置（車両フロントガラスの上端、車尾後端、車体両側でもよい）に取り付けられた１台又は複数台のカメラシステムであり、車体の前方、後方、両側方からの画像情報を収集して記憶する。通常、カメラシステムは光学系とカメラから構成され、光学系はズーム機能、オートフォーカス機能等を有してもよく、カメラとしては、カラーＣＣＤ（電荷結合素子）ビデオカメラが使用されてもよい。

ステップＳ２２では、初期候補フレームパラメータ算出ユニット１２は、上記画像情報に基づき車両周囲の複数の歩行者のそれぞれの各時点での歩行者の撮影装置に対する角度、すなわち、歩行者の胴体の撮影装置に対する角度である向きαを含む初期候補フレームパラメータを算出する。

図５は向きαの定義を示す模式図である。歩行者の撮影装置に対する向きが真右向きである場合、αは０であり、歩行者の撮影装置に対する向きが真前向きである場合、αはπ／２であり、歩行者の撮影装置に対する向きが真左向きである場合、αはπ又は−πであり、歩行者の撮影装置に対する向きが真後向きである場合、αは−π／２である。ほかの向きは実際の大きさに応じて出力し、［−π，π］に正規化される。同様に図５のように、ある領域に分割される向きαを１つのクラスの同一角度に分割してもよい。図５に示すように、歩行者の撮影装置に対する向きが右前向きである場合、クラスＩに分類して、αはπ／４であり、歩行者の撮影装置に対する向きが真前向きである場合、クラスＩＩに分類して、αはπ／２であり、歩行者の撮影装置に対する向きが左前向きである場合、クラスＩＩＩに分類して、αはπ×３／４であり、歩行者の撮影装置に対する向きが真左向きである場合、クラスＩＶに分類して、αはπ又は−πであり、歩行者の撮影装置に対する向きが左後向きである場合、クラスＶに分類して、αは−π×３／４であり、歩行者の撮影装置に対する向きが真後向きである場合、クラスＶＩに分類して、αは−π／２であり、歩行者の撮影装置に対する向きが右後向きである場合、クラスＶＩＩに分類して、αは−π／４であり、歩行者の撮影装置に対する向きが真右向きである場合、クラスＶＩＩＩに分類して、αは０である。

初期候補フレームパラメータはさらに、フレーム重心座標、フレーム幅ｗ、フレーム高さｈを含む。図３（ａ）は、本発明の一実施例に係る複数の歩行者のうち１人の歩行者の時点ｔ１での初期候補フレームＦの模式図であり、該初期候補フレームＦの初期候補フレームパラメータはフレーム重心座標（ｘ_ｔ１，ｙ_ｔ１，ｚ_ｔ１）、フレーム幅ｗ_ｔ１、フレーム高さｈ_ｔ１、及び向きα_ｔ１（図示せず）を含む。ここで、フレーム重心座標は、車両の世界座標系として設定され、たとえば、座標原点は車両の車頭の中間直下位置である。

ここで、たとえば、特徴抽出方法（密な特徴：ＤＰＭ変形部品モデル、ＡＣＦ総チャネル特徴、ＨＯＧ方向勾配ヒストグラム、密なエッジ等；疎な特徴：寸法、形状、疎なエッジ、ボディパーツ、歩きぶり、テクスチャ、グレースケール／エッジ対称性等）、輪郭テンプレートマッチング等の方法を用いてもよく、まず、フレーム重心座標、フレーム幅、フレーム高さを含む初期候補フレームを算出し、特徴抽出方法は、たとえば機械学習のうちの深層学習アルゴリズムである。次に、深層学習アルゴリズム又は通常の機械学習アルゴリズムによって、歩行者の向きを分析する。たとえば、専用の向き検出ネットワーク又は異なる方向勾配ヒストグラムに基づく異なるモデルを用いて、入力した歩行者の初期候補フレームを異なる向きに分けることができる。該方法のタイプはカスケードモデルと呼ばれる。

さらに、たとえば、同一の深層学習ネットワーク又は通常の機械学習、すなわち、単一モデルアルゴリズムで、フレーム重心座標、フレーム幅、フレーム高さ及び向きを一括して算出できる。深層学習ネットワークの場合、歩行者の向きを深層学習ネットワークの最後に全接続層における回帰ロス関数の一部として訓練と検出を行う。

以上から分かるように、図２のステップＳ２２では、初期候補フレームパラメータ算出ユニット１２は、上記計算によって、画像情報からすべての歩行者を識別できる。本実施例では、歩行者はライダー及び／又は歩行者を含む。

図２のステップＳ２３では、調整ユニット１３は、向きに基づき、初期候補フレームパラメータを調整して、各時点での調整後の候補フレームパラメータを取得する。

図３（ｂ）は図３（ａ）に示される１人の歩行者の調整後の候補フレームの模式図である。図３（ｂ）に示すように、調整ユニット１３は、該歩行者の時点ｔ１での初期候補フレームＦの初期候補フレームパラメータを調整して、該歩行者の時点ｔ１での調整後の候補フレームＦ’を取得する。たとえば、調整後の候補フレームＦ’の候補フレームパラメータはフレーム重心座標（ｘ_ｔ１，ｙ_ｔ１，ｚ_ｔ１）、フレーム幅ｗ’_ｔ１、フレーム高さｈ_ｔ１、及び向きα_ｔ１（図示せず）を含む。ここで、

である。つまり、調整ユニット１３はフレーム高さｈ_ｔ１、及び向きα_ｔ１に基づいて初期候補フレームＦのフレーム幅ｗ_ｔ１を変更して、調整後の候補フレームＦ’のフレーム幅ｗ’_ｔ１を取得し、ほかのパラメータを一定に保持する。
このようにして、複数の歩行者のうち、それぞれの歩行者のｔ１時点での調整後の候補フレームの候補フレームパラメータを取得できる。

歩行者の撮像装置に対する向きが前向き又は後向きである場合、初期候補フレームの大きさを変更せず、すなわち、調整後の候補フレームパラメータと初期候補フレームパラメータは同様である。歩行者の撮像装置に対する向きが左向き又は右向きである場合、初期候補フレームのフレーム高さを一定に保持して、フレーム幅をフレーム高さと等しく調整する。歩行者の撮像装置に対する向きが左後向き又は右後向き又は左前向き又は右前向きである場合、初期候補フレームのフレーム高さを一定に保持して、フレーム幅をフレーム高さの半分に調整する。また、該変化（調整）はフレーム重心座標を一定に保持することを前提とする。また、図３（ｂ）に示すように、一旦フレーム幅が変化すると、調整後の候補フレームの４つの頂点の座標も対応して変化する。

ステップＳ２４では、分類ユニット１４は、調整後の候補フレームパラメータに基づき、複数の歩行者を１人又は複数のライダーと１人又は複数の歩行者に分類し、１人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する。ここで、分類ユニット１４は、たとえば深層学習分類アルゴリズムで、各歩行者の調整後の候補フレームパラメータを計算し、計算結果に基づいて分類する。具体的な計算及び分類方法は従来と同様であるため、重複した説明はしない。

図４（ａ）は本発明の実施例に係る複数の歩行者のうちのほかの歩行者の時点ｔ１での初期候補フレームＧの模式図であり、図４（ｂ）は図４（ａ）に示されるほかの歩行者の調整後の候補フレームＧ’の模式図である。ステップＳ２４では、分類ユニット１４は、たとえば図３（ｂ）中の１人の歩行者をライダー（以下、「ライダーＡ」という）として分類し、図４（ｂ）中のほかの歩行者を歩行者（以下、図４（ａ）と図４（ｂ）中のほかの歩行者を「歩行者Ｂ」という）として分類する。

分類ユニット１４は１人又は複数のライダーのそれぞれの各時点での調整後の候補フレームパラメータをライダー検出フレームパラメータとする。本例では、たとえば、分類ユニット１４は、図３（ｂ）に示されるｔ１時点での調整後の候補フレームＦ’の候補フレームパラメータをライダーＡのライダー検出フレームパラメータとする。すなわち、該ライダー検出フレームパラメータはフレーム重心座標（ｘ_ｔ１，ｙ_ｔ１，ｚ_ｔ１）、フレーム幅ｗ’_ｔ１、フレーム高さｈ_ｔ１、及び向きα_ｔ１（図示せず）を含む。

さらに、分類ユニット１４は１人又は複数の歩行者のそれぞれの初期候補フレームパラメータを１人又は複数の歩行者のそれぞれの各時点での歩行者検出フレームパラメータとする。本例では、たとえば、分類ユニット１４は図４（ａ）に示されるｔ１時点での初期候補フレームＧの初期候補フレームパラメータを該歩行者の歩行者検出フレームパラメータとする。

ここで、図４（ａ）と図４（ｂ）に示すように、歩行者Ｂの場合、歩行者検出フレームパラメータと初期候補フレームパラメータは同じであり、すなわち歩行者検出フレームのフレーム幅は調整後の候補フレームのフレーム幅より小さく、それによって、歩行者に対する検出範囲を狭めることができる。

次に、ステップＳ２５では、危険係数設定ユニット１５は、ライダー検出フレームパラメータ、１人又は複数のライダーのそれぞれの状態情報、向きの変化頻度に基づき、１人又は複数のライダーのうち、それぞれのライダーに危険係数を設定する。
ここで、１人又は複数のライダーのうち、ライダーごとに、危険係数設定ユニット１５は、前の時点でのライダー検出フレームパラメータのフレーム重心座標と現時点でのライダー検出フレームパラメータのフレーム重心座標に基づき、各ライダーの車両に対する相対速度と相対移動方向を取得する。

たとえば、図３（ｂ）中のライダーを例にして、前の時点はたとえばｔ１、現時点はたとえばｔ２とする。ライダーＡの場合、ｔ１でのライダー検出フレームパラメータのフレーム重心座標は、たとえば（ｘ_ｔ１，ｙ_ｔ１，ｚ_ｔ１）、ｔ２でのライダー検出フレームパラメータのフレーム重心座標は、たとえば（ｘ_ｔ２，ｙ_ｔ２，ｚ_ｔ２）であり、（ｘ_ｔ２，ｙ_ｔ２，ｚ_ｔ２）と（ｘ_ｔ１，ｙ_ｔ１，ｚ_ｔ１）の変化量から、ライダーＡの車両に対する相対速度ｖと相対移動方向ｒを取得する。同様な手法によって、ほかのライダーのそれぞれの相対速度と相対移動方向を取得できる。

危険係数設定ユニット１５は、ライダーごとに、新ライダーであるか否かを判定し、新ライダーである場合、危険係数を１に設定し、新ライダーではない場合、現時点でのライダー検出フレームパラメータのフレーム重心座標と向き、相対速度、相対移動方向、状態情報、向きの変化頻度に基づき、危険係数を設定する。

たとえば、図３（ｂ）中のライダーＡを例にすると、危険係数設定ユニット１５は、まず新ライダーであるか否かを判定する。具体的には、該ライダーＡについて、前の時点ｔ１にライダー検出フレームパラメータが存在するか否かを判定し、存在しないと判定した場合、新ライダー、すなわち、現時点ｔ２に新しく出現したライダーであると判定し、危険係数Ｗを１に設定し、次のライダーについて判定を行う。存在すると判断した場合、新ライダーではないと判定し、危険係数Ｗを０として初期化して、次に現時点ｔ２でのライダー検出フレームパラメータのフレーム重心座標と向き、相対速度、相対移動方向、状態情報、向きの変化頻度に基づき、危険係数を設定する。

本例では、たとえばライダーＡが新ライダーではないと判定した場合、危険係数Ｗを０として初期化し、下記条件１−条件５に基づいて、ライダーＡに危険係数を設定する。以下、条件１−条件５について詳細に説明する。

条件１：現時点ｔ２でのライダー検出フレームパラメータのフレーム重心座標が以下の式（１）から算出する警報安全距離ｄ_ｗより小さいか否かを判定する。

式（１）中、ｖは上記ライダーＡの相対速度、ｔ_ｆは車両に必要なブレーキ時間、ｔ_ｄは車両運転者の応答時間、μは車両が所在する道路の摩擦係数、ｇは重力加速度、ν_ｈはステップＳ２１で取得ユニット１１により検出された車両の現在車速である。

ここで、たとえば以下の式（２）に示されるように、撮影された画像情報に基づいて道路の摩擦係数μの値を決定できる。

上述のとおり、座標原点は車両の車頭中間の直下位置であり、この場合、フレーム重心座標と座標原点の距離はライダーと車両の車頭の中間位置との距離になる。ライダーＡの現時点ｔ２でのライダー検出フレームパラメータのフレーム重心座標が（ｘ_ｔ２，ｙ_ｔ２，ｚ_ｔ２）であり、それによって、ライダーＡと車頭の中間位置との距離Ｄを取得する。該距離Ｄを以上のように算出した警報安全距離ｄ_ｗと比較し、距離Ｄが警報安全距離ｄ_ｗより小さいか否かを判定する。

条件２：ライダーＡの相対移動方向から、ライダーＡが車両に近づいているか否かを判定する。ここで、たとえば、上記算出した相対移動方向ｒに基づいて、ライダーＡが車両に近づいているか否かを判定する。

条件３：ライダーＡの状態情報は異常状態であるか否か。
状態情報は正常状態又は異常状態であり、危険係数設定ユニット１５はライダー検出フレームパラメータのフレーム高さに基づいて、ライダーが子供であると判定し、又は、画像情報からライダーとほかのライダーとの距離が所定安全距離より小さいと判定し、又は、画像情報からライダーが外部物体による干渉を受けていると判定した場合、状態情報を異常状態として決定する。

たとえば、ライダーＡの現時点ｔ２でのライダー検出フレームパラメータのフレーム高さがｈ_ｔ２であれば、該フレーム高さがｈ_ｔ２であることから、ライダーＡが子供であるか否かを判定し、子供である場合、異常状態であると判定する。

たとえば、現時点ｔ２を例にすると、ライダーＡとほかのライダー、たとえばライダーＣとの距離はライダーＡのフレーム重心座標とライダーＣのフレーム重心座標との距離Ｄ_ＡＣである。所定安全距離ｄ_ｓは、たとえば以下の式（３）から得られる。

式（３）中、ｋはライダーＡとライダーＣの相対速度、ｔ’_ｆはライダーのブレーキに必要な時間、ｔ_ｄ’はライダーの応答時間、μはライダーＡが所在する道路の摩擦係数（たとえば、上記式（２）から取得）、ｇは重力加速度である。ここで、たとえば、ライダーＡのフレーム重心座標とライダーＣのフレーム重心座標との変化量からｋを取得できる。

次に、距離Ｄ_ＡＣを所定安全距離ｄ_ｓと比較し、距離Ｄ_ＡＣが所定安全距離ｄ_ｓより小さいか否かを判定する。所定安全距離ｄ_ｓより小さい場合、異常状態であると判定し、所定安全距離ｄ_ｓ以上である場合、正常状態であると判定する。

さらに、画像情報からライダーＡが外部物体による干渉を受けているか否か、たとえば、ライダーＡの向きαを起点とする所定角度の範囲内に不明な物体が現れているか否かを判定する。現れている場合、異常状態であると判定し、現れていない場合、正常状態であると判定する。

上記３つの判定結果がいずれもノーである場合、該ライダーが正常状態であると判定する。

条件４：ライダーＡの現時点ｔ２での向きαに基づいてライダーＡに車両が見えるか否かを判定する。
ここで、たとえば、ライダーの向きαが真後向き、左後向き、右後向き、真左向き、真右向きのいずれかであり、すなわち、向きαが図５に示されるクラスＶＩ、クラスＶ、クラスＶＩＩ、クラスＩＶ、クラスＶＩＩＩのいずれかに属する場合、ライダーに車両が見えないと判定し、それ以外の場合、車両が見えると判定する。

条件５：向きの変化頻度が所定閾値より大きいか否か。

ここで、たとえば、ライダーＡの場合、現時点ｔ２の前の連続的な１０個の時点での１０個の向きαを抽出して、これらの向きの変化回数、すなわち、向きの変化頻度を算出する。該所定閾値はたとえば大量のライダーによる統計データに基づいて得られるものである。次に、向きの変化頻度が所定閾値より大きいか否かを判定する。

以下、ライダーＡを例に、条件１−条件５に基づくライダーＡの危険係数の設定について詳細に説明する。

まず、条件１又は条件２の判定結果がイエスであり、すなわち、ライダーＡの現時点ｔ２でのフレーム重心座標が警報安全距離より小さく、又は、ライダーＡが車両に近づいている場合、初期化された危険係数０に１を加算し、すなわちＷ＝０＋１＝１であり、それに対して、条件１と条件２の判定結果がいずれもノーである場合、危険係数は依然として初期化された危険係数のままであり、すなわちＷ＝０である。本例では、たとえば条件１の判定結果がイエスであり、Ｗ＝１である。

次に、条件３の判定結果がイエスであり、すなわち、現状が異常状態である場合、条件１と条件２に基づいて判定された危険係数に１を加算し、ノーの場合は、条件１と条件２に基づいて判定された危険係数を維持する。本例では、たとえば条件３の判定結果がイエスであり、Ｗ＝１＋１＝２である。

最後に、条件４又は条件５の判定結果がイエスであり、すなわち、ライダーに車両が見え又は向きの変化頻度が所定閾値より大きいと判定した場合、条件３に基づいて判定された危険係数にさらに１を加算し、それに対して、条件４と条件５の判定結果がいずれもノーである場合、条件３に基づいて判定された危険係数を保持する。たとえば条件４と条件５の判定結果がいずれもノーである場合、条件３に基づいて判定された危険係数を保持し、すなわち、Ｗ＝２である。

このようにして、それぞれのライダーの各時点での危険係数を取得して、危険係数に応じて各ライダーを追跡し、必要な場合、車両にアラームを出すことができる。

さらに、危険係数設定ユニット１５はさらに、歩行者検出フレームパラメータ、１人又は複数の歩行者のそれぞれの状態情報、向きの変化頻度に基づき、１人又は複数の歩行者のうち、それぞれの歩行者に危険係数を設定する。たとえば、上記したライダーに対する危険係数の設定方式によって歩行者Ｂに危険係数を設定できる。

以上のとおり本実施例によれば、歩行者のうちの複数のライダーと複数の歩行者を迅速に区別して、リアルタイムに複数のライダーを検出できる。

本発明について実施例を参照しながら説明したが、当業者であれば、上述の内容について各種の置換、変更や変形を行えることは自明なことである。従って、このような置換、変更や変形は添付した特許請求の範囲の主旨や範囲を逸脱しない限り、本発明に属すべきである。

また、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

１０…車両周囲の歩行者を検出する装置、１１…取得ユニット、１２…初期候補フレームパラメータ算出ユニット、１３…調整ユニット、１４…分類ユニット、１５…危険係数設定ユニット

Claims

車両周囲の歩行者を検出する装置であって、
車両の撮影装置から前記車両周囲の画像情報を取得して、前記車両の現在車速を検出する取得ユニットと、
前記画像情報に基づき、前記車両周囲の複数の歩行者のそれぞれの各時点での、歩行者の前記撮影装置に対する角度である向きを含む初期候補フレームパラメータを算出する初期候補フレームパラメータ算出ユニットと、
前記向きに基づき、前記初期候補フレームパラメータを調整して、前記各時点での調整後の候補フレームパラメータを取得する調整ユニットと、
前記調整後の候補フレームパラメータに基づき、前記複数の歩行者を１人又は複数のライダーと１人又は複数の歩行者に分類し、前記１人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する分類ユニットと、
前記ライダー検出フレームパラメータ、前記１人又は複数のライダーのそれぞれの状態情報、及び前記向きの変化頻度に基づき、前記１人又は複数のライダーのうちそれぞれのライダーに危険係数を設定する危険係数設定ユニットと、を備えることを特徴とする車両周囲の歩行者を検出する装置。
前記初期候補フレームパラメータは、さらに、フレーム重心座標、フレーム幅ｗ、フレーム高さｈを含み、
前記調整後の候補フレームパラメータは、前記フレーム重心座標、調整後のフレーム幅ｗ’、前記フレーム高さｈ、及び前記向きαを含み、ここで、

であり、
前記分類ユニットは、前記１人又は複数のライダーのそれぞれの前記各時点での前記調整後の候補フレームパラメータを前記ライダー検出フレームパラメータとすることを特徴とする請求項１に記載の車両周囲の歩行者を検出する装置。
前記分類ユニットは、前記１人又は複数の歩行者のそれぞれの初期候補フレームパラメータを前記１人又は複数の歩行者のそれぞれの前記各時点での歩行者検出フレームパラメータとし、
前記危険係数設定ユニットは、前記歩行者検出フレームパラメータ、前記１人又は複数の歩行者のそれぞれの状態情報、及び前記向きの変化頻度に基づき、前記１人又は複数の歩行者のうちそれぞれの歩行者に危険係数を設定することを特徴とする請求項１に記載の車両周囲の歩行者を検出する装置。
前記１人又は複数のライダーのうちそれぞれのライダーに対して、前記危険係数設定ユニットは、前の時点でのライダー検出フレームパラメータのフレーム重心座標と現時点でのライダー検出フレームパラメータのフレーム重心座標に基づき、前記各ライダーの前記車両に対する相対速度と相対移動方向を取得することを特徴とする請求項２に記載の車両周囲の歩行者を検出する装置。
前記危険係数設定ユニットは、前記ライダーごとに新ライダーであるか否かを判定し、新ライダーである場合、前記危険係数を１に設定し、新ライダーではない場合、現時点での前記ライダー検出フレームパラメータの前記フレーム重心座標と前記向き、前記相対速度、前記相対移動方向、前記状態情報、前記向きの変化頻度に基づき、前記危険係数を設定することを特徴とする請求項４に記載の車両周囲の歩行者を検出する装置。
前記状態情報は正常状態又は異常状態であり、
前記危険係数設定ユニットは、前記ライダー検出フレームパラメータの前記フレーム高さに基づいて、前記ライダーが子供であると判定し、又は、前記画像情報から前記ライダーとほかのライダーとの距離が所定安全距離より小さいと判定し、又は、前記画像情報から前記ライダーが外部物体による干渉を受けていると判定した場合、前記状態情報を異常状態として決定することを特徴とする請求項５に記載の車両周囲の歩行者を検出する装置。
車両周囲の歩行者を検出する方法であって、
車両の撮影装置から前記車両周囲の画像情報を取得して、前記車両の現在車速を検出する第１のステップと、
前記画像情報に基づき、前記車両周囲の複数の歩行者のそれぞれの各時点での、歩行者の前記撮影装置に対する角度である向きを含む初期候補フレームパラメータを算出する第２のステップと、
前記向きに基づき、前記初期候補フレームパラメータを調整して、前記各時点での調整後の候補フレームパラメータを取得する第３のステップと、
前記調整後の候補フレームパラメータに基づき、前記複数の歩行者を１人又は複数のライダーと１人又は複数の歩行者に分類し、前記１人又は複数のライダーのそれぞれの各時点でのライダー検出フレームパラメータを取得する第４のステップと、
前記ライダー検出フレームパラメータ、前記１人又は複数のライダーのそれぞれの状態情報、前記向きの変化頻度に基づき、前記１人又は複数のライダーのうちそれぞれのライダーに危険係数を設定する第５のステップと、を含むことを特徴とする車両周囲の歩行者を検出する方法。
前記初期候補フレームパラメータはさらに、フレーム重心座標、フレーム幅ｗ、フレーム高さｈを含み、
前記第３のステップにおいて、前記調整後の候補フレームパラメータは、前記フレーム重心座標、調整後のフレーム幅ｗ’、前記フレーム高さｈ、及び前記向きαを含み、ここで、

であり、
前記第４のステップにおいて、前記１人又は複数のライダーのそれぞれの前記各時点での前記調整後の候補フレームパラメータを前記ライダー検出フレームパラメータとすることを特徴とする請求項７に記載の車両周囲の歩行者を検出する方法。
前記第４のステップにおいて、前記１人又は複数の歩行者のそれぞれの初期候補フレームパラメータを前記１人又は複数の歩行者のそれぞれの前記各時点での歩行者検出フレームパラメータとし、
前記第５のステップにおいて、前記歩行者検出フレームパラメータ、前記１人又は複数の歩行者のそれぞれの状態情報、及び前記向きの変化頻度に基づき、前記１人又は複数の歩行者のうちそれぞれの歩行者に危険係数を設定することを特徴とする請求項７に記載の車両周囲の歩行者を検出する方法。
前記１人又は複数のライダーのうちそれぞれのライダーに対して、前の時点でのライダー検出フレームパラメータのフレーム重心座標と現時点でのライダー検出フレームパラメータのフレーム重心座標に基づき、前記各ライダーの前記車両に対する相対速度と相対移動方向を取得することを特徴とする請求項８に記載の車両周囲の歩行者を検出する方法。
前記第５のステップにおいて、前記ライダーごとに新ライダーであるか否かを判定し、新ライダーである場合、前記危険係数を１に設定し、新ライダーではない場合、現時点での前記ライダー検出フレームパラメータの前記フレーム重心座標と前記向き、前記相対速度、前記相対移動方向、前記状態情報、前記向きの変化頻度に基づき、前記危険係数を設定することを特徴とする請求項１０に記載の車両周囲の歩行者を検出する方法。
前記状態情報は正常状態又は異常状態であり、
前記ライダー検出フレームパラメータの前記フレーム高さに基づき、前記ライダーが子供であると判定し、又は、前記画像情報から前記ライダーとほかのライダーとの距離が所定安全距離より小さいと判定し、又は、前記画像情報から前記ライダーが外部物体による干渉を受けていると判定した場合、前記状態情報を異常状態として決定することを特徴とする請求項１１に記載の車両周囲の歩行者を検出する方法。