JP5531734B2 - 障害物認識装置 - Google Patents

Description

本発明は、障害物認識装置に関するものである。

従来、障害物を認識する装置として、歩行者の視線方向に関する情報に基づいて衝突可能性を判定するものが知られている（例えば、特許文献１参照）。特許文献１記載の障害物認識装置は、車両周辺の画像を取得し、画像内の特徴点に基づいて歩行者の視線方向を特定し、特定された視線方向に基づいて歩行者の行動を予測して衝突可能性を判定するものである。

特開２００５−１６５４２２号公報

しかしながら、従来の障害物認識装置にあっては、適切な衝突判定を行うことができない場合がある。例えば、認識対象の歩行者が一つの塊となって移動している場合には、どの人物の顔向きが全体の動きに対して支配的なのかを判断することができない。このため、認識対象の歩行者が一つの塊となって移動している場合には、今後の動きを適切に予測することが難しいため、結果として最適な衝突判定が困難となるおそれがある。

そこで、本発明はこのような技術課題を解決するためになされたものであって、一体的に移動する歩行者の挙動を適切に認識することができる障害物認識装置を提供することを目的とする。

すなわち、本発明に係る障害物認識装置は、障害物の挙動を推定する挙動推定手段を有する障害物認識装置であって、前記障害物として周囲に存在する人物を検出する障害物検出手段と、検出された人物が複数存在する場合には、人物同士が隣接するか否か又は人物同士が重なり合うか否かを判定する一体移動判定手段と、前記一体移動判定手段により人物同士が隣接又は人物同士が重なり合うと判定された場合には、隣接又は重なり合う人物のうち地面に足が接触していない人物を前記挙動推定手段の対象から除外する対象除外手段と、を備えて構成される。

本発明に係る障害物認識装置では、障害物検出手段により、障害物として周囲に存在する人物が検出され、検出された人物が複数存在する場合には、一体移動判定手段により人物同士が隣接するか否か又は人物同士が重なり合うか否かが判定され、人物同士が隣接又は人物同士が重なり合うと判定された場合には、対象除外手段により隣接又は重なり合う人物のうち地面に足が接触していない人物が挙動推定手段の対象から除外される。このように、複数人が一塊として存在しており、かつ、地面に足が接触していない人物が存在する場合には、地面に足が接触していない人物を、挙動の推定の対象から除外することができる。すなわち、自ら動き出す可能性の低い人物を挙動の予測対象から除外することが可能となる。このため、全体の動きに対して支配的な人物の挙動に基づいて進路予測をすることができるので、複数の人物が同時に検出された場合の進路予測精度を向上させることが可能となる。また、地面に足が接触していない人物を検出することで、複数の歩行者が今後も一塊として移動するか否かを的確に判別することができる。よって、一体的に移動する歩行者の挙動を適切に認識することが可能となる。

ここで、前記障害物検出手段は、前記障害物として車椅子に搭乗した人物を検出し、前記対象除外手段は、前記一体移動判定手段により前記車椅子に搭乗した人物と他の人物とが隣接又は人物同士が重なり合うと判定された場合には、前記車椅子に搭乗した人物を前記挙動推定手段の対象から除外することが好適である。

このように構成することで、例えば車椅子に搭乗した人物を予測対象から除外することができるので、全体の動きに対して支配的な車椅子を押している人物の挙動に基づいて進路予測をすることが可能となる。

本発明によれば、一体的に移動する歩行者の挙動を適切に認識することができる。

実施形態に係る障害物認識装置を備える車両の構成概要を示すブロック図である。 第１実施形態に係る障害物認識装置の動作を示すフローチャートである。 第１実施形態に係る障害物認識装置の作用効果を説明するための概要図である。 第２実施形態に係る障害物認識装置の動作を示すフローチャートである。

以下、添付図面を参照して本発明の実施形態について説明する。なお、各図において同一又は相当部分には同一の符号を付し、重複する説明を省略する。

（第１実施形態）
本実施形態に係る障害物認識装置は、例えば、障害物を検出して警報を出力する警報装置又は検出された障害物を回避するように運転支援もしくは車両制御を行う運転支援装置等を備える車両に好適に採用されるものである。なお、以下では説明理解の容易性を考慮して障害物が歩行者（人物）である場合を説明する。

最初に、本実施形態に係る障害物認識装置を備える車両の概要から説明する。図１は、本実施形態に係る障害物認識装置１を備える車両３の構成概要を示すブロック図である。図１に示す車両３は、カメラ３０、障害物認識装置１及び車両制御装置３１を備えている。

カメラ３０は、車両３の周囲の画像を撮像する機能を有している。また、カメラ３０は撮像した画像を障害物認識装置１へ出力する機能を有している。

障害物認識装置１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリ、及び入出力インターフェイスなどを備えて構成されており、画像識別部１０及び進路計画部１４を備えている。

画像識別部１０は、画像情報に基づいて物体認識を行う機能を備えており、障害物検出部（障害物検出手段）１１、一体移動判定部（一体移動判定手段）１２及び対象除外部（対象除外手段）１３を備えている。障害物検出部１１は、カメラ３０により出力された画像に基づいて、歩行者を検出する機能を有している。また、障害物検出部１１は、検出された歩行者の顔向き及び足の接地状態（足が地面に接触しているか否か）を判定する機能を有している。

一体移動判定部１２は、障害物検出部１１により複数の歩行者が検出された場合には、歩行者同士が一塊となっているか否かを判定する機能を有している。一体移動判定部１２は、例えば、画像上で歩行者同士が隣接している場合、又は画像上で歩行者同士が重なり合っている場合には、歩行者同士が一塊になっていると判定する機能を有している。歩行者が一塊となる場合としては、例えば、手を繋ぐ場合や子供を抱きかかえる場合等である。

対象除外部１３は、一体移動判定部１２で一塊となっていると判定された歩行者のうち、障害物検出部１１により足が地面に接触していないと判定された歩行者を、後述する進路計画部１４の処理対象から除外する処理を行う機能を有している。言い換えれば、対象除外部１３は、複数の歩行者が一塊となっている場合には、どの歩行者の挙動が全体の動きに対して支配的であるのかを判定する機能を有している。

上記構成を備えることにより、画像識別部１０は、カメラ３０により取得された画像に描画された歩行者を検出するとともに、検出された歩行者に関する情報（位置情報、顔向き情報等）を進路計画部１４へ出力する機能を有している。そして、画像識別部１０は、複数の歩行者が一塊となっている場合には、歩行者に関する情報の中から、足を地面に着けていない歩行者に関する情報を除外して進路計画部１４へ出力する機能を有している。

進路計画部１４は、車両３の進路を計画する機能を有しており、挙動推定部（挙動推定手段）１５を備えている。挙動推定部１５は、画像識別部１０により出力された歩行者に関する情報に基づいて、歩行者の挙動を推定する機能を有している。そして、進路計画部１４は、推定された歩行者の挙動に基づいて、車両３及び歩行者が衝突する可能性がある場合には、歩行者を回避することができる走行計画を生成する機能を有している。また、進路計画部１４は、生成された走行計画を車両制御装置３１へ出力する機能を有している。

車両制御装置３１は、進路計画部１４により生成された走行計画に基づいて、車両３の走行を制御する機能を有している。車両制御装置３１は、例えば、車両３のアクセル、ブレーキ、ステア等のアクチュエータを制御可能に構成されている。

次に、本実施形態に係る障害物認識装置１の動作について説明する。図２は、本実施形態に係る障害物認識装置１の動作を示すフローチャートである。図２に示す制御処理は、例えば、障害物認識装置１の電源がＯＮされたタイミングから所定の間隔で繰り返し実行される。

図２に示すように、障害物認識装置１は、歩行者検出処理から開始する（Ｓ１０）。Ｓ１０の処理では、障害物検出部１１が、カメラ３０により撮像された車両３の周囲の画像に係る画像情報に基づいて、車両３の周囲に存在する歩行者を検出する。また、障害物検出部１１は、検出された歩行者の位置情報、顔向き、歩行者の足と地面との位置関係等の情報を取得する。Ｓ１０の処理が終了すると、一体移動判定処理へ移行する（Ｓ１２）。

Ｓ１２の処理では、一体移動判定部１２が、Ｓ１０の処理で検出された歩行者が複数人存在し、かつ、近接しているか否か又は重なり合うか否かを判定する。最初に、一体移動判定部１２は、Ｓ１０の処理で検出された歩行者の情報に基づいて、複数の歩行者が検出されているか否かを判定する。そして、一体移動判定部１２は、Ｓ１０の処理で検出された歩行者の位置情報に基づいて、歩行者同士が隣接するか否か又は歩行者同士が重なり合うか否かを判定する。この位置情報は、画像上の位置情報であってもよいし、実空間に変換された実際の位置情報であってもよい。なお、近接するか否かの判定は、歩行者同士の間隔が所定の値以下であるか否かで判断すればよい。Ｓ１２の処理で、複数の歩行者が近接している又は重なり合うと判定した場合には、接地判定処理へ移行する（Ｓ１４）。

Ｓ１４の処理では、対象除外部１３が、Ｓ１０の処理で検出された複数の歩行者の中で、各々の足が地面に接触していない歩行者が存在するか否かを判定する。例えば、対象除外部１３は、Ｓ１０の処理で取得された歩行者の足と地面との位置関係に基づいて、各々の足が地面に接触しているか否かを判定する。Ｓ１４の処理において、各々の足が地面に接触していない歩行者が存在すると判定した場合には、今後も一体として移動する可能性が高いとして、対象者除外処理へ移行する（Ｓ１６）。

Ｓ１６の処理では、対象除外部１３が、各々の足が地面に接触していない歩行者を、挙動を推定する対象の歩行者から除外して、一体的に移動する複数の歩行者の挙動を推定するための対象の歩行者を確定する。一体的に移動する複数の歩行者の中に各々の足が地面に接触していない歩行者が存在する場合には、各々の足が地面に接触していない歩行者は他の歩行者に抱きかかえられている又はおんぶされている可能性が高く、従って自ら単独で移動する可能性は低い。このため、各々の足が地面に接触していない歩行者については、一体的に移動する複数の歩行者の進行方向に支配的でないとして、挙動を推定する対象から除外する。Ｓ１６の処理が終了すると、挙動推定処理へ移行する（Ｓ１８）。

Ｓ１８の処理では、挙動推定部１５が、歩行者の挙動を推定する。挙動推定部１５は、Ｓ１６の処理で確定された歩行者の顔向きに基づいて一体的に移動する複数の歩行者の挙動を推定する。すなわち、各々の足が地面に接触している歩行者の顔向きに基づいて一体的に移動する複数の歩行者の挙動を推定する。Ｓ１８の処理が終了すると、図２に示す制御処理を終了する。

一方、Ｓ１２の処理において、歩行者同士が隣接しない又は歩行者同士の位置情報が重なり合わないと判定した場合には、歩行者それぞれが個々に移動する可能性が高いので、検出された全ての歩行者の挙動を推定すべく挙動推定処理へ移行する（Ｓ１８）。また、Ｓ１４の処理において、各々の足が地面に接触していない歩行者が存在しないと判定した場合には、今後も一体的に移動するとは言い難いため、検出された全ての歩行者の挙動を推定すべく挙動推定処理へ移行する（Ｓ１８）。Ｓ１８の処理では、挙動推定部１５が、検出された歩行者それぞれの顔向きに基づいて歩行者それぞれの挙動を推定する。Ｓ１８の処理が終了すると、図２の制御処理が終了する。

以上で図２に示す制御処理を終了する。図２に示す制御処理を実行することで、画像情報から歩行者が検出され、歩行者が一体的に移動しているか否かが判定され、一体的に移動する歩行者に各々の足が地面に接触していない歩行者が存在するか否かが判定され、各々の足が地面に接触していない歩行者が存在する場合には、今後も一体的に移動する可能性が高いと判断されるとともに、一体的に移動する歩行者の挙動が、各々の足が地面に接触していない歩行者を除いた歩行者の顔向きによって推定される。この作用効果について、図３を用いて説明する。図３は、障害物認識装置１の作用効果を説明するための概要図であり、歩行者Ａが歩行者Ｂを抱かかえている２つの場面を示している。図３に示す場合においては、障害物認識装置１により、歩行者Ａ及び歩行者Ｂが近接していると判定され、歩行者Ｂが地面に足をつけていない歩行者であると判定される。そして、歩行者Ａ及び歩行者Ｂは今後も一体として移動すると判定されるとともに、歩行者Ｂは自ら移動できる状態ではないとされ、歩行者Ａ及び歩行者Ｂの一塊として移動する際に支配的なのは歩行者Ａであるとされる。このため、歩行者Ｂは、顔向きに関らず挙動予測の対象から除外される。例えば、図３（１）に示すように、歩行者Ａの顔向きａが横方向であり、歩行者Ｂの顔向きｂが正面方向である場合には、歩行者Ａの顔向きａの方向が進行方向であると推定される。同様に、図３（２）に示すように、歩行者Ａの顔向きａが正面方向であり、歩行者Ｂの顔向きｂが横方向である場合には、歩行者Ａの顔向きａの方向が進行方向であると推定される。このように、認識対象の塊が複数の歩行者で構成されている場合に、各々が別々の動きをするのか一体となった動きをするのかの判定をすることができるとともに、一体的に移動する場合は挙動に支配的な歩行者の顔向きに基づいて一塊の挙動を推定することが可能となる。

上述したように、第１実施形態に係る障害物認識装置１によれば、障害物検出部１１により、障害物として周囲に存在する人物が検出され、検出された人物が複数存在する場合には、一体移動判定部１２により人物同士が隣接するか否か又は人物同士が重なり合うか否かが判定され、人物同士が隣接又は人物同士が重なり合うと判定された場合には、対象除外部１３により隣接又は重なり合う人物のうち地面に足が接触していない人物が挙動推定部１５の対象から除外される。このように、複数人が一塊として存在しており、かつ、地面に足が接触していない人物が存在する場合には、地面に足が接触していない人物を、挙動の推定の対象から除外することができる。すなわち、自ら動き出す可能性の低い人物を挙動の予測対象から除外することが可能となる。このため、全体の動きに対して支配的な人物の挙動に基づいて進路予測をすることができるので、複数の人物が同時に検出された場合の進路予測精度を向上させることが可能となる。また、地面に足が接触していない人物を検出することで、複数の歩行者が今後も一塊として移動するか否かを的確に判別することができる。よって、一体的に移動する歩行者の挙動を精度良く適切に認識することが可能となる。

（第２実施形態）
第２実施形態に係る障害物認識装置は、第１実施形態に係る障害物認識装置１とほぼ同様に構成されており、障害物検出部１１、一体移動判定部１２及び対象除外部１３の一部機能が相違する。よって、第２実施形態では第１実施形態との相違点を中心に説明し、重複する説明は省略する。

第２実施形態に係る障害物認識装置の構成は、第１実施形態に係る障害物認識装置１と同様である。ここで、障害物検出部１１は、車椅子に搭乗している人物を検出可能に構成されている。例えば、障害物検出部１１は、車椅子を検出するとともに、車椅子に近接する人物又は車椅子と重なる人物の各々の足が地面に接触していない場合には、車椅子に乗った人物であると判定する機能を有している。また、一体移動判定部１２は、車椅子に搭乗している人物が一人で移動しているか否かを判定する機能を有している。例えば、一体移動判定部１２は、カメラ３０により取得された画像に基づいて、車椅子に搭乗している人物の周囲に人がいないと判定できる場合には、車椅子に搭乗している人物が一人で移動していると判定する機能を有している。また、対象除外部１３は、車椅子に搭乗している人物が一人で移動していないと判定された場合には、車椅子に搭乗している人物を、挙動対象の人物から除外する機能を有している。その他の機能は第１実施形態に係る障害物認識装置１と同様である。なお、本実施形態で説明する車椅子には、いわゆる一般的な車椅子のみならずベビーカー（乳母車）も含まれる。

次に、本実施形態に係る障害物認識装置の動作を説明する。図４は、本実施形態に係る障害物認識装置の動作を示すフローチャートである。図４に示す制御処理は、例えば、障害物認識装置１の電源がＯＮされたタイミングから所定の間隔で繰り返し実行される。

図４に示すように、障害物認識装置は、車椅子検出処理から開始する（Ｓ３０）。Ｓ３０の処理では、障害物検出部１１が、カメラ３０により撮像された車両３の周囲の画像に係る画像情報に基づいて、車両３の周囲に存在する車椅子の人物を検出する。また、障害物検出部１１は、検出された車椅子の人物の位置情報、顔向き等の情報を取得する。Ｓ３０の処理が終了すると、一体移動判定処理へ移行する（Ｓ３２）。

Ｓ３２の処理では、一体移動判定部１２が、Ｓ３０の処理で検出された車椅子の人物が一人で移動しているのか否かを判定する。最初に、一体移動判定部１２は、Ｓ３０の処理で検出された車椅子の人物の情報に基づいて、その周囲に歩行者が存在するか否かを判定する。そして、一体移動判定部１２は、Ｓ３０の処理で検出された車椅子の人物の位置情報に基づいて、車椅子の人物と周囲の歩行者とが隣接するか否か又は車椅子の人物と周囲の歩行者とが重なり合うか否かを判定する。この位置情報は、画像上の位置情報であってもよいし、実空間に変換された実際の位置情報であってもよい。なお、近接するか否かの判定は、歩行者同士の間隔が所定の値以下であるか否かで判断すればよい。一体移動判定部１２は、車椅子の人物と周囲の歩行者とが隣接する又は車椅子の人物と周囲の歩行者とが重なり合うと判定した場合には、車椅子の人物が一人で移動していないと判定する。Ｓ３２の処理において、車椅子の人物が一人で移動していない場合には、対象者除外処理へ移行する（Ｓ３４）。

Ｓ３４の処理では、対象除外部１３が、Ｓ３０の処理で検出された車椅子の人物を、挙動を推定する対象の歩行者から除外して、一体的に移動する複数の歩行者の挙動を推定するための対象の歩行者を確定する。すなわち、車椅子の人物については、一体的に移動する複数の歩行者の進行方向に支配的でないとして、挙動を推定する対象から除外する。Ｓ３４の処理が終了すると、挙動推定処理へ移行する（Ｓ３６）。

Ｓ３６の処理では、挙動推定部１５が、歩行者の挙動を推定する。挙動推定部１５は、Ｓ３４の処理で確定された歩行者の顔向きに基づいて一体的に移動する複数の歩行者の挙動を推定する。すなわち、Ｓ３０の処理で検出された車椅子の人物の周囲に存在する人物（例えば、車椅子を押している人）の顔向きに基づいて、車椅子を含めた塊の挙動を推定する。Ｓ３６の処理が終了すると、図４に示す制御処理を終了する。

一方、Ｓ３２の処理において、車椅子の人物が一人で移動している場合には、挙動推定処理へ移行し、検出された歩行者それぞれの顔向きに基づいて歩行者それぞれの挙動を推定する（Ｓ３６）。

以上で図４に示す制御処理を終了する。図４に示す制御処理を実行することで、画像情報から車椅子に乗った人物が検出され、車椅子に乗った人物が一人で移動しているか否かが判定され、車椅子に乗った人物が一人で移動していない場合には、今後も一体的に移動する可能性が高いと判断されるとともに、一体的に移動する歩行者の挙動が、車椅子に乗った人物を除いた歩行者の顔向きによって推定される。このように、車椅子に乗った人物が存在する場合であって、車椅子を押している人が存在する場合には、挙動に支配的な車椅子を押す歩行者の顔向きに基づいて一塊の挙動を推定することができる。

上述したように、第２実施形態に係る障害物認識装置によれば、第１実施形態に係る障害物認識装置１と同様の効果を奏するとともに、車椅子に搭乗した人物を予測対象から除外することができるので、全体の動きに対して支配的な車椅子を押している人物の挙動に基づいて進路予測をすることが可能となる。よって、一体的に移動する歩行者の挙動を精度良く適切に認識することができる。

なお、上述した実施形態は本発明に係る障害物認識装置の一例を示すものである。本発明に係る障害物認識装置は、各実施形態に係る障害物認識部に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、各実施形態に係る障害物認識装置を変形し、又は他のものに適用したものであってもよい。

１…障害物認識装置、３…車両、１０…画像識別部、１１…障害物検出部（障害物検出手段）、１２…一体移動判定部（一体移動判定手段）、１３…対象除外部（対象除外手段）、１４…進路計画部、１５…挙動推定部（挙動推定手段）。

Claims (2)

1. 障害物の挙動を推定する挙動推定手段を有する障害物認識装置であって、
   前記障害物として周囲に存在する人物を検出する障害物検出手段と、
   検出された人物が複数存在する場合には、人物同士が隣接するか否か又は人物同士が重なり合うか否かを判定する一体移動判定手段と、
   前記一体移動判定手段により人物同士が隣接又は人物同士が重なり合うと判定された場合には、隣接又は重なり合う人物のうち地面に足が接触していない人物を前記挙動推定手段の対象から除外する対象除外手段と、
   を備えることを特徴とする障害物認識装置。
2. 前記障害物検出手段は、前記障害物として車椅子に搭乗した人物を検出し、
   前記対象除外手段は、前記一体移動判定手段により前記車椅子に搭乗した人物と他の人物とが隣接又は人物同士が重なり合うと判定された場合には、前記車椅子に搭乗した人物を前記挙動推定手段の対象から除外する請求項１に記載の障害物認識装置。

Images