JP7316540B2

JP7316540B2 - 歩行者位置予測方法及び歩行者位置予測装置

Info

Publication number: JP7316540B2
Application number: JP2019087359A
Authority: JP
Inventors: 慎也山崎; 康秀黒田; 晃舟久保
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 2019-05-07
Filing date: 2019-05-07
Publication date: 2023-07-28
Anticipated expiration: 2039-05-07
Also published as: JP2020184135A

Description

本発明は、障害物を回避して進む歩行者の将来位置を予測するための方法及び装置に関する。

自動車等の車両の自動運転システムや運転支援システムにおいては、歩行者の将来の歩行を予測することにより、この予測に基づく車両の制御を行う技術が提案されてきている。例えば、特許文献１（特許第６１７２４７４号）には、歩行者の静止から一歩目までの体幹の前傾角度に基づいて、歩行者の将来位置を予測する車両用歩行者検出装置が提案されている。また、特許文献２（国際公開ＷＯ２０１６／０９８２３８）には、歩行者の身体の角度の変化から、歩行者の進行方向の変化を予測し、車両を制御する走行制御装置が提案されている。

特許第６１７２４７４号国際公開ＷＯ２０１６／０９８２３８

ところで、歩道が整備されておらず、比較的狭い道路の単路部では、道路に沿って背面歩行または対面歩行している歩行者が路側障害物（例えば電柱等）を避ける為に車道側へ膨らみ、車と衝突する事故がしばしば発生する。このようなシチュエーションにおいて、多くのドライバは、歩行者のそのような行動変化を予想した上で、事故を未然に防ぐように運転操作を行っていると考えられるが、自動運転システムや運転支援システムにおいて、路側障害物を回避するための歩行者の歩行軌跡の変化を正確に予測することは困難であった。このため、路側障害物を回避する歩行者の将来行動を定量的に予測し得る汎用的な手法が求められていた。

本発明は、以上のような事情を勘案してなされたもので、その目的は、障害物を回避して進む歩行者の将来位置を適切に予測することができる歩行者位置予測方法及び装置を提供することである。

前記目的を達成するため、本発明にあっては、次のような解決方法を採択している。すなわち、請求項１に記載のように、進路を進む歩行者が障害物を回避して歩行する歩行位置を予測する歩行者位置予測装置において、前記歩行者及び前記障害物の位置を検出する検出手段と、前記障害物から前記歩行者の進路方向に直交する方向に所定のすれ違い距離だけ離間した地点を回避完了位置に設定する回避完了位置設定手段と、前記回避完了位置から前記障害物よりも手前側の前記歩行者の前記進路上に引いた直線が前記歩行者の進路方向となす角度が所定の交差角となる地点を回避開始位置に設定する回避開始位置設定手段と、前記回避完了位置から前記障害物よりも先の前記歩行者の前記進路上に引いた直線が前記歩行者の進路方向となす角度が所定の交差角となる地点を進路復帰完了位置に設定する進路復帰完了位置設定手段と、前記回避完了位置、前記回避開始位置及び前記進路復帰完了位置を極値とする多項式を算出し、歩行者の将来の歩行位置が、前記多項式が表す曲線上にあると推定する歩行者経路推定手段とを備えた。

上記解決手法によれば、所定の条件下で多項式の係数を算出するという、簡単で汎用性のある手法で、歩行者の予測される歩行軌跡を数式として表現することができる。したがって、本発明の歩行者位置予測装置を車載システムとした場合、歩行者の歩行軌跡を数秒先まで正確に予測することにより、車両と歩行者の衝突可能性を正確に予測することができる。

上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項２以下に記載の通りである。すなわち、前記歩行者経路推定手段は、前記障害物が複数存在し、前記障害物の数がｎ個である場合に、隣接する前記障害物の間の地点に経由点を設定し、前記回避完了位置、前記回避開始位置及び前記進路復帰完了位置に加えて前記経由点を極値とする多項式が表す曲線上に、前記歩行者の将来の歩行位置があると推定する（請求項２対応）。この場合、複数の障害物がある場合でも、汎用性のある手法で、歩行者の将来位置を精度よく数式で表現することができる。

歩行者経路推定手段は、隣接する前記障害物間の距離が所定の限界距離以下である場合に、当該隣接する障害物を１つの障害物と見做して前記多項式を算出する（請求項３対応）。この場合、障害物が近接している場合に、歩行者の将来位置を、より簡単な数式で、より精度よく表現することができる。

前記交差角として、１０度以下の角度が設定されている（請求項４対応）。この場合、実際の歩行者軌跡に近い軌跡を推定することが可能となる。

本発明によれば、歩行者の予測される歩行軌跡を数式として表現することができるので、車両の自動運転システムや運転支援システムに適用することにより、車両と歩行者の衝突を適切に回避することができる。

本発明の基礎となる知見を説明するための図。本発明による歩行者位置予測の概要を示す図。本発明による歩行者位置予測例の概要示す図。本発明の制御系の一例を示すブロック構成図。本発明の制御例を示すフローチャート。

以下、添付図面に基づいて本発明の実施形態について説明する。

図１には、進路上に存在する路側障害物と対峙した歩行者の歩行経路に関して、本発明の基礎となる知見を説明するための図であり、歩行者Ｐが進路Ｃ上にある障害物Ｏを回避して歩行する場合の経路Ｔが示されている。ここで、進路Ｃは、歩行者Ｐの当初の進行方向に沿った直線であり、障害物Ｏは、この直線上に存在している。進路Ｃ上の初期位置Ｓ０から出発した歩行者Ｐは、障害物Ｏを回避するため、一時的に進路Ｃから逸脱した経路Ｔを通って、障害物Ｏを越えた後、進路Ｃ上の歩行目標位置ＳＡに進む。

本発明者は、図１に示すような状況における歩行者の歩行について観察及び分析を行った結果、以下のような知見を得た。
（Ａ）歩行者Ｐが路上障害物Ｏを回避する際に障害物Ｏとの間で横断方向に確保するマージン距離（すれ違い距離）は、歩行者毎に大きな差は無く、多くの歩行者に共通のすれ違い距離（概ね０．６ｍ程度）を想定できる。なお、すれ違い距離Ｄは、障害物Ｏの最も歩行者Ｐに近い側の端部から歩行者までの距離となる。
（Ｂ）歩行者Ｐが路上障害物を回避する際は、５度程度の小さい角度での進行方向の変更を２回程度繰り返し（したがって、合計で１０度程度の進行方向の変更を行い）、障害物Ｏの横方向にすれ違い距離だけ離れた地点（回避完了位置Ｈ２）に達することが多い。また、障害物Ｏを回避した歩行者Ｐは、回避完了位置で進行方向の変更を開始し、合計で１０度程度の進行方向の変更で、元の歩行経路（進路Ｃ）に戻ることが多い。
（Ｃ）歩行者Ｐが障害物を回避するために行う程度の進行方向の変更では、変更の前後で進路Ｃの方向の速度成分はほとんど変化しない（進路Ｃに沿ってまっすぐ歩いている時の速度変動幅以内の変化しかない）。

図１には、このような知見に基づいて想定される歩行者Ｐの大まかな経路（歩行軌跡）Ｔが図示されている。図示されるように、初期位置Ｓ０から出発した歩行者Ｐは、回避開始位置Ｈ１（回避完了位置Ｈ２と１０度の角度を成す地点）まで進路Ｃに沿って進んだ後、回避開始位置Ｈ１で進行方向の変更を開始し、回避完了位置Ｈ２において障害物Ｏ（例えば電柱）を回避した後、再び１０度程度の進行方向変更を行い、進路復帰完了位置Ｈ３において進路Ｃに戻り、その後、進路Ｃに沿って歩行目標位置ＨＡに至る。

次に、図２及び図３に基づいて、本発明における歩行者位置予測の概要について説明する。本発明は、上記のような知見を前提として、歩行者が障害物を回避する際に進むと予測される経路を、障害物が複数ある場合でも利用可能な数式で表すことを目指すものである。このため、本発明では、歩行者の歩行軌跡（歩行者のｘ座標とｙ座標との関係）を多項式によって表される曲線で近似するようにしている。以下、詳しく説明する。

図２には、１つの障害物Ｏを回避する歩行軌跡を多項式で近似した場合を示している。この場合、歩行者Ｐの歩行軌跡Ｔは、４次式で表せると考えられる。図２に示すように、歩行者Ｐの進路（当初の経路）Ｃをｙ軸とし、ｙ軸を水平に横断する軸をｘ軸とすると、歩行軌跡の多項式は、以下の式（１）で表すことができる。
ｘ＝ａｙ⁴＋ｂｙ³＋ｃｙ²＋ｄｙ＋ｅ …（１）
また、式（１）をｙで微分すると、以下の式（２）が得られる。
ｘ’＝４ａｙ³＋３ｂｙ²＋２ｃｙ＋ｄ …（２）
多項式（１）の係数a、ｂ、ｃ、ｄ、ｅを求めることを考えると、まず歩行軌跡Ｔは、回避開始位置Ｈ１の座標（ｘ１，ｙ１）と、回避完了位置Ｈ２の座標（ｘ２，ｙ２）、進路復帰位置Ｈ３の座標（ｘ３，ｙ３）を通過するので、各座標の値を式（１）に代入すると、以下の式（３）～（５）が得られる。
ｘ１＝ａｙ１⁴＋ｂｙ１³＋ｃｙ１²＋ｄｙ１＋ｅ …（３）
ｘ２＝ａｙ２⁴＋ｂｙ２³＋ｃｙ２²＋ｄｙ２＋ｅ …（４）
ｘ３＝ａｙ３⁴＋ｂｙ３³＋ｃｙ３²＋ｄｙ３＋ｅ …（５）
また、歩行軌跡Ｔは、回避開始位置Ｈ１、回避完了位置Ｈ２、進路復帰完了位置Ｈ３で極値をとるので、式（２）の右辺に回避開始位置のｙ座標ｙ１と回避完了位置のｙ座標ｙ２を代入し、式（２）の左辺を０とすると、以下の式（６）及び（式（７）が得られる。
０＝４ａｙ１³＋３ｂｙ１²＋２ｃｙ１＋ｄ …（６）
０＝４ａｙ２³＋３ｂｙ２²＋２ｃｙ２＋ｄ …（７）
なお、歩行軌跡Ｔは進路復帰完了位置Ｈ３でも極値をとるが、必要な式は５つで十分なので、今回の計算では、進路復帰完了位置は利用しない。

このようにして、５つの未知数（多項式の係数a、ｂ、ｃ、ｄ、ｅ）に対して、５つの式（３）～（７）が得られるので、連立方程式（３）～（７）を解くことにより、多項式の係数ａ～ｅを決定することができ、歩行軌跡Ｔを表す多項式を得ることができる。

また、歩行軌跡Ｔにおける程度の角度での進行方向の変更では、歩行者Ｐが進路Ｃに沿って直進する場合とｙ方向の速度はほとんど変化しないことから、歩行者のｙ座標はｙ方向の初速Ｖｙｐと時間ｔとを用いて、以下の式（８）で算出できる。
ｙ＝Ｖｙｐ＊ｔ …（８）
この式（８）と上記式（１）により、ｔ秒後の歩行者の座標を予測可能となる。

障害物が複数である場合にも、同様の手法で、歩行者経路Ｔを表す多項式を得ることができる。図３（ａ）には、障害物が２個（障害物Ｏ１、Ｏ２）である場合の経路を、また図３（ｂ）には、障害物が３個（障害物Ｏ３、Ｏ４、Ｏ５）である場合の経路を、それぞれ示している。

図示されるように、障害物が２個の場合には、歩行経路を表す多項式は、５つの極値Ｈ１１～Ｈ１５を有するものとなる。ここで、Ｈ１１は回避開始位置、Ｈ１２とＨ１４は回避完了位置、Ｈ１５は進路復帰完了位置であり、Ｈ６は、障害物Ｏ１とＯ２の間に設定された経由点である。
また、障害物が３個の場合には、歩行経路を表す多項式は、７つの極値Ｈ２１～Ｈ２７を有するものとなる。ここで、Ｈ２１は回避開始位置、Ｈ１２、Ｈ１４、Ｈ１６は回避完了位置、Ｈ１７は進路復帰完了位置であり、Ｈ２３、Ｈ２５は、障害物Ｏ３とＯ４、Ｏ４とＯ５の間にそれぞれ設定された経由点である。

同様に、一般に障害物の個数をｎとすると、回避開始後の歩行者軌跡を表す多項式は、極値の個数が（２ｎ＋１）となるようにすればよい。したがって、歩行者軌跡を表す多項式の次数は、（２ｎ＋２）次となり、決定すべき係数の数は（２ｎ＋３）個となる。よって、障害物が１個である場合と同様の手法をとることにより、係数を決定することができ、歩行者軌跡を表す多項式を得ることができる。なお、上記計算に用いる経由点としては、隣接する障害物の間の地点（例えば中間地点）の他、観測可能な情報に基づき決定でき、極値をとると想定し得る点を採用すればよい。

また、上記のような多項式導出において、隣接する障害物の間隔が短いとき（所定の限界距離より小さいとき）には、歩行者が障害物の間に入り込む経路は取らないと考え、隣り合う障害物を１つの障害物と１つの障害物と見做してもよい。これにより、求めるべき多項式の次数を少なくして、計算を簡素化しつつ、実際の歩行者経路に近い経路を求めることができる。

図４には、本発明の歩行者位置予測装置の制御系の一例をブロック構成図で示す。図示されるように、制御系は、カメラ１とコントローラＵを備えている。カメラ１は、歩行者位置予測装置が搭載された車両の外部状況を撮影可能となっており、歩行軌跡の予測対象となる対象歩行者と、対象歩行者の進路上に存在する障害物の画像を撮影し、撮影された画像をコントローラＵに送信する。

なお、カメラ１は、後述する画像分析手段１１とともに歩行者及び障害物の位置を検出する検出手段を構成するものであるが、本発明における検出手段は、カメラ１に限定されるものではない。例えば、カメラ１の代わりに（又はカメラ１とともに）各種センサを用いるようにしてもよい。

コントローラＵは、マイクロコンピュータを利用して構成された制御装置であり、処理手段（プログラム）として、画像分析手段１１と、回避完了位置設定手段１２と、回避開始位置設定手段１３と、進路復帰完了位置設定手段１４と、歩行者経路推定手段１５とを備えている。

画像分析手段１１は、カメラ１から取得した画像を分析して、予測対象となる歩行者及び障害物の位置を検出する手段であり、歩行者の位置を検出する歩行者位置検出手段２１と、障害物の位置を検出する障害物検出手段２２とを備えている。

回避完了位置設定手段１２は、障害物の位置に基づいて、障害物から進路方向を横断する方向（ｙ軸方向）に所定のすれ違い距離だけ離れた地点を算出し、この地点を回避完了位置に設定する。

回避開始位置設定手段１３は、回避完了位置から障害物の手前側（現在の歩行者側）の歩行者の進路（ｘ軸）上の地点に延びる直線が、ｘ軸と所定の交差角を成すような地点を算出し、この地点を回避開始位置に設定する。また、進路復帰完了位置設定手段１４は、回避完了位置から障害物の先（現在の歩行者と反対側）の歩行者の進路（ｘ軸）上の地点に延びる直線が、ｘ軸と所定の交差角を成すような地点を算出し、この地点を進路復帰完了位置に設定する。

歩行者経路推定手段１５は、多項式導出手段２３を備えている。多項式導出手段２３は、歩行者の進路方向と進路方向を水平方向に横断する方向を含む平面（すなわち路面に対する水平面）に適切な座標系を設定し（例えば、歩行者の進路方向をｙ軸方向、進路方向と直交する進路横断方向をｘ軸方向とし）、この座標系において、回避開始位置、回避完了位置、進路復帰完了位置を極値とする多項式（障害物が１つの場合には４次の多項式）を算出する（回避開始位置、回避完了位置、進路復帰完了位置で極値をとるという条件で、多項式の係数を決定する）。歩行者経路推定手段１５は、算出された多項式が表す曲線を、歩行者が障害物を回避するために歩行していく将来経路として予測する。

次に、図５のフローチャートにしたがって、本発明の歩行者位置予測方法の手順について説明する。歩行者位置予測においては、まずステップＳ１において、カメラ１からの画像データを取得する。続くステップＳ２においては、画像から歩行者が検出されたか否かの判定がなされ、歩行者が検出されなかった場合には、そのまま一巡の処理を終了する。

画像から歩行者が検出された場合には、ステップＳ３に進み、画像から歩行者の進路上に障害物が検出されたか否かの判定がなされ、検出されなかった場合には、そのまま一巡の処理を終了する。一方、障害物が検出された場合には、ステップＳ４に進む。

ステップＳ４においては、障害物の位置から回避完了位置を算出する。続くステップＳ５においては、ステップＳ４で求められた回避完了位置に基づいて、回避開始位置と進路復帰完了位置を算出する。ステップＳ６においては、回避開始位置、回避完了位置、進路復帰完了位置を極値とする多項式を算出し、この多項式に沿った曲線を歩行者経路と推定して、一巡の処理を終了する。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、特許請求の範囲に記載された範囲において適宜の変更が可能である。

本発明は、自動車等の車両の自動運転システムや運転支援システムにおいて、歩行者の位置を予測するために利用できる。

１カメラ
１１画像分析手段
１２回避完了位置設定手段
１３回避開始位置設定手段
１４復帰予測位置設定手段
１５歩行者経路推定手段
２１歩行者検出手段
２２障害物検出手段
２３多項式導出手段

Claims

進路を進む歩行者が障害物を回避して歩行する歩行位置を予測する歩行者位置予測装置において、
前記歩行者及び前記障害物の位置を検出する検出手段と、
前記障害物から前記歩行者の進路方向に直交する方向に所定のすれ違い距離だけ離間した地点を回避完了位置に設定する回避完了位置設定手段と、
前記回避完了位置から前記障害物よりも手前側の前記歩行者の前記進路上に引いた直線が前記歩行者の進路方向となす角度が所定の交差角となる地点を回避開始位置に設定する回避開始位置設定手段と、
前記回避完了位置から前記障害物よりも先の前記歩行者の前記進路上に引いた直線が前記歩行者の進路方向となす角度が所定の交差角となる地点を進路復帰完了位置に設定する進路復帰完了位置設定手段と、
前記回避完了位置、前記回避開始位置及び前記進路復帰完了位置を極値とする多項式を算出し、歩行者の将来の歩行位置が、前記多項式が表す曲線上にあると推定する歩行者経路推定手段とを備えた歩行者位置予測装置。
請求項1に記載の歩行者位置予測装置において、
前記歩行者経路推定手段は、前記障害物が複数存在し、前記障害物の数がｎ個である場合に、隣接する前記障害物の間の地点に経由点を設定し、前記回避完了位置、前記回避開始位置及び前記進路復帰完了位置に加えて前記経由点を極値とする多項式が表す曲線上に、前記歩行者の将来の歩行位置があると推定する歩行者位置予測装置。
請求項２に記載の歩行者位置予測装置において、
前記歩行者経路推定手段は、隣接する前記障害物間の距離が所定の限界距離以下である場合に、当該隣接する障害物を１つの障害物と見做して前記多項式を算出する歩行者位置予測装置。
請求項1から請求項３のいずれか1項に記載の歩行者位置予測装置において、
前記交差角として、１０度以下の角度が設定されている歩行者位置予測装置。