JP7272756B2

JP7272756B2 - 停止位置設定装置

Info

Publication number: JP7272756B2
Application number: JP2018090851A
Authority: JP
Inventors: 貴雅今津
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-05-09
Filing date: 2018-05-09
Publication date: 2023-05-12
Anticipated expiration: 2038-05-09
Also published as: JP2019196091A

Description

本発明は、例えば車両等の移動体の停止位置を設定する停止位置設定装置の技術分野に関する。

この種の装置で用いられる技術として、例えば複数のソナーを備え、該複数のソナーのうち少なくとも一のソナーによる障害物の検出結果に基づいて、車両の運転支援を行う技術が提案されている（特許文献１参照）。また、移動体の内界センサ及び外界センサ各々から得られる情報に基づいて、移動ロボットの現在の位置及び姿勢と地図情報とを更新する技術が提案されている（特許文献２参照）。

特開２０１７－１８２３００号公報特開２０１７－０４５４４７号公報

例えば自宅の駐車場は、自動車の駐車スペースという目的以外にも、例えば自転車の駐輪スペースや植木鉢の設置スペース等という目的でも用いられることが多い。ところで、例えば自転車や植木鉢は移動されることがある（即ち、位置が固定されていない）。他方で、例えば自転車は、使用後には特定の位置に置かれることが多い。

自宅の駐車場において、特許文献１に記載の技術を用いて、ソナーによる現在の障害物の検出結果に基づいて自動車の駐車位置が設定されると、例えば自転車が使用中で駐車場内に存在しない場合、自転車の駐輪スペースが考慮されることなく駐車位置が設定されてしまう。

特許文献２に記載の技術では、時間的変化量が所定の閾値以上の場所についての情報が地図情報から除去される。つまり、特許文献２に記載の技術では、例えば自転車等、比較的頻繁に移動される物についての情報が地図情報から除去される。このため、特許文献２に記載の技術を用いて、自宅の駐車場における自動車の駐車位置が設定される場合、自転車の駐輪スペースが考慮されることなく駐車位置が設定されてしまう可能性がある。

本発明は、上記問題点に鑑みてなされたものであり、本来の目的とは異なる目的でも使用される可能性がある場所における移動体の停止位置を適切に設定することができる停止位置設定装置を提供することを課題とする。

本発明の一態様に係る停止位置設定装置は、車両の停止位置を設定する停止位置設定装置であって、前記車両が停止可能な駐車場、及び前記駐車場の周辺に存在する周辺スペース各々の画像から検出された複数の特徴点と、前記複数の特徴点各々の位置と、前記複数の特徴点各々が属する物体の種別とが互いに関連づけられてなる障害物情報を格納するデータベースと、前記障害物情報に基づいて、駐車場における前記車両の目標停止位置を設定する設定手段と、を備え、前記種別は、位置が可変である物体を示す動的物体を含み、前記設定手段は、前記障害物情報により示される前記駐車場内の前記動的物体に関連付けられた一又は複数の特徴点を考慮して、前記目標停止位置を設定し、前記障害物情報が生成されるときに、当該停止位置設定装置が、画像から検出された複数の特徴点と、前記複数の特徴点各々の位置と、前記複数の特徴点各々が属する物体の種別とを互いに関連づけて前記データベースに仮登録した後に、前記駐車場において前記車両のシフトポジションがパーキングポジションになった際に、前記車両の位置から所定範囲内に含まれない、前記動的物体に関連付けられた特徴点を前記データベースから削除することによって、前記障害物情報には、前記駐車場内の前記動的物体に関連付けられた前記一又は複数の特徴点が含まれる一方で、前記障害物情報に含まれる前記周辺スペースに位置する特徴点には、前記動的物体に関連付けられた特徴点がないというものである。

実施形態に係る停止位置設定装置の構成を示すブロック図である。カメラの撮像範囲の一例を示す図である。実施形態に係る特徴量データベースに格納される地図情報の一例を示す図である。自動駐車時の駐車経路の一例を示す図である。実施形態に係る学習処理を示すフローチャートである。実施形態に係る停止位置設定処理を示すフローチャートである。

停止位置設定装置に係る実施形態を図１乃至図６を参照して説明する。

（構成）
実施形態に係る停止位置設定装置の構成について図１を参照して説明する。図１は、実施形態に係る停止位置設定装置の構成を示すブロック図である。

図１において、停止位置設定装置１００は、車両１に搭載されている。停止位置設定装置１００は、車両１の周辺を撮像した画像等から、車両１の周囲に存在する障害物を検出して、該検出された障害物に係る情報の少なくとも一部を含む地図情報を生成する。停止位置設定装置１００は、車両１の目標停止位置を設定する際に、該生成された地図情報に基づいて目標停止位置を設定する。本実施形態では、車両１のユーザの自宅駐車場に、車両１が自動的に駐車する際に、停止位置設定装置１００が車両１の目標停止位置（この場合は駐車位置と同義）を設定する場合を一例として挙げる。

停止位置設定装置１００は、前方カメラ１１、右側方カメラ１２、左側方カメラ１３、後方カメラ１４、特徴点検出装置２１、特徴点距離情報取得装置２２、物体認識装置２３、特徴量データベース２４（以降、適宜“特徴量ＤＢ２４”と称する）及び自動駐車装置３０を備えて構成されている。

前方カメラ１１、右側方カメラ１２、左側方カメラ１３及び後方カメラ１４各々は、例えば図２に示す撮像範囲を撮像可能なように車両１に取り付けられている。尚、前方カメラ１１、右側方カメラ１２、左側方カメラ１３及び後方カメラ１４各々には、既存の各種態様を適用可能であるので、その詳細な説明は省略する。

特徴点検出装置２１は、前方カメラ１１、右側方カメラ１２、左側方カメラ１３及び後方カメラ１４各々により撮像された画像（以降、適宜“入力画像”と称する）から特徴点を検出する。具体的には、特徴検出装置２１は、入力画像各々に写っている物体に係る特徴点を検出する。特徴点検出装置２１は更に、一の入力画像から検出された特徴点と、他の入力画像から検出された特徴点とが同一である場合、該２つの特徴点を紐付ける。

特徴点距離情報取得装置２２は、特徴点検出装置２１により検出された特徴点に係る３次元座標を特徴点距離として取得する。具体的には、特徴点距離情報取得装置２２は、特徴点検出装置２１が特徴点の検出に用いた入力画像を撮像したカメラ（即ち、前方カメラ１１、右側方カメラ１２、左側方カメラ１３及び後方カメラ１４のいずれか）の取り付け位置から、特徴点までの距離情報を演算し、その演算結果に基づいて該特徴点に係る３次元座標を求める。

物体認識装置２３は、入力画像各々に写っている物体の種別等を具体的に認識する。物体認識装置２３は、例えばディープラーニング（ＤｅｅｐＬｅａｒｎｉｎｇ：ＤＬ）等により物体を認識する。物体認識装置２３は特に、認識された物体を、動的障害物（即ち、その位置が可変である物体）と、静的障害物（即ち、その位置が不変である物体）とに分類する。物体認識装置２３は、動的障害物を示す情報（例えばラベル）又は静的障害物を示す情報（例えばラベル）と関連付けられた物体の認識結果を物体情報として出力する。尚、物体認識には、ディープラーニングに限らず、既存の各種態様を適用可能である。

特徴量ＤＢ２４は、特徴点検出装置２１により検出された一又は複数の特徴点、特徴点距離情報取得装置２２により取得された特徴点距離、及び、物体認識装置２３から出力された物体情報を互いに関連付けて登録する。特徴量ＤＢ２４に登録され、相互に関連付けられた特徴点、特徴点距離及び物体情報を、適宜「地図情報」と称する。

自動駐車装置３０は、目標停止位置に車両１を自動的に駐車する。自動駐車装置３０は特に、上記地図情報を参照して、車両１の目標停止位置（即ち、駐車位置）を設定する。尚、自動駐車技術には、既存の各種態様を適用可能であるので、その詳細な説明については省略する。

（学習処理）
停止位置設定装置１００が実施する学習処理について図３を参照して説明する。図３（ａ）は、自宅の駐車場の周辺に存在する障害物の一例を示す図である。図３（ｂ）は、特徴点検出装置２１により検出された特徴点の一例を示す図である。図３（ｃ）は、特徴量ＤＢ２４に登録される特徴点の一例を示す図である。

図３（ａ）に示す状況において、特徴点検出装置２１により入力画像から特徴点が検出された結果、図３（ｂ）に示す特徴点が検出されるとする。図３（ｂ）において、白丸は、静的障害物に係る特徴点を示しており、網かけの丸は、動的障害物に係る特徴点を示している。

特徴点検出装置２１により特徴点が検出された後、特徴点距離情報取得部２２により、各特徴点に係る３次元座標が特徴点距離として取得される。また、物体認識装置２３により、入力画像各々に写っている物体の種別等が具体的に認識され、該認識された物体が動的障害物及び静的障害物のいずれかに分類される。この結果、物体認識装置２３から物体情報が出力される。

特徴点検出装置２１により検出された全ての特徴点は、特徴点距離情報取得部２２により取得された特徴点距離及び物体認識装置２３から出力された物体情報と関連付けられて、特徴量ＤＢ２４に仮登録される。

図３（ａ）に示す状況において、車両１のシフトポジションがパーキングポジションであるとする（即ち、図３（ａ）に示す車両１の位置が、駐車位置であるとする）。このとき、特徴量ＤＢ２４に仮登録された特徴点のうち、物体情報により示される動的障害物と関連付けられている特徴点から、車両１の駐車位置から所定範囲（図３（ａ）に示す破線円参照）内に含まれない動的障害物に関連付けられている特徴点が削除される。

図３に示す例では、図３（ｂ）において点線円Ｂで囲まれた、動的障害物Ｂ（図３（ａ）参照）に係る特徴点が、特徴量ＤＢ２４から削除される。この結果、図３（ｃ）に示す特徴点だけが、特徴量ＤＢ２４に最終的に登録される。

当該学習処理の利点について図４を参照して説明する。図４は、自動駐車装置３０により車両１が駐車される際の駐車経路の一例を示す図である。図４において、星印は、所定の動作（ここでは、駐車）を達成するために到達すべき目標地点（“Ｗａｙｐｏｉｎｔ：ＷＰ”と称されることが多い）を示している。図４に示す例では、ＷＰ１～ＷＰ４の４つの目標地点が設定されている。ＷＰ１～ＷＰ４のうちＷＰ４が、当該停止位置設定装置１００により設定される目標停止位置に相当する。尚、ＷＰ１～ＷＰ３の設定方法については、既存の自動駐車技術を適用可能であるので、その詳細な説明は省略する。

車両１がＷＰ１、ＷＰ２及びＷＰ３を経由してＷＰ４に至る駐車経路が生成される際、自動駐車装置３０は、地図情報（即ち、相互に関連付けられた特徴点、特徴点距離及び物体情報）を参照する。このとき、仮に、地図情報に、動的障害物に関連付けられた特徴点ｐ１及びｐ２（図４参照）が含まれていると、自動駐車装置３０は、学習時に存在した特徴点ｐ１及びｐ２に夫々対応する動的障害物が、現在存在しない場合であっても、特徴点ｐ１及びｐ２を避ける駐車経路を生成してしまう。上述の如く、車両１の駐車位置から所定範囲に含まれない動的障害物に関連づけられている特徴点が削除されていれば（即ち、地図情報に特徴点ｐ１及びｐ２が含まれていなければ）、存在しない動的障害物を避ける駐車経路が生成されるという問題は生じない。

他方で、地図情報に、車両１の駐車位置から所定範囲内に含まれる動的障害物に関連付けられた特徴点ｐ３（図４の破線円Ｃ内に含まれる網かけ丸参照）が含まれている。自動駐車装置３０が、特徴点ｐ３を考慮してＷＰ４（即ち、目標停止位置）を設定すれば、仮に車両１の駐車時に特徴点ｐ３に対応する動的障害物（例えば自転車等）が存在しなくても、該動的障害物用のスペースを確保することができる。尚、自動駐車装置３０は、当然、目標停止位置を設定する際に、地図情報に含まれる静的障害物に関連付けられた特徴点も考慮している。

当該学習処理について図５のフローチャートを参照して説明を加える。尚、当該学習処理は、ユーザが車両１を手動により駐車するときに実施される。

図５において、停止位置設定装置１００は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）情報を取得する（ステップＳ１０１）。尚、ＧＰＳ情報は、車両１に搭載されているＧＰＳ受信機（図示せず）の出力、或いは、ＧＰＳ受信機の出力を利用するナビゲーション装置（図示せず）から取得すればよい。

次に、停止位置設定装置１００は、車両１の現在位置が、車両１のユーザの自宅周辺であるか否かを判定する（ステップＳ１０２）。尚、ユーザの自宅の位置は、例えばナビゲーション装置に登録されている自宅情報を参照すればよい。

ステップＳ１０２の処理において、自宅周辺ではないと判定された場合（ステップＳ１０２：Ｎｏ）、図５に示す処理は終了される。その後、第１所定時間（例えば数十ミリ秒から数百ミリ秒等）が経過した後に、ステップＳ１０１の処理が行われる。つまり、図５に示す処理は、第１所定時間に応じた周期で繰り返し行われる。

ステップＳ１０２の処理判定において、自宅周辺であると判定された場合（ステップＳ１０２：Ｙｅｓ）、停止位置設定装置１００は、車両１の車速が、例えば時速１５キロメートル以下であるか否かを判定する（ステップＳ１０３）。尚、時速１５キロメートルは一例であり、駐車動作時に車両１が採り得る車速であればよい。つまり、ステップＳ１０３の処理は、車両１が自宅周辺において駐車動作を行っているか否かを判定するための処理である。

ステップＳ１０３の処理において、車速が時速１５キロメートル以下ではないと判定された場合（ステップＳ１０３：Ｎｏ）、図５に示す処理は終了される。その後、第１所定時間が経過した後に、ステップＳ１０１の処理が行われる。他方、ステップＳ１０３の処理において、車速が時速１５キロメートル以下であると判定された場合（ステップＳ１０３：Ｙｅｓ）、停止位置設定装置１００は、地図情報（即ち、特徴量ＤＢ２４に登録すべき特徴点、特徴点距離及び物体情報）の作成を開始する（ステップＳ１０４）。ここで、「地図情報作成」とは、ステップＳ１０５乃至Ｓ１１１の処理を意味する。

特徴量検出装置２１は、例えば時刻ｔ_ｉに取得された入力画像から一又は複数の特徴点を検出（抽出）する（ステップＳ１０５）。続いて、特徴点距離情報取得部２２は、特徴点検出装置２１により検出された一又は複数の特徴点について特徴点距離を演算する（ステップＳ１０６）。物体認識装置２３は、入力画像からディープラーニングにより物体を認識して、物体情報を出力する（ステップＳ１０７）。

次に、停止位置設定装置１００は、車両１のシフトポジションが“Ｐ”（即ち、パーキングポジション）にシフトチェンジされたか否かを判定する（ステップＳ１０８）。即ち、ステップＳ１０８の処理では、車両１の駐車が完了したか否かが判定される。

ステップＳ１０８の処理において、シフトポジションが“Ｐ”にシフトチェンジされていないと判定された場合（ステップＳ１０８：Ｎｏ）、上述したステップＳ１０５乃至Ｓ１０７の処理が再度行われる。このとき、特徴点検出装置２１は、時刻ｔ_ｉ＋１に取得された入力画像から特徴点を検出する。このため、ステップＳ１０３の処理において、車速が時速１５キロメートル以下であると判定された後、シフトポジションが“Ｐ”にシフトチェンジされたと判定されるまでに、車両１が移動した場所（例えば車両１のユーザの自宅の駐車場、該駐車場の周辺道路等）の特徴点が検出される。

ステップＳ１０８の処理において、シフトポジションが“Ｐ”にシフトチェンジされたと判定された場合（ステップＳ１０８：Ｙｅｓ）、停止位置設定装置１００は、車両１の現在位置を駐車位置として登録する（ステップＳ１０９）。

次に、停止位置設定装置１００は、ステップＳ１０５乃至Ｓ１０７の処理の結果としての特徴点、特徴点距離及び物体情報を相互に関連付けて、特徴量ＤＢ２４に仮登録する。停止位置設定装置１００は、ステップＳ１０９の処理において登録された駐車位置から所定範囲内に含まれない動的障害物に関連付けられている特徴点を削除する（ステップＳ１１０）。その後、該削除された特徴点以外の特徴点が、特徴点距離及び物体情報と関連付けられ、地図情報として特徴量ＤＢ２４に登録される（ステップＳ１１１）。

（停止位置設定処理）
停止位置設定装置１００が実施する停止位置設定処理について図６のフローチャートを参照して説明する。ここでは、自動駐車装置３０が車両１を自動で駐車する場合を一例として挙げる。

図６において、停止位置設定装置１００は、ＧＰＳ情報により示される車両１の現在位置が車両１のユーザの自宅周辺であることを条件に、特徴量ＤＢ２４から自宅周辺に係る地図情報を取得する（ステップＳ２０１）。次に、停止位置設定装置１００は、自動駐車に係るスイッチが押下されたか否か（即ち、ユーザが自動駐車を望んでいるか否か）を判定する（ステップＳ２０２）。

ステップＳ２０２の処理において、スイッチが押下されていないと判定された場合（ステップＳ２０２：Ｎｏ）、図６に示す処理は終了される。その後、第２所定時間（例えば数十ミリ秒から数百ミリ秒等）が経過した後に、ステップＳ２０１の処理が行われる。つまり、図６に示す処理は、第２所定時間に応じた周期で繰り返し行われる。

ステップＳ２０２の判定において、スイッチが押下されたと判定された場合（ステップＳ２０２：Ｙｅｓ）、自動駐車装置３０は、ステップＳ２０１の処理において取得された地図情報に基づいて、車両１の目標停止位置に相当する目標地点（即ち、ＷＰ）を生成する（ステップＳ２０３）。つまり、ステップＳ２０３の処理では、車両１の目標停止位置が設定される。

次に、自動駐車装置３０は、車両１を目標停止位置へ駐車するための駐車経路を生成する（ステップＳ２０４）。その後、自動駐車装置３０は、生成された駐車経路に沿って車両１が移動するように、車両１に搭載されている各種アクチュエータ（図示せず）を制御する（ステップＳ２０５）。

（技術的効果）
図４を参照して説明したように、当該停止位置設定装置１００では、車両１の駐車位置から所定範囲内に含まれる動的障害物に関連付けられた特徴点が特徴量ＤＢ２４に登録される一方、該所定範囲内に含まれない動的障害物に関連付けられた特徴点は特徴量ＤＢ２４から削除される。そして、自動駐車装置３０により車両１が自動で駐車される場合には、特徴量ＤＢ２４に登録された特徴点（即ち、地図情報）に基づいて、目標停止位置が設定される。

例えば車両１のユーザの自宅の駐車場に隣接する道路に、学習時に動的障害物が存在していたとしても、自動駐車装置３０は、該動的障害物の影響を受けることなく、車両１に係る駐車経路を生成することができる。他方で、地図情報には、車両１の駐車位置から所定範囲内に含まれる動的障害物に関連付けられた特徴点が含まれているので、該地図情報に基づいて、車両１の目標停止位置が設定されれば、例えば自転車の駐輪スペース等を確保した上で、車両１を駐車させることができる。

従って、当該停止位置設定装置１００によれば、例えば車両１のユーザの自宅の駐車場等、本来の目的とは異なる目的でも使用される可能性がある場所における移動体の停止位置を適切に設定することができる。

尚、当該停止位置設定装置１００は、車両１等の自動車に限らず、例えば自律移動可能なロボット等の目標停止位置の設定にも適用可能である。

以上に説明した実施形態から導き出される発明の各種態様を以下に説明する。

発明の一態様に係る停止位置設定装置は、移動体が停止可能な停止スペース、及び前記停止スペースの周辺に存在する周辺スペース各々の画像から検出された複数の特徴点と、前記複数の特徴点各々の位置と、前記複数の特徴点各々が属する物体の種別とが互いに関連付けられてなる障害物情報を格納するデータベースと、前記障害物情報に基づいて、前記停止スペースにおける前記移動体の目標停止位置を設定する設定手段と、を備え、前記種別は、位置が不変である物体を示す静的物体と、位置が可変である物体を示す動的物体とを含み、前記設定手段は、前記障害物情報により示される前記静的物体に関連付けられた一又は複数の特徴点に加えて、前記障害物情報により示される前記停止スペース内の前記動的物体に関連付けられた一又は複数の特徴点を考慮して、前記目標停止位置を設定する。

上述の実施形態においては、「特徴量ＤＢ２４」が「データベース」の一例に相当し、「自動駐車装置３０」が「設定手段」の一例に相当する。上述の実施形態における「地図情報」、「静的障害部」及び「動的障害物」は、夫々、「障害物情報」、「静的物体」及び「動的物体」の一例に相当する。

当該停止位置設定装置では、停止スペースにおける移動体の目標停止位置が設定されるときに、停止スペース内の動的物体に関連付けられた一又は複数の特徴点が考慮される。このため、当該停止位置設定装置によれば、例えば自転車の駐輪スペースや植木鉢の設置スペース等を考慮して、目標停止位置を設定することができる。つまり、当該停止位置設定装置によれば、本来の目的とは異なる目的でも使用される可能性がある場所における移動体の停止位置を適切に設定することができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う停止位置設定装置もまた本発明の技術的範囲に含まれるものである。

１…車両、１１…前方カメラ、１２…右側方カメラ、１３…左側方カメラ、１４…後方カメラ、２１…特徴点検出装置、２２…特徴点距離情報取得装置、２３…物体認識装置、２４…特徴量データベース、３０…自動駐車装置、１００…停止位置設定装置

Claims

車両の停止位置を設定する停止位置設定装置であって、
前記車両が停止可能な駐車場、及び前記駐車場の周辺に存在する周辺スペース各々の画像から検出された複数の特徴点と、前記複数の特徴点各々の位置と、前記複数の特徴点各々が属する物体の種別とが互いに関連づけられてなる障害物情報を格納するデータベースと、
前記障害物情報に基づいて、駐車場における前記車両の目標停止位置を設定する設定手段と、
を備え、
前記種別は、位置が可変である物体を示す動的物体を含み、
前記設定手段は、前記障害物情報により示される前記駐車場内の前記動的物体に関連付けられた一又は複数の特徴点を考慮して、前記目標停止位置を設定し、
前記障害物情報が生成されるときに、当該停止位置設定装置が、画像から検出された複数の特徴点と、前記複数の特徴点各々の位置と、前記複数の特徴点各々が属する物体の種別とを互いに関連づけて前記データベースに仮登録した後に、前記駐車場において前記車両のシフトポジションがパーキングポジションになった際に、前記車両の位置から所定範囲内に含まれない、前記動的物体に関連付けられた特徴点を前記データベースから削除することによって、前記障害物情報には、前記駐車場内の前記動的物体に関連付けられた前記一又は複数の特徴点が含まれる一方で、前記障害物情報に含まれる前記周辺スペースに位置する特徴点には、前記動的物体に関連付けられた特徴点がない
ことを特徴とする停止位置設定装置。