JP6206036B2 - 駐車場判定装置、駐車場判定方法 - Google Patents
駐車場判定装置、駐車場判定方法 Download PDFInfo
- Publication number
- JP6206036B2 JP6206036B2 JP2013198930A JP2013198930A JP6206036B2 JP 6206036 B2 JP6206036 B2 JP 6206036B2 JP 2013198930 A JP2013198930 A JP 2013198930A JP 2013198930 A JP2013198930 A JP 2013198930A JP 6206036 B2 JP6206036 B2 JP 6206036B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- parking lot
- longitudinal direction
- detected
- host vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、駐車場判定装置、駐車場判定方法に関するものである。
特許文献１に記載された従来技術では、地図情報を参照し、自車両が道路から外れた駐車場内にあると判定した場合、アクセルの踏み込みがあっても、これを踏み間違いであると判断し、スロットル制御によって自車両の加速を抑制している。
しかしながら、自車両の現在位置情報や地図情報だけに基づいて、駐車場内であるか否かを判定する構成では、自車両の測位精度に誤差があったり、地図情報が更新されていなかったりして、自車両が駐車場内にあるか否かを精度よく判定できない可能性がある。
本発明の課題は、自車両が駐車場内にあるか否かの判定精度を向上させることである。
本発明の課題は、自車両が駐車場内にあるか否かの判定精度を向上させることである。
本発明の一態様に係る駐車場判定装置は、自車両周囲を撮像し、撮像した画像に基づいて俯瞰画像を生成する。そして、生成した俯瞰画像内に自車両の左側又は右側の一方に存在する他車両のホイールを検出したときに、ホイールの歪み状態に応じて、他車両の車体前後方向が自車両の車体前後方向に対して直交方向にあるか否かを検出する。そして、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向である複数の他車両が、自車両の車体前後方向に沿って平行に並んでいることを検出したときに、自車両は複数の他車両が駐車された駐車場内にいると判定する。
本発明によれば、自車両に対して直交方向を向いた複数の他車両が存在するか否かを判定することにより、自車両の現在位置情報や地図情報だけに基づいて判定するよりも、自車両が駐車場内にあるか否かの判定精度を向上させることができる。
以下、本発明の実施形態を図面に基づいて説明する。
《第１実施形態》
《構成》
図１は、駐車場判定装置を示す概略構成図である。
本実施形態における誤操作加速抑制装置は、カメラ１１と、車輪速センサ１２と、シフトセンサ１３と、ナビゲーションシステム１４と、コントローラ２１と、を備える。
カメラ１１は、車体におけるフロント、リア、左サイド、及び右サイドの計４箇所に設けられており、夫々、高解像度の広角カメラからなる。なお、４つのカメラを区別する際には、車体のフロントに設けたカメラをフロントカメラ１１Ｆとし、車体のリアに設けたカメラをリアカメラ１１Ｒとし、車体の左サイドに設けたカメラを左サイドカメラ１１ＳＬとし、車体の右サイドに設けたカメラを右サイドカメラ１１ＳＲとする。
《第１実施形態》
《構成》
図１は、駐車場判定装置を示す概略構成図である。
本実施形態における誤操作加速抑制装置は、カメラ１１と、車輪速センサ１２と、シフトセンサ１３と、ナビゲーションシステム１４と、コントローラ２１と、を備える。
カメラ１１は、車体におけるフロント、リア、左サイド、及び右サイドの計４箇所に設けられており、夫々、高解像度の広角カメラからなる。なお、４つのカメラを区別する際には、車体のフロントに設けたカメラをフロントカメラ１１Ｆとし、車体のリアに設けたカメラをリアカメラ１１Ｒとし、車体の左サイドに設けたカメラを左サイドカメラ１１ＳＬとし、車体の右サイドに設けたカメラを右サイドカメラ１１ＳＲとする。
図２は、フロントカメラ１１Ｆ及び左サイドカメラ１１ＳＬの配置を示す図である。
フロントカメラ１１Ｆは、例えばフロントグリルに設けられ、少なくとも車体前方の路面を撮像する。また、リアカメラ１１Ｒは、例えばバックドアフィニッシャに設けられ、少なくとも車体後方の路面を撮像する。フロントカメラ１１Ｆ及びリアカメラ１１Ｒは、１８０度の水平画角を有する。また、左サイドカメラ１１ＳＬは、左のドラミラーに設けられ、少なくとも車体左方の路面を撮像する。この左サイドカメラ１１ＳＬは、左前輪付近を照らす例えば赤外線ＬＥＤからなる補助照明を有する。また、右サイドカメラ１１ＳＲは、右のドアミラーに設けられ、少なくとも車体右方の路面を撮像する。各カメラ１１は、撮像した各画像データをコントローラ２１に入力する。
フロントカメラ１１Ｆは、例えばフロントグリルに設けられ、少なくとも車体前方の路面を撮像する。また、リアカメラ１１Ｒは、例えばバックドアフィニッシャに設けられ、少なくとも車体後方の路面を撮像する。フロントカメラ１１Ｆ及びリアカメラ１１Ｒは、１８０度の水平画角を有する。また、左サイドカメラ１１ＳＬは、左のドラミラーに設けられ、少なくとも車体左方の路面を撮像する。この左サイドカメラ１１ＳＬは、左前輪付近を照らす例えば赤外線ＬＥＤからなる補助照明を有する。また、右サイドカメラ１１ＳＲは、右のドアミラーに設けられ、少なくとも車体右方の路面を撮像する。各カメラ１１は、撮像した各画像データをコントローラ２１に入力する。
車輪速センサ１２は、各車輪の車輪速度ＶｗＦＬ〜ＶｗＲＲを検出する。この車輪速センサ１２は、例えば車輪と共に回転し円周に突起部（ギヤパルサ）が形成されたセンサロータと、このセンサロータの突起部に対向して設けられたピックアップコイルを有する検出回路と、を備える。そして、センサロータの回転に伴う磁束密度の変化を、ピックアップコイルによって電圧信号に変換してコントローラ２１に出力する。コントローラ２１は、入力された電圧信号から車輪速度ＶｗＦＬ〜ＶｗＲＲを判断し、例えば非駆動輪（従動輪）の車輪速平均値や全輪の車輪速平均値を車速として演算する。
シフトセンサ１３は、トランスミッションのシフトポジションを検出する。このシフトセンサ１３は、例えば複数のホール素子を備え、夫々のＯＮ／ＯＦＦ信号をコントローラ２１に出力する。コントローラ２１は、入力されたＯＮ／ＯＦＦ信号の組み合わせからシフトポジションを判断する。
シフトセンサ１３は、トランスミッションのシフトポジションを検出する。このシフトセンサ１３は、例えば複数のホール素子を備え、夫々のＯＮ／ＯＦＦ信号をコントローラ２１に出力する。コントローラ２１は、入力されたＯＮ／ＯＦＦ信号の組み合わせからシフトポジションを判断する。
ナビゲーションシステム１４は、自車両の現在位置と、その現在位置における道路地図情報を認識する。このナビゲーションシステム１４は、ＧＰＳ受信機を有し、四つ以上のＧＰＳ衛星から到着する電波の時間差に基づいて自車両の位置（緯度、経度、高度）と進行方向とを認識する。そして、ＤＶＤ‐ＲＯＭドライブやハードディスクドライブに記憶された道路種別、道路線形、車線幅員、車両の通行方向等を含めた道路地図情報を参照し、自車両の現在位置における道路地図情報を認識しコントローラ２１に出力する。なお、安全運転支援システム（ＤＳＳＳ：Driving Safety Support Systems）として、双方向無線通信（ＤＳＲＣ：Dedicated Short Range Communication）を利用し、各種データをインフラストラクチャから受信してもよい。
コントローラ２１は、例えばマイクロコンピュータからなり、各センサからの検出信号に基づいて駐車場判定処理を実行する。
次に、コントローラ２１で所定時間（例えば１０ｍｓｅｃ）毎に実行する駐車場判定処理について説明する。
図３は、駐車場判定処理を示すフローチャートである。
先ずステップＳ１０１では、各カメラ１１からの映像を切り出し、俯瞰変換することで俯瞰画像（トップビュー）を生成する。図２は、トップビューの表示エリアの一例を示している。ここでは、フロントカメラ１１Ｆからの映像に基づく表示領域をＡＦとし、リアカメラ１１Ｒからの映像に基づく表示領域をＡＲとし、左サイドカメラ１１ＳＬからの映像に基づく表示領域をＡＳＬとし、右サイドカメラ１１ＳＲからの映像に基づく表示領域をＡＳＲとしている。
次に、コントローラ２１で所定時間（例えば１０ｍｓｅｃ）毎に実行する駐車場判定処理について説明する。
図３は、駐車場判定処理を示すフローチャートである。
先ずステップＳ１０１では、各カメラ１１からの映像を切り出し、俯瞰変換することで俯瞰画像（トップビュー）を生成する。図２は、トップビューの表示エリアの一例を示している。ここでは、フロントカメラ１１Ｆからの映像に基づく表示領域をＡＦとし、リアカメラ１１Ｒからの映像に基づく表示領域をＡＲとし、左サイドカメラ１１ＳＬからの映像に基づく表示領域をＡＳＬとし、右サイドカメラ１１ＳＲからの映像に基づく表示領域をＡＳＲとしている。
続くステップＳ１０２では、後述する線群検出処理を実行し、線群フラグｆｇを設定する。ここでは、路面に標示された等間隔で平行に並ぶ複数の標示線からなる線群を検出したときに、自車両は線群によって駐車枠が形成された駐車場内にいると判定して線群フラグをｆｇ＝１にセットする。一方、線群が検出されないときには、自車両は駐車場内にはいないと判定して線群フラグをｆｇ＝０にリセットする。
続くステップＳ１０３では、後述する左右類似性判定処理を実行し、類似フラグｆｓを設定する。ここでは、路面に標示された等間隔で平行に並ぶ複数の標示線からなる線群を、自車両の左右両側で検出し、これら左右両側の線群に類似性があるときに、自車両は線群によって駐車枠が形成された駐車場内にいると判定して類似フラグをｆｓ＝１にセットする。一方、左右両側の線群に類似性がないときには、自車両は駐車場内にはいないと判定して類似フラグをｆｓ＝０にリセットする。
続くステップＳ１０４では、後述する他車両検出処理を実行し、他車両フラグｆｖを設定する。ここでは、俯瞰画像内に検出した他車両のホイールの歪み状態に応じて、他車両の車体の向きを検出し、平行に並ぶ複数の他車両を検出したときに、自車両は複数の他車両が駐車された駐車場内にいると判定して他車両フラグをｆｖ＝１にセットする。一方、平行に並ぶ複数の他車両が検出されないときには、自車両は駐車場内にはいないと判定して他車両フラグをｆｖ＝０にリセットする。
ステップＳ１０５では、線群フラグｆｇ、類似フラグｆｓ、他車両フラグｆｖの設定状況に応じて、駐車場フラグｆｐを設定する。ここでは、線群フラグがｆｇ、類似フラグｆｓ、他車両フラグｆｖの少なくとも一つが１にセットされているときに、駐車場フラグをｆｐ＝１にセットする。一方、線群フラグｆｇ、類似フラグｆｓ、他車両フラグｆｖの全てが０にリセットされているときには、駐車場フラグをｆｐ＝０にリセットする。駐車場フラグは、ｆｐ＝１にセットされているときに、自車両が駐車場内にいることを表し、ｆｐ＝０にリセットされているときには、自車両が駐車場内にいないことを表す。
上記が駐車場判定処理である。
上記が駐車場判定処理である。
次に、線群検出処理について説明する。
図４は、線群検出処理を示すフローチャートである。
先ずステップＳ１１１では、俯瞰画像内から、路面に標示された白線等の標示線を抽出する。
続くステップＳ１１２では、自車両の左側又は右側に、自車両の略車体左右方向に延在し、自車両の前後方向に沿って並んだ３つ以上の標示線があるか否かを判定する。ここで、標示線がない、又は３つ未満しかないときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断しステップＳ１１３に移行する。一方、３つ以上の標示線があるときにはステップＳ１１４に移行する。
なお、ある時点に、ある地点から見える標示線だけで判定するのではなく、自車両が前後方向に移動しているときには、トラッキングにより、移動方向に沿って自車両の周囲を走査する。
図４は、線群検出処理を示すフローチャートである。
先ずステップＳ１１１では、俯瞰画像内から、路面に標示された白線等の標示線を抽出する。
続くステップＳ１１２では、自車両の左側又は右側に、自車両の略車体左右方向に延在し、自車両の前後方向に沿って並んだ３つ以上の標示線があるか否かを判定する。ここで、標示線がない、又は３つ未満しかないときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断しステップＳ１１３に移行する。一方、３つ以上の標示線があるときにはステップＳ１１４に移行する。
なお、ある時点に、ある地点から見える標示線だけで判定するのではなく、自車両が前後方向に移動しているときには、トラッキングにより、移動方向に沿って自車両の周囲を走査する。
図５は、自車両の左側に複数の標示線を検出した図である。
ここでは、自車両の左側に先ず標示線Ｌ１及びＬ２を検出し、その後、自車両の前進に伴って、標示線Ｌ３及びＬ４を順次検出している。このように、自車両が前後方向に移動しているときには、俯瞰画像上で検出した各標示線を、カメラ画像に基づく俯瞰画像とは異なる仮想の俯瞰画像（以下、ＸＹ平面座標と称す）上にマッピングしてゆき、複数の標示線を抽出する。なお、自車両の移動距離は、例えば車輪速センサ１２の信号に基づいて検出し、自車両の移動方向は、例えばシフトセンサ１３の信号に基づいて検出する。
ここでは、自車両の左側に先ず標示線Ｌ１及びＬ２を検出し、その後、自車両の前進に伴って、標示線Ｌ３及びＬ４を順次検出している。このように、自車両が前後方向に移動しているときには、俯瞰画像上で検出した各標示線を、カメラ画像に基づく俯瞰画像とは異なる仮想の俯瞰画像（以下、ＸＹ平面座標と称す）上にマッピングしてゆき、複数の標示線を抽出する。なお、自車両の移動距離は、例えば車輪速センサ１２の信号に基づいて検出し、自車両の移動方向は、例えばシフトセンサ１３の信号に基づいて検出する。
ステップＳ１１３では、線群フラグをｆｇ＝０にリセットしてから所定のメインプログラムに復帰する。
ステップＳ１１４では、ＸＹ平面座標上で複数の標示線が略平行であるか否かを判定する。ここで、複数の標示線が略平行でないときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断してステップＳ１１３に移行する。一方、複数の標示線が略平行であるときにはステップＳ１１５に移行する。図５では、標示線Ｌ１〜Ｌ４の全てが略平行である状態を示す。
ステップＳ１１４では、ＸＹ平面座標上で複数の標示線が略平行であるか否かを判定する。ここで、複数の標示線が略平行でないときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断してステップＳ１１３に移行する。一方、複数の標示線が略平行であるときにはステップＳ１１５に移行する。図５では、標示線Ｌ１〜Ｌ４の全てが略平行である状態を示す。
ステップＳ１１５では、ＸＹ平面座標上で隣接する標示線同士の間隔を計測し、夫々が略等間隔であるか否かを判定する。標示線同士の間隔とは、標示線の中心同士の距離でもよいし、マーカ部を除いた標示線同士の内側の距離でもよい。ここで、標示線の間隔が不等間隔であるときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断してステップＳ１１３に移行する。一方、標示線の間隔が全て略等間隔であるときにはステップＳ１１６に移行する。図５では、標示線Ｌ１及びＬ２間、Ｌ２及びＬ３間、Ｌ３及びＬ４間の全てが略等間隔である状態を示す。
なお、標示線は、かすれ、汚れ、落ち葉、水溜り、その他の外乱等により、検出できない可能性がある。
なお、標示線は、かすれ、汚れ、落ち葉、水溜り、その他の外乱等により、検出できない可能性がある。
図６は、標示線の一部が検出できなかった図である。
ここでは、標示線Ｌ３を検出できなかったとすると、標示線Ｌ１及びＬ２間と、標示線Ｌ２及びＬ４間とは不等間隔になる。そこで、標示線Ｌ１及びＬ２の間隔を基準間隔Ｄｂとし、標示線Ｌ１又はＬ２から、基準間隔Ｄｂの整数倍だけ離れた位置に、標示線Ｌ４を検出したときには、標示線Ｌ３を検出できなかったとしても、標示線Ｌ１、Ｌ２、Ｌ４の全てを略等間隔であると見なす。
ここでは、標示線Ｌ３を検出できなかったとすると、標示線Ｌ１及びＬ２間と、標示線Ｌ２及びＬ４間とは不等間隔になる。そこで、標示線Ｌ１及びＬ２の間隔を基準間隔Ｄｂとし、標示線Ｌ１又はＬ２から、基準間隔Ｄｂの整数倍だけ離れた位置に、標示線Ｌ４を検出したときには、標示線Ｌ３を検出できなかったとしても、標示線Ｌ１、Ｌ２、Ｌ４の全てを略等間隔であると見なす。
ステップＳ１１６では、ＸＹ平面座標上で隣接する標示線同士の間隔が、予め定めた範囲内であるか否かを判定する。予め定めた範囲とは、普通自動車用の駐車枠に設定される車体左右方向の間隔であり、例えば１.７〜２.７ｍ程度である。ここで、標示線同士の間隔が予め定めた範囲外であるときには、駐車枠のような線群がないため、自車両が駐車場内にはいないと判断してステップＳ１１３に移行する。ちなみに、標示線同士の間隔が下限値の１.７ｍよりも小さいときには、例えば道路上に標示された横断歩道や進入禁止領域等の標示であると考えられる。また、標示線同士の間隔が上限値の２.７ｍよりも大きいときには、道路上に標示された縦列駐車用の駐車枠であると考えられる。一方、標示線同士の間隔が予め定めた範囲内であるときには、駐車枠のような線群であるため、自車両は駐車場内にいるとステップＳ１１７に移行する。図５では、標示線Ｌ１及びＬ２間、Ｌ２及びＬ３間、Ｌ３及びＬ４間の全てが予め定めた範囲内である状態を示す。
ステップＳ１１７では、線群フラグをｆｇ＝１にセットしてから所定のメインプログラムに復帰する。
上記が線群検出処理である。
ステップＳ１１７では、線群フラグをｆｇ＝１にセットしてから所定のメインプログラムに復帰する。
上記が線群検出処理である。
次に、左右類似性判定処理について説明する。
図７は、左右類似性判定処理を示すフローチャートである。
先ずステップＳ１２１では、俯瞰画像内から、路面に標示された白線等の標示線を抽出する。
続くステップＳ１２２では、自車両の左右両側に、自車両の略車体左右方向に延在し、自車両の前後方向に沿って並んだ３つ以上の標示線があるか否かを判定する。ここで、標示線が両側にない、又は両側にあっても標示線が３つ未満しかないときには、左右の類似性を判断できないと判断しステップＳ１２３に移行する。一方、３つ以上の標示線があるときにはステップＳ１２４に移行する。
なお、ある時点に、ある地点から見える標示線だけで判定するのではなく、自車両が前後方向に移動しているときには、トラッキングにより、移動方向に沿って自車両の周囲を走査する。
図７は、左右類似性判定処理を示すフローチャートである。
先ずステップＳ１２１では、俯瞰画像内から、路面に標示された白線等の標示線を抽出する。
続くステップＳ１２２では、自車両の左右両側に、自車両の略車体左右方向に延在し、自車両の前後方向に沿って並んだ３つ以上の標示線があるか否かを判定する。ここで、標示線が両側にない、又は両側にあっても標示線が３つ未満しかないときには、左右の類似性を判断できないと判断しステップＳ１２３に移行する。一方、３つ以上の標示線があるときにはステップＳ１２４に移行する。
なお、ある時点に、ある地点から見える標示線だけで判定するのではなく、自車両が前後方向に移動しているときには、トラッキングにより、移動方向に沿って自車両の周囲を走査する。
図８は、自車両の左右両側に複数の標示線を検出した図である。
ここでは、先ず自車両の左側に標示線Ｌ１及びＬ２を検出し、且つ自車両の右側に標示線Ｌ５及びＬ６を検出している。その後、自車両の前進に伴って、自車両の左側に標示線Ｌ３及びＬ４を順次検出し、且つ自車両の右側に標示線Ｌ７及びＬ８を順次検出している。このように、自車両が前後方向に移動しているときには、俯瞰画像上で検出した各標示線を、カメラ画像に基づく俯瞰画像とは異なる仮想の俯瞰画像（以下、ＸＹ平面座標と称す）上にマッピングしてゆき、左右両側に標示された複数の標示線を抽出する。
ここでは、先ず自車両の左側に標示線Ｌ１及びＬ２を検出し、且つ自車両の右側に標示線Ｌ５及びＬ６を検出している。その後、自車両の前進に伴って、自車両の左側に標示線Ｌ３及びＬ４を順次検出し、且つ自車両の右側に標示線Ｌ７及びＬ８を順次検出している。このように、自車両が前後方向に移動しているときには、俯瞰画像上で検出した各標示線を、カメラ画像に基づく俯瞰画像とは異なる仮想の俯瞰画像（以下、ＸＹ平面座標と称す）上にマッピングしてゆき、左右両側に標示された複数の標示線を抽出する。
ステップＳ１２３では、類似フラグをｆｓ＝０にリセットしてから所定のメインプログラムに復帰する。
ステップＳ１２４では、ＸＹ平面座標上で複数の標示線が略平行であるか否かを、左右両側で片側ずつ判定する。ここで、左右の少なくとも一方で、複数の標示線が略平行でないときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断してステップＳ１２３に移行する。一方、左右の双方で、複数の標示線が略平行であるときにはステップＳ１２５に移行する。図８では、左側の標示線Ｌ１〜Ｌ４、並びに右側の標示線Ｌ５〜Ｌ８の全てが略平行である状態を示す。
ステップＳ１２４では、ＸＹ平面座標上で複数の標示線が略平行であるか否かを、左右両側で片側ずつ判定する。ここで、左右の少なくとも一方で、複数の標示線が略平行でないときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断してステップＳ１２３に移行する。一方、左右の双方で、複数の標示線が略平行であるときにはステップＳ１２５に移行する。図８では、左側の標示線Ｌ１〜Ｌ４、並びに右側の標示線Ｌ５〜Ｌ８の全てが略平行である状態を示す。
ステップＳ１２５では、ＸＹ平面座標上で隣接する標示線同士の間隔を計測し、夫々が略等間隔であるか否かを、左右両側で片側ずつ判定する。標示線同士の間隔とは、標示線の中心同士の距離でもよいし、マーカ部を除いた標示線同士の内側の距離でもよい。ここで、左右の少なくとも一方で、標示線の間隔が不等間隔であるときには、駐車枠のような線群がないため、自車両は駐車場内にはいないと判断してステップＳ１２３に移行する。一方、左右の双方で、標示線の間隔が全て略等間隔であるときにはステップＳ１２６に移行する。図８では、左側の標示線Ｌ１及びＬ２間、Ｌ２及びＬ３間、Ｌ３及びＬ４間、並びに右側の標示線Ｌ５及びＬ６間、Ｌ６及びＬ７間、Ｌ７及びＬ８間の全てが略等間隔である状態を示す。
ステップＳ１２６では、ＸＹ平面座標上で隣接する標示線同士の間隔が、予め定めた範囲内であるか否かを、左右両側で片側ずつ判定する。予め定めた範囲とは、普通自動車用の駐車枠に設定される車体左右方向の間隔であり、例えば１.７〜２.７ｍ程度である。ここで、左右の少なくとも一方で、標示線同士の間隔が予め定めた範囲外であるときには、駐車枠のような線群がないため、自車両が駐車場内にはいないと判断してステップＳ１２３に移行する。ちなみに、標示線同士の間隔が下限値の１.７ｍよりも小さいときには、例えば横断歩道や進入禁止領域等の標示であると考えられる。また、標示線同士の間隔が上限値の２.７ｍよりも大きいときには、大型自動車用の駐車枠や、また普通自動車でも縦列駐車用の駐車枠であると考えられる。一方、左右の双方で、標示線同士の間隔が予め定めた範囲内であるときには、駐車枠のような線群であるため、自車両は駐車場内にいるとステップＳ１２７に移行する。図８では、左側の標示線Ｌ１及びＬ２間、Ｌ２及びＬ３間、Ｌ３及びＬ４間、並びに右側の標示線Ｌ５及びＬ６間、Ｌ６及びＬ７間、Ｌ７及びＬ８間の全てが予め定めた範囲内である状態を示す。
ステップＳ１２７では、ＸＹ平面座標上で、左側の複数の標示線を左側の線群とし、右側の複数の標示線を右側の線群とし、標示線の間隔が左側の線群及び右側の線群で共通しているか否かを判定する。すなわち、左側の線群における標示線同士の間隔と、右側の線群における標示線同士の間隔とが略同一であるか否かを判定する。ここで、標示線の間隔が左側の線群及び右側の線群で共通しているときには、左右の線群に類似性があると判断してステップＳ１２８に移行する。一方、標示線の間隔が左側の線群及び右側の線群で共通していないときにはステップＳ１２９に移行する。
ステップＳ１２８では、類似フラグをｆｓ＝１にセットしてから所定のメインプログラムに復帰する。
ステップＳ１２９では、ＸＹ平面座標上で、標示線の形状が左側の線群及び右側の線群で共通しているか否かを判定する。すなわち、左側の線群における標示線の形状と、右側の線群における標示線の形状とが略同一であるか否かを判定する。ここで、標示線の形状が左側の線群及び右側の線群で共通しているときには、左右の線群に類似性があると判断してステップＳ１２８に移行する。一方、標示線の間隔が左側の線群及び右側の線群で共通していないときにはステップＳ１３０に移行する。
ステップＳ１２９では、ＸＹ平面座標上で、標示線の形状が左側の線群及び右側の線群で共通しているか否かを判定する。すなわち、左側の線群における標示線の形状と、右側の線群における標示線の形状とが略同一であるか否かを判定する。ここで、標示線の形状が左側の線群及び右側の線群で共通しているときには、左右の線群に類似性があると判断してステップＳ１２８に移行する。一方、標示線の間隔が左側の線群及び右側の線群で共通していないときにはステップＳ１３０に移行する。
図９は、標示線のパターンを示す図である。
図中の（ａ）は、車体前後方向に沿った一対の標示線と、この一対の標示線の先端同士を結ぶ車体左右方向に沿った標示線と、からなる駐車枠であり、夫々、一本の直線によって標示されている。図中の（ｂ）は、車体前後方向に沿った一対の標示線からなり、この一対の標示線の先端同士を結ぶ車体左右方向に沿った標示線を省略した駐車枠であり、夫々、一本の直線によって標示されている。図中の（ｃ）は、車体前後方向に沿った一対の標示線からなる駐車枠であり、夫々、二重直線の先端同士を円弧で結んだような細長い略Ｕ字状のラインによって標示されている。図中の（ｄ）は、車体前後方向に沿った一対の標示線からなる駐車枠であり、夫々、（ｃ）の標示線における先端を途切れさせたようなラインによって標示されている。
図中の（ａ）は、車体前後方向に沿った一対の標示線と、この一対の標示線の先端同士を結ぶ車体左右方向に沿った標示線と、からなる駐車枠であり、夫々、一本の直線によって標示されている。図中の（ｂ）は、車体前後方向に沿った一対の標示線からなり、この一対の標示線の先端同士を結ぶ車体左右方向に沿った標示線を省略した駐車枠であり、夫々、一本の直線によって標示されている。図中の（ｃ）は、車体前後方向に沿った一対の標示線からなる駐車枠であり、夫々、二重直線の先端同士を円弧で結んだような細長い略Ｕ字状のラインによって標示されている。図中の（ｄ）は、車体前後方向に沿った一対の標示線からなる駐車枠であり、夫々、（ｃ）の標示線における先端を途切れさせたようなラインによって標示されている。
ステップＳ１３０は、ＸＹ平面座標上で、標示線の延在方向が、左側の線群及び右側の線群で線対称又は回転対称であるか否かを判定する。すなわち、左側の線群における標示線の延在方向と、右側の線群における標示線の延在方向とが線対称又は回転対称であるか否かを判定する。ここで、標示線の延在方向が左側の線群及び右側の線群で線対称又は回転対称であるときには、左右の線群に類似性があると判断してステップＳ１２８に移行する。一方、標示線の延在方向が左側の線群及び右側の線群で線対称又は回転対称でないときには、左右の線群に類似性がないと判断してステップＳ１２３に移行する。
図１０は、線群の延在方向が左右で線対称となる図である。
ここで、左側には標示線Ｌ１〜Ｌ４からなる線群があり、右側には標示線Ｌ５〜Ｌ８からなる線群がある。左側の線群における標示線Ｌ１〜Ｌ４は、先端側が自車両の前側に向かうように傾斜しており、右側の線群における標示線Ｌ５〜Ｌ８は、先端側が自車両の前側に向かうように傾斜している。すなわち、左側の線群における標示線Ｌ１〜Ｌ４と、右側の線群における標示線Ｌ５〜Ｌ８とは、自車両を挟んで左右反転させた線対称の関係となっている。
ここで、左側には標示線Ｌ１〜Ｌ４からなる線群があり、右側には標示線Ｌ５〜Ｌ８からなる線群がある。左側の線群における標示線Ｌ１〜Ｌ４は、先端側が自車両の前側に向かうように傾斜しており、右側の線群における標示線Ｌ５〜Ｌ８は、先端側が自車両の前側に向かうように傾斜している。すなわち、左側の線群における標示線Ｌ１〜Ｌ４と、右側の線群における標示線Ｌ５〜Ｌ８とは、自車両を挟んで左右反転させた線対称の関係となっている。
図１１は、線群の延在方向が左右で線対称となる図である。
ここで、左側には標示線Ｌ１〜Ｌ４からなる線群があり、右側には標示線Ｌ５〜Ｌ８からなる線群がある。左側の線群における標示線Ｌ１〜Ｌ４は、先端側が自車両の前側に向かうように傾斜しており、右側の線群における標示線Ｌ５〜Ｌ８は、先端側が自車両の後側に向かうように傾斜している。すなわち、左側の線群における標示線Ｌ１〜Ｌ４と、右側の線群における標示線Ｌ５〜Ｌ８とは、１８０度回転させた回転対称の関係となっている。
上記が類似性判定処理である。
ここで、左側には標示線Ｌ１〜Ｌ４からなる線群があり、右側には標示線Ｌ５〜Ｌ８からなる線群がある。左側の線群における標示線Ｌ１〜Ｌ４は、先端側が自車両の前側に向かうように傾斜しており、右側の線群における標示線Ｌ５〜Ｌ８は、先端側が自車両の後側に向かうように傾斜している。すなわち、左側の線群における標示線Ｌ１〜Ｌ４と、右側の線群における標示線Ｌ５〜Ｌ８とは、１８０度回転させた回転対称の関係となっている。
上記が類似性判定処理である。
次に、他車両検出処理について説明する。
図１２は、他車両検出処理を示すフローチャートである。
先ずステップＳ１３１では、俯瞰画像内から、他車両のホイールを抽出する。ホイールの認識は、パターンマッチングにより行うが、タイヤ、センターボア（センターキャップ）、ボルト等の特徴を利用し、抽出精度の向上を図ってもよい。
続くステップＳ１３２では、俯瞰画像内に、他車両のホイールが映り込んでいるか否かを判定する。ここで、他車両のホイールがないときにはステップＳ１３３に移行する。一方、他車両のホイールがあるときにはステップＳ１３４に移行する。
なお、ある時点に、ある地点から見えるホイールだけで判定するのではなく、自車両が前後方向に移動しているときには、トラッキングにより、移動方向に沿って自車両の周囲を走査する。
図１２は、他車両検出処理を示すフローチャートである。
先ずステップＳ１３１では、俯瞰画像内から、他車両のホイールを抽出する。ホイールの認識は、パターンマッチングにより行うが、タイヤ、センターボア（センターキャップ）、ボルト等の特徴を利用し、抽出精度の向上を図ってもよい。
続くステップＳ１３２では、俯瞰画像内に、他車両のホイールが映り込んでいるか否かを判定する。ここで、他車両のホイールがないときにはステップＳ１３３に移行する。一方、他車両のホイールがあるときにはステップＳ１３４に移行する。
なお、ある時点に、ある地点から見えるホイールだけで判定するのではなく、自車両が前後方向に移動しているときには、トラッキングにより、移動方向に沿って自車両の周囲を走査する。
ステップＳ１３３では、他車両フラグをｆｖ＝０にリセットしてから所定のメインプログラムに復帰する。
ステップＳ１３４では、他車両のホイールの縦横比を検出する。ここでは、自車両の前後方向を俯瞰画像の縦方向と定義し、自車両の左右方向を俯瞰画像の横方向と定義し、俯瞰画像上での縦横比を検出する。
続くステップＳ１３５では、ホイールの縦横比に応じて、他車両の車体の向きを検出する。
ステップＳ１３４では、他車両のホイールの縦横比を検出する。ここでは、自車両の前後方向を俯瞰画像の縦方向と定義し、自車両の左右方向を俯瞰画像の横方向と定義し、俯瞰画像上での縦横比を検出する。
続くステップＳ１３５では、ホイールの縦横比に応じて、他車両の車体の向きを検出する。
図１３は、ホイールの縦横比と車体の向きとの関係を示す図である。
ここでは、左サイドカメラ１１ＳＬからの映像に基づく表示領域ＡＳＲに、他車両の前輪右側のホイールが検出された場合について説明する。図中の（ａ）は、自車両の車体前後方向に対して他車両の車体前後方向が略直交方向にある場合を示している。自車両の前側の左に、自車両に対して横を向いた他車両が存在する場合、俯瞰画像に映り込んだホイールは、その俯瞰変化により、縦方向よりも横方向の比率が大きくなるように歪む。したがって、ホイールの歪み度合を検出し、俯瞰画像上でホイールが縦方向よりも横方向の比率が大きくなるように歪んでいるときには、自車両の車体前後方向に対して他車両の車体前後方向が略直交方向にあると判定する。図中の（ｂ）は、自車両の車体前後方向に対して他車両の車体前後方向が略平行方向にある場合を示している。自車両の左側に、自車両と略並列に並ぶ他車両が存在する場合、俯瞰画像に映り込んだホイールは、その俯瞰変化により、縦方向よりも横方向の比率が小さくなるように歪む。したがって、ホイールの歪み度合を検出し、俯瞰画像上でホイールが縦方向よりも横方向の比率が小さくなるように歪んでいるときには、自車両の車体前後方向に対して他車両の車体前後方向が略平行方向にあると判定する。
ここでは、左サイドカメラ１１ＳＬからの映像に基づく表示領域ＡＳＲに、他車両の前輪右側のホイールが検出された場合について説明する。図中の（ａ）は、自車両の車体前後方向に対して他車両の車体前後方向が略直交方向にある場合を示している。自車両の前側の左に、自車両に対して横を向いた他車両が存在する場合、俯瞰画像に映り込んだホイールは、その俯瞰変化により、縦方向よりも横方向の比率が大きくなるように歪む。したがって、ホイールの歪み度合を検出し、俯瞰画像上でホイールが縦方向よりも横方向の比率が大きくなるように歪んでいるときには、自車両の車体前後方向に対して他車両の車体前後方向が略直交方向にあると判定する。図中の（ｂ）は、自車両の車体前後方向に対して他車両の車体前後方向が略平行方向にある場合を示している。自車両の左側に、自車両と略並列に並ぶ他車両が存在する場合、俯瞰画像に映り込んだホイールは、その俯瞰変化により、縦方向よりも横方向の比率が小さくなるように歪む。したがって、ホイールの歪み度合を検出し、俯瞰画像上でホイールが縦方向よりも横方向の比率が小さくなるように歪んでいるときには、自車両の車体前後方向に対して他車両の車体前後方向が略平行方向にあると判定する。
続くステップＳ１３６では、自車両の左側又は右側に、車体前後方向が自車両の前後方向に対して直交方向にある２台以上の他車両があるか否かを判定する。ここで、他車両がない、又は１台しかないときにはステップＳ１３３に移行する。一方、２台以上の他車両があるときにはステップＳ１３７に移行する。
なお、自車両の前後方向に対して横を向いた他車両の傍を、自車両が通過する場合、同一車両の左右のホイールを順に検出することがある。
なお、自車両の前後方向に対して横を向いた他車両の傍を、自車両が通過する場合、同一車両の左右のホイールを順に検出することがある。
図１４は、他車両の傍を自車両が通過するときの状態を示す図である。
ここでは、自車両の左側に他車両ｖ１、ｖ２が存在している。先ず自車両が他車両ｖ１よりも手前に位置していると、左サイドカメラ１１ＳＬでは、他車両ｖ１における右側の前輪を検出することができるが、自車両が前進して他車両ｖ１の真横に近づくと、他車両ｖ１における右側の前輪を検出できなくなる。そして、さらに自車両が前進して他車両ｖ１の傍を通過すると、今度は他車両ｖ１における左側の前輪を検出することができる。このように、自車両の前後方向に対して横を向いた他車両ｖ１の傍を、自車両が通過する場合には、同一の他車両ｖ１の左右のホイールを順に検出することになる。したがって、ホイールの検出地点（視点）や、自車両の移動距離、また俯瞰画像上のホイール形状等に基づいて、異なる２つのホイールを同一の他車両ｖ１であることを認識する。これにより、同一の他車両ｖ１を２台の他車両と誤ってカウントすることを防げる。そして、さらに自車両が前進するときに、他車両ｖ２における右側の前輪を検出する。
ここでは、自車両の左側に他車両ｖ１、ｖ２が存在している。先ず自車両が他車両ｖ１よりも手前に位置していると、左サイドカメラ１１ＳＬでは、他車両ｖ１における右側の前輪を検出することができるが、自車両が前進して他車両ｖ１の真横に近づくと、他車両ｖ１における右側の前輪を検出できなくなる。そして、さらに自車両が前進して他車両ｖ１の傍を通過すると、今度は他車両ｖ１における左側の前輪を検出することができる。このように、自車両の前後方向に対して横を向いた他車両ｖ１の傍を、自車両が通過する場合には、同一の他車両ｖ１の左右のホイールを順に検出することになる。したがって、ホイールの検出地点（視点）や、自車両の移動距離、また俯瞰画像上のホイール形状等に基づいて、異なる２つのホイールを同一の他車両ｖ１であることを認識する。これにより、同一の他車両ｖ１を２台の他車両と誤ってカウントすることを防げる。そして、さらに自車両が前進するときに、他車両ｖ２における右側の前輪を検出する。
ステップＳ１３７では、ホイール及び車体の向きを検出した複数の他車両が略平行に並んでいるか否かを判定する。ここで、複数の他車両が略平行でないときには、これらが駐車車両であるか否かは不明であると判断してステップＳ１３３に移行する。一方、複数の他車両が略平行であるときには、これらが駐車車両である可能性が高いと判断してステップＳ１３８に移行する。
ステップＳ１３８では、他車両フラグをｆｖ＝１にセットしてから所定のメインプログラムに復帰する。
上記が他車両検出処理である。
ステップＳ１３８では、他車両フラグをｆｖ＝１にセットしてから所定のメインプログラムに復帰する。
上記が他車両検出処理である。
《作用》
次に、第１実施形態の作用について説明する。
自車両が駐車場内にいるか否かを正確に判定することが求められることがある。例えば駐車場で運転者がブレーキペダルと間違えてアクセルペダルを踏み込んでしまうと、運転者の意図に反して車両が加速してしまうため、こうした踏み間違いを検出する目的で、先ずは自車両が駐車場内にいるか否かの判定が求められることがある。例えば、ナビゲーションシステム１４で地図情報を参照し、自車両が道路から外れた駐車場内にあると簡易的に判定することも考えられるが、自車両の測位精度に誤差があったり、地図情報が更新されていなかったりして、精度よく判定できない可能性がある。
そこで、本実施形態では、カメラ１１で撮像した画像データに基づいて俯瞰画像を生成し（ステップＳ１０１）、駐車枠の有無、及び駐車車両の有無によって、自車両が駐車場内にいるか否かを判定している。
次に、第１実施形態の作用について説明する。
自車両が駐車場内にいるか否かを正確に判定することが求められることがある。例えば駐車場で運転者がブレーキペダルと間違えてアクセルペダルを踏み込んでしまうと、運転者の意図に反して車両が加速してしまうため、こうした踏み間違いを検出する目的で、先ずは自車両が駐車場内にいるか否かの判定が求められることがある。例えば、ナビゲーションシステム１４で地図情報を参照し、自車両が道路から外れた駐車場内にあると簡易的に判定することも考えられるが、自車両の測位精度に誤差があったり、地図情報が更新されていなかったりして、精度よく判定できない可能性がある。
そこで、本実施形態では、カメラ１１で撮像した画像データに基づいて俯瞰画像を生成し（ステップＳ１０１）、駐車枠の有無、及び駐車車両の有無によって、自車両が駐車場内にいるか否かを判定している。
先ず、駐車枠の有無について説明する。
駐車枠の有無は、路面に標示された線群の有無、及び左右で検出した線群の類似性によって判定する。
路面に標示された線群の有無については、線群検出処理によって判定する。
先ず、俯瞰画像から白線等の標示線を抽出する（ステップＳ１１１）。これは、ある時点に、ある地点から見える標示線だけを抽出するのではなく、移動しながら自車両の周囲を走査することが望ましい。そして、等間隔で平行に並ぶ３つ以上の標示線からなる線群があるか否かを判定する（ステップＳ１１２、Ｓ１１４、Ｓ１１５）。このように、３つ以上の標示線があることを条件とすることで、連続した少なくとも２つ以上の駐車枠を認識することができる。すなわち、ここでは、少なくとも２台分以上の駐車枠があるような駐車場を、判定の対象としている。
駐車枠の有無は、路面に標示された線群の有無、及び左右で検出した線群の類似性によって判定する。
路面に標示された線群の有無については、線群検出処理によって判定する。
先ず、俯瞰画像から白線等の標示線を抽出する（ステップＳ１１１）。これは、ある時点に、ある地点から見える標示線だけを抽出するのではなく、移動しながら自車両の周囲を走査することが望ましい。そして、等間隔で平行に並ぶ３つ以上の標示線からなる線群があるか否かを判定する（ステップＳ１１２、Ｓ１１４、Ｓ１１５）。このように、３つ以上の標示線があることを条件とすることで、連続した少なくとも２つ以上の駐車枠を認識することができる。すなわち、ここでは、少なくとも２台分以上の駐車枠があるような駐車場を、判定の対象としている。
標示線は、かすれ、汚れ、落ち葉、水溜り、その他の外乱等により、検出できないこともある。そこで、１本目の標示線と２本目の標示線の間隔を基準間隔Ｄｂとし、２本目の標示線から、基準間隔Ｄｂの整数倍だけ離れた位置に、３本目の標示線を検出したときには、これら１本目から３本目の標示線全てを略等間隔であると見なす。これにより、実際には２本目と３本目との間に検出できなかった標示線があり、２本目と３本目との間隔が基準間隔Ｄｂと異なっている場合でも、検出できなかった標示線をあるものと見なし、検出精度を向上させることができる。
また、等間隔で平行に並ぶ３つ以上の標示線を条件としても、例えば道路上に標示された横断歩道や進入禁止領域、また縦列駐車用の駐車枠である可能性がある。そこで、予め定めた範囲の間隔で並んでいるか否かを判定する（ステップＳ１１６）。これにより、道路に標示された横断歩道や進入禁止領域、また縦列駐車用の駐車枠などを、駐車場内の駐車枠として誤認識することを抑制できる。
このように、等間隔で平行に並ぶ複数の標示線からなる線群を検出したときに、線群フラグをｆｇ＝１にセットする（ステップＳ１１７）。これにより、自車両は線群によって駐車枠が形成された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
こうして、路面に標示された線群の有無によって、自車両が駐車場内にいるか否かが判定される。
このように、等間隔で平行に並ぶ複数の標示線からなる線群を検出したときに、線群フラグをｆｇ＝１にセットする（ステップＳ１１７）。これにより、自車両は線群によって駐車枠が形成された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
こうして、路面に標示された線群の有無によって、自車両が駐車場内にいるか否かが判定される。
左右で検出した線群の類似性については、左右類似性判定処理によって判定する。
先ず、俯瞰画像から白線等の標示線を抽出する（ステップＳ１２１）。これも、ある時点に、ある地点から見える標示線だけを抽出するのではなく、移動しながら自車両の周囲を走査することが望ましい。そして、等間隔で平行に並ぶ３つ以上の標示線からなる線群が、左右両側にあるか否かを判定する（ステップＳ１２２、Ｓ１２４、Ｓ１２５）。このように、３つ以上の標示線があること、及びこうした線群が左右両側にあることを条件とすることで、片側に連続して少なくとも２つ以上ある駐車枠を認識することができる。すなわち、ここでは、左右両側の合計で少なくとも４台分以上の駐車枠があるような駐車場を、判定の対象としている。
先ず、俯瞰画像から白線等の標示線を抽出する（ステップＳ１２１）。これも、ある時点に、ある地点から見える標示線だけを抽出するのではなく、移動しながら自車両の周囲を走査することが望ましい。そして、等間隔で平行に並ぶ３つ以上の標示線からなる線群が、左右両側にあるか否かを判定する（ステップＳ１２２、Ｓ１２４、Ｓ１２５）。このように、３つ以上の標示線があること、及びこうした線群が左右両側にあることを条件とすることで、片側に連続して少なくとも２つ以上ある駐車枠を認識することができる。すなわち、ここでは、左右両側の合計で少なくとも４台分以上の駐車枠があるような駐車場を、判定の対象としている。
そして、標示線の間隔が、左右の線群同士で共通であるか否かを判定する（ステップＳ１２７）。このように、間隔の類似性を判定することで、駐車場であることの確からしさ（確信度）を高めることができる。こうして、標示線の間隔が、左右の線群同士で共通であることを検出したときに、類似フラグをｆｓ＝１にセットする（ステップＳ１２８）。これにより、自車両は線群によって駐車枠が形成された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
また、標示線の形状が、左右の線群同士で共通であるか否かを判定する（ステップＳ１２９）。このように、形状の類似性を判定することで、駐車場であることの確からしさ（確信度）を高めることができる。こうして、標示線の形状が、左右の線群同士で共通であることを検出したときに、類似フラグをｆｓ＝１にセットする（ステップＳ１２８）。これにより、自車両は線群によって駐車枠が形成された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
また、標示線の形状が、左右の線群同士で共通であるか否かを判定する（ステップＳ１２９）。このように、形状の類似性を判定することで、駐車場であることの確からしさ（確信度）を高めることができる。こうして、標示線の形状が、左右の線群同士で共通であることを検出したときに、類似フラグをｆｓ＝１にセットする（ステップＳ１２８）。これにより、自車両は線群によって駐車枠が形成された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
さらに、標示線の延在方向が、左右の線群同士で線対称又は回転対称であるか否かを判定する（ステップＳ１２９）。このように、延在方向の類似性を判定することで、駐車場であることの確からしさ（確信度）を高めることができる。こうして、標示線の延在方向が、左右の線群同士で線対称又は回転対称であることを検出したときに、類似フラグをｆｓ＝１にセットする（ステップＳ１２８）。これにより、自車両は線群によって駐車枠が形成された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
こうして、標示線の間隔、形状、及び延在方向を考慮した線群の類似性によって、自車両が駐車場内にいるか否かが判定される。
こうして、標示線の間隔、形状、及び延在方向を考慮した線群の類似性によって、自車両が駐車場内にいるか否かが判定される。
次に、駐車車両の有無について説明する。
駐車車両の有無については、他車両検出処理によって判定する。
先ず、俯瞰画像から他車両のホイールを抽出する（ステップＳ１３１）。これも、ある時点に、ある地点から見える標示線だけを抽出するのではなく、移動しながら自車両の周囲を走査することが望ましい。そして、ホイールを検出したときに（ステップＳ１３２の判定が“Yes”）、ホイールの縦横比（歪み状態）を検出し（ステップＳ１３４）、ホイールの縦横比に応じて他車両の車体の向きを検出する（ステップＳ１３５）。すなわち、俯瞰画像上でホイールが縦方向よりも横方向の比率が大きくなるような歪み状態であるときには、自車両の車体前後方向に対して他車両の車体前後方向が略直交方向にあると判定する。
駐車車両の有無については、他車両検出処理によって判定する。
先ず、俯瞰画像から他車両のホイールを抽出する（ステップＳ１３１）。これも、ある時点に、ある地点から見える標示線だけを抽出するのではなく、移動しながら自車両の周囲を走査することが望ましい。そして、ホイールを検出したときに（ステップＳ１３２の判定が“Yes”）、ホイールの縦横比（歪み状態）を検出し（ステップＳ１３４）、ホイールの縦横比に応じて他車両の車体の向きを検出する（ステップＳ１３５）。すなわち、俯瞰画像上でホイールが縦方向よりも横方向の比率が大きくなるような歪み状態であるときには、自車両の車体前後方向に対して他車両の車体前後方向が略直交方向にあると判定する。
そして、自車両の前後方向に対して横を向き、平行に並んだ２台以上の他車両が存在するか否かを判定する（ステップＳ１３６、Ｓ１３７）。このように、自車両の前後方向に対して横を向いていることを条件とすることで、道路上に縦列駐車している他車両を排除することができる。また、２台以上であることを条件とすることで、駐車場であることの確からしさ（確信度）を高めることができる。
このように、平行に並ぶ複数の他車両を検出したときに、他車両フラグをｆｖ＝１にセットする（ステップＳ１３８）。これにより、自車両は複数の他車両が駐車された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
こうして、駐車車両の有無によって、自車両が駐車場内にいるか否かが判定される。この駐車車両の有無による判定は、駐車場内に複数の他車両が駐車しており、複数の枠線をカメラで捉えにくい状況で特に有効である。
このように、平行に並ぶ複数の他車両を検出したときに、他車両フラグをｆｖ＝１にセットする（ステップＳ１３８）。これにより、自車両は複数の他車両が駐車された駐車場内にいると判断し、駐車場フラグをｆｐ＝１にセットする（ステップＳ１０５）。
こうして、駐車車両の有無によって、自車両が駐車場内にいるか否かが判定される。この駐車車両の有無による判定は、駐車場内に複数の他車両が駐車しており、複数の枠線をカメラで捉えにくい状況で特に有効である。
上記のようにして、自車両が駐車場内にいると判定した場合には、ブレーキペダルとアクセルペダルの踏み間違いによって、車両が加速することを抑制するために、任意の制御を行う。
例えば、駐車場内では駐車枠以外の通路であっても、大きな加速を要するとは考えにくい。そこで、本実施形態の駐車場判定装置によって自車両が駐車場内にいると判定した時点で、単純にエンジンスロットルの開度を予め定めた値以下に制限すればよい。これにより、誤ってアクセルペダルが踏み込まれたとしても、運転者の意図に反して車両が加速することを抑制できる。
例えば、駐車場内では駐車枠以外の通路であっても、大きな加速を要するとは考えにくい。そこで、本実施形態の駐車場判定装置によって自車両が駐車場内にいると判定した時点で、単純にエンジンスロットルの開度を予め定めた値以下に制限すればよい。これにより、誤ってアクセルペダルが踏み込まれたとしても、運転者の意図に反して車両が加速することを抑制できる。
一方、駐車枠以外となる通路では、加速を許可した方がよい場合もある。そこで、駐車枠を検出し、駐車枠の確からしさとなる駐車枠確信度や、自車両が特定の駐車枠へ進入しようとする確からしさとなる進入確信度等を算出し、これら駐車枠確信度、及び進入確信度に応じてエンジンスロットルの開度を制限する構成としてもよい。この場合には、本実施形態の駐車場判定装置によって自車両が駐車場内にいると判定した時点で、例えば駐車枠確信度を増加させればよい。これにより、車両の加速を不必要に抑制することなく、適切なシーンでのみ、車両の加速を抑制することができる。
《変形例》
次に、本実施形態の変形例について説明する。
本実施形態では、線群検出処理において、自車両の左側又は右側に、複数の標示線があるか否かを判定しているが、これに限定されるものではなく、自車両の前側や後側に、複数の標示線があるか否かを判定してもよい。これにより、自車両の全周囲に亘って、自車両が駐車場内にいるか否かを判定することができる。
本実施形態では、左右類似性判定処理において、自車両の左右両側に検出した線群同士に類似性があるか否かを判定しているが、これに限定されるものではなく、自車両の前後左右のうち複数の方向で検出した線群同士に類似性があるか否かを判定してもよい。これにより、自車両の全周囲に亘って、自車両が駐車場内にいるか否かを判定することができる。
次に、本実施形態の変形例について説明する。
本実施形態では、線群検出処理において、自車両の左側又は右側に、複数の標示線があるか否かを判定しているが、これに限定されるものではなく、自車両の前側や後側に、複数の標示線があるか否かを判定してもよい。これにより、自車両の全周囲に亘って、自車両が駐車場内にいるか否かを判定することができる。
本実施形態では、左右類似性判定処理において、自車両の左右両側に検出した線群同士に類似性があるか否かを判定しているが、これに限定されるものではなく、自車両の前後左右のうち複数の方向で検出した線群同士に類似性があるか否かを判定してもよい。これにより、自車両の全周囲に亘って、自車両が駐車場内にいるか否かを判定することができる。
本実施形態では、他車両検出処理において、自車両の左側又は右側に、複数の他車両が存在しているか否かを判定しているが、これに限定されるものではなく、自車両の前側や後側に、複数の他車両が存在しているか否かを判定してもよい。これにより、自車両の全周囲に亘って、自車両が駐車場内にいるか否かを判定することができる。
本実施形態では、線群検出処理において、複数の標示線を検出し、それらが平行で、等間隔で、予め定めた範囲内の間隔であるときに、それらが駐車枠であると判断し、線群フラグをｆｇ＝１にセットしているが、これに限定されるものではない。すなわち、全ての判定条件を満足したときだけ、線群フラグをｆｇ＝１にセットするのではなく、各判定条件に重み付けし、各判定結果に応じた合計ポイントが、予め定めた閾値を上回るときに、線群フラグをｆｇ＝１にセットするようにしてもよい。
本実施形態では、線群検出処理において、複数の標示線を検出し、それらが平行で、等間隔で、予め定めた範囲内の間隔であるときに、それらが駐車枠であると判断し、線群フラグをｆｇ＝１にセットしているが、これに限定されるものではない。すなわち、全ての判定条件を満足したときだけ、線群フラグをｆｇ＝１にセットするのではなく、各判定条件に重み付けし、各判定結果に応じた合計ポイントが、予め定めた閾値を上回るときに、線群フラグをｆｇ＝１にセットするようにしてもよい。
本実施形態では、左右類似性判定処理において、複数の標示線を検出し、それらが平行で、等間隔で、予め定めた範囲内の間隔で、さらに複数の線群に類似性があるときに、それらが駐車枠であると判断し、類似フラグをｆｓ＝１にセットしているが、これに限定されるものではない。すなわち、全ての判定条件を満足したときだけ、類似フラグをｆｓ＝１にセットするのではなく、各判定条件に重み付けし、各判定結果に応じた合計ポイントが、予め定めた閾値を上回るときに、類似フラグをｆｓ＝１にセットするようにしてもよい。さらに、複数の線群同士で、間隔が共通であるか、形状が共通であるか、対称性があるか、という判定条件のうち、一つでも満足すれば、類似性があると判定しているが、これに限定されるものではない。すなわち、各判定条件に重み付けし、各判定結果に応じた合計ポイントが、予め定めた閾値を上回るときに、類似性があると判定してもよい。
本実施形態では、他車両検出処理において、複数の他車両を検出し、それらが平行であるときに、それらが駐車車両であると判断し、他車両フラグをｆｖ＝１にセットしているが、これに限定されるものではない。すなわち、全ての判定条件を満足したときだけ、他車両フラグをｆｖ＝１にセットするのではなく、各判定条件に重み付けし、各判定結果に応じた合計ポイントが、予め定めた閾値を上回るときに、他車両フラグをｆｖ＝１にセットするようにしてもよい。
本実施形態では、線群フラグがｆｇ、類似フラグｆｓ、他車両フラグｆｖの少なくとも一つが１にセットされたときに、駐車場フラグをｆｐ＝１にセットしているが、これに限定されるものではない。すなわち、線群検出処理、左右類似性判定処理、及び他車両検出処理により、駐車場らしさである駐車場確信度を個別に算出し、夫々の駐車場確信度の合計値が、予め定めた閾値を上回るときに、駐車場フラグをｆｐ＝１にセットするようにしてもよい。
本実施形態では、線群フラグがｆｇ、類似フラグｆｓ、他車両フラグｆｖの少なくとも一つが１にセットされたときに、駐車場フラグをｆｐ＝１にセットしているが、これに限定されるものではない。すなわち、線群検出処理、左右類似性判定処理、及び他車両検出処理により、駐車場らしさである駐車場確信度を個別に算出し、夫々の駐車場確信度の合計値が、予め定めた閾値を上回るときに、駐車場フラグをｆｐ＝１にセットするようにしてもよい。
本実施形態では、線群検出処理、及び左右類似性判定処理において、カメラ１１で撮像した画像を俯瞰画像に変換してから路面の標示を検出しているが、これに限定されるものではない。すなわち、カメラ１１で撮像した画像、つまり俯瞰変換してない画像に基づいて、路面の標示を検出してもよい。カメラ１１は、車体に固定され、予め定めた方向の周囲環境を撮像しており、このように位置と視点が決まれば、撮像した画像を俯瞰変換しなくても、標示線の向きや間隔を識別することができる。
図１５は、各カメラで撮像した画像を俯瞰変換する前の状態を示す図である。
ここでは、フロントカメラ１１Ｆで撮像した画像内に、自車両の左側の前方に存在する標示線Ｌ３及びＬ４、並びに自車両の右側の前方に存在する標示線Ｌ７及びＬ８が映り込んでいる。また、リアカメラ１１Ｒで撮像した画像内に、自車両の左側の後方に存在する標示線Ｌ１及びＬ２、並びに自車両の右側の後方に存在する標示線Ｌ５及びＬ６が映り込んでいる。また、左サイドカメラ１１ＳＬで撮像した画像内に、自車両の左側に存在する標示線Ｌ１〜Ｌ４が映り込んでおり、右サイドカメラ１１ＳＲで撮像した画像内に、自車両の右側に存在する標示線Ｌ５〜Ｌ８が映り込んでいる。
このように、撮像した画像を俯瞰変換しなくても、各カメラの位置と視点に応じて、夫々の標示線の向きや間隔を識別することにより、複数の標示線からなる線群を検出してもよい。
ここでは、フロントカメラ１１Ｆで撮像した画像内に、自車両の左側の前方に存在する標示線Ｌ３及びＬ４、並びに自車両の右側の前方に存在する標示線Ｌ７及びＬ８が映り込んでいる。また、リアカメラ１１Ｒで撮像した画像内に、自車両の左側の後方に存在する標示線Ｌ１及びＬ２、並びに自車両の右側の後方に存在する標示線Ｌ５及びＬ６が映り込んでいる。また、左サイドカメラ１１ＳＬで撮像した画像内に、自車両の左側に存在する標示線Ｌ１〜Ｌ４が映り込んでおり、右サイドカメラ１１ＳＲで撮像した画像内に、自車両の右側に存在する標示線Ｌ５〜Ｌ８が映り込んでいる。
このように、撮像した画像を俯瞰変換しなくても、各カメラの位置と視点に応じて、夫々の標示線の向きや間隔を識別することにより、複数の標示線からなる線群を検出してもよい。
《対応関係》
次に、対応関係について説明する。
カメラ１１が「撮像部」に対応し、ステップＳ１０１の処理が「俯瞰画像生成部」に対応し、ステップＳ１３１、Ｓ１３２、Ｓ１３４〜Ｓ１３７の処理が「他車両検出部」に対応し、ステップＳ１３８、Ｓ１０５の処理が「駐車場判定部」に対応する。
次に、対応関係について説明する。
カメラ１１が「撮像部」に対応し、ステップＳ１０１の処理が「俯瞰画像生成部」に対応し、ステップＳ１３１、Ｓ１３２、Ｓ１３４〜Ｓ１３７の処理が「他車両検出部」に対応し、ステップＳ１３８、Ｓ１０５の処理が「駐車場判定部」に対応する。
《効果》
次に、第１実施形態における主要部の効果を記す。
（１）本実施形態の駐車場判定装置は、自車両周囲をカメラ１１で撮像し、撮像した画像に基づいて俯瞰画像を生成する。そして、生成した俯瞰画像内に自車両の左側又は右側の一方に存在する他車両のホイールを検出したときに、ホイールの歪み状態に応じて、他車両の車体前後方向が自車両の車体前後方向に対して直交方向にあるか否かを検出する。そして、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向であり、且つ自車両の車体前後方向に沿って並んだ複数の他車両を検出したときに、自車両は複数の他車両が駐車された駐車場内にいると判定する。直交方向とは、予め定めた範囲内の誤差を許容するものであり、例えば±３０°程度である。要は、自車両の車体前後方向に対して略横向きであると見なせればよい。
このように、自車両に対して直交方向を向いた複数の他車両が存在するか否かを判定することにより、自車両の現在位置情報や地図情報だけに基づいて判定するよりも、自車両が駐車場内にあるか否かの判定精度を向上させることができる。
次に、第１実施形態における主要部の効果を記す。
（１）本実施形態の駐車場判定装置は、自車両周囲をカメラ１１で撮像し、撮像した画像に基づいて俯瞰画像を生成する。そして、生成した俯瞰画像内に自車両の左側又は右側の一方に存在する他車両のホイールを検出したときに、ホイールの歪み状態に応じて、他車両の車体前後方向が自車両の車体前後方向に対して直交方向にあるか否かを検出する。そして、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向であり、且つ自車両の車体前後方向に沿って並んだ複数の他車両を検出したときに、自車両は複数の他車両が駐車された駐車場内にいると判定する。直交方向とは、予め定めた範囲内の誤差を許容するものであり、例えば±３０°程度である。要は、自車両の車体前後方向に対して略横向きであると見なせればよい。
このように、自車両に対して直交方向を向いた複数の他車両が存在するか否かを判定することにより、自車両の現在位置情報や地図情報だけに基づいて判定するよりも、自車両が駐車場内にあるか否かの判定精度を向上させることができる。
（２）本実施形態の駐車場判定装置は、自車両の前後方向を俯瞰画像の縦方向とし、自車両の左右方向を俯瞰画像の横方向とする。そして、俯瞰画像上でホイールが縦方向よりも横方向の比率が大きくなるように歪んでいるときには、自車両の車体前後方向に対して他車両の車体前後方向が直交方向にあると検出する。そして、俯瞰画像上でホイールが縦方向よりも横方向の比率が小さくなるように歪んでいるときには、自車両の車体前後方向に対して他車両の車体前後方向が平行方向にあると検出する。
このように、ホイールの歪み状態を判定することにより、他車両の車体の向きを容易に検出することができる。
このように、ホイールの歪み状態を判定することにより、他車両の車体の向きを容易に検出することができる。
（３）本実施形態の駐車場判定装置は、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向にある他車両ｖ１を検出する。そして、この他車両ｖ１を検出した位置から前後方向に移動し、自車両の左側及び右側のうち他車両ｖ１を検出した側に、車体前後方向が自車両の車体前後方向に対して直交方向にある他車両ｖ２を検出したときに、これらを平行に並ぶ複数の他車両として認識する。
このように、他車両を順に検出することにより、平行に並ぶ複数の他車両を容易に検出することができる。
このように、他車両を順に検出することにより、平行に並ぶ複数の他車両を容易に検出することができる。
（４）本実施形態の駐車場判定方法は、自車両周囲をカメラ１１で撮像し、撮像した画像に基づいて俯瞰画像を生成する。そして、生成した俯瞰画像内に自車両の左側又は右側の一方に存在する他車両のホイールを検出したときに、ホイールの歪み状態に応じて他車両の車体前後方向が自車両の車体前後方向に対して直交方向にあるか否かを検出する。そして、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向であり、且つ自車両の車体前後方向に沿って並んだ複数の他車両を検出したときに、自車両は複数の他車両が駐車された駐車場内にいると判定する。
このように、自車両に対して直交方向を向いた複数の他車両が存在するか否かを判定することにより、自車両の現在位置情報や地図情報だけに基づいて判定するよりも、自車両が駐車場内にあるか否かの判定精度を向上させることができる。
以上、限られた数の実施形態を参照しながら説明したが、権利範囲はそれらに限定されるものではなく、上記の開示に基づく実施形態の改変は、当業者にとって自明のことである。また、各実施形態は、任意に組み合わせて採用することができる。
このように、自車両に対して直交方向を向いた複数の他車両が存在するか否かを判定することにより、自車両の現在位置情報や地図情報だけに基づいて判定するよりも、自車両が駐車場内にあるか否かの判定精度を向上させることができる。
以上、限られた数の実施形態を参照しながら説明したが、権利範囲はそれらに限定されるものではなく、上記の開示に基づく実施形態の改変は、当業者にとって自明のことである。また、各実施形態は、任意に組み合わせて採用することができる。
１１ カメラ
１２ 車輪速センサ
１３ シフトセンサ
１４ ナビゲーションシステム
２１ コントローラ
１２ 車輪速センサ
１３ シフトセンサ
１４ ナビゲーションシステム
２１ コントローラ
Claims (4)
- 自車両周囲を撮像する撮像部と、
前記撮像部で撮像した画像に基づいて俯瞰画像を生成する俯瞰画像生成部と、
前記俯瞰画像生成部で生成した俯瞰画像内に自車両の左側又は右側の一方に存在する他車両のホイールを検出したときに、前記ホイールの歪み状態に応じて、前記他車両の車体前後方向が自車両の車体前後方向に対して直交方向にあるか否かを検出する他車両検出部と、
前記他車両検出部が、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向である複数の他車両が、自車両の車体前後方向に沿って平行に並んでいることを検出したときに、自車両は前記複数の他車両が駐車された駐車場内にいると判定する駐車場判定部と、を備えることを特徴とする駐車場判定装置。 - 自車両の前後方向を前記俯瞰画像の縦方向と定義し、
自車両の左右方向を前記俯瞰画像の横方向と定義し、
前記他車両検出部は、
前記俯瞰画像上で前記ホイールが前記縦方向よりも前記横方向の比率が大きくなるように歪んでいるときには、自車両の車体前後方向に対して前記他車両の車体前後方向が直交方向にあると検出し、
前記俯瞰画像上で前記ホイールが前記縦方向よりも前記横方向の比率が小さくなるように歪んでいるときには、自車両の車体前後方向に対して前記他車両の車体前後方向が平行方向にあると検出することを特徴とする請求項１に記載の駐車場判定装置。 - 前記他車両検出部は、
自車両の左側又は右側の一方で、車体前後方向が自車両の車体前後方向に対して直交方向にある第一の他車両と、
自車両が前記第一の他車両を検出した位置から前後方向に移動したときに、自車両の左側及び右側のうち前記第一の他車両を検出した側で、車体前後方向が自車両の車体前後方向に対して直交方向にある第二の他車両と、を前記複数の他車両として検出することを特徴とする請求項１又は２に記載の駐車場判定装置。 - コントローラは、カメラにより自車両周囲を撮像し、撮像した画像に基づいて俯瞰画像を生成し、生成した俯瞰画像内に自車両の左側又は右側の一方に存在する他車両のホイールを検出したときに、前記ホイールの歪み状態に応じて前記他車両の車体前後方向が自車両の車体前後方向に対して直交方向にあるか否かを検出し、自車両の左側又は右側の一方に、車体前後方向が自車両の車体前後方向に対して直交方向である複数の他車両が、自車両の車体前後方向に沿って平行に並んでいることを検出したときに、自車両は前記複数の他車両が駐車された駐車場内にいると判定することを特徴とする駐車場判定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013198930A JP6206036B2 (ja) | 2013-09-25 | 2013-09-25 | 駐車場判定装置、駐車場判定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013198930A JP6206036B2 (ja) | 2013-09-25 | 2013-09-25 | 駐車場判定装置、駐車場判定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015064796A JP2015064796A (ja) | 2015-04-09 |
| JP6206036B2 true JP6206036B2 (ja) | 2017-10-04 |
Family
ID=52832606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013198930A Active JP6206036B2 (ja) | 2013-09-25 | 2013-09-25 | 駐車場判定装置、駐車場判定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6206036B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7201061B2 (ja) * | 2017-06-23 | 2023-01-10 | スズキ株式会社 | 運転支援装置 |
| JP2019008506A (ja) * | 2017-06-23 | 2019-01-17 | スズキ株式会社 | 運転支援装置 |
| JP6607657B2 (ja) * | 2017-07-20 | 2019-11-20 | 株式会社トヨタマップマスター | 新規道路推定支援装置、新規道路推定支援方法、コンピュータプログラム及びコンピュータプログラムを記録した記録媒体 |
| CN112180932A (zh) * | 2020-09-30 | 2021-01-05 | 东软睿驰汽车技术（沈阳）有限公司 | 停车方法、装置、设备及无人驾驶系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010019752A (ja) * | 2008-07-11 | 2010-01-28 | Honda Motor Co Ltd | 車両の車幅を推定するための装置 |
-
2013
- 2013-09-25 JP JP2013198930A patent/JP6206036B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015064796A (ja) | 2015-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107783535B (zh) | 车辆控制装置 | |
| JP2015064795A (ja) | 駐車場判定装置、駐車場判定方法 | |
| CN109425343B (zh) | 本车位置推断装置 | |
| US9616885B2 (en) | Vehicular acceleration suppression device | |
| US9540000B2 (en) | Acceleration suppression device for vehicle, and acceleration suppression method for vehicle | |
| US10810877B2 (en) | Vehicle control device | |
| CN110816540B (zh) | 交通拥堵的确定方法、装置、系统及车辆 | |
| US20190193739A1 (en) | Vehicle control apparatus and vehicle control method | |
| US11926256B2 (en) | Notification device | |
| KR102581766B1 (ko) | 차량 제어 장치, 차량 제어 방법 및 차량 제어 시스템 | |
| US20160307026A1 (en) | Stereoscopic object detection device and stereoscopic object detection method | |
| JP6206036B2 (ja) | 駐車場判定装置、駐車場判定方法 | |
| US20210001856A1 (en) | Vehicle control device and vehicle control method | |
| JP3666332B2 (ja) | 歩行者検知装置 | |
| KR101281499B1 (ko) | 자동차 자동 운행 시스템 | |
| US10747230B2 (en) | Vehicle control apparatus, vehicle control system, and image sensor | |
| JP2015064797A (ja) | 駐車場判定装置、駐車場判定方法 | |
| JP6496619B2 (ja) | 車両用駐車支援装置 | |
| JP2006146956A (ja) | 車両用走路判定装置 | |
| KR20170082374A (ko) | 차선 인식장치 | |
| CN114973644A (zh) | 道路信息生成装置 | |
| JP6958381B2 (ja) | 車両制御システム | |
| JP5452518B2 (ja) | 車両用白線認識装置 | |
| JP2014104840A (ja) | 車載画像処理装置 | |
| JP7058753B2 (ja) | カメラ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170821 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6206036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |