JP5621391B2 - 車間距離検知装置及び車間距離検知方法 - Google Patents

車間距離検知装置及び車間距離検知方法 Download PDF

Info

Publication number
JP5621391B2
JP5621391B2 JP2010175363A JP2010175363A JP5621391B2 JP 5621391 B2 JP5621391 B2 JP 5621391B2 JP 2010175363 A JP2010175363 A JP 2010175363A JP 2010175363 A JP2010175363 A JP 2010175363A JP 5621391 B2 JP5621391 B2 JP 5621391B2
Authority
JP
Japan
Prior art keywords
vehicle
inter
vehicles
area
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010175363A
Other languages
English (en)
Other versions
JP2012037965A (ja
Inventor
光晴 加藤
光晴 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2010175363A priority Critical patent/JP5621391B2/ja
Publication of JP2012037965A publication Critical patent/JP2012037965A/ja
Application granted granted Critical
Publication of JP5621391B2 publication Critical patent/JP5621391B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車間距離を検知する車間距離検知装置及び車間距離検知方法に関する。
車間距離を検知する方法としては、一般に、車載のレーダセンサやカメラを利用した方法がある。例えば、特許文献1には、車載のミリ波レーダやカメラ等を利用して自車両の後続車両や先行車両を検出するとともに後続車両や先行車両が存在する場合にはその車両と自車両との車間距離を検出し、その車間距離に応じて運転支援を行うことが開示されている。
特開2008−49916号公報 特開平8−136279号公報 特開平8−304548号公報
車間距離を直接測定するためにレーダセンサやカメラを車両に搭載した場合、車両個々のコストがアップする。特に、後方検知用のレーダセンサやカメラの場合、前方検知用のレーダセンサやカメラに比べてその検知情報を利用する用途が限られるので、高価格な車両にしか搭載されない。
そこで、本発明は、低コストで車間距離を検知する車間距離検知装置及び車間距離検知方法を提供することを課題とする。
本発明に係る車間距離検知装置は、道路上の指定領域内の車両台数を検知する車両台数検知手段と、特定車両が指定領域に入ってから指定領域内の車両台数が増加した時点における特定車両の状況に基づいて特定車両の後続車両との車間距離を検知又は指定領域内の車両台数が減少してから特定車両が指定領域を出た時点における特定車両の状況に基づいて特定車両の前方車両との車間距離を検知する車間距離検知手段とを備え、特定車両の状況は、特定車両が指定領域に入ってから指定領域内の車両台数が増加した時点までの走行距離情報、又は、指定領域内の車両台数が減少してから特定車両が指定領域を出た時点までの走行距離情報であることを特徴とする。
この車間距離検知装置では、車両台数検知手段によって道路上の指定領域内の車両台数を検知する。そして、車間距離検知装置では、車間距離検知手段によって特定車両が指定領域に入ってから指定領域内の車両台数が増加した時点における特定車両の状況に基づいて特定車両の後続車両との車間距離を検知する。特定車両が指定領域内に入った後に指定領域内の車両台数が増加したときに特定車両の後続車両が指定領域内に入ったことになるので、特定車両が指定領域内に入ってから後続車両が指定領域内に入った時点までの特定車両の状況から特定車両と後続車両との車間距離を検知できる。また、車間距離検知装置では、車間距離検知手段によって指定領域内の車両台数が減少してから特定車両が指定領域を出た時点における特定車両の状況に基づいて特定車両の前方車両との車間距離を検知する。指定領域内の車両台数が減って特定車両が指定領域内で先頭車両になったときに、特定車両の先行車両が指定領域を出たことになるので、先行車両が指定領域を出てから特定車両が指定領域を出た時点までの特定車両の状況から特定車両と先行車両との車間距離を検知できる。このように、車間距離検知装置では、指定領域内の車両台数を利用して車間距離を検知することにより、車間距離を直接測定することなく車間距離を検知でき、低コストで車間距離を検知することができる。
この車間距離検知装置では、車間距離検知手段によって特定車両が指定領域に入ってから指定領域内の車両台数が増加した時点までの特定車両の走行距離から後続車両との車間距離を検知したり、あるいは、指定領域内の車両台数が減少してから特定車両が指定領域を出た時点までの特定車両の走行距離を用いて先行車両との車間距離を検知する。このように、車間距離検知装置では、特定車両の走行距離を用いることにより、より高精度な車間距離を検知できる。
本発明の上記車間距離検知装置では、車両台数検知手段は、路上に設置される構成としてもよい。この車間距離検知装置では、路上に設置された車両台数検知手段とすることにより、各車両が路側インフラを利用して車間距離を検知できるので、車両台数検知手段の共用によるコスト削減を図れる。
本発明の上記車間距離検知装置では、車両台数検知手段は、指定領域内の任意の車両を検出したときに当該車両の長さを推定し、当該推定した車両の長さが閾値以上の場合に複数台同時に増加したと判断し、車両台数をカウントし、車間距離検知手段は、特定車両が指定領域に入ってから、車両台数検知手段によってカウントされた指定領域内の車両台数が増加した時点における特定車両の状況に基づいて特定車両の後続車両との車間距離を検知、又は、車両台数検知手段によってカウントされた指定領域内の車両台数が減少してから特定車両が指定領域を出た時点における特定車両の状況に基づいて特定車両の前方車両との車間距離を検知する構成としてもよい。
この車間距離検知装置の車両台数検知手段では、指定領域内の車両台数を検知するために、指定領域内に存在する各車両を検出する。車両検出では、1台の車両だけが検出されればよいが、複数台の車両が重なって検出される場合がある。このような場合、複数台の車両を1台としてカウントすると誤検知となるので、車両が重なっているか否かを判別する必要がある。そこで、車両台数検知手段では、車両を検出する毎に、その車両の長さを推定し、その推定した車両の長さが閾値以上の場合に複数台同時に増加したと判断し、車両台数をカウントする。推定された車両の長さが実際の車両の長さと同程度の場合には1台の車両だけが検出されたと推定できる。しかし、推定された車両の長さが実際の車両の長さよりも十分に大きければ(例えば、2倍以上、3倍以上)の場合には複数台が同時に検出されたと推定できる。したがって、推定された車両の長さから車両の台数を推定できる。このように、車間距離検知装置では、検出された車両から推定した車両長を利用することにより、複数台の車両が重なって検出された場合でも車両台数を正確にカウントでき、車両台数を高精度に検知できる。
本発明の上記車間距離検知装置では、車両台数検知手段が、指定領域内の車両台数が複数台同時に増加したと判断した場合、車間距離検知手段は、当該同時に増加した車両同士の車間距離が一定距離以下であると判定すると好適である。指定領域内の車両台数が複数台同時に増加したと判断される場合、複数台の車両が重なって検出される状況なので、その複数台の車両が接近している。したがって、指定領域内の車両台数が複数台同時に増加したと判断される場合、その車両間の車間距離が一定距離以下であると推定できる。
本発明の上記車間距離検知装置では、車両台数検知手段は、道路上の指定領域を撮影する撮影手段と、撮影手段で撮影した画像から車両と判断される領域を抽出する車両領域抽出手段と、車両領域抽出手段で抽出した車両領域に存在する車両の長さを推定する車両長推定手段と、車両長推定手段とは異なる方法により車両領域抽出手段で抽出した車両領域に存在する車両の長さを取得する車両長取得手段と、車両長推定手段で推定した車両の長さと車両長取得手段で取得した車両の長さに基づいて車両領域抽出手段で抽出した車両領域に含まれる車両の台数を推定する車両台数推定手段を備え、車間距離検知手段は、特定車両が車両領域に入ってから、車両台数推定手段によって推定された車両領域内の車両台数が増加した時点における特定車両の状況に基づいて特定車両の後続車両との車間距離を検知、又は、車両台数推定手段によって推定された車両領域内の車両台数が減少してから、特定車両が車両領域を出た時点における特定車両の状況に基づいて特定車両の前方車両との車間距離を検知する構成としてもよい。
この車間距離検知装置では、撮影手段によって道路上の指定領域を撮影する。撮影手段で道路領域を撮影したときに、複数台の車両が接近している場合、撮影された画像上で複数台の車両が重なった状態となる。撮影手段で道路領域を撮影すると、車両情報取得装置では、車両領域抽出手段によってその撮影画像から車両と判断される領域を抽出する。この抽出される車両領域には、1台の車両だけが含まれる場合あるいは複数台の車両が含まれる場合がある。そして、車間距離検知装置では、車両長推定手段によって車両領域に存在する車両の長さを推定するとともに、車両長取得手段によって車両長推定手段とは異なる方法により車両領域に存在する車両の長さを取得する。そして、車両情報取得手段では、車両台数推定手段によって車両長推定手段で推定した車両の長さと車両長取得手段で取得した車両の長さに基づいて車両領域に含まれる車両の台数を推定する。車両長取得手段によって実際の車両の長さを取得することにより、車両領域から推定された車両の長さが実際の車両の長さよりも十分に大きいのかあるいは同程度の長さかを判断できるので、車両領域に含まれる車両の台数を推定できる。このように、この車両情報取得装置では、画像から抽出された車両領域の車両長を推定するとともにその車両領域の車両の車両長を取得して、その推定車両長と取得車両長を比較することにより、画像から抽出された車両領域の車両台数の誤検知を防止でき、車両台数を高精度に検知することができる。
本発明に係る車間距離検知方法は、車間距離検知装置が、道路上の指定領域内の車両台数を検知する車両台数検知ステップと、特定車両が指定領域に入ってから指定領域内の車両台数が増加した時点における特定車両の状況に基づいて特定車両の後続車両との車間距離を前記車間距離検知装置が検知又は指定領域内の車両台数が減少してから特定車両が指定領域を出た時点における特定車両の状況に基づいて特定車両の前方車両との車間距離を前記車間距離検知装置が検知する車間距離検知ステップと、を含み、特定車両の状況は、特定車両が指定領域に入ってから指定領域内の車両台数が増加した時点までの走行距離情報、又は、指定領域内の車両台数が減少してから特定車両が指定領域を出た時点までの走行距離情報であることを特徴とする。
本発明の上記車間距離検知方法では、車両台数検知ステップは、路上に設置される前記車間距離検知装置で車両台数を検知する構成としてもよい。
本発明の上記車間距離検知方法では、車両台数検知ステップは、指定領域内の任意の車両を前記車間距離検知装置が検出したときに当該車両の長さを前記車間距離検知装置が推定し、当該推定した車両の長さが閾値以上の場合に複数台同時に増加したと前記車間距離検知装置が判断し、車両台数を前記車間距離検知装置がカウントし、車間距離検知ステップでは、特定車両が指定領域に入ってから、車両台数検知ステップによってカウントされた指定領域内の車両台数が増加した時点における特定車両の状況に基づいて特定車両の後続車両との車間距離を前記車間距離検知装置が検知、又は、車両台数検知ステップによってカウントされた指定領域内の車両台数が減少してから特定車両が指定領域を出た時点における特定車両の状況に基づいて特定車両の前方車両との車間距離を前記車間距離検知装置が検知する構成としてもよい。
本発明の上記車間距離検知方法では、車両台数検知ステップで、指定領域内の車両台数が複数台同時に増加したと前記車間距離検知装置が判断した場合、車間距離検知ステップで、当該同時に増加した車両同士の車間距離が一定距離以下であると前記車間距離検知装置が判定すると好適である。
本発明の上記車間距離検知方法では、車両台数検知ステップは、道路上の指定領域を前記車間距離検知装置が撮影する撮影ステップと、撮影ステップで撮影した画像から車両と判断される領域を前記車間距離検知装置が抽出する車両領域抽出ステップと、車両領域抽出ステップで抽出した車両領域に存在する車両の長さを前記車間距離検知装置が推定する車両長推定ステップと、車両長推定ステップとは異なる方法により車両領域抽出ステップで抽出した車両領域に存在する車両の長さを前記車間距離検知装置が取得する車両長取得ステップと、車両長推定ステップで推定した車両の長さと車両長取得ステップで取得した車両の長さに基づいて車両領域抽出ステップで抽出した車両領域に含まれる車両の台数を前記車間距離検知装置が推定する車両台数推定ステップを含み、車間距離検知ステップでは、特定車両が車両領域に入ってから、車両台数推定ステップによって推定された車両領域内の車両台数が増加した時点における特定車両の状況に基づいて特定車両の後続車両との車間距離を前記車間距離検知装置が検知、又は、車両台数推定ステップによって推定された車両領域内の車両台数が減少してから特定車両が車両領域を出た時点における特定車両の状況に基づいて特定車両の前方車両との車間距離を前記車間距離検知装置が検知する構成としてもよい。
本発明の各車両情報取得方法は、上記した本発明の各車両情報取得装置と同様の作用効果を有する。
本発明によれば、指定領域内の車両台数を利用することにより、車間距離を直接測定することなく車間距離を検知でき、低コストで車間距離を検知することができる。
本実施の形態に係る車間距離検知システムの構成を示すブロック図である。 路側インフラ装置の無線通信可能領域と車両検知可能領域を示す図である。 推定車両長L’の算出方法の説明図であり、(a)が路側インフラ装置と車両との位置関係の一例であり、(b)が推定車両長L’と撮像画像θと車両領域の上下方向の長さK×yの関係図である。 路側インフラ装置のカメラで撮影される画像の一例である。 図1の路側インフラ装置における制御装置での車両台数検知処理の流れを示すフローチャートである。 図1の車両のECUでの車間距離検知処理の流れを示すフローチャートである。
以下、図面を参照して、本発明に係る車間距離検知装置及び車間距離検知方法の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。
本実施の形態では、本発明を、インフラ協調運転支援システム等における路側インフラ装置と各車両からなる車両台数検知システムに適用する。本実施の形態では、路側インフラ装置と各車両とが路車間の無線通信が可能であり、路側インフラ装置と各車両との間で情報を送受信できる。なお、現在、国土交通省が中心となり、自動車メーカ各社の協力を得て、交差点付近での事故防止等を目的としてインフラ協調運転支援システムの実用化が検討されている。このインフラ協調運転支援システムでは、路側インフラ装置と各車両にそれぞれ無線通信機を搭載する予定であり、路側インフラ装置と各車両との間で無線通信によって路車間通信を行う。
図1〜図4を参照して、本実施の形態に係る車間距離検知システム1について説明する。図1は、本実施の形態に係る車間距離検知システムの構成を示すブロック図である。図2は、路側インフラ装置の無線通信可能領域と車両検知可能領域を示す図である。図3は、推定車両長L’の算出方法の説明図であり、(a)が路側インフラ装置と車両との位置関係の一例であり、(b)が推定車両長L’と撮像画像θと車両領域の上下方向の長さK×yの関係図である。図4は、路側インフラ装置のカメラで撮影される画像の一例である。
車間距離検知システム1は、交差点等に設置される路側インフラ装置2と路側インフラ装置2と路車間通信可能な各車両3から構成される。車間距離検知システム1では、路側インフラ装置2で車両台数を検知し、その検知した車両台数(渋滞情報)を含むインフラ情報を車両3に提供し、車両3でその車両台数を利用して後続車両との車間距離を検知する。特に、路側インフラ装置2では、画像から車両と判断される領域を抽出する毎にその領域の上下方向の長さと撮像角度から車両長を推定するとともに車両3から真の車両長を受信し、その推定車両長と受信車両長とを比較して領域に含まれる車両の台数を判別する。また、車両3では、路車間通信が可能になると路側インフラ装置2からの車両台数を監視し、路側インフラ装置2の車両検知可能領域に入ってから車両台数が増加した時点までの車両3の走行距離に基づいて後続車両との車間距離を検知する。
路側インフラ装置2について説明する。路側インフラ装置2は、各車両3との無線通信が可能であり、各車両3にインフラ情報を提供する路側の装置である。特に、路側インフラ装置2では、カメラで撮影した画像から各種情報(特に、車両台数)を検知し、その検知した情報からインフラ情報を生成する。そのために、路側インフラ装置2は、カメラ20、無線通信機21、制御装置22を備えている。
なお、本実施の形態では、路側インフラ装置2が特許請求の範囲に記載する車両台数検知手段に相当し、カメラ20が特許請求の範囲に記載する撮影手段に相当し、無線通信機21及び制御装置22での処理が特許請求の範囲に記載する車両長取得手段に相当し、制御装置22での各処理が特許請求の範囲に記載する車両領域抽出手段、車両長推定手段、車両台数推定手段に相当する。
カメラ20は、道路沿いに設置され、道路領域を撮影するカメラである。カメラ20は、車両に対して前方かつ想定される最も高い車両高よりも高い位置に配置され、この配置から道路領域を撮影するために水平面に対して下方に所定角度傾けて取り付けられている(図2参照)。このカメラ20の配置と取り付け角度及びカメラ20の画角や解像度等によって道路領域において一定の撮影範囲が規定され、その撮影範囲が車両検知可能領域SAとなる。カメラ20では、一定時間毎に、一定の道路領域を撮影し、その撮影した画像を制御装置22に出力する。なお、このカメラ20では車両のフロント側を斜め上方から撮影するので、車両が前後で接近している場合には撮影画像上で車両が上下に重なって写る。
無線通信機21は、車間3との間で無線通信を行うための無線通信機である。この無線通信機21の電波が伝達可能な範囲を無線通信可能領域CAとする(図2参照)。無線通信機21では、一定時間毎に、制御装置22で生成したインフラ情報を送信する。また、無線通信機21では、無線通信可能領域内に存在する各車両3からの車両情報を受信し、その受信した車両情報を制御装置22に出力する。送信するインフラ情報には、少なくとも車両台数(渋滞情報)及び車両検知可能領域の位置情報が含まれる。車両検知可能領域の位置情報は、少なくとも車両検知可能領域SAのカメラ20から最も離れた端部P(車両が車両検知可能領域SA内に進入する位置)の位置情報であり(図2参照)、その位置情報は絶対位置(緯度経度等)でもよいし、交差点やカメラ20からの距離でもよい。ちなみに、無線通信可能領域CAは、カメラ20の車両検知可能領域SAよりも広い領域であり(図2参照)、車両3は路車間通信が可能になってから車両検知可能領域SAに進入することになる。
制御装置22は、CPU[CentralProcessing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]等からなる電子制御装置であり、路側インフラ装置2を統括制御する。制御装置22は、一定時間毎にカメラ20から画像を入力し、その画像から車両の各種情報を検知する。そして、制御装置22では、検知した車両情報からインフラ情報を生成して、そのインフラ情報を無線通信機21に出力する。また、制御装置22では、無線通信機21から無線通信可能領域内に存在する各車両3の車両情報を入力する。特に、制御装置22では、カメラ20の画像と各車両3の車両情報を用いて車両検知可能領域内の車両台数を検知する。
この車両台数の検知処理について詳細に説明する。制御装置22では、画像が入力される毎に、画像から車両と判断される領域(以下、車両領域と記載)を抽出する。この抽出する方法としては、従来の方法を適用し、例えば、車両のテンプレートを用いたテンプレートマッチングがある。
車両が十分な車間距離を取って走行している場合、抽出される車両領域には1台の車両だけが含まれることになる。しかし、図3(a)の例で示すように2台の車両が前後で接近している場合(例えば、渋滞中、停止中)、図4に示すようにカメラ20で撮影された画像I上では2台の車両が上下に重なるので、抽出される車両領域には2台の車両が含まれることになる。車両台数の検知において、画像から抽出された車両領域に2台の車両が含まれているにもかかわらず、1台の車両としてカウントすると、誤検知となる。そこで、制御装置22では、画像から新たな車両領域を抽出する毎に、車両領域に含まれる車両の台数を正確に判断する処理を行う。なお、車両検知可能領域に新たに進入してくる車両は、図4に示すように画像Iの最上部のエリアから車両領域Aとして抽出される。
画像から新たな車両領域を抽出すると、制御装置22では、その車両領域の上下方向のドット数(画素数)yを検出する(図4参照)。また、制御装置22では、その車両領域に対する撮像角度θを算出する。撮像角度θは、図3(a)に示すように、車両領域Aの上下方向中央部とカメラ20とを結ぶ直線L1と道路面との相対角度である。但し、撮像角度θは、車両領域の上下方向上端部、下端部等の他の位置とカメラ20とを結ぶ直線と道路面との相対角度でもよい。なお、上記したように画像から新たに抽出される車両領域の位置は画像上の最上部なので、撮像角度θを予め設定された固定値としてもよい。
制御装置22では、その車両領域の上下方向のドット数yと撮像角度θを用いて、式(1)により車両領域に含まれる車両の前後方向の長さL’を算出する。式(1)におけるKは、車両領域の上下方向の実際の長さYと車両領域の画像上の上下方向のドット数yとの比(すなわち、ドット間(画素間)の実際の距離)であり、検出対象物とカメラ20との距離が一定であれば定数として設定できる。したがって、式(1)のK×yは、車両領域の上下方向の実際の長さYである。図3(b)に示すように車両領域の上下方向中央部とカメラ20とを結ぶ直線L1を車両領域の車両の前後方向の長さL’の端部を始点とする直線L2として平行移動すると、車両領域の上下方向の実際の長さK×y、撮像角度θと車両領域の車両の前後方向の長さL’との関係は三角関数により式(1)が成立する。
Figure 0005621391
図3(a)に示すように2台の車両が前後で接近している場合には図4に示すように画像上で上下に車両が重なるので、2台の車両が含まれる車両領域は1台の車両だけ含まれる車両領域よりも上下方向の長さK×yが長くなる。車両領域の上下方向の長さK×yが長いと、式(1)で算出される車両領域の車両の長さL’も長くなる。したがって、この車両領域の車両の長さL’が実際の車両長よりも十分に長ければ、車両領域に含まれる車両が2台と判別できる。
そこで、制御装置22では、無線通信機21で受信した無線通信可能領域内の各車両3の車両情報から、画像から新たに抽出された車両領域に含まれる車両の車両長Lを取得する。画像から新たに抽出された車両領域に含まれる車両は車両検知可能領域に入ったばかりの車両であるので、受信した各車両3の位置情報と車両検知可能領域の位置情報により画像から新たに抽出された車両領域に含まれる車両を特定することができる。なお、画像から新たに抽出された車両領域に2台の車両が含まれる場合、その2台のうちの少なくとも1台の車両から車両長Lが得られればよい。
制御装置22では、画像から新たに抽出された車両領域から推定された車両長L’と無線通信機21で受信した車両領域に含まれ車両の真の車両長Lとを比較する。推定された車両長L’が真の車両長Lよりも十分に大きい場合、制御装置22では、画像から新たに抽出された車両領域に2台の車両が含まれている(2台の車両を1台の車両として抽出されている)と判断し、車両台数カウンタのカウント値に2台分加算する。一方、推定された車両長L’が真の車両長Lよりも十分に大きくない場合、制御装置22では、画像から新たに抽出された車両領域に1台の車両が含まれていると判断し、車両台数カウンタのカウント値に1台分加算する。この十分に大きいか否かを判断する閾値は、車両長L’の推定精度に依存して決定される。車両長L’の推定精度は、カメラ20の撮像範囲(画角等)、カメラ20の性能(解像度等)、車両領域のドット数yと撮像角度θを用いた車両長L’の算出方法(三角関数を利用した方法等)等によってきまる。
なお、車両領域に含まれる車両が2台と判断した場合、その2台の車両は前後で接近しており、車間距離が一定間隔以下である。このような車間距離の情報もインフラ情報に含めて、車両3に送信してもよい。
このように、制御装置22では、画像から新たに車両領域が抽出される毎に、車両台数カウンタのカウント値に1又は2を加算する。また、制御装置22では、画像で過去に抽出されていた車両領域が抽出されなくなる毎に(車両検知可能領域から車両が出る毎に)、その抽出されなくなった車両領域に含まれる車両の台数分を車両台数カウンタのカウント値から減算する。そして、制御装置22では、その車両台数カウンタのカウント値を車両検知可能領域内に存在する車両の台数とする。
各車両3について説明する。車両3は、路側インフラ装置2との無線通信が可能であり、路側インフラ装置2からのインフラ情報を利用する車両である。特に、車両3は、路側インフラ装置2からの車両台数を利用して後続車両との車間距離を検知し、その検知した車間距離を運転支援で利用する。そのために、車両3は、車速センサ30、無線通信機31、ECU[Electronic Control Unit]32を備えている。なお、本実施の形態では、ECU32での処理が特許請求の範囲に記載する車間距離検知手段に相当する。
車速センサ30は、車両3の車速を検出するセンサである。車速センサ30では、一定時間毎に、車両3の車速を検出し、その検出した車速をECU32に出力する。
無線通信機31は、路側インフラ装置2との間で無線通信を行うための無線通信機である。車両3が路側インフラ装置2の無線通信可能領域内に進入すると、無線通信機31では、車両3の情報を路側インフラ装置2に送信するとともに、路側インフラ装置2からインフラ情報を受信する。送信する車両3の情報には、少なくとも車両3が保持している車両長(車両3の前後方向の長さの真値)が含まれる。
ECU32は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]等からなる電子制御ユニットである。ECU32では、車速センサ30から一定時間毎に車速を入力する。また、ECU32では、無線通信機31で路側インフラ装置2からのインフラ情報を受信できる場合(車両3が無線通信可能領域内の場合)、一定時間毎にインフラ情報を入力する。そして、ECU32では、その入力した車速とインフラ情報(車両台数と車両検知可能領域の位置情報)を用いて、後続車両との車間距離を検知する。
この後続車両との車間距離の検知処理について詳細に説明する。ECU32では、無線通信機31で受信したインフラ情報の入力が開始すると、路側インフラ装置2との通信が成立していると判断し、インフラ情報に含まれる車両台数の監視を開始する。なお、この時点では、車両3は、無線通信可能領域には進入しているが、車両検知可能領域には進入していない。
そして、ECU32では、車両3の現在位置が更新される毎に、車両3の現在位置とインフラ情報に含まれる車両検知可能領域の位置情報とに基づいて車両3が車両検知可能領域に到達したか否かを判定する。車両3の現在位置は、車両3に搭載されるナビゲーションシステムやGPS受信装置等によって検出される現在位置を利用する。
車両3が車両検知可能領域に到達したと判定すると(車両3が車両検知可能領域内に進入したとき)、ECU32では、監視している車両台数に基づいてそのときの車両台数を保存することにより、車両3が車両検知可能領域内で何台目の車両であるかを把握する。同時に、ECU32では、車両3が車両検知可能領域内に到達時点からの走行距離計測を開始する。走行距離の計測は、一定時間毎に入力される車速を積分することにより計測する。この走行距離は、車両検知可能領域の端部位置から車両3までの距離に相当する。
車両3が車両検知可能領域内に進入後に、ECU32では、監視している車両台数が減少した場合、前方の車両が車両検知可能領域から出たと判断し、保存している車両検知可能領域内で何台目かの情報を更新する(1台分減算する)。
また、車両3が車両検知可能領域内に進入後に、ECU32では、監視している車両台数が増加した場合、車両3の後続車両が車両検知可能領域に到達したと判断し、計測しているそのときの走行距離を後続車両との車間距離として設定する。つまり、車両台数を監視することにより後続車両が車両検知可能領域に到達した時点を検知し、車両3が車両検知可能領域に到達した時点から後続車両が車両検知可能領域に到達して時点までの車両3の走行距離を計測することにより、車両3と後続車両との車間距離を検知している。
なお、ECU32では、監視している車両台数が増加する前に、計測している走行距離が一定距離以上になった場合、後続車両との車間距離の検知を止める。後続車両との車間距離が一定距離以上となった場合、その後続車両との関係で運転支援を行う必要がないので、後続車両との車間距離も必要ない。この一定距離についは、後続車両との関係で行う各種運転支援内容に応じて決められる。
図1〜図4を参照して、車間距離検知システム1の動作について説明する。特に、路側インフラ装置2の制御装置22の処理については図5のフローチャートに沿って説明し、車両3のECU32の処理については図6のフローチャートに沿って説明する。図5は、図1の路側インフラ装置における制御装置での車両台数検知処理の流れを示すフローチャートである。図6は、図1の車両のECUでの車間距離検知処理の流れを示すフローチャートである。
路側インフラ装置2のカメラ20では、一定時間毎に、道路領域における車両検知可能領域を撮影する。また、無線通信機21では、インフラ情報を送信するとともに、無線通信可能領域内に存在する各車両3から車両情報を受信する。
制御装置22では、一定時間毎に、カメラ20で撮影した画像から車両検出処理を行い、新たな車両を検出したか否かを判定する(S10)。S10にて新たな車両を検出しなかったと判定した場合、制御装置22では、次の画像まで待つ。
S10にて新たな画像を検出したと判定した場合、制御装置22では、新たに検出した車両領域の上下方向のドット数yを取得する(S11)。また、制御装置22では、新たに検出した車両領域に対する撮像角度θを算出する(S12)。この撮像角度θは、予め設定される固定値を用いる場合もある。そして、制御装置22では、新たに検出した車両領域のドット数yと撮像角度θから式(1)により車両長L’を推定する(S13)。
また、制御装置22では、無線通信機21で受信した各車両3の情報から新たに検出した車両領域に含まれる車両の車両長L(真値)を取得する(S14)。
そして、制御装置22では、推定車両長L’が受信車両長Lよりも十分に大きいか否かを判定する(S15)。S15にて推定車両長L’が受信車両長Lよりも十分に大きいと判定した場合、制御装置22では、車両台数カウンタを2加算する(S16)。一方、S15にて推定車両長L’が受信車両長Lよりも十分に大きくないと判定した場合、制御装置22では、車両台数カウンタを1加算する(S17)。
制御装置22では、画像から既存の車両領域が抽出されなくなると、その抽出されなくなった車両領域の車両の台数分を車両台数カウンタから減算する。そして、制御装置22では、車両台数カウンタのカウント値を車両検知可能領域内に存在する車両の台数とする。この車両台数がインフラ情報の1つとして、各車両3に送信される。
自車両3の車速センサ30では、一定時間毎に、自車両3の車速を検出する。また、自車両3が路側インフラ装置2の無線通信可能領域内に進入すると、自車両3の無線通信機31では、路側インフラ装置2との路車間通信を開始し、一定時間毎に、自車両3の情報を送信するとともにインフラ情報を受信する。
ECU32では、一定時間毎に、無線通信機31での通信状況に基づいて、路側インフラ装置2との通信が成立しているか否かを判定する(S20)。S20にて路側インフラ装置2との通信が成立していると判定した場合、ECU30では、車両台数の監視を開始する(S21)。この監視では、無線通信機31で一定時間毎に受信するインフラ情報を用いて、インフラ情報に含まれる車両台数を確認する。
ECU30では、自車両3の現在位置情報が更新される毎に、路側インフラ装置2の車両検知可能範囲に自車両3が到達したか否かを判定する(S22)。S22にて車両検知可能範囲に自車両3が到達したと判定したときに、ECU32では、監視している車両台数に基づいて、自車両3が車両検知可能範囲内で何台目の車両かを保存する(S23)。また、ECU32では、一定時間毎の車速センサ30からの車速を用いて、走行距離の計測を開始する(S24)。
自車両3が車両検知可能範囲に進入後、ECU32では、監視している車両台数に基づいて、車両検知可能範囲内の車両台数が減少したか否かを判定する(S25)。S25にて車両検知可能範囲内の車両台数が減少したと判定した場合、ECU32では、自車両3が車両検知可能範囲内で何台目の車両かを更新(1減算)する(S26)。さらに、ECU32では、監視している車両台数に基づいて、車両検知可能範囲内の車両台数が増加したか否かを判定する(S27)。S27にて車両検知可能範囲内の車両台数が増加していないと判定した場合、ECU32では、S25の処理に戻って、次に受信するインフラ情報の車両台数での判定を行う。
S27にて車両検知可能範囲内の車両台数が増加したと判定したときに(自車両3の後続車両が車両検知可能範囲に到達したときに)、ECU32では、計測していた走行距離を後続車両との車間距離とする(S28)。そして、ECU32では、この後続車両との車間距離を運転支援システムに提供する。
この車間距離検知システム1によれば、路側インフラ装置2で検知した車両台数を利用して車間距離を検知することにより、車間距離を直接測定することなく車間距離を検知でき、低コストで後続車両との車間距離を検知することができる。車両個々に後方検知用のレーダセンサやカメラを必要としない。
特に、車間距離検知システム1では、車両台数検知手段としては路側インフラ装置2を用いているので、路車間通信可能な各車両3が路側インフラ装置2を利用して車間距離を検知できるので、車両台数検知手段の共用によるコスト削減を図れる。なお、インフラ協調運転支援システムの路側インフラ装置と車両で車間距離検知システム1を構成した場合、ハードウェアとしては追加コストが必要ないので、コストをより削減できる。このように低コストでシステムを構成できるので、車間距離検知システム1を容易に導入でき、この車間距離検知システム1を普及できる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では路車間通信可能な路側インフラ装置と車両から構成される車間距離検知システムとしたが、他の構成でシステムを構築してもよい。例えば、全ての車両が車車間通信可能な場合、車両間の情報のやりとりで周辺の車両台数を監視できるので、車両だけでシステムを構築できる。
また、本実施の形態では路側インフラ装置での車両台数検知方法の一例を示したが、車両台数を検知する方法についてどのような方法でもよい。本実施の形態ではカメラの撮影画像を用いて車両台数を検知するので、道路上の指定領域がカメラの車両検知可能領域に相当するが、車両台数検知方法が変われば、道路上の指定領域も変わる。
また、本実施の形態では車両の走行距離を車速センサで検知した車速を積分して計測する構成としたが、走行距離の計測する方法についてはどのような方法でもよい。例えば、ナビゲーションシステム等で検出される現在位置の変化から走行距離を計測する方法がある。
また、本実施の形態では路車間通信によって車両から真の車両長を受信する構成としたが、他の方法で車両長を取得してもよい。例えば、画像から車両の車種や車両タイプ等を判別し、その車種や車両タイプから車両長を取得する方法、画像から車両のナンバプレートの自動車登録番号を認識し、その自動車登録番号から車両長を取得する方法がある。
また、本実施の形態では車両台数の検知では路側インフラ装置で画像から車両領域を検出し、その車両領域の車両長を推定し、その推定車両長と車両からの受信車両長を比較して車両領域の車両台数を判断し、車両台数をカウントする構成としたが、路側インフラ装置で撮影した画像を車両に送信して、車両側で全ての処理を行う構成としてもよいし、路側インフラ装置で車両領域の車両長の推定まで行い、その推定車両長を車両に送信して、車両側でその後処理を全て行う構成としてもよいし、あるいは、車両側では車両領域の車両台数の判断まで行い、その判断結果を路側インフラ装置に送信して、路側インフラ装置で車両台数をカウントする構成としてもよい。
また、本実施の形態では後続車両との車間距離を検知する場合に適用したが、先行車両との車間距離を検知する場合にも適用可能である。その検知方法としては、自車両が車両検知可能領域に入ってから車両台数を監視し、自車両が車両検知可能領域内で2台目から1台目になったとき(先行車両が車両検知可能領域を出た時点)から自車両が車両検知可能領域を出た時点までの走行距離を計測し、その計測した走行距離を先行車両との車間距離とする。また、自車両の後続車両との車間距離は後続車両にとっては先行車両との車間距離に相当するので、車車間通信可能な車両同士であれば、自車両から後続車両に検知した車間距離を送信すれば、後続車両では先行車両(自車両)との車間距離を得ることができる。
1…車間距離検知システム、2…路側インフラ装置、3…車両、20…カメラ、21…無線通信機、22…制御装置、30…車速センサ、31…無線通信機、32…ECU。

Claims (10)

  1. 道路上の指定領域内の車両台数を検知する車両台数検知手段と、
    特定車両が前記指定領域に入ってから前記指定領域内の車両台数が増加した時点における前記特定車両の状況に基づいて前記特定車両の後続車両との車間距離を検知又は前記指定領域内の車両台数が減少してから前記特定車両が前記指定領域を出た時点における前記特定車両の状況に基づいて前記特定車両の前方車両との車間距離を検知する車間距離検知手段と、
    を備え、
    前記特定車両の状況は、前記特定車両が前記指定領域に入ってから前記指定領域内の車両台数が増加した時点までの走行距離情報、又は、前記指定領域内の車両台数が減少してから前記特定車両が前記指定領域を出た時点までの走行距離情報である、車間距離検知装置。
  2. 前記車両台数検知手段は、路上に設置される、請求項1に記載の車間距離検知装置。
  3. 前記車両台数検知手段は、前記指定領域内の任意の車両を検出したときに当該車両の長さを推定し、当該推定した車両の長さが閾値以上の場合に複数台同時に増加したと判断し、車両台数をカウントし、
    前記車間距離検知手段は、特定車両が前記指定領域に入ってから、前記車両台数検知手段によってカウントされた前記指定領域内の車両台数が増加した時点における前記特定車両の状況に基づいて前記特定車両の後続車両との車間距離を検知、又は、前記車両台数検知手段によってカウントされた前記指定領域内の車両台数が減少してから前記特定車両が前記指定領域を出た時点における前記特定車両の状況に基づいて前記特定車両の前方車両との車間距離を検知する、請求項1又は2に記載の車間距離検知装置。
  4. 前記車両台数検知手段が、前記指定領域内の車両台数が複数台同時に増加したと判断した場合、前記車間距離検知手段は、当該同時に増加した車両同士の車間距離が一定距離以下であると判定する、請求項3に記載の車間距離検知装置。
  5. 前記車両台数検知手段は、道路上の指定領域を撮影する撮影手段と、前記撮影手段で撮影した画像から車両と判断される領域を抽出する車両領域抽出手段と、前記車両領域抽出手段で抽出した車両領域に存在する車両の長さを推定する車両長推定手段と、前記車両長推定手段とは異なる方法により前記車両領域抽出手段で抽出した車両領域に存在する車両の長さを取得する車両長取得手段と、前記車両長推定手段で推定した車両の長さと前記車両長取得手段で取得した車両の長さに基づいて前記車両領域抽出手段で抽出した車両領域に含まれる車両の台数を推定する車両台数推定手段を備え、
    前記車間距離検知手段は、特定車両が前記車両領域に入ってから、前記車両台数推定手段によって推定された前記車両領域内の車両台数が増加した時点における前記特定車両の状況に基づいて前記特定車両の後続車両との車間距離を検知、又は、前記車両台数推定手段によって推定された前記車両領域内の車両台数が減少してから、前記特定車両が前記車両領域を出た時点における前記特定車両の状況に基づいて前記特定車両の前方車両との車間距離を検知する、請求項3又は4に記載の車間距離検知装置。
  6. 車間距離検知装置が、道路上の指定領域内の車両台数を検知する車両台数検知ステップと、
    特定車両が前記指定領域に入ってから前記指定領域内の車両台数が増加した時点における前記特定車両の状況に基づいて前記特定車両の後続車両との車間距離を前記車間距離検知装置が検知又は前記指定領域内の車両台数が減少してから前記特定車両が前記指定領域を出た時点における前記特定車両の状況に基づいて前記特定車両の前方車両との車間距離を前記車間距離検知装置が検知する車間距離検知ステップと、
    を含み、
    前記特定車両の状況は、前記特定車両が前記指定領域に入ってから前記指定領域内の車両台数が増加した時点までの走行距離情報、又は、前記指定領域内の車両台数が減少してから前記特定車両が前記指定領域を出た時点までの走行距離情報である、車間距離検知方法。
  7. 前記車両台数検知ステップは、路上に設置される前記車間距離検知装置で車両台数を検知する、請求項6に記載の車間距離検知方法。
  8. 前記車両台数検知ステップは、前記指定領域内の任意の車両を前記車間距離検知装置が検出したときに当該車両の長さを前記車間距離検知装置が推定し、当該推定した車両の長さが閾値以上の場合に複数台同時に増加したと前記車間距離検知装置が判断し、車両台数を前記車間距離検知装置がカウントし、
    前記車間距離検知ステップでは、特定車両が前記指定領域に入ってから、前記車両台数検知ステップによってカウントされた前記指定領域内の車両台数が増加した時点における前記特定車両の状況に基づいて前記特定車両の後続車両との車間距離を前記車間距離検知装置が検知、又は、前記車両台数検知ステップによってカウントされた前記指定領域内の車両台数が減少してから前記特定車両が前記指定領域を出た時点における前記特定車両の状況に基づいて前記特定車両の前方車両との車間距離を前記車間距離検知装置が検知する、請求項6又は7に記載の車間距離検知方法。
  9. 前記車両台数検知ステップで、前記指定領域内の車両台数が複数台同時に増加したと前記車間距離検知装置が判断した場合、前記車間距離検知ステップで、当該同時に増加した車両同士の車間距離が一定距離以下であると前記車間距離検知装置が判定する、請求項8に記載の車間距離検知方法。
  10. 前記車両台数検知ステップは、道路上の指定領域を前記車間距離検知装置が撮影する撮影ステップと、前記撮影ステップで撮影した画像から車両と判断される領域を前記車間距離検知装置が抽出する車両領域抽出ステップと、前記車両領域抽出ステップで抽出した車両領域に存在する車両の長さを前記車間距離検知装置が推定する車両長推定ステップと、前記車両長推定ステップとは異なる方法により前記車両領域抽出ステップで抽出した車両領域に存在する車両の長さを前記車間距離検知装置が取得する車両長取得ステップと、前記車両長推定ステップで推定した車両の長さと前記車両長取得ステップで取得した車両の長さに基づいて前記車両領域抽出ステップで抽出した車両領域に含まれる車両の台数を前記車間距離検知装置が推定する車両台数推定ステップを含み、
    前記車間距離検知ステップでは、特定車両が前記車両領域に入ってから、前記車両台数推定ステップによって推定された前記車両領域内の車両台数が増加した時点における前記特定車両の状況に基づいて前記特定車両の後続車両との車間距離を前記車間距離検知装置が検知、又は、前記車両台数推定ステップによって推定された前記車両領域内の車両台数が減少してから前記特定車両が前記車両領域を出た時点における前記特定車両の状況に基づいて前記特定車両の前方車両との車間距離を前記車間距離検知装置が検知する、請求項8又は9に記載の車間距離検知方法。
JP2010175363A 2010-08-04 2010-08-04 車間距離検知装置及び車間距離検知方法 Expired - Fee Related JP5621391B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010175363A JP5621391B2 (ja) 2010-08-04 2010-08-04 車間距離検知装置及び車間距離検知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010175363A JP5621391B2 (ja) 2010-08-04 2010-08-04 車間距離検知装置及び車間距離検知方法

Publications (2)

Publication Number Publication Date
JP2012037965A JP2012037965A (ja) 2012-02-23
JP5621391B2 true JP5621391B2 (ja) 2014-11-12

Family

ID=45849938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010175363A Expired - Fee Related JP5621391B2 (ja) 2010-08-04 2010-08-04 車間距離検知装置及び車間距離検知方法

Country Status (1)

Country Link
JP (1) JP5621391B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2566098B (en) * 2017-09-05 2020-10-07 Jaguar Land Rover Ltd Apparatus and method for determining following vehicle information
JP7334541B2 (ja) * 2019-08-29 2023-08-29 沖電気工業株式会社 路面情報計測装置、路面情報計測方法およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1027297A (ja) * 1996-07-08 1998-01-27 Toshiba Corp 車両運動制御システム
JP3771729B2 (ja) * 1998-11-04 2006-04-26 三菱重工業株式会社 交通流計測システム
JP2000163691A (ja) * 1998-11-30 2000-06-16 Oki Electric Ind Co Ltd 交通流計測装置
JP2000358265A (ja) * 1999-06-15 2000-12-26 Toshiba Corp 路車間通信システム
JP4858761B2 (ja) * 2006-05-17 2012-01-18 住友電気工業株式会社 衝突危険性判定システム及び警告システム
JP5105400B2 (ja) * 2006-08-24 2012-12-26 コイト電工株式会社 交通量計測方法および交通量計測装置

Also Published As

Publication number Publication date
JP2012037965A (ja) 2012-02-23

Similar Documents

Publication Publication Date Title
US10089867B2 (en) Anomalous travel location detection device and anomalous travel location detection method
US10520949B2 (en) Method and device for localizing a vehicle in its surroundings
CN110036429B (zh) 驾驶支援系统及驾驶支援装置
JP2014081831A (ja) 画像情報を用いた車両用運転支援システム
KR101751112B1 (ko) 영상정보기반 교통정보 생성 장치 및 그 방법
CN110942038A (zh) 基于视觉的交通场景识别方法、装置、介质及电子设备
WO2018109865A1 (ja) 路側機および路車間通信システム
WO2015098510A1 (ja) 車両制御装置、車両制御装置を搭載した車両、及び、移動体検出方法
CN113841188A (zh) 交通流估计装置、交通流估计方法、交通流估计程序及存储了交通流估计程序的存储介质
KR20220039537A (ko) Adas 데이터를 이용한 교통 밀도를 추정하는 방법
US10339395B2 (en) Display device, vehicle controller, transmitter, and travelling assistance system
US11741839B2 (en) Traffic safety assistance device, mobile information terminal, and program
JP5097681B2 (ja) 地物位置認識装置
KR20150055278A (ko) 차량용 레이더를 이용한 실시간 교통정보 측정 시스템 및 방법
JP5621391B2 (ja) 車間距離検知装置及び車間距離検知方法
KR101568683B1 (ko) 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치
CN113257036A (zh) 一种车辆碰撞预警方法、装置、设备和存储介质
KR101836246B1 (ko) 현재 차선 추정 방법
JP2012037964A (ja) 車両情報取得装置及び車両情報取得方法
JP2007304841A (ja) 交通監視装置
JP2014157489A (ja) 隊列走行制御装置
WO2019139084A1 (ja) 通知装置及び車載機
KR101266623B1 (ko) 차량간 거리 추정방법 및 그 장치
JP4899493B2 (ja) 車両用情報提供装置及び車線維持制御装置
KR101671191B1 (ko) 차간 거리 측정 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140624

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140908

LAPS Cancellation because of no payment of annual fees