JP5620147B2 - 可動物予測装置及びプログラム - Google Patents

可動物予測装置及びプログラム Download PDF

Info

Publication number
JP5620147B2
JP5620147B2 JP2010118335A JP2010118335A JP5620147B2 JP 5620147 B2 JP5620147 B2 JP 5620147B2 JP 2010118335 A JP2010118335 A JP 2010118335A JP 2010118335 A JP2010118335 A JP 2010118335A JP 5620147 B2 JP5620147 B2 JP 5620147B2
Authority
JP
Japan
Prior art keywords
movable object
movable
behavior
prediction
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010118335A
Other languages
English (en)
Other versions
JP2011248445A (ja
Inventor
吉紘 大濱
吉紘 大濱
哲郎 倉橋
哲郎 倉橋
清水 司
司 清水
藤枝延維
延維 藤枝
真一 永田
真一 永田
政行 清水
政行 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2010118335A priority Critical patent/JP5620147B2/ja
Publication of JP2011248445A publication Critical patent/JP2011248445A/ja
Application granted granted Critical
Publication of JP5620147B2 publication Critical patent/JP5620147B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Description

本発明は、可動物予測装置及びプログラムに係り、特に、可動物の将来の位置及び移動状態を予測する可動物予測装置及びプログラムに関する。
従来より、自車走行状態と移動障害物の関係から、緊急回避すべき状態かどうかを判定し、周囲道路構造も含めた状態評価関数(例えば、リスクのポテンシャル)に対する最適制御軌道を算出して、車両制御を行う車両用支援制御装置が知られている(特許文献1)。
また、上位計画(旅行時間・滑らかさ等)を満たす下位計画(走行軌跡・速度プロファイル)と、自車が安全に停止することを前提とした下位計画の2つを最適軌道として生成し、前者が安全基準を満たさなくなった場合には後者を選択する走行計画生成装置が知られている(特許文献2)。
また、可動物間の衝突確率を考慮して、走行環境の死角や可動物に起因する危険要因を推定しながら、危険度を判定して運転支援を行なう運転支援装置が知られている(特許文献3)。
特開2007−253770号公報 特開2009−51356号公報 特開2009−217692号公報
しかしながら、上記の特許文献1、2に記載の技術は、主に一対一の衝突回避を想定した物であり、多数の他者間の衝突可能性を考慮した将来位置予測では、想定すべき挙動の組み合わせが多く、各物体の衝突計算の繰り返しで実現する従来手法では、甚大な計算量に増加してしまう、という問題がある。
また、上記の特許文献3に記載の技術では、全ての可動物について同一の方法により将来分布を予測するため、精緻なアルゴリズムを用いると計算量が増大し、一方、簡易なアルゴリズムを用いると精緻さが欠乏してしまう、という問題がある。
本発明は、上記の問題点を解決するためになされたもので、適切な精度で、可動物の将来の位置及び移動状態を予測することができると共に、計算量の増大を抑制することができる可動物予測装置及びプログラムを提供することを目的とする。
上記の目的を達成するために本発明に係る可動物予測装置は、検出対象範囲から、可動物の種類、位置、及び移動状態を検出する可動物検出手段と、前記可動物検出手段によって検出された可動物の各々について、前記可動物の種類及び位置に基づいて、前記可動物の行動が変化する度合いを示す行動変化度を算出する算出手段と、前記可動物の各々について、前記算出された行動変化度が所定値未満である場合、前記可動物の種類、位置、及び移動状態に基づいて、前記可動物の将来の位置及び移動状態を予測し、前記算出された行動変化度が所定値以上である場合、前記可動物の種類、位置、及び移動状態に基づいて、前記可動物の一部を表わす複数の可動物粒子の各々について将来の位置及び移動状態を予測することにより、前記可動物の将来の位置及び移動状態を予測する予測手段と、を含んで構成されている。
また、本発明に係るプログラムは、コンピュータを、検出対象範囲から、可動物の種類、位置、及び移動状態を検出する可動物検出手段によって検出された可動物の各々について、前記可動物の種類及び位置に基づいて、前記可動物の行動が変化する度合いを示す行動変化度を算出する算出手段、及び前記可動物の各々について、前記算出された行動変化度が所定値未満である場合、前記可動物の種類、位置、及び移動状態に基づいて、前記可動物の将来の位置及び移動状態を予測し、前記算出された行動変化度が所定値以上である場合、前記可動物の種類、位置、及び移動状態に基づいて、前記可動物の一部を表わす複数の可動物粒子の各々について将来の位置及び移動状態を予測することにより、前記可動物の将来の位置及び移動状態を予測する予測手段として機能させるためのプログラムである。
本発明によれば、可動物検出手段によって、検出対象範囲から、可動物の種類、位置、及び移動状態を検出する。算出手段によって、可動物検出手段によって検出された可動物の各々について、可動物の種類及び位置に基づいて、可動物の行動が変化する度合いを示す行動変化度を算出する。
そして、予測手段によって、可動物の各々について、算出された行動変化度が所定値未満である場合、可動物の種類、位置、及び移動状態に基づいて、可動物の将来の位置及び移動状態を予測し、算出された行動変化度が所定値以上である場合、可動物の種類、位置、及び移動状態に基づいて、可動物を表わす複数の可動物粒子の各々について将来の位置及び移動状態を予測することにより、可動物の将来の位置及び移動状態を予測する。
このように、可動物の行動変化度に応じて、可動物単位で予測するか、可動物粒子の各々について予測するかを切り替えることにより、適切な精度で、可動物の将来の位置及び移動状態を予測することができると共に、計算量の増大を抑制することができる。
本発明の算出手段は、可動物の位置が、可動物の種類が移動する領域でない場合、可動物の位置が可動物の種類が移動する領域である場合に比べて高い行動変化度を算出するようにすることができる。
本発明の可動物検出手段は、可動物の種類、位置、及び移動状態を検出すると共に、可動物の動作状態を検出し、算出手段は、可動物の動作状態が、可動物の行動が変化することを表わす場合、可動物の動作状態が可動物の行動が変化することを表わさない場合に比べて高い行動変化度を算出するようにすることができる。
本発明の予測手段は、算出された行動変化度が所定値未満である場合、可動物単位で、正規分布で表された可動物の位置及び移動状態を予測するようにすることができる。これによって、行動変化度が小さい場合には、簡易に可動物の将来の位置を予測することができる。
本発明の予測手段は、可動物の各々について、前回予測された可動物の位置及び移動状態に基づいて、可動物の位置及び移動状態を繰り返し予測し、算出手段は、可動物の各々について、予測された可動物の種類及び位置に基づいて、行動変化度を繰り返し算出するようにすることができる。これによって、先の時刻まで、適切な精度で、可動物の将来の位置及び移動状態を予測することができると共に、計算量の増大を抑制することができる。
上記の繰り返し算出する算出手段は、可動物の各々について、前回までに算出された行動変化度を用いて、行動変化度を算出するようにすることができる。
上記の繰り返し予測する予測手段は、可動物の各々について、算出された行動変化度の時系列データに基づく値が所定値未満である場合、可動物の将来の位置及び移動状態を予測し、算出された行動変化度の時系列データに基づく値が所定値以上である場合、可動物粒子の各々について将来の位置及び移動状態を予測することにより、可動物の将来の位置及び移動状態を予測するようにすることができる。
上記の繰り返し予測する発明に係る可動物予測装置は、算出手段によって所定の予測時間分だけ繰り返して行動変化度を算出した後、可動物の各々について算出された行動変化度の時系列データに応じて、支援対象である可動物の行動支援を行なうように制御する行動支援制御手段を更に含むようにすることができる。
本発明の可動物予測装置は、可動物の各々について算出された行動変化度に応じて、支援対象である可動物の行動支援を行なうように制御する行動支援制御手段を更に含むことができる。
上記の繰り返し予測する発明の行動支援制御手段は、可動物の各々について算出された行動変化度が、第1閾値以下である場合、行動支援を行わないようにし、少なくとも1つの可動物について算出された行動変化度が、第1閾値より大きい第2閾値以上である場合、予測手段による予測及び算出手段による算出の繰り返しを停止させて、行動支援を行なうように制御することができる。これによって、不要な行動支援が行なわれることを防止すると共に、緊急な行動支援が必要なときにはすぐに行動支援を行うことができる。
上記の発明に係る可動物予測装置は、可動物検出手段によって検出された可動物の各々について、可動物の種類、位置、及び移動状態を含む可動物粒子を複数生成すると共に、検出対象範囲を分割した複数のブロックで表され、かつブロックに静止物の存在が記録された地図情報において、可動物検出手段によって検出された可動物の位置に対応するブロックに、生成された可動物粒子を格納するデータ生成手段を更に含み、予測手段は、可動物の将来の位置及び移動状態を予測すると共に、予測結果に応じて、可動物の各可動物粒子が格納されるブロックを移動させるようにすることができる。
上記のデータ生成手段は、可動物検出手段によって検出された可動物の可動物粒子を生成してブロックに格納すると共に、地図情報において、静止物の存在が記録されたブロックと、支援対象の可動物の位置とに基づいて、支援対象の可動物から見たときの静止物によって形成された死角領域を特定し、特定された死角領域内に存在すると想定される可動物の可動物粒子を生成し、特定された死角領域内のブロックに、生成された可動物粒子を格納するようにすることができる。これによって、死角領域内に存在すると想定される可動物の将来の位置及び移動状態も予測することができる。
また、上記のデータ生成手段は、可動物検出手段によって検出された可動物の可動物粒子を生成してブロックに格納すると共に、地図情報において、静止物の存在が記録されたブロックと、支援対象の可動物の位置とに基づいて、支援対象の可動物から見たときの静止物によって形成された死角領域を特定し、検出対象範囲の可動物の移動環境を検出する環境検出手段によって検出された移動環境のうちの特定された死角領域の周辺の移動環境、又は特定された死角領域の位置に基づいて、特定された死角領域内に存在すると想定される可動物の種類を推定して、推定された可動物の種類を含む可動物粒子を生成し、特定された死角領域内のブロックに、生成された可動物粒子を格納するようにすることができる。これによって、死角領域内に存在すると想定される可動物の種類を考慮して、死角領域内に存在すると想定される可動物の将来の位置及び移動状態を予測することができる。
上記の発明に係る可動物予測装置は、支援対象の可動物から見て、検出対象範囲に存在する物体の位置を検出する物体位置検出手段と、支援対象の可動物の運動を推定する運動推定手段と、前回更新された地図情報を、運動推定手段によって推定された現在の支援対象の可動物の運動に基づいて、現在の支援対象の可動物から見た地図情報に繰り返し更新する地図更新手段と、地図更新手段によって地図情報が更新される毎に、更新された地図情報に、物体位置検出手段によって検出された現在の物体の位置に対応するブロックに、静止物の存在を記録すると共に、支援対象の可動物から検出された現在の物体の位置までの間に対応する各ブロックにおける静止物の存在の記録を減少させる静止物記録手段と、を更に含むようにすることができる。
以上説明したように、本発明の可動物予測装置及びプログラムによれば、可動物の行動変化度に応じて、可動物単位で予測するか、可動物粒子の各々について予測するかを切り替えることにより、適切な精度で、可動物の将来の位置及び移動状態を予測することができると共に、計算量の増大を抑制することができる、という効果が得られる。
本発明の第1の実施の形態に係る運転支援制御装置を示すブロック図である。 (A)走行環境の例を示すイメージ図、(B)初期状態における局所地図情報を示すイメージ図、及び(C)レーザレーダによる検出結果が記録された局所地図情報を示すイメージ図である。 IF−THENルールの例を示す図である。 可動物の属性を持つ上記矩形表現に内接する楕円を持つ二次元正規分布を説明するための図である。 可動物を表わす複数の可動物粒子を生成して、局所地図情報に記録した様子を示す図である。 可動物が存在する領域を示す楕円を表わす図である。 属性が歩行者である可動物が存在している様子を示す図である。 属性が車両である可動物が存在している様子を示す図である。 線形予測を説明するための図である。 パーティクルフィルタによる予測を説明するための図である。 行動変化度の算出、及び将来分布の予測を繰り返し行った様子を示す図である。 (A)歩行者の属性を持つ可動物が、車道上に位置する場合の将来分布を示す図、(B)歩行者の属性を持つ可動物が、歩道上に位置する場合の将来分布を示す図、及び(C)歩行者の属性を持つ可動物が、歩道上の車道際に位置する場合の将来分布を示す図である。 (A)歩行者の属性を持つ可動物の進路上に障害物が存在する場合の将来分布を示す図、(B)歩行者の属性を持つ可動物が、他の歩行者と対向している場合の将来分布を示す図、及び(C)歩行者の属性を持つ可動物が、横断歩道上の駐車車両の死角領域内に位置している場合の将来分布を示す図である 本発明の第1の実施の形態に係る運転支援制御装置における局所地図生成処理ルーチンの内容を示すフローチャートである。 本発明の第1の実施の形態に係る運転支援制御装置における運転支援処理ルーチンの内容を示すフローチャートである。 本発明の第2の実施の形態に係る運転支援制御装置を示すブロック図である。 本発明の第2の実施の形態に係る運転支援制御装置における運転支援処理ルーチンの内容を示すフローチャートである。 本発明の第3の実施の形態に係る運転支援制御装置における、可動物粒子単位で将来分布を予測する方法を説明するための図である。 本発明の第3の実施の形態に係る運転支援制御装置における、可動物粒子単位で将来分布を予測する方法を説明するための図である。 行動変化度と予測方法との対応関係を示す図である。 歩行者について各時刻で予測される将来分布と行動変化度とを示す図である。 歩行者について各時刻で予測される将来分布と行動変化度の積算値とを示す図である。 歩行者について各時刻で予測される将来分布と行動変化度の差分とを示す図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載された運転支援制御装置に、本発明を適用した場合を例に説明する。
図1に示すように、第1の実施の形態に係る運転支援制御装置10は、検出対象範囲である自車両の前方に対してレーザを1次元(水平方向)に走査しながら照射し、レーザの反射によりレーザが照射された物体の2次元位置を検出するレーザレーダ12と、自車両の運動状態を検出する運動センサ14と、自車両の前方を撮影するカメラ18と、支援対象である自車両の位置を検出するGPS装置20と、これらの検出結果に基づいて、現在の自車両から見た前方の静止物の存在を記録した局所地図情報を生成すると共に、可動物の将来の位置及び移動状態を予測し、予測結果に応じて、運転支援システム24によって運転支援を行なうように制御するコンピュータ22とを備えている。
ここで、可動物とは、移動状態・静止状態に関わらず、自ら移動する能力を持つ物体であり、移動物とは、自ら移動する能力を持つか否かに関わらず、移動状態である物体である。
レーザレーダ12は、車両前方に設置され、装置を基準とする車両前方に存在する物体までの距離を検出する装置であり、出力するレーザを水平方向に走査することで、レーザの反射により自車両前方に存在する複数の物体表面上の複数の点の位置を検出することができる。レーザレーダ12による検出結果は、自車両前方に存在する物体表面のある点の位置を表す2次元座標の集合である。レーザレーダ12による検出処理は一定サイクルで実行され、レーザレーダ12は、各時点での自車両前方に存在する物体表面の複数の点の2次元位置を示すデータをコンピュータ22に出力する。なお、レーザレーダ12は、物体位置検出手段の一例である。
運動センサ14は、自車両の速度を計測する車速センサ、ヨーレートを計測するジャイロセンサ、又は自車両の加速度を計測する加速度センサで構成されている。
カメラ18は、小型のCCDカメラ又はCMOSカメラで構成され、車両の前方を撮影するように車両のフロントウィンドウ上部等に取り付けられている。カメラ18で撮影された前方の道路状況等の画像データは、コンピュータ22に入力される。
コンピュータ22は、CPU、後述する局所地図生成処理ルーチン及び運転支援処理ルーチンの各々を実行するためのプログラムを記憶したROM、データ等を記憶するRAM、及びこれらを接続するバスを含んで構成されている。このコンピュータ22をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図1に示すように、レーザレーダ12により検出された物体の2次元位置を取得する物体位置取得部30と、運動センサ14により検出された車速、ヨーレート、又は加速度に基づいて、自車両の運動を推定する自車運動推定部32と、自車両の運動に基づいて、一時刻前までの局所地図情報を現在の自車両から見た座標系の局所地図情報に更新する局所地図更新部34と、検出された現在の物体の2次元位置に基づいて、更新された局所地図情報における静止物の存在確率を変更する存在確率変更部36と、を備えている。なお、存在確率変更部36は、静止物記録手段の一例である。
自車運動推定部32は、局所地図情報が前回更新されてから現在までの間における、運動センサ14により検出された車速、ヨーレート、又は加速度に基づいて、局所地図情報が前回更新されてから現在までの自車両の運動を推定する。
局所地図更新部34は、一時刻前までに更新された局所地図情報を、推定された自車両の運動に従って、現在の自車から見た座標系へと変換することで、現在の自車両から見た前方領域を表わす局所地図情報を生成する。また、局所地図更新部34は、局所地図情報の更新を繰り返し行う。局所地図情報は、図2(B)に示すように、自車両前方の一定領域内を、一定の大きさの格子(ブロック)によって分割した複数のブロックで表される地図である。各ブロックにはその位置に静止物が存在する確率が記録され、初期状態では、図2(B)に示すように、存在確率として初期値である0.5(中間値)が記録されている。
存在確率変更部36は、局所地図更新部34により局所地図情報が更新される毎に、物体位置取得部30によって取得された現在の物体の2次元位置それぞれに基づいて、更新された局所地図情報において、その物体の2次元位置に対応するブロックの存在確率を増加させ、自車両からその物体の2次元位置までの直線上に存在する各ブロックの存在確率を減少させる。このように存在確率を変更することにより、一定期間以上、対応する位置で物体が検出されたブロックの存在確率は高くなり、物体が一時的にしか検出されないブロックの存在確率は低くなる。図2(A)に示すような走行環境である場合、図2(C)に示すように、例えば、静止物が確実に存在する位置のブロックには存在確率として1(最大値)が記録され、静止物が存在しない位置のブロックには存在確率として0(最小値)が記録される。また、他の物体によって隠されているなどの原因によって、その位置の情報が得られていないブロック(死角領域のブロック)には、存在確率として初期値である0.5(中間値)が記録される。
この結果、多くの移動物が存在する走行環境においても、比較的長時間同じ位置に観測される路側物などの静止物のみを安定して検出可能である。また、現在までレーザレーダ12により観測できていない部分(不可視領域)も、存在確率が初期値(0.5)のままのブロックとして検出可能である。また、レーザレーダ12の計測点がほとんど得られない、自車両の位置から見て静止物が存在する領域より遠方側の領域は、初期値から変化しないので、死角領域とみなすことができる。
また、コンピュータ22は、電子地図を記憶した地図データベース38と、カメラ18によって撮影された前方画像及びGPS装置20によって検出された自車両の位置に基づいて、自車両周辺の可動物及び走行環境の状況を検出する環境検出部40と、局所地図情報に基づいて、死角領域を特定し、死角領域内に潜在する可動物を表わす情報を生成する潜在物標生成部41と、局所地図情報上に、局所地図情報から得られる物体、環境検出部40によって検出された物体、及び潜在物標生成部41によって生成された可動物の各々を表わす矩形表現を生成して記録する物標表現生成部42と、矩形表現が記録された局所地図情報を記憶する物標表現データベース43と、局所地図情報に記録された矩形表現のうち、可動物について、後述する行動変化度を算出する行動変化度算出部44と、算出された行動変化度に基づいて、各可動物に対する予測方法を選択する予測方法選択部46と、各可動物について、選択された予測方法により、将来の位置及び移動状態を予測して、局所地図情報に記録された矩形表現を更新する将来分布予測部48と、各可動物について算出された行動変化度に応じて、各可動物との衝突を回避するように、運転支援システム24による運転支援を行なうように制御する運転支援制御部50とを備えている。行動変化度算出部44、予測方法選択部46、及び将来分布予測部48による一連の処理は、繰り返し実行される。なお、環境検出部40は、可動物検出手段及び環境検出手段の一例である。潜在物標生成部41及び物標表現生成部42は、データ生成手段の一例である。
地図データベース38に記憶されている電子地図には、道路形状や標識表示、建造物に関する情報が格納されている。
環境検出部40は、GPS装置20によって検出された自車位置に基づいて、地図データベース38の電子地図から、自車両周辺の道路形状や標識表示、建造物に関する情報を検出する。また、環境検出部40は、カメラ18によって撮影された前方画像から、学習型のパターン認識技術(例えば、SVM)によって、前方に存在する可動物及び可動物の種類(例えば、歩行者、二輪車、自動車等)を検出すると共に、可動物の動作状態(歩行者の顔向きや、車両のウィンカー灯やブレーキ灯の点灯状態)を検出する。
潜在物標生成部41は、局所地図情報において、自車位置と静止物の位置とに基づいて、自車から見た静止物によって形成される死角領域を特定し、特定された死角領域内に、環境検出部40の検出結果と、図3に示すような予め定められたIF−THENルールに基づいて、自動車、二輪車、歩行者などの可動物の種類を示すラベルや、向き・速度などの移動状態、存在する領域を示す情報を含む、死角領域内に潜在する可動物を表わす情報を生成する。例えば、道路形状が、片側1車線道路であり、死角領域が、駐車車両により形成されるものであり、かつ、死角領域に、横断歩道が含まれる場合には、歩行者のラベルが割り当てられた可動物を表わす情報が生成される。
物標表現生成部42は、局所地図情報から検出される物体、環境検出部40によって検出された物体、及び死角領域に潜在する可動物の全てに対して、認識結果(レーザレーダ12の計測点や、環境検出部40による検出結果、潜在する可動物が存在する領域)が内接する矩形によって物体形状を表現(矩形中心位置、矩形幅・高さ、回転角)した矩形表現を生成して、自車両を原点とする局所地図情報に記録する。各矩形表現は、平面上での移動状態(速度、加速度)と属性(障害物、横断歩道、白線、自動車、二輪車、自転車、歩行者などの種別)を有し、さらに物体ID番号が割り振られて管理される。また、死角領域も適切な属性を持つ物体として取り扱う。
また、物標表現生成部42は、図4に示すように、可動物の属性を持つ上記矩形表現に内接する1σ信頼楕円を持つ二次元正規分布の期待値と共分散行列を算出し、その二次元正規分布に従って、図5に示すように、あらかじめ定めた個数の可動物粒子を生成して、局所地図情報に記録する。局所地図情報に記憶された矩形表現は、上記のように求められた、二次元正規分布の期待値と共分散行列と、速度の期待値と共分散行列と、各可動物粒子に対する位置及び速度とを、更に保持している。各可動物粒子は、上記矩形表現が持つ変数を保持し、さらに粒子ID番号で管理される。また、同じ可動物の可動物粒子の各々は、同じ物体ID番号を保持する。
また、物標表現生成部42は、静止物の属性を持つ上記矩形表現に対しては、局所地図情報に合わせて格子状に分割し、各格子に、物体の属性や高さなど、可動物が影響を受ける可能性のある多数の変数で構成される情報を格納する。
また、物標表現生成部42は、局所地図情報上において、横断歩道や歩道の領域に対応するブロックに、横断歩道や歩道であることを格納する。
なお、物標表現生成部42は、連続する局所地図情報の時間差分をとることによって、移動物と静止物とを識別し、局所地図情報上において移動物が存在する領域を特定する。また、物標表現生成部42は、特定された移動物が存在する領域と、環境検出部40で可動物の種類が検出された領域とを統合することによって、可動物を表わす上記矩形表現に属性を与えている。
物標表現データベース43には、矩形表現及び可動物粒子が記録された局所地図情報が記憶される。
行動変化度算出部44は、物標表現データベース43の局所地図情報から、全ての可動物を表わす矩形表現を取得し、図6に示すように、各可動物について、可動物が存在する領域(例えば、矩形表現に内接する1σ信頼楕円)について、可動物の属性にとって進入してはならない領域に進入している程度を加算及び正規化して、各可動物の行動が変化する度合いである行動変化度を算出する。例えば、図7に示すように、可動物の属性が歩行者である場合、可動物が存在する領域における、非歩道領域の面積の比率*10を、行動変化度として算出する。また、環境検出部40の検出結果より求められる顔向きの分散と、死角領域に存在する面積との和を、行動変化度として算出してもよい。
また、図8に示すように、可動物の属性が車両である場合、可動物が存在する領域における、非車道領域の面積の比率*10を、行動変化度として算出する。また、環境検出部40の検出結果より求められる、ブレーキ灯の点灯数と方向指示器の点灯数との和を、行動変化度として算出してもよく、回避行動を生起させる他者との衝突頻度を、行動変化度として算出してもよい。
予測方法選択部46は、各可動物について、算出された行動変化度に基づいて、将来分布予測方法のアルゴリズムである、線形予測(カルマンフィルタによる予測)及びランダムサンプリング(パーティクルフィルタによる予測)の何れかを選択する。行動変化度が閾値未満である場合、線形予測を選択し、行動変化度が閾値以上である場合、ランダムサンプリングを選択する。線形予測は、図9に示すように、将来の位置として、2次元正規分布を算出する方法であり、可動物単位での予測であり計算量が少ないが、精緻さに欠ける。一方、パーティクルフィルタによる予測は、図10に示すように、可動物粒子単位で、将来の位置を予測する方法であり、計算量が多いが、精緻さに優れている。
将来分布予測部48は、各可動物について、選択された将来分布予測方法を用いて、可動物データに含まれる情報に基づいて、あらかじめ定義した1ステップ分だけ先の時刻の将来予測を行う。例えば、線形予測の場合には、可動物を表わす矩形表現の情報から二次元正規分布を生成し、属性に応じたダイナミクスモデルを利用して1ステップ予測を行って、二次元正規分布を予測し、再度適切な表現に変換して、局所地図情報における可動物を表わす矩形情報の記録を更新する。
また、ランダムサンプリングの場合には、可動物を表わす複数の可動物粒子の各々について、割り当てられた移動状態が、ランダムデータに基づいて変更され、変更された移動状態に応じて、各可動物粒子が遷移する。そして、遷移制約を受ける領域の可動物粒子を中心に、可動物粒子を消滅させ、消滅させた分だけ、可動物粒子を複製して、消滅していない他の可動物粒子の位置に重複するように配置し、又は、消滅していない他の可動物粒子の位置の周辺の位置に配置する。これによって、遷移制約を受けない領域を中心に、可動物粒子が新たに生成される。また、全粒子数が一定になるように、上記の消滅及び複製が行われる。このように、局所地図情報における可動物を表わす可動物粒子の記録を更新すると共に、可動物粒子の位置及び移動状態に基づいて、可動物を表わす矩形表現の位置及び移動状態を更新する。
行動変化度算出部44、予測方法選択部46、及び将来分布予測部48による一連の処理は、予め設定された予測時間分だけ繰り返し実行され、例えば、行動変化度算出部44は、各時刻で、行動変化度が算出され、図11に示すように、歩行者の属性を持つ可動物が、死角に一旦隠れるような場合には、死角に隠れている時に、高い行動変化度ψ1=6が算出される。これに対応して、予測方法選択部46は、予測ステップ中で、死角に隠れている時に、精緻な予測を行うように、パーティクルフィルタによる予測を選択する。
また、図12(A)に示すように、歩行者の属性を持つ可動物が、車道上に位置している場合には、車道上に位置している時と、横断歩道に踏込んだ時に、高い行動変化度ψ0、ψ1が算出され、横断歩道上に位置している時と、歩道上に位置している時に、低い行動変化度ψ2、ψ3が算出される。これに対応して、予測方法選択部46は、予測ステップ中で、車道上に位置している時と、横断歩道に踏込んだ時に、精緻な予測を行うように、パーティクルフィルタによる予測を選択し、横断歩道上に位置している時と、歩道上に位置している時に、線形予測を選択する。
図12(B)に示すように、歩行者の属性を持つ可動物が、歩道上に位置している場合には、低い行動変化度ψ0〜ψ3が算出され、これに対応して、予測方法選択部46は、線形予測を選択する。
図12(C)に示すように、歩行者の属性を持つ可動物が、歩道上の車道際に位置している場合には、歩道上に位置している時に、低い行動変化度ψ0、ψ1が算出され、車道に踏込んだ時と、車道上に位置している時に、高い行動変化度ψ2、ψ3が算出される。これに対応して、予測方法選択部46は、予測ステップ中で、歩道上に位置している時に、線形予測を選択し、車道に踏込んだ時と、車道上に位置している時に、パーティクルフィルタによる予測を選択する。
また、図13(A)に示すように、歩行者の属性を持つ可動物の進路上に障害物が存在する場合には、歩道上に位置している時に、低い行動変化度ψ0、ψ1が算出され、障害物に衝突している時と、車道に踏込んだ時に、高い行動変化度ψ2、ψ3が算出される。これに対応して、予測方法選択部46は、予測ステップ中で、歩道上に位置している時に、線形予測を選択し、障害物に衝突している時と、車道に踏込んだ時に、パーティクルフィルタによる予測を選択する。
図13(B)に示すように、歩行者の属性を持つ可動物が、他の歩行者と対向している場合には、歩道上に位置している時に、低い行動変化度ψ0、ψ1が算出され、歩行者同士が衝突している時と、車道に踏込んだ時に、高い行動変化度ψ2、ψ3が算出される。これに対応して、予測方法選択部46は、予測ステップ中で、歩道上に位置している時に、線形予測を選択し、歩行者同士が衝突している時と、車道に踏込んだ時に、パーティクルフィルタによる予測を選択する。
図13(C)に示すように、歩行者の属性を持つ可動物が、横断歩道上の駐車車両の死角領域内に位置している場合には、死角領域内に位置している時と、車道に踏込んだ時に、高い行動変化度ψ0、ψ2が算出され、横断歩道上又は歩道上に位置している時に、低い行動変化度ψ1、ψ3が算出される。これに対応して、予測方法選択部46は、予測ステップ中で、横断歩道上又は歩道上に位置している時に、線形予測を選択し、死角領域内に位置している時と、車道に踏込んだ時に、パーティクルフィルタによる予測を選択する。
また、将来分布予測部48は、次の時刻で算出された行動変化度を可能な限り小さくするように、前回の将来分布の予測結果を修正しても良い。例えば、線形予測の場合には、将来分布の予測結果は、二次元正規分布の期待値と共分散であり、5次元変数θ=[μx、μy、σxx、σxy、σyy]で表現できる。行動変化度を最小化するθは無数にあるが、コスト関数C=行動変化度+λ(θ−θ0T(θ−θ0)を最小化する解は唯一に定まる(ただし、θ0は更新前のθ)。これを、適当に離散化したθの空間で総当たり計算する。また別の例としては、パーティクルフィルタによる予測(ランダムサンプリング)の場合には、可動物粒子に対して行動変化度を割り当て、行動変化度で重みづけたリサンプリングを行えば良い。
運転支援制御部50は、算出された行動変化度の時系列データに応じて、行うべき運転支援を選択する。急制動が必要な2秒以内に、少なくとも1つの可動物の行動変化度が、第2閾値(例えば10)以上となるような場合には、被害を最小にするために、運転者からの制御を遮断して、機械的に最適な減速制御を行うように運転支援システム24を制御する。また、ある可動物について、行動変化度の時系列データの総和が閾値γを超える場合には、運転者に対して音声や映像によって、該当する可動物に対する注意喚起を行うように、運転支援システム24を制御する。
次に、本実施の形態に係る運転支援制御装置10の作用について説明する。
まず、レーザレーダ12によって、レーザが自車両の前方を水平方向に走査されて、走査方向に並んだレーザ照射位置としての物体の2次元位置の各々までの距離が計測され、自車両の前方に存在する物体の2次元位置が検出される。レーザレーダ12によって検出される2次元位置は、レーザを走査する毎に得られる。
そして、コンピュータ22によって、図14に示す局所地図生成処理ルーチンが実行される。
まず、ステップ100において、レーザレーダ12から、前方に存在する物体の2次元位置(走査方向に並んだ各2次元位置までの計測距離)を示すデータを取得し、ステップ102において、一時刻前から現在までの間における、運動センサ14により検出された車速、ヨーレート、又は加速度を取得し、取得した車速、ヨーレート、又は加速度に基づいて、一時刻前から現在までの自車両の運動を推定する。
そして、ステップ104において、後述するステップ106で前回更新された局所地図情報を、上記ステップ102で推定された自車両の運動に応じて、現在の自車両から見た座標系で表わされる局所地図情報に更新する。
次のステップ106では、上記ステップ100で取得した自車両前方に存在する物体の2次元位置に基づいて、上記ステップ104で更新された局所地図情報において、自車両前方に存在する物体の2次元位置に対応するブロックの存在確率を増加させると共に、自車両から物体の2次元位置までの直線上に存在する各ブロックの存在確率を減少させることにより現在物体が存在しない位置を地図上に記録する。そして、上記ステップ100へ戻る。
上述したように、局所地図生成処理ルーチンが繰り返し実行されることにより、現在の自車両から見た静止物の位置が随時推定される。
なお、生成される局所地図情報は、上記局所地図生成処理ルーチンが所定回数繰り返されたときに有効とされるようにしてもよい。
また、コンピュータ22によって、図15に示す運転支援処理ルーチンが実行される。まず、ステップ120において、カメラ18により撮影された前方画像及びGPS装置20によって検出された自車両位置を取得する。次のステップ122では、上記ステップ120で取得した前方画像、自車両位置、及び地図データベース38の電子地図に基づいて、自車両周辺の走行環境の状況を検出すると共に、周辺の可動物、可動物の移動状態、可動物の種類、及び可動物の動作状態を検出する。
そして、ステップ124において、上述した局所地図生成処理ルーチンにより得られる現在の局所地図情報を取得する。次のステップ126では、上記ステップ124で取得した局所地図情報から、自車両から見たときの静止物によって形成された死角領域を特定する。そして、ステップ128では、死角領域内に潜在する物体を表わす情報を生成する。
次のステップ130では、全ての物体を表わす矩形表現を生成して、局所地図情報に格納し、可動物を表わす矩形表現に対しては、更に可動物粒子を生成して局所地図情報に格納する。
そして、ステップ132において、局所地図情報から、全ての可動物を表わす矩形表現を取得し、ステップ134において、時刻tに、初期値0を設定する。ステップ136では、各可動物に対して、局所地図情報に記録されている可動物を表わす矩形表現の位置や属性、動作状態に基づいて、行動変化度を算出し、ステップ138において、時刻tが、将来予測時間Tに到達したか否かを判定する。時刻tが、将来予測時間Tに到達していない場合には、ステップ140において、少なくとも1つの可動物に対して算出された行動変化度が、第2閾値γh以上であるか否かを判定する。全ての可動物の行動変化度が、第2閾値γh未満である場合には、ステップ142において、各可動物に対して、上記ステップ136で算出された行動変化度が、閾値Y以上であるか否かによって、将来分布の予測方法として、線形予測及びパーティクルフィルタによる予測の何れかを選択する。
次のステップ144では、各可動物に対して、上記ステップ142で選択された将来分布の予測方法により、可動物の次の時刻における将来分布及び移動状態を予測し、局所地図情報に格納されている可動物の情報を更新する。そして、ステップ146において、時刻tを、インクリメントして、上記ステップ136へ戻り、上記のステップ136以降の処理を繰り返す。
一方、上記ステップ140において、1つの可動物の行動変化度が、第2閾値γH以上であると判定された場合には、ステップ148において、上記のステップ136以降の処理の繰り返しを停止して、該当する可動物の行動変化度の時系列データの各値を、最大値に設定して、ステップ152へ移行する。
また、上記ステップ138において、時刻tが、将来予測時間Tに到達した場合には、ステップ150において、全ての可動物の行動変化度の時系列データの各値が、第2閾値より小さい第1閾値γL未満であるか否かを判定する。何れかの行動変化度が、第2閾値γL以上である場合には、ステップ152へ移行して、各可動物について、当該可動物の行動変化度の時系列データに応じて、当該可動物に対する運転支援を行なうように運転支援システム24を制御する。
一方、上記ステップ150において、全ての可動物の行動変化度の時系列データの各値が、第2閾値γL未満である場合には、運転支援を行なわずに、運転支援処理ルーチンを終了する。
以上説明したように、第1の実施の形態に係る運転支援制御装置によれば、可動物の行動変化度に応じて、可動物単位で簡易に将来分布を予測するか、可動物粒子単位で精緻に将来分布を予測するかを切り替えることにより、適切な精度で、可動物の将来の位置及び移動状態を予測することができると共に、計算量の増大を抑制することができる。
また、死角領域に潜在する可動物の情報を生成することにより、死角領域内に存在すると想定される可動物の将来の位置及び移動状態も予測して、運転支援を行なうことができる。
また、実際の交通環境上の衝突発生を、必要な計算処理を効率的低減しながら必要な部分では精緻化し、衝突発生に対して早期に予測して、運転支援を行なうことができる。
また、可動物の将来分布を繰り返し予測すると共に、行動変化度を繰り返し算出し、予測された将来分布に対しては、さらに物体の属性に応じて進入不可能領域(赤信号の横断歩道、歩行者にとっての車道、自動車にとっての歩道など)にどの程度進入しているかという基準で改めて行動変化度を算出するようにすることにより、先の時刻まで、適切な精度で、可動物の将来の位置及び移動状態を予測することができると共に、計算量の増大を抑制することができる。
次に、第2の実施の形態に係る運転支援制御装置について説明する。なお、第1の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
第2の実施の形態では、路側の装置において、可動物の行動変化度を算出すると共に、可動物の将来分布を予測している点が、第1の実施の形態と主に異なっている。
第2の実施の形態に係る運転支援制御装置は、路側に固定して設置されており、例えば、主要交差点に設置されている。図16に示すように、運転支援制御装置210は、検出対象範囲である自装置の前方に対してレーザを1次元(水平方向)に走査しながら照射し、レーザの反射によりレーザが照射された物体の2次元位置を検出するレーザレーダ12と、自装置の前方を撮影するカメラ18と、自装置の位置を検出するGPS装置20と、これらの検出結果に基づいて、現在の自装置から見た前方の静止物の存在を記録した局所地図情報を生成すると共に、可動物の将来の位置及び移動状態を予測し、予測結果に応じて、運転支援システムを搭載した車両において運転支援が行なわせる指令を通信装置224に送信させるコンピュータ222とを備えている。
コンピュータ222は、物体位置取得部30と、検出された現在の物体の2次元位置に基づいて、自装置から見た座標系の局所地図情報における静止物の存在確率を変更する存在確率変更部236と、を備えている。
また、コンピュータ222は、地図データベース38と、自装置周辺の可動物及び走行環境の状況を検出する環境検出部40と、潜在物標生成部41と、物標表現生成部42と、物標表現データベース43と、行動変化度算出部44と、予測方法選択部46と、将来分布予測部48と、各可動物について算出された行動変化度に応じて、各可動物との衝突を回避するように、運転支援システムを搭載した車両において運転支援を行なうように指令を送信させる運転支援指令部250とを備えている。
次に、第2の実施の形態に係る局所地図情報処理ルーチンでは、レーザレーダ12から、前方に存在する物体の2次元位置を示すデータを取得し、次に、取得した自車両前方に存在する物体の2次元位置に基づいて、局所地図情報において、自車両前方に存在する物体の2次元位置に対応するブロックの存在確率を増加させると共に、自車両から物体の2次元位置までの直線上に存在する各ブロックの存在確率を減少させることにより現在物体が存在しない位置を地図上に記録する。そして、最初の処理へ戻る。
上述したように、局所地図生成処理ルーチンが繰り返し実行されることにより、現在の自装置から見た静止物の位置が随時推定される。
また、第2の実施の形態に係る運転支援処理ルーチンについて図17を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
まず、ステップ120において、カメラ18により撮影された前方画像及びGPS装置20によって検出された自装置位置を取得する。次のステップ122では、自装置周辺の走行環境の状況を検出すると共に、周辺の可動物、可動物の移動状態、可動物の種類、及び可動物の動作状態を検出する。そして、ステップ124において、上述した局所地図生成処理ルーチンにより得られる現在の局所地図情報を取得する。次のステップ126では、取得した局所地図情報から、自装置から見たときの静止物によって形成された死角領域を特定する。そして、ステップ128では、死角領域内に潜在する物体を表わす情報を生成する。
次のステップ130では、全ての物体を表わす矩形表現を生成すると共に、可動物粒子を生成して局所地図情報に格納する。そして、ステップ132において、局所地図情報から、全ての可動物を表わす矩形表現を取得し、ステップ270において、上記ステップ132で取得した矩形表現が表わす全ての可動物のうち、運転支援システムを搭載した可動物が存在するか否かを判定する。例えば、路車間通信により、可動物が、運転支援システムを搭載しているか否かを判定する。運転支援システムを搭載した可動物が存在しない場合には、運転支援処理ルーチンを終了する。一方、運転支援システムを搭載した可動物が存在する場合には、ステップ134において、時刻tに、初期値0を設定する。
ステップ136では、運転支援システムを搭載した支援対象の可動物以外の各可動物に対して、局所地図情報に記録されている可動物の矩形表現に基づいて、行動変化度を算出し、ステップ138において、時刻tが、将来予測時間Tに到達したか否かを判定する。時刻tが、将来予測時間Tに到達していない場合には、ステップ140において、少なくとも1つの可動物に対して算出された行動変化度が、第2閾値γh以上であるか否かを判定する。支援対象の可動物以外の全ての可動物の行動変化度が、第2閾値γh未満である場合には、ステップ142において、支援対象の可動物以外の各可動物に対して、上記ステップ136で算出された行動変化度が、閾値Y以上であるか否かによって、将来分布の予測方法として、線形予測、及びパーティクルフィルタによる予測の何れかを選択する。
次のステップ144では、支援対象の可動物以外の各可動物に対して、上記ステップ142で選択された将来分布の予測方法により、可動物の次の時刻における将来分布及び移動状態を予測し、局所地図情報に格納されている可動物の矩形表現を更新する。そして、ステップ146において、時刻tを、インクリメントして、上記ステップ136へ戻り、上記のステップ136以降の処理を繰り返す。
一方、上記ステップ140において、1つの可動物の行動変化度が、第2閾値γH以上であると判定された場合には、ステップ148において、上記のステップ136以降の処理の繰り返しを停止して、該当する可動物の行動変化度の時系列データの各値を、最大値に設定して、ステップ272へ移行する。
また、上記ステップ138において、時刻tが、将来予測時間Tに到達した場合には、ステップ150において、支援対象の可動物以外の全ての可動物の行動変化度の時系列データの各値が、第1閾値γL未満であるか否かを判定する。何れかの行動変化度が、第1閾値γL以上である場合には、ステップ272へ移行して、各可動物の行動変化度の時系列データに応じて、支援対象の可動物において、搭載した運転支援システムにより運転支援を行なわせる指令を、通信装置224により当該可動物へ送信する。
一方、上記ステップ150において、全ての可動物の行動変化度の時系列データの各値が、第1閾値γL未満である場合には、支援対象の可動物において運転支援を行なわずに、運転支援処理ルーチンを終了する。
以上説明したように、第2の実施の形態に係る運転支援制御装置によれば、交通環境上の運転支援システムを持つ可動物以外の可動物について、個別に行動変化度を算出し、可動物の行動変化度に応じて、可動物単位で簡易に将来分布を予測するか、可動物粒子単位で精緻に将来分布を予測するかを切り替えることにより、適切な精度で、可動物の将来の位置及び移動状態を予測することができると共に、計算量の増大を抑制することができる。
次に、第3の実施の形態に係る運転支援制御装置について説明する。なお、第3の実施の形態に係る運転支援制御装置の構成は、第1の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
第3の実施の形態では、可動物粒子単位で将来分布を予測する方法が、第1の実施の形態と異なっている。
第3の実施の形態に係る運転支援制御装置において、予測方法選択部46では、可動物の行動変化度が、閾値以上である場合、以下に説明する、可動物粒子単位で将来分布を予測する方法を選択する。ここで、可動物粒子単位で将来分布を予測する方法について説明する。
まず、可動物を表わす矩形表現は、質量m、位置x、及び移動状態(加速度a、移動速度v)を保持しており、図18(A)に示すように、可動物を表わす矩形表現から、可動物が存在する領域(例えば、矩形表現に内接する1σ信頼楕円)が得られる。また、図18(B)に示すように、可動物xA、xBに対して、各々、例えば3つの可動物粒子xA1、xA2、xA3、xB1、xB2、xB3が生成される。ここで、初期状態において、可動物粒子xA00には、FA00=mAaA0の力が作用しており、可動物粒子xB00には、mBB0の力が作用している。
そして、図18(C)に示すように、各可動物粒子xA0t・・・について、以下の(1)式に従って、他の可動物の可動物粒子xB0t, xB1t, xB2tから受ける時刻tの斥力の合力を算出する。
Figure 0005620147
次に、図19(A)に示すように、各可動物粒子xA0t、xB0t・・・にかかる時刻tの合力FA0t=FA0t-1+FA0tのチルダ、FB0t=FB0t-1+FB0tのチルダ・・・を算出し、図19(B)に示すように、運動方程式に従って、加速度aA0t=FA0t/mA、aB0t=FB0t/mB・・・で、各可動物粒子xA0t、xB0t・・・を移動させる。このとき、可動物粒子の存在位置に応じて、歩道や車道における粘弾性や、静止障害物との衝突を考慮する。
時刻tが、将来予測時間Tに至るまで、上記の計算処理を繰り返し、図19(C)に示すような、将来予測時間Tまでの各時刻における可動物の将来分布、及び移動状態を予測する。
将来分布予測部48は、可動物粒子単位で将来分布を予測する方法が選択された可動物について、上記の予測方法により、次の時刻における可動物の将来分布を予測する。
なお、第3の実施の形態に係る運転支援制御装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
次に、第4の実施の形態に係る運転支援制御装置について説明する。なお、第4の実施の形態に係る衝突危険判定装置の構成は、第1の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
第4の実施の形態では、行動変化度に応じて、4種類の予測方法から、将来分布を予測する方法を選択している点が、第1の実施の形態と異なっている。
第4の実施の形態に係る予測方法選択部46は、各可動物について、図20に示すように、算出された行動変化度に応じて、等速直線運動としての予測方法、カルマンフィルタを用いた線形予測方法、パーティクルフィルタを用いた予測方法、及び粒子法による予測方法の4種類の予測方法から選択する。例えば、行動変化度が最小値0である場合には、等速直線運動としての予測方法を選択し、行動変化度が1〜5である場合には、カルマンフィルタを用いた線形予測方法を選択し、行動変化度が6〜9である場合には、パーティクルフィルタを用いた予測方法を選択し、行動変化度が最大値10である場合には、粒子法による予測方法を選択する。
将来分布予測部48は、各可動物について、選択された予測方法を用いて、次の時刻の可動物の将来分布及び移動状態を予測する。等速直線運動としての予測方法では、可動物の移動状態のままで、可動物単位で等速直線運動させたときの位置を、将来の位置として予測する。粒子法による予測方法では、上記第3の実施の形態で説明した予測方法を用いて、可動物の将来分布を予測する。
行動変化度算出部44、予測方法選択部46、及び将来分布予測部48による一連の処理は、予め設定された予測時間分だけ繰り返し実行される。例えば、図21に示すように、歩行者の属性を持つ可動物が、歩道上に位置している時点t=0では、行動変化度ψ0=0が算出され、等速直線運動としての予測方法が選択される。また、車道に踏込んだ時点t=1では、行動変化度ψ1=1が算出され、カルマンフィルタを用いた線形予測方法が選択される。車道上に位置している時点t=2では、行動変化度ψ2=8が算出され、パーティクルフィルタを用いた予測方法が選択される。そして、車道の中心に位置している時点t=3では、行動変化度ψ3=10が算出され、粒子法による予測方法が選択される。そして、横断歩道に踏込んだ時点t=4では、行動変化度ψ4=7が算出され、パーティクルフィルタを用いた予測方法が選択される。横断歩道上に位置している時点t=5では、行動変化度ψ5=1が算出され、カルマンフィルタを用いた線形予測方法が選択される。そして、歩道から車道に踏み出している時点t=6では、行動変化度ψ6=3が算出され、カルマンフィルタを用いた線形予測方法が選択される。
なお、第4の実施の形態に係る運転支援制御装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
次に、第5の実施の形態に係る運転支援制御装置について説明する。なお、第5の実施の形態に係る運転支援制御装置の構成は、第1の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
第5の実施の形態では、1時刻前までの行動変化度の履歴を用いて、行動変化度を算出している点が、第1の実施の形態と異なっている。
第5の実施の形態に係る運転支援制御装置では、行動変化度算出部44によって、1時刻前までの行動変化度の履歴と、算出対象時刻の行動変化度とを積算して、行動変化度を算出する。
例えば、図22に示すように、歩行者の属性を持つ可動物が、歩道上に位置している時点t=0では、行動変化度ψ0=0が算出され、予測方法選択部46では、カルマンフィルタを用いた線形予測方法が選択される。また、死角領域内に隠れる時点t=1では、行動変化度ψ1=ψ0+6=6が算出され、予測方法選択部46では、パーティクルフィルタを用いた予測方法が選択される。それ以降の時点t=2、3、・・・では、死角領域を抜けても、行動変化度が、6以上となり、予測方法選択部46では、パーティクルフィルタを用いた予測方法が選択される。
このように、一旦高い行動変化度が算出されると、それ以降、高い行動変化度が算出されるため、一旦精緻な予測方法が選択されると、それ以降、精緻な予測方法が選択される。
なお、第5の実施の形態に係る運転支援制御装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
上記の実施の形態では、行動変化度の積算値を、行動変化度として算出する場合を例に説明したが、これに限定されるものではなく、各時刻の行動変化度として、積算値を用いず、予測方法を選択する際に、行動変化度の積算値を算出し、行動変化度の積算値に基づいて、予測方法を選択するようにしてもよい。
また、1時刻前の行動変化度との差分に基づいて、予測方法を選択するようにしてもよい。
例えば、図23に示すように、現時点での行動変化度ψ0=0が算出され、次の時刻での行動変化度ψ1が算出された場合、その時刻での予測方法は、その時刻での行動変化度ψ1と、1時刻前の行動変化度ψ0との差の絶対値によって、選択される。
これによって、行動変化度の変化が大きくなる時点で、精緻な予測方法が選択される。
また、算出対象時刻の行動変化度として、その時刻以前の行動変化度の履歴における最大値を用いるようにしてもよい。また、その時刻以前の行動変化度の履歴における最大値を用いて、予測方法を選択してもよい。また、定点観測による学習を用いた条件付き確率またはテーブルルックアップと、少なくとも1時刻前までの行動変化度とを用いて、行動変化度を算出してもよい。
次に、第6の実施の形態に係る運転支援制御装置について説明する。なお、第6の実施の形態に係る運転支援制御装置の構成は、第1の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
第6の実施の形態では、死角領域の位置に基づいて、死角領域内に潜在する可動物の種類を推定している点が、第1の実施の形態と異なっている。
第6の実施の形態に係る運転支援制御装置の潜在物標生成部41では、死角領域内に潜在する可動物を表わす情報に対して、以下に示すように、死角領域の位置に基づいて、自動車、二輪車、歩行者などの可動物の種類を示すラベルを割り当てる。
例えば、予め定点観測により、その場所での可動物の出現頻度を記録して蓄積しておく。事故の多い交差点などで、カメラ撮影等による方法で、季節・時間帯等で層別して、車道・歩道を道なりに通過あるいは横断する可動物の種類を記録して、移動方向、可動物の種類、及び頻度が格納されたデータベースを、各位置について生成しておく。
潜在物標生成部41は、死角領域の位置について生成されたデータベースに基づいて、出現頻度の高い可動物の種類を特定し、死角領域内に潜在する可動物を表わす情報に対して、特定された可動物の種類を示すラベルを割り当てる。
なお、第6の実施の形態に係る運転支援制御装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
次に、第7の実施の形態に係る運転支援制御装置について説明する。なお、第7の実施の形態に係る運転支援制御装置の構成は、第1の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
第7の実施の形態では、学習モデルに基づいて、死角領域の周辺情報から、死角領域内に潜在する可動物の種類を推定している点が、第1の実施の形態と異なっている。
第7の実施の形態に係る運転支援制御装置の潜在物標生成部41では、死角領域内に潜在する可動物の情報に対して、以下に示すように、学習モデルに基づいて、自動車、二輪車、歩行者などの可動物の種類を示すラベルを割り当てる。
まず、学習モデルに、死角領域の周辺情報と、想定すべき可動物の種類の写像関係を学習させる。例えば、専門家(例えば運転指導員)に対して、交通場面の写真・映像などを提示したり、同乗による聞き取り調査を行ったりして、死角領域に何を想定すべきかを回答してもらい、事後的にセンサ情報を集計して、死角領域の周辺情報を求める。そして、周辺情報入力の各種項目(死角生成物、自車と死角領域との位置関係、横断歩道の有無、信号機の有無、一時停止線の有無、追い越し規制の有無、制限速度、道路規模、交差点の有無、歩道の有無、バリアの有無、道路線形、自車速など)と想定出力の項目(死角領域に想定すべき可動物の種類)とからなるテーブルを作成する。
そして、ニューラルネットワークを使用して、死角領域の周辺情報の各種項目と、死角領域に想定すべき可動物の種類との写像関係を予め学習させておく。なお、構造を固定した線形回帰モデルや、決定木、ベイジアンネットワーク等を使用して学習するようにしてもよい。
潜在物標生成部41は、環境検出部40による検出結果から得られる死角領域の周辺情報を入力として、ニューラルネットワークから出力される、死角領域に想定すべき可動物の種類を取得し、死角領域内に潜在する可動物を表わす情報に対して、当該可動物の種類を示すラベルを割り当てる。
なお、第7の実施の形態に係る運転支援制御装置の他の構成及び作用については、第1の実施の形態と同様であるため、説明を省略する。
また、上記の第3の実施の形態〜第7の実施の形態を、上記の第2の実施の形態で説明した、路側に設置された運転支援制御装置に適用してもよい。
次に、第8の実施の形態について説明する。第8の実施の形態では、事故監視システムに本発明を適用している点が、第1の実施の形態と異なっている。
第8の実施の形態に係る事故監視システムでは、交通事故多発地点などにおいて、姿勢制御可能な記録用カメラを道路に設置して、記録用カメラによって撮影された画像によって、事故の発生を監視する。
事故監視システムは、第1の実施の形態と同様に、記録用カメラの周辺の可動物の各々について、行動変化度を算出し、行動変化度の履歴を参照して、複雑な予測を必要とする可動物を特定し、特定された可動物に対して、優先的に画角中心に据えたり、ズームを行うように制御する。
なお、上記の実施の形態では、事故監視システムに本発明を適用した場合を例に説明したが、これに限定されるものではなく、移動ロボットのセンシングに適用してもよい。例えば、移動ロボットに、姿勢制御可能なカメラや狭角のレーザレーダを設置し、移動ロボットの周辺の可動物の各々について、行動変化度を算出し、行動変化度の履歴を参照して、複雑な予測を必要とする可動物を特定し、特定された可動物に対して、優先的に画角中心に据えたり、ズームを行うように制御し、又はレーザレーダを走査させるように制御してもよい。
なお、上記の第1の実施の形態、第3の実施の形態〜第8の実施の形態では、運動センサの検出結果を用いて、自車両の運動を推定する場合を例に説明したが、これに限定されるものではなく、レーザレーダの検出結果の時間差分によって、自車両の運動を推定してもよい。また、例えば、GPS装置による自車位置の検出結果を用いて自車両の運動を推定するようにしてもよい。また、レーザレーダ、運動センサ、及びGPS装置の検出結果を組み合わせて、自車両の運動を推定するようにしてもよい。
また、上記の第1の実施の形態〜第8の実施の形態では、レーザレーダによりレーザを前方に走査して物体の位置を検出する場合を例に説明したが、これに限定されるものではなく、ミリ波などの電磁波を前方に走査して物体の位置を検出するようにしてもよい。
また、レーザレーダによって自車両又は自装置の前方の物体の位置を検出する場合を例に説明したが、これに限定されるものではなく、例えば、ステレオカメラによって撮影された前方画像から、自車両又は自装置の前方の物体の位置を検出するようにしてもよい。
また、カメラを用いたステレオ技術によって、自車両又は自装置から見た死角領域を特定するようにしてもよい。
また、路側の装置で、行動変化度の履歴を算出すると共に、車載器で、行動変化度の履歴を算出し、算出した行動変化度の履歴を、車車間通信又は路車間通信により送受信するようにしてもよい。例えば、行動変化度の変動が大きな場所は混雑している可能性が高い(事故に遭う危険度が高い)ため、車載のナビゲーションシステムにおいて、路側の装置や他車から受信した行動変化度の履歴と、受信した行動変化度の履歴の発信位置情報とを用いて、該当箇所を迂回する経路を生成するようにしてもよい。
本発明のプログラムを、記憶媒体に格納して提供することも可能である。
10、210 運転支援制御装置
12 レーザレーダ
14 運動センサ
18 カメラ
20 GPS装置
22、222 コンピュータ
24 運転支援システム
34 局所地図更新部
36、236 存在確率変更部
38 地図データベース
40 環境検出部
41 潜在物標生成部
42 物標表現生成部
43 物標表現データベース
44 行動変化度算出部
46 予測方法選択部
48 将来分布予測部
50 運転支援制御部
224 通信装置
250 運転支援指令部

Claims (15)

  1. 検出対象範囲から、可動物の種類、位置、及び移動状態を検出する可動物検出手段と、
    前記可動物検出手段によって検出された可動物の各々について、前記可動物の種類及び位置に基づいて、前記可動物の行動が変化する度合いを示す行動変化度を算出する算出手段と、
    前記可動物の各々について、前記算出された行動変化度が所定値未満である場合、前記可動物の種類、位置、及び移動状態に基づいて、前記可動物の将来の位置及び移動状態を予測し、前記算出された行動変化度が所定値以上である場合、前記可動物の種類、位置、及び移動状態に基づいて、前記可動物の一部を表わす複数の可動物粒子の各々について将来の位置及び移動状態を予測することにより、前記可動物の将来の位置及び移動状態を予測する予測手段と、
    を含む可動物予測装置。
  2. 前記算出手段は、前記可動物の位置が、前記可動物の種類が移動する領域でない場合、前記可動物の位置が前記可動物の種類が移動する領域である場合に比べて高い前記行動変化度を算出する請求項1記載の可動物予測装置。
  3. 前記可動物検出手段は、前記可動物の種類、位置、及び移動状態を検出すると共に、前記可動物の動作状態を検出し、
    前記算出手段は、前記可動物の動作状態が、前記可動物の行動が変化することを表わす場合、前記可動物の動作状態が前記可動物の行動が変化することを表わさない場合に比べて高い前記行動変化度を算出する請求項1又は2記載の可動物予測装置。
  4. 前記予測手段は、前記算出された行動変化度が所定値未満である場合、正規分布で表された前記可動物の位置及び前記移動状態を予測する請求項1〜請求項3の何れか1項記載の可動物予測装置。
  5. 前記予測手段は、前記可動物の各々について、前回予測された前記可動物の位置及び移動状態に基づいて、前記可動物の位置及び移動状態を繰り返し予測し、
    前記算出手段は、前記可動物の各々について、前記予測された前記可動物の種類及び位置に基づいて、前記行動変化度を繰り返し算出する請求項1〜請求項4の何れか1項記載の可動物予測装置。
  6. 前記算出手段は、前記可動物の各々について、前回までに算出された行動変化度を用いて、前記行動変化度を算出する請求項5記載の可動物予測装置。
  7. 前記予測手段は、前記可動物の各々について、前記算出された前記行動変化度の時系列データに基づく値が所定値未満である場合、前記可動物の将来の位置及び移動状態を予測し、前記算出された行動変化度の時系列データに基づく前記値が所定値以上である場合、前記可動物粒子の各々について将来の位置及び移動状態を予測することにより、前記可動物の将来の位置及び移動状態を予測する請求項5記載の可動物予測装置。
  8. 前記算出手段によって所定の予測時間分だけ繰り返して前記行動変化度を算出した後、前記可動物の各々について算出された前記行動変化度の時系列データに応じて、支援対象である可動物の行動支援を行なうように制御する行動支援制御手段を更に含む請求項5〜請求項7の何れか1項記載の可動物予測装置。
  9. 前記可動物の各々について算出された前記行動変化度に応じて、支援対象である可動物の行動支援を行なうように制御する行動支援制御手段を更に含む請求項1〜請求項7の何れか1項記載の可動物予測装置。
  10. 前記行動支援制御手段は、前記可動物の各々について算出された前記行動変化度が、第1閾値以下である場合、行動支援を行わないようにし、
    少なくとも1つの可動物について算出された前記行動変化度が、前記第1閾値より大きい第2閾値以上である場合、前記予測手段による予測及び前記算出手段による算出の繰り返しを停止させて、前記行動支援を行なうように制御する請求項8又は9記載の可動物予測装置。
  11. 前記可動物検出手段によって検出された可動物の各々について、前記可動物の種類、位置、及び移動状態を含む前記可動物粒子を複数生成すると共に、前記検出対象範囲を分割した複数のブロックで表され、かつ前記ブロックに静止物の存在が記録された地図情報において、前記可動物検出手段によって検出された可動物の位置に対応するブロックに、前記生成された前記可動物粒子を格納するデータ生成手段を更に含み、
    前記予測手段は、前記可動物の将来の位置及び移動状態を予測すると共に、予測結果に応じて、前記可動物の各可動物粒子が格納されるブロックを移動させる請求項1〜請求項10の何れか1項記載の可動物予測装置。
  12. 前記データ生成手段は、前記可動物検出手段によって検出された前記可動物の可動物粒子を生成して前記ブロックに格納すると共に、前記地図情報において、前記静止物の存在が記録されたブロックと、支援対象の可動物の位置とに基づいて、前記支援対象の可動物から見たときの静止物によって形成された死角領域を特定し、前記特定された前記死角領域内に存在すると想定される可動物の前記可動物粒子を生成し、前記特定された死角領域内のブロックに、前記生成された前記可動物粒子を格納する請求項11記載の可動物予測装置。
  13. 前記データ生成手段は、前記可動物検出手段によって検出された可動物の可動物粒子を生成して前記ブロックに格納すると共に、前記地図情報において、前記静止物の存在が記録されたブロックと、支援対象の可動物の位置とに基づいて、前記支援対象の可動物から見たときの静止物によって形成された死角領域を特定し、前記検出対象範囲の可動物の移動環境を検出する環境検出手段によって検出された前記移動環境のうちの前記特定された死角領域の周辺の移動環境、又は前記特定された死角領域の位置に基づいて、前記特定された前記死角領域内に存在すると想定される可動物の種類を推定して、前記推定された可動物の種類を含む前記可動物粒子を生成し、前記特定された死角領域内のブロックに、前記生成された前記可動物粒子を格納する請求項12記載の可動物予測装置。
  14. 支援対象の可動物から見て、前記検出対象範囲に存在する物体の位置を検出する物体位置検出手段と、
    前記支援対象の可動物の運動を推定する運動推定手段と、
    前回更新された前記地図情報を、前記運動推定手段によって推定された現在の支援対象の可動物の運動に基づいて、現在の支援対象の可動物から見た前記地図情報に繰り返し更新する地図更新手段と、
    前記地図更新手段によって前記地図情報が更新される毎に、前記更新された地図情報に、前記物体位置検出手段によって検出された現在の物体の位置に対応するブロックに、前記静止物の存在を記録すると共に、前記支援対象の可動物から前記検出された現在の物体の位置までの間に対応する各ブロックにおける前記静止物の存在の記録を減少させる静止物記録手段と、
    を更に含む請求項1〜請求項13の何れか1項記載の可動物予測装置。
  15. コンピュータを、
    検出対象範囲から、可動物の種類、位置、及び移動状態を検出する可動物検出手段によって検出された可動物の各々について、前記可動物の種類及び位置に基づいて、前記可動物の行動が変化する度合いを示す行動変化度を算出する算出手段、及び
    前記可動物の各々について、前記算出された行動変化度が所定値未満である場合、前記可動物の種類、位置、及び移動状態に基づいて、前記可動物の将来の位置及び移動状態を予測し、前記算出された行動変化度が所定値以上である場合、前記可動物の種類、位置、及び移動状態に基づいて、前記可動物の一部を表わす複数の可動物粒子の各々について将来の位置及び移動状態を予測することにより、前記可動物の将来の位置及び移動状態を予測する予測手段
    として機能させるためのプログラム。
JP2010118335A 2010-05-24 2010-05-24 可動物予測装置及びプログラム Active JP5620147B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010118335A JP5620147B2 (ja) 2010-05-24 2010-05-24 可動物予測装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010118335A JP5620147B2 (ja) 2010-05-24 2010-05-24 可動物予測装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2011248445A JP2011248445A (ja) 2011-12-08
JP5620147B2 true JP5620147B2 (ja) 2014-11-05

Family

ID=45413666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010118335A Active JP5620147B2 (ja) 2010-05-24 2010-05-24 可動物予測装置及びプログラム

Country Status (1)

Country Link
JP (1) JP5620147B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9424468B2 (en) * 2010-09-08 2016-08-23 Toyota Jidosha Kabushiki Kaisha Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method
JP6232183B2 (ja) * 2012-12-07 2017-11-15 株式会社日立アドバンストシステムズ 移動端末装置及び測位システム
JP6231803B2 (ja) * 2013-07-30 2017-11-15 富士通テン株式会社 レーダ装置、及び、信号処理方法
WO2016092591A1 (ja) * 2014-12-09 2016-06-16 三菱電機株式会社 衝突リスク算出装置、衝突リスク表示装置、車体制御装置
JP6556563B2 (ja) * 2015-08-31 2019-08-07 株式会社東芝 検出装置、検出方法、検出プログラムおよび情報処理システム
JP6629040B2 (ja) * 2015-10-27 2020-01-15 株式会社日立製作所 交通情報提供装置及びシステム及び方法
US20190016339A1 (en) * 2016-02-16 2019-01-17 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and vehicle control program
JP6649178B2 (ja) * 2016-05-24 2020-02-19 株式会社東芝 情報処理装置、および、情報処理方法
JP2018092334A (ja) * 2016-12-01 2018-06-14 本田技研工業株式会社 走行制御装置
US10216983B2 (en) * 2016-12-06 2019-02-26 General Electric Company Techniques for assessing group level cognitive states
JP2018124663A (ja) * 2017-01-30 2018-08-09 日立オートモティブシステムズ株式会社 移動物体予測装置
EP3593337A4 (en) * 2017-03-07 2021-01-06 Motional AD LLC PLANNING OF UNKNOWN OBJECTS BY AN AUTONOMOUS VEHICLE
JPWO2018221454A1 (ja) * 2017-05-31 2020-04-09 パイオニア株式会社 地図作成装置、制御方法、プログラム及び記憶媒体
US11531354B2 (en) 2017-12-05 2022-12-20 Sony Corporation Image processing apparatus and image processing method
JP7133926B2 (ja) * 2018-01-15 2022-09-09 キヤノン株式会社 情報処理装置、システム、情報処理方法
JP7013989B2 (ja) * 2018-03-23 2022-02-01 株式会社デンソー 他車両位置推定装置
US10800408B2 (en) * 2018-05-24 2020-10-13 Baidu Usa Llc Determining driving paths for autonomous driving that avoid moving obstacles
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US10984262B2 (en) * 2018-10-08 2021-04-20 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
JP7203563B2 (ja) 2018-10-29 2023-01-13 日立Astemo株式会社 移動体挙動予測装置
CN112572462B (zh) * 2019-09-30 2022-09-20 阿波罗智能技术(北京)有限公司 自动驾驶的控制方法、装置、电子设备及存储介质
JP7259818B2 (ja) * 2020-09-24 2023-04-18 いすゞ自動車株式会社 自動運転装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285925A (ja) * 2005-03-31 2006-10-19 Hiroyoshi Kougami 粒子の衝突回避の予約方法および装置
FR2889882B1 (fr) * 2005-08-19 2009-09-25 Renault Sas Procede et systeme de prediction de choc entre un vehicule et un pieton.
JP4896482B2 (ja) * 2005-10-06 2012-03-14 富士重工業株式会社 衝突判定装置
JP2007249309A (ja) * 2006-03-13 2007-09-27 Toshiba Corp 障害物追跡装置及びその方法
JP5035040B2 (ja) * 2008-03-12 2012-09-26 株式会社豊田中央研究所 運転支援装置

Also Published As

Publication number Publication date
JP2011248445A (ja) 2011-12-08

Similar Documents

Publication Publication Date Title
JP5620147B2 (ja) 可動物予測装置及びプログラム
CN109927719B (zh) 一种基于障碍物轨迹预测的辅助驾驶方法和系统
US11400925B2 (en) Planning for unknown objects by an autonomous vehicle
JP6800899B2 (ja) 視界に制限のある交差点への接近のためのリスクベースの運転者支援
JP5475138B2 (ja) 移動物予測装置、仮想可動物予測装置、プログラム、移動物予測方法、及び仮想可動物予測方法
US11680820B2 (en) Map information system
JP5535816B2 (ja) 移動物予測装置及びプログラム
JP6591842B2 (ja) 意味付け交通空間についての適合型射線ベースのシーン分析を行うための方法及びシステム、並びにそのようなシステムを備える車両
US9734390B2 (en) Method and device for classifying a behavior of a pedestrian when crossing a roadway of a vehicle as well as passenger protection system of a vehicle
JP5189157B2 (ja) 可動物の目標状態決定装置及びプログラム
JP5938569B2 (ja) 方位情報を考慮する高度運転者支援システム、及びその動作方法
KR20220105682A (ko) 차량의 항법을 위한 시스템 및 방법
US10336252B2 (en) Long term driving danger prediction system
JP5278419B2 (ja) 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
EP2826687A1 (en) Technique for lane assignment in a vehicle
JP5587170B2 (ja) 運転支援装置及びプログラム
US10803307B2 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
JP2013242615A (ja) 運転シーン遷移予測装置および車両用推奨運転操作提示装置
JP2013004021A (ja) 衝突危険度判定装置
JP5747593B2 (ja) 規範車速算出装置及びプログラム
JP2011198266A (ja) 危険判定装置及びプログラム
CN113178081B (zh) 一种车辆汇入预警方法、装置及电子设备
WO2022137681A1 (ja) 運転支援システム、走行制御装置
WO2023149003A1 (ja) 車両制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140918

R150 Certificate of patent or registration of utility model

Ref document number: 5620147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250