JP6005055B2 - 車両のパーキングアシストシステムにおける駐車軌道を継続的に計算する、検査するおよび/または適応させる方法、コンピュータプログラムおよびパーキングアシストシステム - Google Patents

車両のパーキングアシストシステムにおける駐車軌道を継続的に計算する、検査するおよび/または適応させる方法、コンピュータプログラムおよびパーキングアシストシステム Download PDF

Info

Publication number
JP6005055B2
JP6005055B2 JP2013543644A JP2013543644A JP6005055B2 JP 6005055 B2 JP6005055 B2 JP 6005055B2 JP 2013543644 A JP2013543644 A JP 2013543644A JP 2013543644 A JP2013543644 A JP 2013543644A JP 6005055 B2 JP6005055 B2 JP 6005055B2
Authority
JP
Japan
Prior art keywords
vehicle
motion
self
data
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013543644A
Other languages
English (en)
Other versions
JP2014501401A (ja
Inventor
ヘーガー トーマス
ヘーガー トーマス
ズィーモン シュテファン
ズィーモン シュテファン
ヘルムレ ミヒャエル
ヘルムレ ミヒャエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2014501401A publication Critical patent/JP2014501401A/ja
Application granted granted Critical
Publication of JP6005055B2 publication Critical patent/JP6005055B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Description

従来技術
本発明は、車両の自己運動を求めるための方法に関する。この方法は、運転支援システム、殊に、パーキングアシストシステム内で実行される。
運転支援システムは、特定の走行状況において運転者をサポートするのに用いられる。運転支援システムは例えばABS(アンチロックブレーキシステム)、ESP(横滑り防止機構)、車間距離自動制御システム(Adaptive Cruise Control, ACC)および/または入庫ないしは出庫をアシストするためのパーキングアシストを含んでいる。
運転支援サブシステムのうちの少なくともいくつかでは、車両の自己運動を求めることも必要となる。例えば、衝突警告システムにおいて必要となる。このシステムは現在の車両運動を継続した場合に、衝突が生じるか否かの予測をベースにしている。パーキングアシストは、軌道の計算、検査および場合によっては適応化のために、例えば駐車スペースに接している対象物に関して現在の実際の車両位置に関する情報を必要とする。従って、通常は衝突警告も軌道計算も含んでいるパークハウスアシストも同様に、自己運動に関する情報を必要とし、この情報から例えば、車両の現在の位置も計算される。
一般的に、車両自己運動を、センサに基づいて求めることが知られている。このセンサは、車両状態を周囲に依存せずに測定する。例えば、ホイールセンサ、エンジンセンサまたはブレーキシステムセンサは車両速度に関する情報を供給し、操舵センサは現在の操舵角度に関する情報を供給する。さらに、現在の車両位置を例えばGPS(グローバル・ポジショニング・システム)に基づいて集計することも公知である。車両のカーブ走行に関するデータは、例えばジャイロスコープに基づいて集計される。
DE1020080369009A1号には、駐車領域および操車領域において衝突から車両を保護する方法が記載されている。このために超音波センサは、車両周辺に関する情報を検出する。車両速度および現在の操舵角度に関するさらなるデータから、車両固定の座標系において測定された超音波センサ情報が、空間固定の座標系に変換される。ここから、空間固定の周辺地図が得られる。次にこの周辺地図および車両自己運動から、車両周辺にある対象物と車両の衝突確率が計算される。
DE602004012962T2号から、道路に対して相対的に動く車両からのリアルタイム障害物検出のための方法が公知である。ビデオカメラの画像に基づいて、点のモーションフローが計算される。これらの点の投影された運動は、カメラによって検出される。道路面と一緒に動かない障害物となり得るものに属する点は、オプティカルフロー方法を介して求められる。カメラに基づいたこの障害物識別方法を、他のシステムと組み合わせることができる。これは例えば、超音波障害物識別システムであり、これによって、より高い精度および/またはより頑強な方法が実現される。
衝突保護ないしは障害物検出のための上述した方法は、それほど正確ではない、または、複雑である。しかしパーキングアシスト等の複雑性がコストの理由から制限されたままであるべき場合、例えば駐車軌道の計算時にまたは衝突警告のために比較的大きい安全距離が設定されなければならない。しかしこれは、駐車アシスト時または立体駐車場等での見通しのきかない環境でのナビゲーション時の相応するシステムの利用価値を制限してしまう。
本発明の開示
本発明では、車両の自己運動を求めるための方法が提案される。この方法は以下のステップを含んでいる:すなわち、車両カメラによって、時間的に連続する一連の車両周辺画像を撮影するステップと、車両周辺にある対象物に関する少なくとも1つのモーションフローを求めるステップと、この少なくとも1つのモーションフローに基づいて車両の自己運動を求めるステップとを含んでいる。
車両カメラは例えば、リアビューカメラのことであり得、これは、例えば入庫または出庫時の後方走行時等に車両後方の周辺の画像を撮影する。
モーションフローが求められる対象物は、車両周辺の静止している対象物のことであり得る。これは例えば、他の車両、駐車スペース境界等である。モーションフローを求めるために最終的に、構造物の表面が必要である。従って、モーションフローが測定可能である限り、対象物が、道路または走行路、駐車スペースの表面または、カメラの視野内に位置するその他の地面表面であってもよい。
車両の自己運動を求めるために、さらに、車両センサのデータが使用される。この車両センサは、現在の速度および/または現在の操舵角度を測定する。付加的にまたは択一的に、車両の自己運動を求めるために、車両の超音波センサのデータが使用される。この超音波センサは、車両周辺にある対象物までの距離を測定する。車両の現在の位置ないしは運動に関するさらなるデータを、例えばGPSシステム、ジャイロスコープまたはその他の位置ないしは運動に反応する検出器から導出することができる。
本発明による方法の特定の実施形態では、少なくとも1つの特定のモーションフロー(これは障害物、例えばパーキングスペースに接している対象物に対して相対的な車両運動に関する)から「衝突余裕時間(" Time-To-Contact", " Time-To-Crash", TTC)」が計算される。この衝突余裕時間は、自己運動を求めるのに使用される。TTCは、オプティカルフローの計算と関連して、車両の運動または位置と比べてより直接的にかつより容易に計算可能である。従って、車両の自己運動特定がこれに相応して容易になる。TTCは、付加的にまたは択一的に、衝突警告を求めるのにも使用可能である。
本発明による方法の実施形態は、さらに、少なくとも1つの特定のモーションフローおよび少なくとも1つの他の特定のモーションフローおよび/または他のセンサデータ(例えば超音波データ、ホイール状態データないしは操舵データ)に基づいて、車両周辺における対象物の自己運動が検出されることを含んでいる。これは、静止していない対象物(例えば駐車スペースを横切る歩行者、動いている、駐車スペースに接する車両等)の識別を可能にする。これによって相応に、衝突警告システムの確実性が改善される。
本発明ではさらに、車両のパーキングアシストシステム内の方法が提案される。この方法は、駐車軌道の継続的な計算、検査および/または適応化のために用いられる。ここでは、車両の自己運動は、上述したように求められる。
さらに、車両の運転支援システム内の衝突警告のための方法が提案される。ここでは、上述したように車両の自己運動が求められる。
本発明ではさらに、コンピュータプログラムが提案される。このコンピュータプログラムがプログラミング可能なコンピュータ装置上で実施される場合に、このコンピュータプログラムに従って、本願に記載されている方法の1つが実施される。コンピュータ装置は、例えば車両内の、運転支援システムまたは運転支援システムのサブシステムを実行するためのモジュールである。このコンピュータプログラムは、機械によって読み出し可能な記憶媒体に記憶され、例えば永久的なまたは再書き込み可能な記憶媒体またはコンピュータ装置に対する割り当て物または取り出し可能なCD−ROM、DVDまたはUSBスティックに記憶される。付加的にまたは択一的に、コンピュータプログラムをコンピュータ装置、例えばサーバー上に、ダウンロードのために供給することができる。これはインターネット等のデータネットワークまたは電話線や無線接続等のコミュニケーション接続を介して行われる。
本発明ではさらに、運転支援システムが提案される。この運転支援システムは車両の自己運動を求めるように構成されている。このシステムは、以下のコンポーネントを含んでいる:すなわち、時間的に連続する一連の車両周辺画像を撮影する車両カメラと、この一連の画像に基づいて、車両周辺の対象物に関する少なくとも1つのモーションフローを求めるコンポーネントと、この少なくとも1つのオプティカルフローに基づいて車両の自己運動を求めるためのコンポーネントを含んでいる。
本発明の利点
本発明は殊に、車両の自己運動の計算を容易にするというアィディアに基づいている。これは車両カメラのデータ、例えばリアビューカメラのデータを自己運動を求めるために用いることによって実現される。これまでの公知のシステムでは、車両カメラの画像は、障害物識別のためだけに使用され、車両自己運動を求めるためには使用されてこなかった。車両自己運動はむしろ、周囲に依存しないセンサ、例えばホイール状態センサおよび操舵角度センサに基づいて、またはGPSやジャイロスコープ等を介して求められてきた。
本発明によって、パーキングアシスト、衝突警告システム等の精度が高められる。しかも、その複雑性が過度に高められることはない。自己運動特定時の改善された精度は、例えば入庫/出庫軌道の計算、検査および適応化時に、自動案内時の「ソフトな」入庫を、衝突警告等に対して実現するのに有用である。部分的にはこの利点は、次のことによって得られる。すなわち、自己運動特定時の改善された精度に基づいて、対象物ないしは障害物となり得るものに対する必要な安全距離がより短くなることによって得られる。この安全距離は、立体駐車場等の狭い環境における、入庫ないしは出庫、ナビゲーション時の走行軌道ないしは軌道に沿う。
車両自己運動をより正確に求めることによって、入庫時等の事前に計算された軌道に沿った車両の案内が改善される。従って、例えば横方向における車両の逸脱がより早期にないしはより良好に識別され、例えば対抗する操舵が引き起こされる。
本発明は、車両周辺の対象物に対する間隔見積もりを可能にし、付加的または択一的にこのための方法を提供する。これは例えば超音波システムに基づいている。カメラ画像シーケンスにおけるモーションフロー(オプティカルフロー)の特定との組み合わせによって、より正確なまたはより確実な間隔見積もりが可能になる。これは例えば、リアビューカメラと超音波センサ装置とを同時に使用する場合に、パーキングアシストに当てはまる。本発明は、例えばプリクラッシュアプリケーションにおいて、相対速度を求めるためにも使用可能である。この場合には例えば、超音波データおよびビデオデータから求められた間隔データおよび/または相対速度データを組み合わせることによって、より確実かつより正確に、間近に迫った衝突を予測することができる。
車両カメラが既に存在する場合には、本発明を実行するために、基本的に付加的なハードウェア−コンポーネントは必要ない。モーションフローおよび/またはオプティカルフロー計算方法が既存の実装時に既に障害物識別のために使用されている場合には、相応の計算モジュールが、自己運動計算のために再び使用され、これによって実装コストが低減される。
本発明の他のアスペクトおよび利点を次に、添付図面に基づいて詳細に説明する。
例示的な入庫状況における、本発明の運転支援システムが装備された車両 図1に示されている、運転支援システムの機能的なコンポーネントの概略図 図2に示されている運転支援システムの動作方法のフローチャート
図1は、例示的な駐車状況にある、本発明による装備がされた運転支援システム102を有する車両100の概略図を示している。ここでは車両100は、駐車スペースに接している対象物106と108の間の駐車スペース104内に、後方へと入庫されるべきである。ここでこれは例えば駐車中の車両である。運転支援システム102は、リアビューカメラとして実装されているカメラ110と超音波センサセット112を有している。全てのセンサ110、112は、(詳細には示されていない)車両ネットワークを介して、中央処理コンポーネント114と接続されている。この中央処理コンポーネントはECU(エレクトロニックコントロールユニット)として実装されている。
車両100は、まずは矢印120に沿って、駐車スペース104を通過して動く。ここでこれは、運転支援システム102の他の(図示されていない)センサによって計測される。運転者は、駐車することを決め、次に、車両を停止点S1で停止させる。この点から、パーキングアシスト(運転支援システム102のサブシステム)が部分的にまたは完全に自動で、以降の駐車を担う。車両100は、パーキングアシストによって計算された軌道122に沿って、後方に、停止点S2まで案内される。次に、計算された軌道124に沿って、他の(図示されていない)停止点まで前方へと動かされ、その後、軌道126を介して駐車スペース104内へと後方に案内される。
障害物の寸法の検出時、車両の自己運動並びに現在の位置の特定時の不正確さによって、従来のパーキングアシストでは、比較的大きい許容公差が必要となる。すなわち、図1に示されているような軌道の計算時に、危険な接近を確実に回避するために、障害物(対象物106、108等)に対して比較的大きい安全距離が維持されなければならない。
例として図1では、安全距離130が、停止点S2と対象物106との間に示されている。狭い駐車スペースを利用することを可能にするため、狭い操縦空間にもかかわらず駐車スペース内への駐車を可能にするため、10cmを下回る、例えば5cmまたは僅か1−2cmのより短い安全距離が望まれているのにもかかわらず、この安全距離は従来のシステムでは例えば、10cm以上のオーダー、例えば20cmである。
車両の自己運動および/または現在の位置の特定時の不正確さによって、見積もられた軌道に沿った車両の案内時に、偏差が生じてしまうこともある。この場合に、場合によって必要となる修正時には再び、上述した不正確さが考慮されなければならない。例として図1では、破線138である軌道126に対して、最終的な停止点S4に達するまでの実際の車両運動の理想的な経過が暗示されている。参照番号132、134および136によって、種々の実際の運動経過に対する例が示されている。これらは多かれ少なかれ、理想的な軌道126/138から逸脱している。少なくとも軌道132および136の場合には、対象物106ないしは108との衝突を回避するために、早めに、対抗する制御が行われなければならない。見やすくするために、ここでは軌道126のみを論議するが、この記載は意味的に、軌道122および124にも同様に当てはまる。
有利には、車両の自己運動ないしは現在の位置の特定時の不正確さが低減され、これによって矢印132および136によって示されているような軌道に沿った経過が、早期に正常な状態に戻される。ここに記載されている本発明の実施例では、自己運動の正確な特定は、次のことによって実現される。すなわち、設けられているリアビューカメラ110のデータが、設けられている超音波センサ112の他のデータ並びに、車両100の運動を測定するための他の(場合によっては、他の理由から既に設けられている)センサのデータと組み合わせられることによって実現される。このようにして、付加的なハードウェアコンポーネントを用いることなく、実際の車両運動の検査および軌道126/138に合わせる際に高い精度が得られる。ここで最大偏差は、軌道134によって例時的に示されているように、僅かである。
図2は、運転支援システム102の機能的なコンポーネントを概略的に示している。このコンポーネントの相互作用によって、車両100の自己運動の特定を、本発明を用いて改善することができる。バスシステムとして実現されている、車両100の車両ネットワーク202には、リアビューカメラ110、超音波センサ112並びにECU114が接続されている(これらのエレメントは、既に図1に示されている)。さらに少なくとも1つのセンサ装置204がバス202に接続されており、このセンサ装置204は例えば以下のものを含み得る:すなわちホイールセンサまたは、車両速度を周囲に依存しないで求める複数のこの種のセンサ;操舵角度を求めるための操舵センサ;車両の回転運動を求めるためのジャイロセンサ、GPSセンサ等を含み得る。
ECU114は、一連の画像においてモーションフローを求めるためのモーションフローのコンポーネント210と、このコンポーネント210において求められたモーションフローに基づいて車両100の自己運動を求めるための自己運動コンポーネント212と、図1に示されているような軌道122−126等の軌道を計算、検査および/または適応させるための軌道コンポーネント214と、超音波センサ装置112によって検出された対象物までの距離および方向を計算するための超音波コンポーネント216と、センサ装置204のデータを処理するためのセンサコンポーネント218とを含んでいる。
図2に示された、運転支援システム102のコンポーネントの動作方法を以降で、図3のフローチャート300に基づいて詳細に説明する。上述したように、図2に示されている複数のコンポーネントは、駐車スペース内への駐車の間、車両100の自己運動を求めるために協動する(302)。ステップ304では、リアビューカメラ110は、車両100の後方周辺の時間的に連続する一連の画像を撮影する。実際には、リアビューカメラ100は、軌道122−126に沿った駐車過程全体の間、アクティブであり、ECU114は連続的な画像ストリームを供給する。ECU114のコンポーネント210は、リアビューカメラ110を相応に駆動制御し、カメラ110によって供給された画像シーケンスを、さらなる処理のために緩衝記憶装置224内に格納する。
これと並行して、超音波センサ112も、後方の車両周辺領域を計測し、相応するデータをバス202を介して属する処理コンポーネント216に供給する。さらに、センサ装置204も継続的に、車両100の例えば速度および操舵角度に関する現在のデータを、属する処理コンポーネント208に供給する。
ステップ306において、処理コンポーネント212は、記憶領域224内に格納されている複数の時間的に連続する撮影を含んでいる画像シーケンスから、後方の車両周辺内で識別された少なくとも1つの対象物のモーションフロー(Motion Flow)を求める。このために、記憶領域224は、例えば周期的な記憶部として構成される。この中には、特定数のリアビューカメラ110の撮影が、過去の時間に対して一時記憶されており、かつ相応に新たな撮影によって上書きされる。画像シーケンスからの、例えばオプティカルフロー方法に基づく、対象物を識別した点のモーションフローの特定は、当業者にはそれ自体公知であるので、ここでは詳細に議論しない。
図1の例では、殊に対象物106と108がカメラ110の視野内にある。従って、処理コンポーネント212は、記憶されている画像から対象物106および108を識別し、それぞれそのモーションフローを特定するであろう。リアビューカメラ110は固定して(または少なくとも、現在知られている位置および配向で)車両100に固定されているので、コンポーネント212は対象物106および108のモーションフローを、車両固定の座標系において計算する。
ECUコンポーネント212内での、カメラ110によって供給された光学データまたは赤外データの処理に対して付加的に、ECU114は、自身のコンポーネント216によって、超音波センサ装置112から供給された、後方車両周辺の表現を処理する。このデータから、例えば対象物106および108に対する現在の間隔および方向が求められる。これらの情報は、同様に、車両固定の座標系に関する。すなわち、超音波データに基づいて、対象物106および108の運動に対する依存しない値が、車両固定の座標系において求められる。センサ装置204は、車両100の周囲に反応しない;コンポーネント218は相応するセンサデータを処理し、現在の車両運動に関する周辺に依存しない情報を提供する。
ステップ308では、計算コンポーネント214がコンポーネント212、216および218の処理データを受け取る。すなわち具体的には、コンポーネント212からの、車両100に関する、対象物106および108の外見上の運動に関する、カメラに基づくデータと、コンポーネント216からの相応する超音波ベースのデータと、コンポーネント218からのホイール速度および操舵角度等に基づく、車両100の自己運動に関するデータである。コンポーネント214は、これらのデータに基づいて車両100の自己運動(Ego-Motion)に対する見積もりを求める。例えば、コンポーネント214は、データ融合を行うことができる。この展開において、センサ装置204によって、周辺に依存しないで求められた車両100の自己運動が、カメラデータから求められた、対象物106、108のモーションフローに基づいて、修正される。
例えば、求められた自己運動を、対象物106または108の側方運動を顧慮して修正することができる。これは、カメラデータに基づいて、オプティカルフロー方法による処理の後に極めて正確に測定される。これによって、例えば車両の僅かな逸れが、事前に計算された軌道からの逸脱として早期に検出される(以降の相応する例示的な議論を参照されたい)。
センサ装置204のセンサデータおよびカメラ110のカメラデータに対して付加的に、超音波センサ装置112の超音波データも、車両100の自己運動の修正ないしはより正確な特定に用いられる。例えば、対象物106、108に対する間隔および方向がそれぞれ、超音波データからも、カメラデータからも求められ、次に、適切に組み合わされる。間隔値および/または方向値のこの経過から、周囲に依存しないセンサおよび/またはカメラに基づいて求められた自己運動の修正が、例えば周辺対象物が静止していることを仮定して行われる。
付加的または択一的に、車両100の自己運動が、例えば(歩道に食い込む形の)駐車地帯104の車道面ないしは地底面のモーションフローの特定に基づいて生じることもある。地底面が、モーションフロー計算の基礎とされる場合、殊に、この地底面は静的であると仮定される。すなわち車両100の自己運動が確実に求められる。車両100の自己運動に対する見積もりに基づいて、例えばカメラ110のデータ等に基づいて、且つセンサ装置204に依存しないで、さらなる方法として、対象物106または108の運動も求められる。これは例えば、予期されている位置と、予期されている対象物の間隔との間の体系的な不一致(これは車両100の自己運動から、センサ装置204に基づいて生じる)から、カメラに基づいて求められたこの対象物のモーションフローに対して生じるであろう。
計算コンポーネント214は、ほぼ継続的に動作し、例えば100マイクロ秒の規則的な間隔で、コンポーネント210、216および218の処理データを、0.1、0.3、0.5または1.0秒の過去の時間に関して用いる(殊に、相応する時間の間一時記憶されているカメラ110の撮影に基づいて求められた自己運動)。
ステップ310では、計算コンポーネント214は、車両100の(現在の)自己運動の計算された値を、運転支援システム102の1つまたは複数のさらなるコンポーネントに供給する。図2には、例として、軌道計算コンポーネント220と衝突警告コンポーネント222が示されている。コンポーネント220は、例えば、殊に、供給された自己運動に基づいて、どの程度まで車両100が、駐車スペース104内への駐車時に、事前に計算された軌道122−126に実際に従っていのるかを監視する。カメラに基づいて求められた、車両100の自己運動に基づいて、コンポーネント220は例えば、対向する操舵が行われなければならないか否かを確定する。
計算された駐車軌道が例えば、図1に破線で示された理想的な軌道138である場合には、この軌道に沿った車両100の駐車は、リアビューカメラ110の視野における、対象物106および108の特定の外見上の運動を意味するであろう。殊に、対象物106および108は特定の様式で、カメラの視野から横へ動いて出るであろう。ここで、停止点S4への接近時に、対象物106、108への間隔が一定に保たれるだろう。車両が、操舵における不正確さ(逸脱)のために、実際に例えば軌道132上で運動する場合、対象物108は予期したように、リアビューカメラ110の視野から出ない、および/または対象物108への間隔が、コンポーネント21内のオプティカルフロー計算部によって計算されるように、低減するであろう。また、同時に、対象物106は徐々にリアビューカメラ110の視野から出て、間隔は長くなる。このような描写から、事前に計算された軌道と実際の軌道との比較が、カメラに基づいて求められた、対象物106、108のモーションフローを考慮することによって改善されることが明らかである。
求められたないしは実際の軌道132から戻って、理想的な軌道138の近傍に達するために、コンポーネント220は相応の対向する操舵を開示する。これによって、全体的に、事前に計算された理想的な軌道138からの僅かな偏差しか生じない。
求められた、ないしは、実際の軌道132に対して、さらにコンポーネント222は、改善された自己運動見積もり並びに(例えばカメラおよび/または超音波ベースで求められた)障害物となり得るもの106、108との間隔に基づいて、衝突の確率を計算し、場合によっては相応の衝突警告を発生させる。これは、運転者に出力されるか、または自動制動を生じさせることができる。
図3に示されたフロー300は例えば、駐車スペース104内への駐車の間、周期的に行われる。従ってステップ312はステップ304に戻る。
ここに示されている実施例では、超音波データ、カメラデータおよび周辺に依存しないセンサデータが評価されるが、より簡易なシステムでは、車両自己運動は例えば主に、カメラをベースにして生じてもよい。または超音波データを考慮せずに、カメラに基づいてのみ、および周辺に依存しないデータに基づいてのみ生じてもよい。上述した例では、車両運動および車両位置は、周辺に依存しないで、車両速度および操舵角度に基づいて求められた。付加的なまたは他のセンサ装置が同様に、周辺に依存しないデータを供給してもよく、例えばGPSセンサおよび/またはジャイロスコープが使用可能である。
上述したように、カメラに基づいたおよび/または超音波に基づいた、車両固有の座標系に基づいた周辺地図が、空間固定の周辺地図に変換される。この周辺地図において車両の自己運動が示される。これとは逆に、車両固有の周辺地図をそのままにし、周辺に依存しないセンサ装置のデータを相応に考慮することもできる。
モーションフローの特定から、例えばオプティカルフロー計算の枠において、比較的容易に衝突余裕時間TTCを導出することができる。これは直接的に、カメラデータの処理部から(または車両固有の/空間固有の周辺地図ないしは車両の自己運動を超音波センサ装置の付加的なデータまたは他のセンサデータによって修正した後に)、衝突警告システムへと出力される。
本発明は、本明細書に記載した実施例および本願明細書内で強調されたアスペクトに制限されず、むしろ、添付した請求項によって示された範囲内で、当業者の行為の範囲にある多数の変更が可能である。

Claims (11)

  1. 車両(100)のパーキングアシストシステム(102)における駐車軌道(122〜126)を継続的に計算する、検査するおよび/または適応させる方法であって、
    ・車両カメラ(110)によって、時間的に連続する、一連の車両周辺画像を撮影するステップ(304)と、
    ・前記一連の画像に基づいて、車両周辺にある対象物(106、108)に関係する少なくとも1つのモーションフローを求めるステップ(306)と、
    前記車両の周囲に反応しない車両センサ(204)からの現在の車両運動に関する周辺に依存しないデータと、前記少なくとも1つのモーションフローに基づいて、前記車両の自己運動を求めるステップ(308)と、
    ・求められた自己運動に基づいて、前記車両が事前に計算された駐車軌道(122〜126)に実際に従っているのかを監視するステップ(310)と、
    を前記システムが制御して行い、
    前記車両の自己運動を求めるステップ(308)は、前記周辺に依存しないデータに基づいて求められた前記車両の自己運動を、前記車両カメラの視野における前記対象物(106、108)の動きに基づいて修正することを含む、
    ことを特徴とする、方法。
  2. 前記車両カメラ(110)はリアビューカメラであり、車両の後方周辺の画像を撮影する、請求項1記載の方法。
  3. 前記車両(100)の自己運動を求めるために、さらに、現在の速度および/または現在の操舵角度を測定する前記車両センサ(204)のデータを前記システムが使用する、請求項1または2記載の方法。
  4. 前記車両(100)の自己運動を求めるために、さらに、車両周辺にある対象物(106、108)との間隔を測定する、前記車両(100)の超音波センサ(112)のデータを前記システムが使用する、請求項1から3までのいずれか一項記載の方法。
  5. 前記システムが、前記少なくとも1つのモーションフローから衝突余裕時間を計算し、当該衝突余裕時間を、前記自己運動の特定および/または衝突警告の特定に使用する、請求項1から4までのいずれか一項記載の方法。
  6. 前記少なくとも1つの求められたモーションフローおよび少なくとも1つの他の求められたモーションフロー、および/または、前記車両センサ(204)及び前記超音波センサ以外のセンサの他のデータに基づいて、前記車両周辺にある対象物の自己運動を前記システムが検出する、請求項記載の方法。
  7. プログラミング可能なコンピュータ装置上で実行される際に、請求項1から6までのいずれか一項記載の方法の各ステップを前記コンピュータ装置に実行させるための、
    コンピュータプログラム。
  8. 駐車軌道(122〜126)を継続的に計算する、検査するおよび/または適応させるように構成されているパーキングアシストシステム(102)であって、当該パーキングアシストシステムは、
    ・時間的に連続する、一連の車両周辺画像を撮影する車両カメラ(110)と、
    ・前記一連の画像に基づいて、車両周辺にある対象物(106、108)に関係する少なくとも1つのモーションフローを求めるコンポーネント(212)と、
    前記車両の周囲に反応しない車両センサ(204)からの現在の車両運動に関する周辺に依存しないデータと、前記少なくとも1つのモーションフローに基づいて、前記車両の自己運動を求めるコンポーネント(214)と、
    ・求められた自己運動に基づいて、前記車両が事前に計算された駐車軌道(122〜126)に実際に従っているのかを監視するコンポーネント(220)と、
    を有しており、
    前記周辺に依存しないデータに基づいて求められた前記車両の自己運動を、前記車両カメラの視野における前記対象物(106、108)の動きに基づいて修正する、
    ことを特徴とする、パーキングアシストシステム
  9. 前記車両カメラ(110)はリアビューカメラであり、車両の後方周辺の画像を撮影する、請求項8記載のパーキングアシストシステム。
  10. 前記少なくとも1つのモーションフローから衝突余裕時間を計算し、当該衝突余裕時間を、前記自己運動の特定および/または衝突警告の特定に使用する、請求項8または9記載のパーキングアシストシステム。
  11. 前記少なくとも1つの求められたモーションフローおよび少なくとも1つの他の求められたモーションフロー、および/または、前記車両センサ(204)外のセンサの他のデータに基づいて、前記車両周辺にある対象物の自己運動を検出する、請求項8から10までのいずれか一項記載のパーキングアシストシステム。
JP2013543644A 2010-12-15 2011-12-06 車両のパーキングアシストシステムにおける駐車軌道を継続的に計算する、検査するおよび/または適応させる方法、コンピュータプログラムおよびパーキングアシストシステム Active JP6005055B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010063133A DE102010063133A1 (de) 2010-12-15 2010-12-15 Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
DE102010063133.7 2010-12-15
PCT/EP2011/071961 WO2012080044A1 (de) 2010-12-15 2011-12-06 Verfahren und system zur bestimmung einer eigenbewegung eines fahrzeugs

Publications (2)

Publication Number Publication Date
JP2014501401A JP2014501401A (ja) 2014-01-20
JP6005055B2 true JP6005055B2 (ja) 2016-10-12

Family

ID=45418637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013543644A Active JP6005055B2 (ja) 2010-12-15 2011-12-06 車両のパーキングアシストシステムにおける駐車軌道を継続的に計算する、検査するおよび/または適応させる方法、コンピュータプログラムおよびパーキングアシストシステム

Country Status (6)

Country Link
US (1) US9789816B2 (ja)
EP (1) EP2652706B1 (ja)
JP (1) JP6005055B2 (ja)
CN (1) CN103534729A (ja)
DE (1) DE102010063133A1 (ja)
WO (1) WO2012080044A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9274525B1 (en) * 2012-09-28 2016-03-01 Google Inc. Detecting sensor degradation by actively controlling an autonomous vehicle
DE102013100040A1 (de) * 2013-01-03 2014-07-03 E-Lead Electronic Co., Ltd. Führungsverfahren einer Rückwärtsparkhilfe
DE102013201379B4 (de) * 2013-01-29 2020-12-10 Robert Bosch Gmbh Motorrad mit einem Kamerasystem
AT514588B1 (de) * 2013-08-29 2015-02-15 Tech Universität Wien Verfahren zur Steuerung eines Fahrzeuges
KR101906952B1 (ko) * 2013-11-08 2018-10-11 한화지상방산 주식회사 무인 주행 차량의 최적 주차 경로를 생성하는 방법, 및 이 방법을 채용한 무인 주행 차량
DE102014111122A1 (de) * 2014-08-05 2016-02-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum zumindest semi-autonomen Manövrieren eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
CN105279767B (zh) * 2014-12-26 2019-01-18 天津光电高斯通信工程技术股份有限公司 火车到站状态的识别方法
KR101618501B1 (ko) 2015-02-04 2016-05-09 한국기술교육대학교 산학협력단 자차량의 에고 모션 추정방법
DE102015001638A1 (de) * 2015-02-07 2016-08-11 Hella Kgaa Hueck & Co. Verfahren zum zumindest teilweise selbstständigen Steuern eines Kraftfahrzeuges
US11167755B2 (en) 2015-02-07 2021-11-09 Hella Kgaa Hueck & Co. Method for at least partially automatically controlling a motor vehicle
DE102015202230A1 (de) 2015-02-09 2016-08-11 Conti Temic Microelectronic Gmbh Fusionierte Eigenbewegungsberechnung für ein Fahrzeug
EP3885217A1 (en) * 2015-02-10 2021-09-29 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
DE102015209190A1 (de) * 2015-05-20 2016-11-24 Volkswagen Aktiengesellschaft Verfahren zur nutzerdefinierten Bereitstellung eines Fahrzeugs
US10214206B2 (en) * 2015-07-13 2019-02-26 Magna Electronics Inc. Parking assist system for vehicle
DE102015220640A1 (de) * 2015-10-22 2017-04-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verringern eines Kollisionsrisikos einer Kollision eines Kraftfahrzeugs mit einem Objekt
DE102016220945A1 (de) * 2015-11-06 2017-05-11 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Unterstützen eines Manövriervorganges eines Kraftfahrzeuges
DE102015221920A1 (de) * 2015-11-09 2017-05-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Computerprogrammprodukt, Vorrichtung, und Fahrzeug umfassend die Vorrichtung zum Steuern einer Trajektorienplanung eines Egofahrzeugs
US10919574B2 (en) * 2015-11-10 2021-02-16 Hyundai Motor Company Automatic parking system and automatic parking method
JP2017088112A (ja) * 2015-11-17 2017-05-25 三菱電機株式会社 車両用操舵制御装置
DE102016100993A1 (de) * 2016-01-21 2017-07-27 Valeo Schalter Und Sensoren Gmbh Verfahren zum Ausparken eines Kraftfahrzeugs aus einer Parklücke mit zumindest semiautonomen Manövrieren des Kraftfahrzeugs bis zu einer Endposition, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3414641B1 (en) * 2016-02-10 2023-05-24 HRL Laboratories, LLC System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
DE102016204654A1 (de) * 2016-03-21 2017-09-21 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Eigenbewegungsschätzung für ein Kraftfahrzeug
JP6812173B2 (ja) * 2016-08-31 2021-01-13 アイシン精機株式会社 駐車支援装置
US10318826B2 (en) * 2016-10-07 2019-06-11 Ford Global Technologies, Llc Rear obstacle detection and distance estimation
US10068140B2 (en) * 2016-12-02 2018-09-04 Bayerische Motoren Werke Aktiengesellschaft System and method for estimating vehicular motion based on monocular video data
DE102017207483A1 (de) * 2016-12-15 2018-06-21 Continental Teves Ag & Co. Ohg Steuervorrichtung für ein fahrzeug, bremsensteuergerät und verfahren zur steuerung eines fahrzeugs
CN108454512B (zh) * 2017-02-20 2021-06-04 奥迪股份公司 避开车辆车轮周围异物的装置、方法及车辆
DE102017107701A1 (de) 2017-04-10 2018-10-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Manövrieren eines Kraftfahrzeugs auf einer Parkfläche, Infrastrukturvorrichtung für eine Parkfläche sowie Parkflächenkommunikationssystem
DE102017111004A1 (de) * 2017-05-19 2018-11-22 Wabco Europe Bvba Verfahren und Steuereinrichtung zur autonomen Notbremsung eines Eigenfahrzeugs
GB201712004D0 (en) * 2017-07-26 2017-09-06 Jaguar Land Rover Ltd Proximity sensing systems and their control
DE102017214666A1 (de) * 2017-08-22 2019-02-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Schätzen einer Eigenbewegung eines Fahrzeugs
DE102017217016A1 (de) * 2017-09-26 2019-03-28 Robert Bosch Gmbh Verteilvorrichtung und Verfahren zum Verteilen von Datenströmen für ein Steuergerät für ein hochautomatisiert fahrbares Fahrzeug
DE102017219119A1 (de) 2017-10-25 2019-04-25 Volkswagen Aktiengesellschaft Verfahren zur Formerkennung eines Objekts in einem Außenbereich eines Kraftfahrzeugs sowie Kraftfahrzeug
CN110626259A (zh) * 2018-06-21 2019-12-31 鸿富锦精密电子(天津)有限公司 三角警示架及其撞击预警方法
US20200031312A1 (en) * 2018-07-24 2020-01-30 Nxp B.V. Methods and apparatuses involving vehicle tow-away detection
US11699207B2 (en) 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
US11227409B1 (en) 2018-08-20 2022-01-18 Waymo Llc Camera assessment techniques for autonomous vehicles
DE102018127059A1 (de) * 2018-10-30 2020-04-30 Daimler Ag Verfahren zur Überprüfung mindestens eines Umfelderfassungssensors eines Fahrzeugs
US20190126922A1 (en) * 2018-12-27 2019-05-02 Intel Corporation Method and apparatus to determine a trajectory of motion in a predetermined region
DE102019102923B4 (de) * 2019-02-06 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
TWI786311B (zh) * 2019-07-04 2022-12-11 先進光電科技股份有限公司 行動載具輔助系統及其停車控制方法
JP2022098113A (ja) * 2020-12-21 2022-07-01 フォルシアクラリオン・エレクトロニクス株式会社 駐車支援装置及び駐車支援方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704621B1 (en) * 1999-11-26 2004-03-09 Gideon P. Stein System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
US7113867B1 (en) * 2000-11-26 2006-09-26 Mobileye Technologies Limited System and method for detecting obstacles to vehicle motion and determining time to contact therewith using sequences of images
US7446798B2 (en) 2003-02-05 2008-11-04 Siemens Corporate Research, Inc. Real-time obstacle detection with a calibrated camera and known ego-motion
DE10307607A1 (de) * 2003-02-22 2004-09-09 Daimlerchrysler Ag Verteiltes Bildverarbeitungssystem für Kraftfahrzeuge
JP4052650B2 (ja) * 2004-01-23 2008-02-27 株式会社東芝 障害物検出装置、方法及びプログラム
JP4081548B2 (ja) 2004-02-02 2008-04-30 独立行政法人産業技術総合研究所 運転支援システム
EP1741079B1 (en) * 2004-04-08 2008-05-21 Mobileye Technologies Limited Collision warning system
DE102004048191A1 (de) * 2004-09-30 2006-04-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer bevorstehenden Kollision
DE102005000651A1 (de) * 2005-01-04 2006-07-13 Robert Bosch Gmbh Verfahren zur Bestimmung der Eigenbewegung eines Fahrzeugs
US7899211B2 (en) * 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
JP2007176324A (ja) * 2005-12-28 2007-07-12 Aisin Seiki Co Ltd 駐車支援装置
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
DE102006027123A1 (de) * 2006-06-12 2007-12-13 Robert Bosch Gmbh Verfahren für die Erfassung eines Verkehrsraums
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
DE102007022524A1 (de) 2007-05-14 2008-11-20 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug
US20080306666A1 (en) 2007-06-05 2008-12-11 Gm Global Technology Operations, Inc. Method and apparatus for rear cross traffic collision avoidance
JP4337929B2 (ja) * 2007-12-25 2009-09-30 トヨタ自動車株式会社 移動状態推定装置
US9176006B2 (en) * 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
KR101188588B1 (ko) 2008-03-27 2012-10-08 주식회사 만도 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
DE102008036009B4 (de) 2008-03-28 2018-03-22 Volkswagen Ag Verfahren zum Kollisionsschutz eines Kraftfahrzeugs und Parkhausassistent
US8155853B2 (en) * 2008-06-26 2012-04-10 GM Global Technology Operations LLC Mechanical time dilation algorithm for collision avoidance system
JP4453775B2 (ja) * 2008-06-27 2010-04-21 トヨタ自動車株式会社 物体検出装置
DE102008058279A1 (de) 2008-11-20 2010-05-27 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
WO2010129907A2 (en) * 2009-05-08 2010-11-11 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
US9179072B2 (en) * 2010-10-31 2015-11-03 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
US9233659B2 (en) * 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system

Also Published As

Publication number Publication date
US9789816B2 (en) 2017-10-17
JP2014501401A (ja) 2014-01-20
US20130335553A1 (en) 2013-12-19
EP2652706A1 (de) 2013-10-23
DE102010063133A1 (de) 2012-06-21
WO2012080044A1 (de) 2012-06-21
EP2652706B1 (de) 2018-07-11
CN103534729A (zh) 2014-01-22

Similar Documents

Publication Publication Date Title
JP6005055B2 (ja) 車両のパーキングアシストシステムにおける駐車軌道を継続的に計算する、検査するおよび/または適応させる方法、コンピュータプログラムおよびパーキングアシストシステム
CN105539434B (zh) 用于躲避转向操作的路径规划方法
US20200241531A1 (en) Automated driving apparatus
US9595197B2 (en) Lateral control apparatus of vehicle and control method of the same
US9229453B1 (en) Unified motion planner for autonomous driving vehicle in avoiding the moving obstacle
US9429946B2 (en) Driving control system and dynamic decision control method thereof
CN106043302B (zh) 车辆的主动巡航控制系统及其方法
US9613280B2 (en) System and method for front detecting of vehicle
US20160297432A1 (en) Collision avoidance based on front wheel off tracking during reverse operation
US20180162390A1 (en) Vehicle Control Device and Vehicle Control Method
KR102515667B1 (ko) 운전 지원 장치 및 이를 이용한 운전 지원 방법
US11498556B2 (en) Side collision risk estimation system for a vehicle
CN111661047B (zh) 车辆中的车道位置感测和跟踪
GB2486814A (en) Method for assisting a driver of a motor vehicle
US11753002B2 (en) Vehicular control system
JP6663622B2 (ja) 撮像装置
JP2009252032A (ja) 車両の接触回避支援装置
JP4976998B2 (ja) 車両の走行安全装置
CN116118770A (zh) 面向稳健自动驾驶控制的车辆感知系统的自适应合理化器
JP2022154933A (ja) 車両制御装置、車両制御用コンピュータプログラム及び車両制御方法
US20230303070A1 (en) Division line recognition apparatus
US20230054590A1 (en) Validation of surrounding objects percieved by an ads-equipped vehicle
RU2778300C1 (ru) Способ и система для прогнозирования маневра объекта
US20240034322A1 (en) Travel controller and travel control method
US20220306120A1 (en) Driving support device

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150730

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150810

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20151016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160906

R150 Certificate of patent or registration of utility model

Ref document number: 6005055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250