JP5622993B2 - 走行車線に関する自動車の位置を求めるための方法および装置 - Google Patents

走行車線に関する自動車の位置を求めるための方法および装置 Download PDF

Info

Publication number
JP5622993B2
JP5622993B2 JP2001223333A JP2001223333A JP5622993B2 JP 5622993 B2 JP5622993 B2 JP 5622993B2 JP 2001223333 A JP2001223333 A JP 2001223333A JP 2001223333 A JP2001223333 A JP 2001223333A JP 5622993 B2 JP5622993 B2 JP 5622993B2
Authority
JP
Japan
Prior art keywords
road
distance
vehicle
edge
road edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001223333A
Other languages
English (en)
Other versions
JP2002098758A (ja
Inventor
アッペンロート ニルス
アッペンロート ニルス
ベルナー イェルク
ベルナー イェルク
メッツガー クラウス
メッツガー クラウス
ヴァニーリク ゲルト
ヴァニーリク ゲルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Publication of JP2002098758A publication Critical patent/JP2002098758A/ja
Application granted granted Critical
Publication of JP5622993B2 publication Critical patent/JP5622993B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching

Description

本発明は、請求項1および14の特徴に従った方法およびこの方法の使用、ならびに本発明による方法の実施に適した、請求項17の特徴に従った装置に関する。
車両内の快適性および安全性を向上させるために、インテリジェントな場面解釈機能を備えた環境検出のためのセンサシステムが、益々大きな役割を果たしている。
DE 19749086 C1号明細書には、車線の経過を示すデータを求めるためのシステムが記載されており、このシステムは、ビデオカメラの形態の車線識別センサ系と、対象物位置センサ系とを有している。ここで、車線識別センサ系はビデオカメラから、対象物位置センサ系はレーダセンサから成っており、このレーダセンサは、少なくとも、車両前方にある対象物までの間隔と、車両運動方向に関するこの対象物の方向角度とを検出する。車両運動モデルの内部では、これらのセンサ情報が融合され、そこから車両の位置推定が導出される。
車両周辺についての重要な付加的情報は、ナビゲーションシステムを使用することにより得られる。この際、位置分析は一般的に十分に正確であり、車両を手持ちのデジタルロードマップに位置づけすることができる。しかし、例えば幹線道路から脇道が分岐している合流領域または分岐領域に車両がさしかかった場合には、車両がさらに幹線道路上を前進するのか、それとも分岐路または脇道に進むのかを確定することは困難である。それゆえ、場面解釈を改善するためには、付加的なセンサ情報を有意義に補完するナビゲーション情報が必要である。
それゆえ、DE 19906614 A1号明細書に記載されている方法では、ビデオベースの車線識別センサ系を使用して、車道縁部の標識線を識別し、この識別センサ系のデータを、ナビゲーション装置に接続されたデジタルロードマップの情報と比較する。これによって、標識線に関する車両の位置を確定することができる。
これに対して特許出願公開JP 10325869号では、デジタルロードマップに接続された車線識別センサ系がレーダセンサから成るシステムが示されている。これによって、システムは、一方では全天候型(霧による重大な障害がない)となり、他方では車道縁部の境界線の存在に依存しなくなる。しかしながらこの方法の欠点は、車道縁部に等間隔でレーダ反射体を取り付けなければならなくなるという点である。
発明が解決しようとする課題
本発明の課題は、車線に関する自動車の位置を求める方法を見出すことである。この方法では、ナビゲーションシステムに接続されたデジタルロードマップからの情報は、距離分析センサが供給する情報と融合される。
課題を解決するための手段
上記課題は、本発明により、車線に関する自動車の位置を求めるための方法であって、ナビゲーションシステムに接続されたデジタルロードマップを用いて、道路に対する自動車の第1の位置づけを行い、続いて、距離分析センサを用いて、自動車から道路縁部への距離を確定することによって前記第1の位置づけを精密化する形式の方法において、道路縁部までの距離を確定するために、前記距離分析センサの受信信号の特徴を評価するようにすることによって解決される。
本発明の利点は、車両が固定的なトラフィックインフラストラクチャ(標識線、反射体)に頼らず自律的に、その現在位置を車線との関連において確定することができるということから得られる。
本発明の有利な変更および実施形態は、従属請求項に記載されている。
本発明による方法の枠内では、車両から道路縁部までの間隔を求めるための距離分析センサ、有利にはミリメートル波レーダ(レーザに基づいたレーダセンサまたは距離分析センサも考えられる、例えばライダー)が、ナビゲーションシステムに接続された位置確定のためのデジタルロードマップと組み合わされる。ナビゲーションシステムとしては、今日の自動車で既に頻繁に使用されているように、特にDGPSシステムが適している。有利には、本発明による方法は、地図情報を距離分析センサの距離分析と相関させることによって、この曖昧性を取り除く。このようにして、横方向の車両座標と車両方向調整とを一義的に求めることができる。これは、前を走る車両が自車線上を走行しているのか、もしくは隣の車線上を走行しているのかを識別すべきとき、または自車線上の障害物の有無を識別すべきときに、特に重要である。
有利には、本発明による方法では、付加的に、車両に搭載されたジャイロシステムの情報も利用して、道路上で車両方向をより良好に確定することができる。もちろん、ジャイロシステムの代わりに、自動車内にある他のシステムおよびセンサ系の情報を位置推定に利用することも考えられる。
本発明によれば、道路縁部から自動車までの距離の推定値として、距離分析センサの受信信号の特徴が有意に変化し始めるこの受信信号内の距離ゲートの距離が使用される。この場合、受信信号の強度が単調に上昇するときに、有意な変化が判定されるようにすることが考えられる。これは許容範囲内の措置である。というのも、道路表面は、レーダセンサから放射される電磁波に対して滑らかであり、それゆえ反射してセンサへ戻ってくるエネルギーが比較的少ないのに対して、一般的な不均質な道路縁部(砂利、草、道路塗装面/縁石縁部の移行)での反射は明らかにより強いからである。受信信号、例えば信号障害に起因する受信信号の解釈の際のエラーを防ぐためには、信号エネルギーの上昇が少なくとも2つの距離ゲートに亘って生じるときにだけ、単調な信号上昇を有意と評価することも考えられる。距離ゲートの数の有意義な選択は、センサシステムの実際の距離分析に関連して行われる。これに応じて、有利には、道路縁部上の道路塗装面の単調な移行に関しては、画像処理から公知の適切な推定方式によって、距離推定を計算することも考えられる。さらにこの距離分析は、距離分析センサの分析よりも顕著に正確である。解像度がサブピクセル領域にある、このような縁部評価によって、解像度を係数5〜10だけ上昇させることができる。
特に、距離分析センサの受信信号は、道路縁部の典型的な特徴の存在に関しても分析される。その際に、偏を感知するようにセンサを構成し、これによって、信号の分析中に、受信信号の偏を検査することができるようにすると特に有利である。検査によれば、偏した特徴は、道路表面と道路縁部に典型的なテクスチャ(草、砂利)とでは有意に異なる。
有利には、距離情報の時間シーケンスから、道路経過を求めることができる。その際に、道路経過を最小2乗誤差の方法を用いて求めること、またはこの課題のために最適化されたカルマンフィルタを使用することも考えられる。その際に、カルマンフィルタをデジタルロードマップから得られた情報、例えばカーブパラメータに適合させると特に有利である。一時的に車道縁部が識別できない場合、例えば道路が合流する領域にいる場合には、有利には、先行する距離測定によって一時的に道路経過を外挿することも考えられる。
特に有利には、本発明による方法を使用して、技術システムが、車線に関する自動車の位置情報を制御パラメータとして利用できるようにすることができる。この際に、ビームセンサ(例えば、レーダ、ライダまたは赤外線アクティブセンサ系)の検出空間をマスキングするシステムも考えられる。このようにして、道路上のすべての関連する対象物を、道路外部の関連する対象物から分けることが可能となり、これによってシステム全体の識別性能の信頼性が顕著に高くなる。このような処置によって、車道経過に関連したビーム調節が正確に決められ、このことから生じる利点を、例えば対象物の分類の際に正確に実行することができる。この利点の他に、地図をサポートするこのようなセンサシステムは、有利にはセンサの場面解釈の性能を向上させることができる。例えば、システムは誤った識別を防ぐことができる。例えば地図情報から、対象物「橋」がセンサの識別の状態と一致した場合に、この対象物が例えば間違って「動かない障害物」として分類されるのを防ぐことができる。同様に有利には、地図情報に基づいた車道のカーブ半径、または車両周辺のインフラストラクチャの特別な状況に関する情報によって、距離分析センサの信号が比較的良好に解釈され、これによって誤った解釈の可能性を最小化することができる。
本発明による方法の実施のために、この用途のために特別に構成された個別のセンサシステムを車両に取り付けることが考えられる。しかし、本発明による方法の特に有利な点は、個々のセンサの部分情報を有利に組合せるという特徴にある。これによって、既に車両にあるセンサ系(例えばART,Distronic,ナビゲーションシステム、近傍/周辺センサ系)を、比較的少数の変更だけで使用することができる。それゆえ、例えばレーダの放射特性を間隔調整のために拡張し、これによって付加的な個別に評価可能の放射ローブを道路縁部の方向に調節することが考えられる。

Claims (8)

  1. 走行車線に関する自動車の位置を求めるための方法であって、
    ナビゲーションシステムに接続されたデジタルロードマップを用いて、道路に対する自動車の第1の位置づけを行い、
    続いて、距離分析センサを用いて、自動車から道路縁部までの距離を確定することによって、前記第1の位置づけを精密化する形式の方法において、
    道路縁部までの距離を確定するために、前記距離分析センサの受信信号の特徴を評価特徴の分析中に、受信信号の偏波を考慮する、方法において、
    先行する測定によって求められた距離情報の時間シーケンスに基づき、車道縁部の経過を求め、前記求めた車道縁部の経過に基づき、道路が合流する領域の道路縁部を外挿する、
    ことを特徴とする走行車線に関する自動車の位置を求めるための方法。
  2. 自動車の位置を求めるために、ジャイロシステムの位置情報を利用する、請求項記載の方法。
  3. 受信信号が車道縁部の典型的な特徴を有する場合には、有意な変化が判定される、請求項1または2記載の方法。
  4. 前記車道縁部の経過を最小2乗誤差の方法を用いて求める、請求項1から3いずれか1項記載の方法。
  5. 前記車道縁部の経過を、カルマンフィルタを用いて求める、請求項1から4いずれか1項記載の方法。
  6. 前記カルマンフィルタを、例えばカーブパラメータであるデジタルロードマップから得た情報に適合させる、請求項記載の方法。
  7. 請求項1からのいずれか1項記載の方法を実施するための装置であって、
    例えばナビゲーションおよび距離調整の目的で車両に既に存在するセンサが、共に接続されている形式の装置において、
    前記センサのうちの1つは、道路表面と道路縁部との間の移行部を表す特徴を検出す、ことを特徴とする装置。
  8. 前記センサは、道路表面と道路縁部との間の移行部から検出した特徴を個別に評価することができる信号処理ユニットを含む、請求項記載の装置。
JP2001223333A 2000-07-25 2001-07-24 走行車線に関する自動車の位置を求めるための方法および装置 Expired - Fee Related JP5622993B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10036042A DE10036042B4 (de) 2000-07-25 2000-07-25 Multisensorielle Fahrspurzuordnung
DE10036042.4 2000-07-25

Publications (2)

Publication Number Publication Date
JP2002098758A JP2002098758A (ja) 2002-04-05
JP5622993B2 true JP5622993B2 (ja) 2014-11-12

Family

ID=7650053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001223333A Expired - Fee Related JP5622993B2 (ja) 2000-07-25 2001-07-24 走行車線に関する自動車の位置を求めるための方法および装置

Country Status (5)

Country Link
US (1) US6597984B2 (ja)
JP (1) JP5622993B2 (ja)
DE (1) DE10036042B4 (ja)
FR (1) FR2812438B1 (ja)
GB (1) GB2370706B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950058B1 (en) * 2001-10-17 2005-09-27 Sirf Technology, Inc. System, method, apparatus and means for providing GPS aiding data to networked receivers
DE102004003848A1 (de) * 2004-01-26 2005-08-11 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
US7513508B2 (en) * 2004-06-04 2009-04-07 Romeo Fernando Malit Computer assisted driving of vehicles
DE102004057296A1 (de) 2004-11-26 2006-06-08 Daimlerchrysler Ag Lane-Departure-Warning mit Unterscheidung zwischen Fahrbahnrandmarkierung und baulicher Begrenzung des Fahrbahnrandes
DE102006052779A1 (de) * 2006-11-09 2008-05-15 Bayerische Motoren Werke Ag Verfahren zur Erzeugung eines Gesamtbilds der Umgebung eines Kraftfahrzeugs
DE102008007347A1 (de) * 2008-02-04 2009-08-06 Robert Bosch Gmbh Vorrichtung und Verfahren zum Bestimmen der Position eines anderen Verkehrsteilnehmers
US20090284361A1 (en) * 2008-05-19 2009-11-19 John Boddie Driver scoring system with lane changing detection and warning system
JP5461065B2 (ja) * 2009-05-21 2014-04-02 クラリオン株式会社 現在位置特定装置とその現在位置特定方法
US8102306B2 (en) 2010-05-13 2012-01-24 The United States Of America As Represented By The Secretary Of The Navy Active-radar-assisted passive composite imagery for aiding navigation or detecting threats
DE102010049214A1 (de) 2010-10-21 2011-07-28 Daimler AG, 70327 Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE102010049215A1 (de) 2010-10-21 2011-07-28 Daimler AG, 70327 Verfahren zur Bestimmung einer Fahrzeugumgebung
JP5935377B2 (ja) * 2012-02-20 2016-06-15 株式会社豊田中央研究所 移動体運動推定装置
US8744675B2 (en) 2012-02-29 2014-06-03 Ford Global Technologies Advanced driver assistance system feature performance using off-vehicle communications
US8996197B2 (en) 2013-06-20 2015-03-31 Ford Global Technologies, Llc Lane monitoring with electronic horizon
US20150316386A1 (en) * 2014-04-30 2015-11-05 Toyota Motor Engineering & Manufacturing North America, Inc. Detailed map format for autonomous driving
DE102014008849A1 (de) 2014-06-14 2014-11-27 Daimler Ag Verfahren zur Erkennung von Fahrspurmarkierungen
US11354880B2 (en) 2017-10-27 2022-06-07 3M Innovative Properties Company Optical sensor systems
US11113824B2 (en) * 2019-04-30 2021-09-07 Aptiv Technologies Limited Heading angle estimation for object tracking
WO2021058099A1 (en) 2019-09-25 2021-04-01 Huawei Technologies Co., Ltd. Multi-step traffic prediction
WO2021058100A1 (en) 2019-09-25 2021-04-01 Huawei Technologies Co., Ltd. Multisensory learning system for traffic prediction

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5899715A (ja) * 1981-12-08 1983-06-14 Nippon Denso Co Ltd 車載用ナビゲ−タ
JPS61280586A (ja) * 1985-06-06 1986-12-11 Nec Corp 目標検出方式
DE3738221A1 (de) 1987-11-11 1989-06-08 Bayerische Motoren Werke Ag Verfahren und einrichtung zum erkennen des zustandes einer strasse
US5229941A (en) 1988-04-14 1993-07-20 Nissan Motor Company, Limtied Autonomous vehicle automatically running on route and its method
DE4127168C2 (de) * 1991-08-16 1994-07-07 Spies Martin J Dipl Ing Fh Signalverarbeitung zur Abstandsmessung
EP0841648B1 (en) * 1992-09-30 2004-06-02 Hitachi, Ltd. Vehicle driving support system and vehicle therewith
DE19505487C2 (de) * 1994-03-09 1997-08-28 Mannesmann Ag Einrichtung in einem Fahrzeug zur Bestimmung der aktuellen Fahrzeugposition
JPH07257301A (ja) * 1994-03-24 1995-10-09 Mitsubishi Electric Corp 障害物警報システム
GB2289999A (en) * 1994-06-03 1995-12-06 Robert Rankin Motor vehicle with parking device
EP0720137B1 (en) * 1994-12-28 2007-02-21 Omron Corporation Traffic information system
DE19507957C1 (de) * 1995-03-07 1996-09-12 Daimler Benz Ag Fahrzeug mit optischer Abtasteinrichtung für einen seitlichen Fahrbahnbereich
JPH09218265A (ja) * 1996-02-14 1997-08-19 Nissan Motor Co Ltd レーダ中心軸自動補正装置
JPH09243389A (ja) * 1996-03-08 1997-09-19 Alpine Electron Inc 車載用ナビゲーション装置
GB9613645D0 (en) * 1996-06-28 1996-08-28 Cambridge Consultants Vehicle radar system
EP1383100A3 (en) * 1996-08-28 2005-02-02 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus and method therefor
JP3490578B2 (ja) * 1996-09-06 2004-01-26 アルパイン株式会社 車載用ナビゲーション装置
GB2318008B (en) * 1996-09-16 2001-02-14 Minorplanet Ltd Monitoring vehicle positions
JPH10122883A (ja) * 1996-10-15 1998-05-15 Aqueous Res:Kk 車両用ナビゲーション装置及びルート設定方法
JPH10325869A (ja) 1997-05-26 1998-12-08 Honda Motor Co Ltd 車両用レーダ装置及びこれを用いた自動走行制御システム
EP0913751B1 (de) * 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
DE19749086C1 (de) * 1997-11-06 1999-08-12 Daimler Chrysler Ag Vorrichtung zur Ermittlung fahrspurverlaufsindikativer Daten
US6577334B1 (en) * 1998-02-18 2003-06-10 Kabushikikaisha Equos Research Vehicle control
JPH11264871A (ja) * 1998-03-17 1999-09-28 Komatsu Ltd 車両用障害物検出装置の監視機構
JP2961253B1 (ja) * 1998-05-20 1999-10-12 建設省土木研究所長 電波式車両位置検出装置
JPH11345394A (ja) * 1998-06-03 1999-12-14 Mitsubishi Electric Corp 車両の周辺監視装置
JP3424908B2 (ja) * 1998-07-08 2003-07-07 三菱ふそうトラック・バス株式会社 車両の後側方監視方法及び車両の後側方監視装置
JP2000046932A (ja) * 1998-07-24 2000-02-18 Mitsubishi Electric Corp Fm−cwレーダ装置
JP2000047727A (ja) * 1998-07-28 2000-02-18 Toyota Motor Corp 車両位置検出装置
JP2000088954A (ja) * 1998-09-08 2000-03-31 Toyota Motor Corp 物体検出装置
JP3853542B2 (ja) * 1999-07-26 2006-12-06 パイオニア株式会社 画像処理装置、画像処理方法及びナビゲーション装置
US6674434B1 (en) * 1999-10-25 2004-01-06 Navigation Technologies Corp. Method and system for automatic generation of shape and curvature data for a geographic database

Also Published As

Publication number Publication date
DE10036042A1 (de) 2002-02-21
FR2812438A1 (fr) 2002-02-01
GB2370706B (en) 2003-03-05
US6597984B2 (en) 2003-07-22
GB0117758D0 (en) 2001-09-12
US20020067292A1 (en) 2002-06-06
DE10036042B4 (de) 2004-12-16
GB2370706A (en) 2002-07-03
FR2812438B1 (fr) 2004-01-30
JP2002098758A (ja) 2002-04-05

Similar Documents

Publication Publication Date Title
JP5622993B2 (ja) 走行車線に関する自動車の位置を求めるための方法および装置
CN109031302B (zh) 分析车辆环境的方法和设备以及装备有这种设备的车辆
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
Ogawa et al. Pedestrian detection and tracking using in-vehicle lidar for automotive application
US8615109B2 (en) Moving object trajectory estimating device
WO2020115544A1 (en) Method and apparatus for enhanced camera and radar sensor fusion
US7275431B2 (en) Vehicle mounted system for detecting objects
US20090254260A1 (en) Full speed range adaptive cruise control system
CN106256644A (zh) 使用视觉提示、静止对象和gps在十字路口中的车辆定位
JP2004534947A (ja) 路上車用の物体の位置探知システム
CN110379178B (zh) 基于毫米波雷达成像的无人驾驶汽车智能泊车方法
JP2004531424A (ja) 車用の感知装置
CN110660218B (zh) 利用毫米波雷达的高精度地图制作方法及系统
JP2023523818A (ja) 高精度地図生成方法、測位方法および装置
JP2023546813A (ja) 自律車両用途のための速度推定および物体追跡
JP3857698B2 (ja) 走行環境認識装置
CN114063061A (zh) 用于通过多个传感器监测车辆的方法
US8031908B2 (en) Object recognizing apparatus including profile shape determining section
JP7149060B2 (ja) 移動物体認識装置
US20230204380A1 (en) Method for locating carriageway markings in a motor vehicle and motor vehicle
WO2021240884A1 (ja) 車両制御装置、および、自車位置推定方法
JPH07100426B2 (ja) 車両用追突警報装置
Fuerstenberg et al. Object tracking and classification using laserscanners-pedestrian recognition in urban environment
CN103748600A (zh) 用于识别车辆的周围空气中的干扰对象的方法和设备
CN109964132B (zh) 用于在运动物体上配置传感器的方法、设备和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080409

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110323

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110622

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110627

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121119

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121126

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130301

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131021

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140924

R150 Certificate of patent or registration of utility model

Ref document number: 5622993

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees