JP5414673B2 - 車両走行環境検出装置 - Google Patents
車両走行環境検出装置 Download PDFInfo
- Publication number
- JP5414673B2 JP5414673B2 JP2010519626A JP2010519626A JP5414673B2 JP 5414673 B2 JP5414673 B2 JP 5414673B2 JP 2010519626 A JP2010519626 A JP 2010519626A JP 2010519626 A JP2010519626 A JP 2010519626A JP 5414673 B2 JP5414673 B2 JP 5414673B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- environment detection
- change amount
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 85
- 238000005070 sampling Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
しかしながら、特許文献1に開示されているように、ある特定の対象物を検出して現在位置を補正する方法によれば、例えば、白線が無い等、特定の対象物が存在しないエリアについては検出が不可能であり、この場合、自車位置を補正することができない。
実施の形態1.
図1は、この発明の実施の形態1に係る車両走行環境検出装置の内部構成を示すブロック図である。
ここでは、車両走行環境検出装置として、車両に搭載されたナビゲーション装置1を利用し、このナビゲーション装置1に画像処理装置3を接続し、例えば、車両の前方側面(フェンダー部分)に設置された側方カメラ2により撮影される沿道側方物体の画像を処理することで、特定の対象物に依存することなく車両走行中における周囲環境を検出する仕組みを提供している。なお、側方カメラ2は、既に車両の側面に取り付けられている監視モニタ等により代替してもよい。
表示部13は、制御部10による制御の下、制御部10により生成出力される現在地表示、目的地設定、誘導、案内に関する情報を表示し、操作部14は、実装された各種スイッチ類による操作入力を取込んで制御部10にユーザ指示を伝達するとともにユーザインタフェースとしての役割を担う。表示部13と操作部14は、LCD(Liquid Crystal Display Device)タッチパネル等の表示入力装置で代替してもよい。なお、地図情報記憶部16には、地図情報の他に、施設情報等が格納されている。
なお、位置補正部17は、GPS受信機11や車速センサ12等の自律航法装置により測位された車両の現在位置と、後述する画像処理装置3により検出される、例えば、交差点等の地点情報とを比較し、異なっていた場合に車両の現在位置を補正する機能を有する。詳細は後述する。
画像処理装置3は、車両に設置された側方カメラ2により撮影される沿道の側方物体の画像を所定のサンプリング間隔で連続して取得し、取得される少なくとも2つの画像から変化量を算出し、算出された画像の変化量から車両走行中における周囲環境を検出する機能を有し、画像情報取得部31と、変化量算出部32と、環境検出制御部33と、環境検出部34とにより構成される。
変化量算出部32は、環境検出制御部33によるシーケンス制御の下で、画像情報取得部31により取得される側方物体の画像の特徴点を抽出し、ここで抽出された特徴点に基づき連続した画像間での変化量を算出し、環境検出制御部33経由で環境検出部34に引き渡す。変化量算出部32は更に、画像の変化量と画像のサンプリング間隔とにより側方物体における特徴点の単位時間あたりの変化量である移動速度を算出し、環境検出制御部33経由で環境検出部34に引き渡す。
なお、環境検出制御部33は、画像処理装置3が、車両に設置された側方カメラ2により撮影される側方物体の画像を所定のサンプリング間隔で連続して取得し、取得される少なくとも2つの画像から画像の変化量を算出し、算出された画像の単位時間あたりの変化量から車両周辺の走行環境を検出するために、上記した画像情報取得部31、変化量算出部32、環境検出部34の動作シーケンスを制御する。
この発明の実施の形態1に係る車両走行環境検出装置は、車両20aが走行により車両20bで示す位置に移動した際、側方カメラ2で撮影された画像の変化量、もしくは単位時間あたりの変化量である画像の見かけ上の移動速度を画像処理により算出し、交差点、T字路、踏み切り等の地点検出を行なうものである。
図3(a)は、交差点進入前、図3(b)は交差点進入時における沿道側方物体の撮影画像を示す。
この発明の実施の形態1に係る車両走行環境検出装置は、この移動速度の変化を利用することによって交差点を含む地点情報を検出し、更に、検出した地点情報に基づき自車位置を補正するものである。
ここでは、ナビゲーション装置1の車速センサ12により計測される実際の車速度VRと、画像処理(画像処理装置3の変化量算出部32)により算出される撮影画像の見かけ上の移動速度VVとを時間軸上にプロットして示してある。図4に示されるように、交差点通過地点(交差点通過時間帯領域x)における側方カメラ2による撮影画像の見かけ上の移動速度は、交差点通過前後に撮影される画像と比較して小さくなることが想定される。
以下、図5に示すフローチャートを参照しながら、図1に示すこの発明の実施の形態1に係る車両走行環境検出装置の動作について詳細に説明する。
この時点で、ナビゲーション装置1の制御部10は、車速センサ12により計測される車速度情報に基づき、車両通過地点が交差点であると判断する基準となる閾値aを算出し、環境検出部34へ引き渡す(ステップST504)。
変化量算出部32は、更に、上記により算出された画像の変化量と、時系列に連続した画像n−1のフレーム間隔(サンプリング時間)とから、画像の単位時間あたりの変化量である見かけ上の画像の移動速度を算出し、環境検出制御部33を経由して環境検出部34へ引き渡す(ステップST506)。
環境検出部34により車両が交差点を通過中であると判断された場合、位置補正部17は、環境検出部34により検出された地点情報と、GPS受信機11、車速センサ12を含む自律航法装置により検出された車両の現在位置とを比較する。ここで、異なっていると判定された場合、位置補正部17は、地図情報記憶部16に記憶された地図情報を参照することにより補正値を決定し(ステップST508)、ここで決定された補正値にしたがい車両の現在位置を補正し、制御部10を経由して表示部13に補正された車両の現在位置を表示する(ステップST509)。
上記した実施の形態1に係る車両走行環境検出装置は、車両走行中における車両周辺の環境として、交差点を含む地点情報を検出する例について説明したが、以下に説明する実施の形態2では、車両の両側面(例えば、左右のフェンダー部分)に、側方カメラ2a、2bをそれぞれ設置し、車両の左右の画像を同時に撮影し、取込むことで、側方カメラ2a、2bそれぞれにより撮影され、取込まれる側方物体の画像の変化量の変化を同時に追跡するものである。
この場合も実施の形態1同様、側方カメラ2a、2bで撮影された側方物体が遠方にあればあるほど、画像におけるその側方物体の変化量は小さくなる。このことを利用すれば、車両の左右の画像における側方物体の変化量の差から道路内における車両の走行位置を推定することができる。
図6(a)は、車両20aが道路の中央を走行している場合の模式図であり、この場合、側方カメラ2a、2bのそれぞれにより撮影され取込まれる側方物体の変化量の差は比較的小さくなることが推定される。また、図6(b)は、車両20bが道路左側を走行している場合の模式図であり、この場合、左の側方物体の画像の変化量(左側方変化量)は、右の側方物体の画像の変化量(右側方変化量)と比較して大きくなることが推定される。図6(c)は、車両20cが道路右側を走行している場合の模式図であり、この場合、右側方変化量は、左側方変化量と比較して大きくなることが推定される。このことから、推定された道路内における車両位置を、自車位置表示、および自車位置補正に利用することができる。
なお、この発明の実施の形態2に係る車両走行環境検出装置としての構成は、側方カメラ2a、2bを車両に設置する以外、図1に示す実施の形態1と同様であるため、図1に示す構成を参照しながら説明する。
画像処理装置3は、画像情報取得部31が、所定のサンプリング間隔で連続した画像を同じタイミングで取り込み、ここで取込んだ右側方物体の画像n、および左側方物体の画像mをそれぞれ時系列(n>1、かつ、m>1)で、変化量算出部32、および環境検出制御部33へ供給する(ステップST702、ST703)。
画像の変化量の算出は、実施の形態1における画像の変化量同様、輝度絶対差分値の平均値、平均2乗誤差、あるいは相関値等により、画像間の差分を数値で表現できれば、その数値を変化量として扱うことにより算出が可能である。
変化量算出部32は、更に、上記により算出されたこれら画像の変化量と、時系列に連続した画像n(m)とn−1(m−1)のフレーム間隔(サンプリング時間)とから、右側方移動速度Nと左側方移動速度Mのそれぞれを算出し、環境検出制御部33を経由して環境検出部34へ引き渡す(ステップST705)。
続いて、環境検出部34は、変化量算出部32により算出された右側方移動速度Nと左側方移動速度Mの比と、車両の右側方距離Xnの逆数と左側方距離X−Xnの逆数の比は等しいと仮定したときの、車両の進行方向に直交する直線と沿道とが交差する位置から車両の右側方位置までの距離Xnを算出し、ナビゲーション装置1の制御部10に引き渡す(ステップST706)。
位置補正部17は、環境検出部34により検出された車両の道路上における走行位置(距離Xn)に基づき、制御部10を介して表示部13に対し、中央走行、左側走行、右側走行を含む、走行中の道路内にマッピングされた自車位置を詳細に表示する(ステップST707)。
例えば、画像情報取得部31が、車両に設置された側方カメラ2により撮影される側方物体の画像を所定のサンプリング間隔で連続して取得し、変化量算出部32が、画像情報取得部31により取得される少なくとも2つの画像から画像の変化量を算出し、あるいは、環境検出部34が、変化量算出部32により算出された画像の変化量から車両周辺の走行環境を検出する、それぞれのデータ処理は、1または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウェアで実現してもよい。
Claims (9)
- 車両に設置されたカメラにより撮影される側方物体の画像を所定のサンプリング間隔で連続して取得する画像情報取得部と、
前記画像情報取得部により取得される少なくとも2つの画像から前記画像の輝度が変化する部位を特徴点として抽出し、前記抽出された特徴点に基づき連続して取得される画像間での前記輝度の変化量を算出する変化量算出部と、
前記変化量算出部により算出された前記輝度の変化量から前記車両周辺の走行環境を検出する環境検出部と、
を備えたことを特徴とする車両走行環境検出装置。 - 前記変化量算出部は、
前記画像情報取得部により取得された前記側方物体の画像の特徴点を抽出し、前記抽出された特徴点に基づき連続して取得される画像間での変化量を算出することを特徴とする請求項1記載の車両走行環境検出装置。 - 前記変化量算出部は、
前記算出された輝度の変化量と前記画像のサンプリング間隔とにより前記側方物体の単位時間あたりの変化量を画像の変化速度として算出することを特徴とする請求項2記載の車両走行環境検出装置。 - 前記環境検出部は、
前記車両の進行方向からみて側方に空間的に開けた地点情報を検出することを特徴とする請求項1記載の車両走行環境検出装置。 - 前記環境検出部は、
前記変化量算出部により算出される前記特徴点の変化量もしくは変化速度と、前記変化量もしくは変化速度に対して設定される閾値とを比較して地点情報を検出することを特徴とする請求項3記載の車両走行環境検出装置。 - 前記環境検出部により検出された地点情報と、自律航法装置により検出された前記車両の現在位置とを比較し、異なっていた場合に前記車両の現在位置を補正する位置補正部と、
を備えたことを特徴とする請求項5記載の車両走行環境検出装置。 - 前記画像情報取得部は、
前記車両に設置されたカメラにより側方物体の画像を左右同時に連続して取得し、
前記変化量算出部は、
前記車両の右側で連続して取得される画像間での前記輝度の変化量である右側方変化量および前記車両の左側で連続して取得される画像間での前記輝度の変化量である左側方変化量を算出し、
前記環境検出部は、
地図情報を参照して現在走行中の道路幅に関する情報Xを取得し、
前記右側方変化量と前記左側方変化量と前記現在走行中の道路幅に関する情報Xとを用いて、前記車両の進行方向に直交する直線と沿道とが交差する位置から前記車両の側方位置までの距離を算出し、前記車両の道路上における走行位置を検出する
ことを特徴とする請求項1記載の車両走行環境検出装置。 - 前記変化量算出部は、
前記右側方変化量および前記左側方変化量と、前記取得した連続した画像のサンプリング間隔とにより前記特徴点の右側方移動速度Nと左側方移動速度Mとを算出し、
前記環境検出部は、
前記車両の進行方向に直交する直線と沿道とが交差する位置から前記車両の右側方位置までの距離Xnを算出するにあたり、
前記右側方移動速度Nと前記左側方移動速度Mの比と、前記車両の右側方距離Xnの逆数と左側方距離X−Xnの逆数の比に等しいと仮定して前記Xnを算出する
ことを特徴とする請求項7記載の車両走行環境検出装置。 - 前記環境検出部により検出された前記車両の道路上における走行位置に基づき前記車両の自車位置を表示装置に出力する位置補正部と、
を備えたことを特徴とする請求項7記載の車両走行環境検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010519626A JP5414673B2 (ja) | 2008-07-07 | 2009-06-18 | 車両走行環境検出装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008176866 | 2008-07-07 | ||
JP2008176866 | 2008-07-07 | ||
JP2010519626A JP5414673B2 (ja) | 2008-07-07 | 2009-06-18 | 車両走行環境検出装置 |
PCT/JP2009/002777 WO2010004689A1 (ja) | 2008-07-07 | 2009-06-18 | 車両走行環境検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010004689A1 JPWO2010004689A1 (ja) | 2011-12-22 |
JP5414673B2 true JP5414673B2 (ja) | 2014-02-12 |
Family
ID=41506817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010519626A Expired - Fee Related JP5414673B2 (ja) | 2008-07-07 | 2009-06-18 | 車両走行環境検出装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20110109745A1 (ja) |
JP (1) | JP5414673B2 (ja) |
CN (1) | CN102084218A (ja) |
DE (1) | DE112009001639T5 (ja) |
WO (1) | WO2010004689A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006037156A1 (de) * | 2006-03-22 | 2007-09-27 | Volkswagen Ag | Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung |
US20140379254A1 (en) * | 2009-08-25 | 2014-12-25 | Tomtom Global Content B.V. | Positioning system and method for use in a vehicle navigation system |
EP2551638B1 (en) * | 2011-07-27 | 2013-09-11 | Elektrobit Automotive GmbH | Technique for calculating a location of a vehicle |
JP5780307B2 (ja) * | 2011-09-20 | 2015-09-16 | トヨタ自動車株式会社 | 対象物変化検出装置および対象物変化検出方法 |
US10008002B2 (en) * | 2012-02-28 | 2018-06-26 | NXP Canada, Inc. | Single-camera distance estimation |
JP5910180B2 (ja) * | 2012-03-06 | 2016-04-27 | 日産自動車株式会社 | 移動物体位置姿勢推定装置及び方法 |
JP5942822B2 (ja) * | 2012-11-30 | 2016-06-29 | 富士通株式会社 | 交差点検出方法および交差点検出システム |
GB201407643D0 (en) | 2014-04-30 | 2014-06-11 | Tomtom Global Content Bv | Improved positioning relatie to a digital map for assisted and automated driving operations |
EP3833004A1 (en) | 2015-07-10 | 2021-06-09 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device |
EP3998456A1 (en) | 2015-08-03 | 2022-05-18 | TomTom Global Content B.V. | Methods and systems for generating and using localisation reference data |
WO2018139212A1 (ja) | 2017-01-25 | 2018-08-02 | パナソニックIpマネジメント株式会社 | 運転制御システムおよび運転制御方法 |
CN110361021B (zh) * | 2018-09-30 | 2021-06-22 | 毫末智行科技有限公司 | 车道线拟合方法及系统 |
US10970878B2 (en) * | 2018-12-13 | 2021-04-06 | Lyft, Inc. | Camera calibration using reference map |
CN110996053B (zh) * | 2019-11-26 | 2021-06-01 | 浙江吉城云创科技有限公司 | 一种环境安全检测方法、装置、终端及存储介质 |
JP2023078640A (ja) * | 2021-11-26 | 2023-06-07 | トヨタ自動車株式会社 | 車両撮影システムおよび車両撮影方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001034769A (ja) * | 1999-07-26 | 2001-02-09 | Pioneer Electronic Corp | 画像処理装置、画像処理方法及びナビゲーション装置 |
JP2007147458A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ltd | 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体 |
JP2008059569A (ja) * | 2006-07-28 | 2008-03-13 | Honda Motor Co Ltd | 接触時間算出装置及び接触時間算出方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3941252B2 (ja) * | 1998-08-07 | 2007-07-04 | マツダ株式会社 | 車両の位置検出装置 |
JP3958133B2 (ja) | 2002-07-12 | 2007-08-15 | アルパイン株式会社 | 車両位置測定装置および方法 |
JP4003623B2 (ja) * | 2002-11-19 | 2007-11-07 | 住友電気工業株式会社 | 旋回可能な監視カメラを用いた画像処理システム |
US7428997B2 (en) * | 2003-07-29 | 2008-09-30 | Microvision, Inc. | Method and apparatus for illuminating a field-of-view and capturing an image |
CN1579848A (zh) * | 2003-08-15 | 2005-02-16 | 程滋颐 | 具有图像摄取和无线通讯功能的汽车防盗报警器 |
JP2006086933A (ja) * | 2004-09-17 | 2006-03-30 | Canon Inc | 撮像装置及び制御方法 |
EP1811457A1 (en) * | 2006-01-20 | 2007-07-25 | BRITISH TELECOMMUNICATIONS public limited company | Video signal analysis |
CN100433016C (zh) * | 2006-09-08 | 2008-11-12 | 北京工业大学 | 基于信息突变的图像检索方法 |
-
2009
- 2009-06-18 US US12/995,879 patent/US20110109745A1/en not_active Abandoned
- 2009-06-18 DE DE112009001639T patent/DE112009001639T5/de not_active Ceased
- 2009-06-18 WO PCT/JP2009/002777 patent/WO2010004689A1/ja active Application Filing
- 2009-06-18 CN CN2009801268024A patent/CN102084218A/zh active Pending
- 2009-06-18 JP JP2010519626A patent/JP5414673B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001034769A (ja) * | 1999-07-26 | 2001-02-09 | Pioneer Electronic Corp | 画像処理装置、画像処理方法及びナビゲーション装置 |
JP2007147458A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ltd | 位置検出装置、位置検出方法、位置検出プログラムおよび記録媒体 |
JP2008059569A (ja) * | 2006-07-28 | 2008-03-13 | Honda Motor Co Ltd | 接触時間算出装置及び接触時間算出方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2010004689A1 (ja) | 2010-01-14 |
JPWO2010004689A1 (ja) | 2011-12-22 |
DE112009001639T5 (de) | 2011-09-29 |
US20110109745A1 (en) | 2011-05-12 |
CN102084218A (zh) | 2011-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5414673B2 (ja) | 車両走行環境検出装置 | |
US6249214B1 (en) | Image processing apparatus, image processing method, navigation apparatus, program storage device and computer data signal embodied in carrier wave | |
KR100873474B1 (ko) | 영상상의 교통 시설물의 픽셀 사이즈 및 위치를 이용한차량 위치 추정 장치 및 그 방법 | |
KR101558353B1 (ko) | 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치 | |
US11519738B2 (en) | Position calculating apparatus | |
KR20180088149A (ko) | 차량 경로 가이드 방법 및 장치 | |
US20100131190A1 (en) | Navigation apparatus | |
US20080007428A1 (en) | Driving support apparatus | |
US20100268452A1 (en) | Navigation device, navigation method, and navigation program | |
KR100887721B1 (ko) | 영상 차량 항법 장치 및 방법 | |
CN104380137A (zh) | 通过图像辅助的角度确定功能来间接测距的方法和手持测距设备 | |
JP2009250718A (ja) | 車両位置検出装置及び車両位置検出方法 | |
KR20150054022A (ko) | 헤드업 디스플레이를 이용한 차선변경 정보 표시 장치 및 방법 | |
JP2014137321A (ja) | 位置座標変換システム、位置座標変換方法、車載装置、世界座標計測装置および位置座標変換プログラム | |
JP2011149835A (ja) | カーナビゲーション装置 | |
JP4948338B2 (ja) | 車間距離計測装置 | |
US20090201173A1 (en) | Driving support apparatus, a driving support method and program | |
JP2010281781A (ja) | 走行車線検出装置 | |
JP2007206014A (ja) | ナビゲーション装置 | |
KR20150056323A (ko) | 헤드업 디스플레이를 이용한 길 안내 정보 표시 장치 및 방법 | |
JP6597128B2 (ja) | 車両用表示装置 | |
JP2006153565A (ja) | 車載ナビゲーション装置及び自車位置補正方法 | |
US20230150499A1 (en) | Vehicle control system and vehicle driving method using the vehicle control system | |
KR102239483B1 (ko) | 차량의 맵매칭 방법 및 그 장치 | |
US20230123039A1 (en) | Vehicular positioning method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5414673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |