JPH1199849A - 運転行動パターン認識装置 - Google Patents

運転行動パターン認識装置

Info

Publication number
JPH1199849A
JPH1199849A JP26522697A JP26522697A JPH1199849A JP H1199849 A JPH1199849 A JP H1199849A JP 26522697 A JP26522697 A JP 26522697A JP 26522697 A JP26522697 A JP 26522697A JP H1199849 A JPH1199849 A JP H1199849A
Authority
JP
Japan
Prior art keywords
behavior pattern
driving
recognition
driving behavior
pattern recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP26522697A
Other languages
English (en)
Other versions
JP4096384B2 (ja
Inventor
Toshihiro Yamamura
智弘 山村
Nobutomo Hisaie
伸友 久家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP26522697A priority Critical patent/JP4096384B2/ja
Publication of JPH1199849A publication Critical patent/JPH1199849A/ja
Application granted granted Critical
Publication of JP4096384B2 publication Critical patent/JP4096384B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

(57)【要約】 【課題】 連続的かつリアルタイムな認識処理が可能な
運転行動パターン認識装置を提供すること。 【解決手段】 運転操作量から隠れマルコフモデルによ
って運転行動パターンを認識する際に、認識対象である
運転行動パターン毎に特定の運転操作量を設定し、その
運転操作量が所定の条件を満たした場合に認識開始及び
終了判定を行うようにする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は運転行動パターン認
識装置、より具体的には、隠れマルコフモデル(以下、
HMMと称する)を利用して、運転者の運転操作量や車
両状態量から、現在行っている、あるいは、今から行お
うとしている「右左折」や「減速」などの運転行動パタ
ーンを認識する運転行動パターン認識装置に関する。
【0002】
【従来の技術】従来の運転行動パターン認識装置として
は、米国の日産リサーチアンドデベロップメント社、ケ
ンブリッジベーシックリサーチにおける研究があげられ
る。ここでは、HMMを用いて、運転操作量と車速等の
簡単な車両状態量から運転者の運転意図を認識する手法
の研究を行っていることが、インターネット等により紹
介されている。この研究は、HMMの観測データとし
て、ハンドル角度、アクセル、ブレーキ操作量の運転操
作量と、車速データを用い、あらかじめ学習された「右
折」、「左折」、「車線変更」、「追い越し」、「停
止」、「何もしない」の6つの運転行動モデルのうちど
れを行おうとしているかを認識する研究である。
【0003】このような運転行動パターン認識装置を、
例えば、車両に搭載された各種の警報装置やナビゲーシ
ョンシステム等の情報提供装置に付加することによっ
て、行おうとしている運転行動にまったく関係の無い警
報や情報を、運転者に提供しないようにすることが可能
になり、運転者の煩わしさを低減できることが期待され
ている。
【0004】HMMは、音声認識等の分野で広く用いら
れている時系列データのパターン認識手法であり、有限
状態間の遷移確率、各状態から観測データが出力される
確率などを用いて、入力されたデータからモデルで出力
される尤度(出力確率)を算出し、モデル間の尤度の比
較に基づいてパターン認識を行う手法である。
【0005】概念図を図5に示す。これは、状態数3の
HMMであり、S1 ,S2 ,S3 は各状態を、矢印で示
されるaijは状態iからjへの遷移確率を、bi (Y)
は状態iにおいて観測データYが観測される確率を、そ
れぞれ示す。これを時系列パターン認識に用いる場合、
認識させたいパターンにおける観測データを元に事前に
モデルの学習を行った後、学習済みのモデルに観測デー
タを入力することにより、各モデルの出力確率を算出
し、もっとも出力確率の高いモデルを認識結果とするも
のである。
【0006】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の運転行動パターン認識装置にあっては、以下
のような問題点があった。前記研究では、認識を実行す
るための時系列データとして、あらかじめ取得しておい
た運転操作量データを切り出して使用しており、認識開
始及び認識終了の判断は、与えられた時系列データファ
イルの始まりと終わりによって決定される。しかし、こ
の技術を、例えば車両用警報装置に適用するために、連
続的かつリアルタイムに認識処理を行わせるためには、
自動的に認識開始及び認識終了を判断する手段が必要と
なる。
【0007】従来より、HMMを認識手段として適用が
進んでいる音声認識技術においては、入力される時系列
データが音声のみの1種類のデータであり、かつ、音声
言語の認識においては、文節の切れ目や文の終わり等、
無音声部分が存在するため、認識開始及び認識終了の判
断は比較的容易であった。つまり、音声データがゼロで
なくなったことを認識開始の判断基準とし、ゼロに戻っ
たことを認識終了の判断基準とすることで、HMMによ
る音声認識が容易に可能となる。
【0008】しかし、HMMを運転行動パターン認識装
置に適用する場合には、運転行動は複数の機器(アクセ
ルペダル、ブレーキペダル、ハンドル等)を操作して行
われるため、複数の操作量を入力する必要があり、運転
行動は長時間連続的に行われ、かつ、基本的には切れ目
が存在しないため、認識開始及び認識終了を判断する手
段を設けることが必要不可欠となるが、従来の研究はい
まだ実用化レベルの研究には至っておらず、このような
認識開始及び終了判定手段については解決されていなか
った。
【0009】認識開始を判定する代わりに、毎回の処理
周期において認識開始であると判断し、全ての認識処理
を実行することも可能であるが、そのためには可能性の
ある全ての条件での認識処理を行うこととなるため、計
算処理量が膨大になることとなり、実際の車載装置の適
用を考えた場合現実的ではない。また、認識終了を判定
しないと、例えば連続して実施される複合的な運転行動
(左折直後に停止する等)を行った場合に、先に行った
運転行動は比較的精度良く認識可能であるが、続けて行
った運転行動を別の運転行動であるとして、区別して認
識することができない。
【0010】本発明は、このような従来の問題点に着目
してなされたもので、運転操作量から隠れマルコフモデ
ルによって運転行動パターンを認識する際に、認識対象
である運転行動パターン毎に特定の運転操作量を設定
し、その運転操作量が所定の条件を満たした場合に認識
開始及び終了判定を行うようにすることにより、上記問
題点を解決することを目的としている。
【0011】
【課題を解決するための手段】上述の課題を解決するた
めに、請求項1に記載の発明は、複数の運転操作量を入
力し、あらかじめ学習した複数の運転行動パターンのう
ち何れに合致しているかを認識する運転行動パターン認
識装置において、運転行動パターン毎に特定の運転操作
量を設定し、その運転操作量が所定の条件を満たすこと
により、認識を開始する構成とする。
【0012】また、請求項2に記載の発明は、複数の運
転操作量を入力し、あらかじめ学習した複数の運転行動
パターンのうち何れに合致しているかを認識する運転行
動パターン認識装置において、運転行動パターン毎に特
定の運転操作量を設定し、その運転操作量が所定の条件
を満たすことにより、認識を終了する構成とする。
【0013】さらに、請求項3に記載の発明は、請求項
1または2に記載の運転行動パターン認識装置におい
て、運転行動パターンを認識する手法として、隠れマル
コフモデル(HMM)を用いたパターン認識手法を用い
る構成とする。
【0014】
【発明の実施の形態】以下、本発明による運転行動パタ
ーン認識装置の実施の形態を添付図面を参照して詳細に
説明する。本実施の形態は、本発明による運転行動パタ
ーン認識装置を、ナビゲーションシステムの付加情報手
段として適用した場合の例である。なお、図1は本発明
による運転行動パターン認識装置の一実施の形態のシス
テムブロック図、図2は作用を説明するためのフローチ
ャート、図3及び図4は作用を説明するための説明図、
図5は隠れマルコフモデルを説明するための概念図であ
る。
【0015】まず、図1を用いて構成を説明する。運転
者の運転操作量を計測するセンサとして、操舵角センサ
101、アクセルセンサ102、ブレーキセンサ10
3、及び、車速センサ104を有している。これらセン
サの出力値は、運転行動パターン認識装置111に入力
される。
【0016】運転行動パターン認識装置111は、これ
らの入力から現在の運転行動パターンを推定し、その結
果をナビゲーションシステム121へと出力する。
【0017】ナビゲーションシステム121では、運転
行動パターン認識装置111からの運転行動パターン認
識結果を受けて、現在の運転行動パターンに不必要な情
報は提供を停止する等の制御を行う。
【0018】次に、本実施の形態の作用を説明する。H
MMを用いた時系列データパターン認識では、あらかじ
め学習させておいた複数のデータパターンから最も一致
度合いが高いパターンを認識結果として出力する。今回
の運転行動パターン認識装置111では、あらかじめ学
習させたモデルを使用し、運転操作量データを入力する
ことによって、6つの運転行動パターンのうち、最も当
てはまるのはどのパターンかを推定する。
【0019】ここでの6つのパターンは、「右折」、
「左折」、「車線変更」、「追い越し」、「停止」、
「何もしない」であり、このうち「何もしない」パター
ンは他の5つのパターンに当てはまらない運転行動パタ
ーンを全て包含するので、残りの5つのパターンについ
て、5つのモデルを作成する。各運転行動パターンに合
致するような条件で取得した運転操作量データを用い
て、あらかじめ各モデルを学習させる。
【0020】なお、本実施の形態ではパターンを6つに
分けたが、もっと小さく分けてパターン数を増やすこと
により、より正確な判断を行ってもよいし、複数のパタ
ーンの中でほぼ同じような操作量になると思われるパタ
ーンについては、一つのパターンとして扱うことにより
処理内容を簡略化することが可能である。
【0021】図2のフローチャートを用いて、具体的な
処理内容を詳細に説明する。このフローは、運転行動パ
ターン認識装置111における処理の内容を示したもの
である。
【0022】ステップS201では、101〜104
(図1参照)の各種センサから、運転操作量及び車両状
態量を読み込む。
【0023】次の、ステップS202〜S205の処理
は、推定対象であるパターンのモデル毎に実施される処
理であり、この運転操作推定ルーチンが一度実行される
間にモデルの個数回(5回)だけ実行される。
【0024】ステップS202では、そのモデルについ
て認識開始状態にあるかどうかを判定する。ここでの判
定基準を、図3に示す。ここでは、各モデルに特有な運
転操作量を用い、その運転操作量が基準状態になったこ
とを判別してそのモデルに関する認識を開始する。認識
を開始しない場合には、そのモデルの出力確率はゼロで
あるとして、そのモデルについての計算処理を行わな
い。このように処理することにより、現在の運転状況に
不必要な計算処理を省くことが可能となり、計算時間の
短縮の効果が得られる。
【0025】ステップS202で認識が開始された場
合、ステップS203では、現在及び所定回数以前まで
の運転操作量、車両状態量のデータを各運転行動モデル
へと入力する。
【0026】ステップS204では、入力されたデータ
と過去の出力確率等を元に、各モデルにおいて今回の出
力確率が算出される。すべてのモデルについてこれらの
処理が実行され、ステップS205で全モデルについて
終了したと判断されたら、ステップS206以降の処理
へと進む。
【0027】ステップS206では、全モデルでの出力
確率を比較し、最大の出力確率を算出したモデルを求め
る。ここでは、5つのモデルからの出力確率の値を相互
に比較し、最も大きな値を示すモデルが選択されるが、
その最大出力確率が所定値以下の場合には、これらの何
れにも当てはまらないとして、「何もしない」運転行動
パターンが選択される。これにより、6つのパターンの
うち、現在の運転操作がどのパターンに当てはまるのか
が認識される。
【0028】ステップS207では、認識パターンの終
了判定を行う。ここでの判定基準を、図4に示す。ここ
では、各モデルに特有な運転操作量を用い、その運転操
作量が基準状態になったことを判別する。
【0029】その後、ステップS208で、次回以降の
処理のために、今回の運転操作量をメモリし、ステップ
S209で、認識結果をナビゲーションシステム121
へと出力して、今回の処理を終了する。
【0030】以上のような構成とすることにより、HM
Mを用いて運転操作量から運転行動パターンを認識する
際に、各モデルの認識開始、終了の判断が可能となるた
め、連続的かつリアルタイムな認識処理が可能となり、
その認識結果をナビゲーションシステムに入力すること
により、現在の運転行動パターンに不必要な交通状況等
の情報を提供することを防止し、運転者が必要としてい
る情報のみを提供することが可能となる。
【0031】また、不必要な計算処理を省くことが可能
となるため、全体の計算処理量を小さくでき、結果とし
て、より安価な計算機で運転行動パターン認識装置を提
供できる。
【0032】更に、各運転行動パターンの終了判定を確
実に行うことにより、連続して行われる複合的な運転行
動も区別して認識することができ、ナビゲーションシス
テムにおいてより的確な情報提供が可能となる。
【0033】なお、本実施の形態では、認識結果を利用
する例としてナビゲーションシステムを取り上げて説明
を行ったが、これにこだわるものでなく、車両に搭載さ
れる各種の警報装置等にも応用できることは言うまでも
ない。例えば、先行車までの車間距離を計測し、車間距
離が接近しすぎる状況を防止するための車間距離警報装
置の場合、運転者が追い越しを行おうとしている場合に
は、通常走行時よりも接近した状況になり易く、不必要
な警報が発生して煩わしくなり易いが、本運転行動パタ
ーン認識装置を応用することにより、このような煩わし
い警報が発生する頻度を減少させることが可能である。
【0034】また、運転操作を計測するセンサとして、
操舵角センサやアクセル、ブレーキペダルセンサを示し
たが、ヨーレートセンサや前後Gセンサ等の車両走行状
況を計測するセンサを併用することにより、さらに認識
性能を向上させることも可能である。
【0035】
【発明の効果】以上、詳細に説明したように、本発明に
よれば、運転操作量から隠れマルコフモデルによって運
転行動パターンを認識する際に、認識対象である運転行
動パターン毎に特定の運転操作量を設定し、その運転操
作量が所定の条件を満たした場合に認識開始及び終了判
定を行うようにすることにより、連続的かつリアルタイ
ムな認識処理が可能な運転行動パターン認識装置を提供
することができる。
【図面の簡単な説明】
【図1】本発明による運転行動パターン認識装置の一実
施の形態のシステムブロック図である。
【図2】作用を説明するためのフローチャートである。
【図3】作用を説明するための説明図である。
【図4】作用を説明するための説明図である。
【図5】隠れマルコフモデルを説明するための概念図で
ある。
【符号の説明】
101 操舵角センサ 102 アクセルセンサ 103 ブレーキセンサ 104 車速センサ 111 運転行動パターン認識装置 121 ナビゲーションシステム

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の運転操作量を入力し、あらかじめ
    学習した複数の運転行動パターンのうち何れに合致して
    いるかを認識する運転行動パターン認識装置において、 運転行動パターン毎に特定の運転操作量を設定し、その
    運転操作量が所定の条件を満たすことにより、認識を開
    始することを特徴とする運転行動パターン認識装置。
  2. 【請求項2】 複数の運転操作量を入力し、あらかじめ
    学習した複数の運転行動パターンのうち何れに合致して
    いるかを認識する運転行動パターン認識装置において、 運転行動パターン毎に特定の運転操作量を設定し、その
    運転操作量が所定の条件を満たすことにより、認識を終
    了することを特徴とする運転行動パターン認識装置。
  3. 【請求項3】 請求項1または2に記載の運転行動パタ
    ーン認識装置において、 前記運転行動パターンを認識する手法として、隠れマル
    コフモデル(HMM)を用いたパターン認識手法を用い
    ることを特徴とする運転行動パターン認識装置。
JP26522697A 1997-09-30 1997-09-30 運転行動パターン認識装置 Expired - Fee Related JP4096384B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26522697A JP4096384B2 (ja) 1997-09-30 1997-09-30 運転行動パターン認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26522697A JP4096384B2 (ja) 1997-09-30 1997-09-30 運転行動パターン認識装置

Publications (2)

Publication Number Publication Date
JPH1199849A true JPH1199849A (ja) 1999-04-13
JP4096384B2 JP4096384B2 (ja) 2008-06-04

Family

ID=17414284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26522697A Expired - Fee Related JP4096384B2 (ja) 1997-09-30 1997-09-30 運転行動パターン認識装置

Country Status (1)

Country Link
JP (1) JP4096384B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007198853A (ja) * 2006-01-25 2007-08-09 Denso Corp 運転者適応型運転行動推定装置
JP2008126908A (ja) * 2006-11-22 2008-06-05 Denso Corp 運転行動推定方法および装置
EP1997705A1 (en) * 2005-12-28 2008-12-03 National University Corporation Nagoya University Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device
JP2009073465A (ja) * 2007-08-28 2009-04-09 Fuji Heavy Ind Ltd 安全運転支援システム
JP2009145933A (ja) * 2007-12-11 2009-07-02 Nippon Telegr & Teleph Corp <Ntt> センサノード制御システム及び方法
JP2010221962A (ja) * 2009-03-25 2010-10-07 Denso Corp 運転行動推定装置
JP2011053798A (ja) * 2009-08-31 2011-03-17 Denso Corp 運転環境判定装置,運転状況推定装置,運転支援装置
JP2011129010A (ja) * 2009-12-21 2011-06-30 Denso It Laboratory Inc 運転シーン判定装置、運転シーン判定方法およびプログラム、ならびに、ワークロード推定装置、ワークロード推定方法およびプログラム
US10002531B2 (en) * 2014-12-10 2018-06-19 Here Global B.V. Method and apparatus for predicting driving behavior
CN109177982A (zh) * 2018-10-31 2019-01-11 吉林大学 考虑驾驶风格的车辆行驶危险度评价方法
JP2019175075A (ja) * 2018-03-28 2019-10-10 マツダ株式会社 車両用警報装置
JP2019175076A (ja) * 2018-03-28 2019-10-10 マツダ株式会社 車両用警報装置
KR20220001498A (ko) * 2020-06-29 2022-01-05 독터. 인제니어. 하.체. 에프. 포르쉐 악티엔게젤샤프트 자동차의 환경에서 타겟 자동차의 궤적을 예측하기 위한 방법 및 시스템
WO2024024448A1 (ja) * 2022-07-25 2024-02-01 株式会社村田製作所 プログラム、装置、学習モデル、及び方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1997705A1 (en) * 2005-12-28 2008-12-03 National University Corporation Nagoya University Drive behavior estimating device, drive supporting device, vehicle evaluating system, driver model making device, and drive behavior judging device
US8140241B2 (en) 2005-12-28 2012-03-20 National University Corporation Nagoya University Driving action estimating device, driving support device, vehicle evaluating system, driver model creating device, and driving action determining device
EP1997705A4 (en) * 2005-12-28 2011-03-02 Univ Nagoya Nat Univ Corp RIDING APPRAISAL DEVICE, TRAVEL SUPPORT DEVICE, VEHICLE EVALUATION SYSTEM, DEVICE FOR MANUFACTURING A DRIVER MODEL AND DEVICE FOR ASSESSING THE DRIVING BEHAVIOR
JP4650283B2 (ja) * 2006-01-25 2011-03-16 株式会社デンソー 運転者適応型運転行動推定装置
JP2007198853A (ja) * 2006-01-25 2007-08-09 Denso Corp 運転者適応型運転行動推定装置
JP2008126908A (ja) * 2006-11-22 2008-06-05 Denso Corp 運転行動推定方法および装置
US7805240B2 (en) 2006-11-22 2010-09-28 Denso Corporation Driving behavior prediction method and apparatus
JP2009073465A (ja) * 2007-08-28 2009-04-09 Fuji Heavy Ind Ltd 安全運転支援システム
JP2009145933A (ja) * 2007-12-11 2009-07-02 Nippon Telegr & Teleph Corp <Ntt> センサノード制御システム及び方法
JP2010221962A (ja) * 2009-03-25 2010-10-07 Denso Corp 運転行動推定装置
JP2011053798A (ja) * 2009-08-31 2011-03-17 Denso Corp 運転環境判定装置,運転状況推定装置,運転支援装置
JP2011129010A (ja) * 2009-12-21 2011-06-30 Denso It Laboratory Inc 運転シーン判定装置、運転シーン判定方法およびプログラム、ならびに、ワークロード推定装置、ワークロード推定方法およびプログラム
US10002531B2 (en) * 2014-12-10 2018-06-19 Here Global B.V. Method and apparatus for predicting driving behavior
JP2019175075A (ja) * 2018-03-28 2019-10-10 マツダ株式会社 車両用警報装置
JP2019175076A (ja) * 2018-03-28 2019-10-10 マツダ株式会社 車両用警報装置
CN109177982A (zh) * 2018-10-31 2019-01-11 吉林大学 考虑驾驶风格的车辆行驶危险度评价方法
CN109177982B (zh) * 2018-10-31 2020-05-08 吉林大学 考虑驾驶风格的车辆行驶危险度评价方法
KR20220001498A (ko) * 2020-06-29 2022-01-05 독터. 인제니어. 하.체. 에프. 포르쉐 악티엔게젤샤프트 자동차의 환경에서 타겟 자동차의 궤적을 예측하기 위한 방법 및 시스템
WO2024024448A1 (ja) * 2022-07-25 2024-02-01 株式会社村田製作所 プログラム、装置、学習モデル、及び方法

Also Published As

Publication number Publication date
JP4096384B2 (ja) 2008-06-04

Similar Documents

Publication Publication Date Title
JP5867296B2 (ja) 運転シーン認識装置
CN111583715B (zh) 一种车辆轨迹预测方法、车辆碰撞预警方法、装置及存储介质
JP4096384B2 (ja) 運転行動パターン認識装置
CN109808687A (zh) 一种驾驶辅助方法、装置及设备
EP3276589B1 (en) Driving assistance device
JP4556794B2 (ja) ナビゲーション装置
Jin et al. Driver intention recognition based on continuous hidden Markov model
US20220080980A1 (en) Device for predicting speed of vehicle and method thereof
JP4899429B2 (ja) 走行支援装置
JP5152063B2 (ja) 運転行動推定装置
CN111856969A (zh) 自动驾驶仿真测试方法及装置
CN114329306A (zh) 制动距离的计算方法、装置、汽车及介质
CN112506170A (zh) 一种基于驾驶员模型的测试方法及装置
JP3780656B2 (ja) 運転行動パターン認識装置
CN112124310A (zh) 一种车辆的路径变换方法和装置
JP2010039718A (ja) 車両制御装置、車両制御方法および車両制御処理プログラム
CN112542061B (zh) 基于车联网的借道超车控制方法、装置、系统及存储介质
JPH1199848A (ja) 車両挙動推定装置
CN114655203A (zh) 一种辅助驾驶方法、装置、设备及存储介质
JP2006160032A (ja) 運転状態判定装置及び運転状態判定方法
CN112172829A (zh) 车道偏离预警方法、装置、电子设备和存储介质
CN115431995B (zh) 基于不同级别辅助驾驶的设备控制方法及装置
CN114103966A (zh) 一种辅助驾驶的控制方法、装置和系统
JP2022189811A (ja) 機械学習アルゴリズム内において使用される機械学習分類器をチューニングするための超音波システム及び方法
JP2012137362A (ja) 走行道路推定装置、方法およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060411

Effective date: 20060411

Free format text: JAPANESE INTERMEDIATE CODE: A523

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061229

A131 Notification of reasons for refusal

Effective date: 20071002

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Effective date: 20080219

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080303

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 3

Free format text: PAYMENT UNTIL: 20110321

LAPS Cancellation because of no payment of annual fees