JP4940465B2 - 運転指導装置 - Google Patents

運転指導装置 Download PDF

Info

Publication number
JP4940465B2
JP4940465B2 JP2006057934A JP2006057934A JP4940465B2 JP 4940465 B2 JP4940465 B2 JP 4940465B2 JP 2006057934 A JP2006057934 A JP 2006057934A JP 2006057934 A JP2006057934 A JP 2006057934A JP 4940465 B2 JP4940465 B2 JP 4940465B2
Authority
JP
Japan
Prior art keywords
driving
image
driving image
dangerous
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006057934A
Other languages
English (en)
Other versions
JP2007233259A (ja
Inventor
明彦 林
渉 増沢
穣 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optex Co Ltd
Original Assignee
Optex Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optex Co Ltd filed Critical Optex Co Ltd
Priority to JP2006057934A priority Critical patent/JP4940465B2/ja
Publication of JP2007233259A publication Critical patent/JP2007233259A/ja
Application granted granted Critical
Publication of JP4940465B2 publication Critical patent/JP4940465B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、運転者に対する安全運転指導用の運転指導装置に関する。
従来から、運転者が実際に車両を運転した運転操作に関するデータを取得し、その結果を提示することによって、運転者の安全運転技術の向上に役立たせる運転指導装置が知られている。特に、車両外の運転状況を撮像した画像データを記録する運転画像記録型では、安全管理者が運転者の危険運転によりヒヤリとしたりハッとしたヒヤリハットシーンにおける再生した画像を当該運転者に見せることによって、運転者の安全運転意識を向上させることに用いられる(例えば、特許文献1)。
特許第3044025号公報
ところが、従来の運転指導装置では、その再生画像は管理者が運転内容を確認することにのみ作成されており、例えば人の飛び出しがあった場合、再生画像のどの場面の画像に、および当該画像上のどの箇所に注意するべきであったかは専ら安全管理者の記憶力に委ねられることになる。特に、安全講習に際して複数種類の運転画像を順番に提示して説明しようとすれば、別途メモを用意するなど安全管理者の負担が重くなる。また、パーソナルコンピュータ(PC)上で安全講習資料として運転者に見せる提示運転画像(プレゼンテーション画像)の効率的な編集を行うことが困難であった。
本発明は、前記の問題点を解決して、提示運転画像(プレゼンテーション画像)の効率的な編集が容易で、注意喚起箇所についての運転指導が容易にできる運転指導装置を提供することを目的とする。
前記目的を達成するために、本発明にかかる運転指導装置は、少なくとも車両の運転状況を撮像し運転画像を得る撮像装置および運転画像を含むデータを記録するレコーダ部が車両に搭載された車載装置と、前記運転画像から所定の危険運転に関する条件に基づいて抽出された危険運転画像および定常運転画像を含む運転画像に基づいて運転者に提示される提示運転画像を編集する制御を行う編集制御部と、前記提示運転画像を画面に表示する表示部とを備え、表示された提示運転画像に基づき運転者の運転指導を行う運転指導装置であって、前記編集制御部は、画面上における前記危険運転画像について当該運転状態が示された任意の注意喚起箇所自体に重ね合わせて、該箇所の位置に注意表示を付加させる制御を行う画面注意表示制御部を備え、前記所定の危険運転に関する条件に基づいて抽出された危険運転画像を含む連続する運転画像について、前記注意表示を各危険運転画像に共通する前記注意喚起箇所にそれぞれ付加させ、前記注意表示が付加された連続する危険運転画像を含む運転画像に基づいて、これらの運転画像を複数種類集めた提示運転画像を編集するものであり、前記複数種類集めた連続する危険運転画像を含む運転画像の合計を指標する合計指標を演算して、当該演算された合計指標を画面上に表示する合計指標演算部を備えている。
この構成によれば、画面上における危険運転画像の運転状態が示された任意の注意喚起箇所自体に重ね合わせて、該箇所の位置に注意表示を付加させる制御を行うので、編集に際して危険運転状態が示された注意喚起箇所の位置に注意表示を容易に付加でき、また当該注意表示の付加確認も容易となるとともに、運転者に対して当該注意喚起箇所の位置に付加された注意表示により容易に運転指導できる。また、注意表示が付加された連続する危険運転画像を含む運転画像に基づいて提示運転画像を容易に編集することができる。しかも、合計指標演算部が複数種類集めた連続する危険運転画像を含む運転画像の合計を指標する合計指標を演算して、当該演算された合計指標を画面上に表示するので、提示運転画像を必要に応じてより容易に編集できる。
好ましくは、前記編集制御部は、前記連続する危険運転画像を含む運転画像の複数種類から、前記合計指標に基づいて任意の複数種類を選択して前記提示運転画像とする運転画像選択部を備えている。したがって、提示運転画像を必要に応じてより容易に編集できる。
好ましくは、前記編集制御部は、間欠的に撮像された定常運転画像を連続的に提示するよう編集する間欠画像編集制御部を備えている。したがって、定常運転ルートを効率的に把握できるので、定常運転ルートの引継ぎの運転指導が容易となる。
以下、本発明の実施形態を図面にしたがって説明する。図1は、本発明の一実施形態に係る運転指導装置を示す概略構成図である。本装置は、車両の運転状況について車両外を撮像して運転画像を得る撮像装置(CCDカメラ)3、および運転画像を含む運転操作に関するデータを記録するレコーダ部1が車両に搭載された車載装置と、レコーダ部1で記録されたデータを処理するパーソナルコンピュータ(PC)2とを備えている。レコーダ部1は、前記CCDカメラ3のほかに、加速度データを計測する加速度センサ4、車両位置を計測するGPS5、ウインカー、ドア、エンジン回転数、ギア、速度などの情報を検出するセンサ部6、制御部(CPU)7、バッファメモリ8、および画像データや計測データを記録する記録媒体(メモリカード)10を備えている。
前記レコーダ部1のメモリーカード10には、車両の運転状況を撮像した運転画像データのほかに、時刻、速度、加速度、GPS、ウインカー、エンジン回転数、ドア開閉、アクセル開度などの計測データが記憶される。
図1のパーソナルコンピュータ(PC)2は、制御部(CPU)11に設けられた編集制御部12、および表示部(表示器)9を有し、例えばROMに編集ソフトウエアおよび解析ソフトウエアが格納され、メモリーカード10に記録されたデータから複数人の運行データが蓄積されるデータベース21を有する。そして、PC2は、この蓄積されたデータを使用して行う提示運転画像(プレゼンテーション画像)編集部22のほかに、運行記録報告日報の作成部、運転の良否診断部、事故時の自車の挙動解析部の各部を有している。
前記PC2の編集制御部12は、運転画像から抽出された危険運転画像および定常運転画像の少なくとも1つを含む運転画像に基づいて運転者に提示される提示運転画像(プレゼンテーション画像)を編集する制御を行う。図2に示すように、この編集制御部12は、画面注意表示制御部13、再生切換制御部14、合計指標演算部15、運転画像選択部16および間欠画像編集制御部17を備えている。前記表示器9は、提示運転画像(プレゼンテーション画像)を表示する。
図2の画面注意表示制御部13は、画面上における提示運転画像について当該運転状態が示された任意の注意喚起箇所に、マーカのような注意表示を付加させる制御を行う。前記注意表示としては、マーカ以外に注意喚起箇所以外のマスキング、注意喚起箇所のズーム、および注意喚起箇所の色変化や文字表示などが例示される。
編集制御部12は、所定の危険運転に関する条件に基づいて抽出された危険運転画像を含む連続する運転画像について、前記マーカを各危険運転画像に共通する前記注意喚起箇所にそれぞれ付加させ、前記マーカが付加された連続する危険運転画像を含む運転画像に基づいて、これらの運転画像を複数種類集めた提示運転画像を編集する。前記危険運転に関する条件としては、危険度、運転者のID(個人識別番号)、対象期間などが例示される。
再生切換制御部14は、前記マーカが付加されない通常の運転画像を再生するための第1の再生操作と、前記マーカ付きの運転画像を再生するための第2の再生操作とに基づいて、各再生画像の切換制御を行う。前記再生操作は、例えば画面上に設けられた第1、第2の再生ボタンの操作のほかに、キーボードの操作やマウスのボタン操作などにより行われる。
合計指標演算部15は、前記複数種類集めた連続する危険運転画像を含む運転画像の合計を指標する合計指標を演算して、当該演算された合計時間のような合計指標を画面上に表示する。前記合計指標としては、合計時間のほかに、合計表示件数、総フレーム数および予想指導時間などが用いられる。また、運転画像選択部は、前記連続する危険運転画像を含む運転画像(1シーン)の複数種類(複数シーン)から、前記合計指標に基づいて任意の複数種類(複数シーン)を選択して前記提示運転画像とする。
間欠画像編集制御部17は、間欠的に撮像された定常運転画像(静止画像)を連続的に提示するよう編集する。この場合、提示運転画像(プレゼンテーション画像)と同様に、間欠画像提示の際に、前記マーカ表示をして所定のフレームだけ表示時間を長くしたり、自動連続再生中に所定フレームを一時停止させたり、マーカ表示のある箇所へジャンプすることもできる。
以下、本装置の動作を説明する。本装置は、図1の前記提示運転画像(プレゼンテーション画像)編集部22が編集制御部12の制御により、格納された編集ソフトウエアにしたがってプレゼンテーション画像の編集を行う。
まず、車両に搭載された図1のレコーダ部1の入力部にメモリカード10が挿入されて、このメモリカード10に車両の運転に関する画像データおよび計測データが取得される。そして、運転終了後に、このメモリカード10が例えば安全管理部に置かれたパーソナルコンピュータ(PC)2の入力部に挿入されて、各データがデータベース21に取り込まれる。以下、図3のフローチャートに示すプレゼンテーション画像編集部22の動作を説明する。なお、この例では、危険運転画像を含む運転画像に基づいてプレゼンテーション画像を編集しているが、定常運転画像を含む運転画像に基づいて、または危険運転画像および定常運転画像を含む運転画像に基づいてプレゼンテーション画像を編集してもよい。
(1)データ検索・閲覧・情報付加
まず、データ検索・閲覧・情報付加業務が開始される(ステップS1)。つぎに、例えば、急アクセル、急ブレーキ、急ハンドルなどの危険度、運転者のID、対象期間などの検索条件が設定される(ステップS2)。急アクセル、急ブレーキ、急ハンドルなどの危険度は、前記加速度や速度などの情報を検出する図1の加速度センサ4〜センサ部6からのデータに基づいて得られる。つぎに、危険運転画像を含む運転画像について検索条件に合致した検索が行われる(ステップS3)。
図4に危険運転画像の一覧の一例を示す。この例では、複数種類および複数項目からなる危険運転画像についてその日付、時間、ID、危険の種類および危険度がそれぞれ記載された一覧表30について、危険度、運転者のIDおよび対象期間の検索条件に基づいて絞り込み31が行われる。再生ボタン32をクリックすると、当該項目の連続する危険運転画像を含む運転画像が図示しない画面に1シーンとして再生される。
つぎに、抽出済みデータの閲覧・上映の内定が行われ(ステップS4)、そして、マーカの付加・コメントの付加が行われる(ステップS5)。マーカの付加は、図5の危険運転画像の一例に示すように、安全管理者が画面上で選択した危険運転画像40における任意の注意喚起箇所42に図示しないポインタを置いてマーカONボタン41をクリックすることにより行われ、この操作に基づき図2の画面注意表示制御部13によって、図5の当該注意喚起箇所42に、マーカ43が付加される。具体的には、マーカ43を表示させる位置を、ソフトウエア上で注意喚起箇所42の画像に重ね合わせて表示することにより、マーカ43の付加が行われる。マーカ43としては、符号Mで例示される文字以外に、○、△の記号なども用いられる。
この場合、図2の編集制御部12により、危険運転画像を含む連続する運転画像について、図5のマーカ43を各危険運転画像に共通する当該注意喚起箇所42にそれぞれ付加させ、マーカ43が付加された連続する危険運転画像を含む運転画像に基づいて提示運転画像を編集する。したがって、前シーン44、後シーン45の共通する注意喚起箇所42についてそれぞれマーク43が付加される(図示せず)。こうして、編集に際して危険運転状態が示された注意喚起箇所42にマーカ43を容易に付加できる。また、コメントの付加は、図6の危険運転画像の一例に示すように、画面上のコメント欄47をクリックすることにより行われ、運転画像に重ねてコメント48が付加される。画面上には必要に応じて所定のチェックボックス欄Cが表示される。さらに、図5のゲージ46を用いることにより、画面内の例えば車間距離を計測して、ゲージONボタン49をクリックすることで当該距離を画面上に表示することもできる(図示せず)。
また、危険運転画像にマーカ43を付加した場合、図7の危険運転画像50の画面に設けられて、マーカが付加されない通常の運転画像を再生するための第1の再生ボタン51と、前記マーカ43付きの運転画像を再生するための第2の再生ボタン52とのクリック操作に基づいて、図2の再生切換制御部14により、各再生画像の切換制御を行うので、編集に際してマーカ付加確認が容易となる。
(2)提示運転画像(プレゼンテーション)の編集
図2の編集制御部12により編集された複数シーンからなるプレゼンテーション画像が画面上に表示される(ステップS6)。図8にプレゼンテーション画像の一例を示す。この場合、図2の合計指標演算部15により、複数シーンからなる提示運転画像を表示(上映)する合計時間を下記のとおり演算して、当該演算された時間を画面上に表示する(図示せず)。
1シーンの上映時間(例えば20sec)×シーン数=上映合計時間
つぎに、危険運転画像一覧からの削除・上映可否・ソートが決定される(ステップS7)。上映の選択は、図2の運転画像選択部16により、図8のように、その上段部分に示された一覧表54に提示された複数シーンから、所定の危険条件に基づいて複数シーンが選択されて提示運転画像(プレゼンテーション画像)とされる。この選択は前記合計時間や指導効果の有効性などが考慮されて行われるもので、この例では、符号56に示すように最初の44シーンから31シーンが最終的に選択されて編集される。
編集されたプレゼンテーション画像が保存され(ステップS8)、上映か編集終了かどうかが確認される(ステップS9)。上映する場合には、図8の上映ボタン57がクリックされて、プレゼンテーション画像が上映され(ステップS10)、終了する(ステップS11)。ステップS9で編集終了した場合も終了する(ステップS11)。こうして、提示運転画像(プレゼンテーション画像)が編集され、上映される。
また、図8の下段部分の定常(定時)運転画像の一覧表55に示された間欠的に撮像された定常運転画像(静止画像)について、間欠画像編集制御部17により、この間欠的に撮像された定常運転画像が、図8の上映ボタン58がクリックされて、連続的に短時間に画面上に表示される。この場合、図2のCCDカメラ3により、例えば1分毎のように間欠的に撮影した画像(写真)が記録されたものが用いられる。これにより、定常運転ルートを効率的にビジュアルで把握できるので、新たな運転者についての定常運転ルートの引継ぎなどが容易となる。
(3)運転者に対する運転指導
上記のように編集されたプレゼンテーション画像に基づき行われる運転者に対する安全運転指導の一例について説明する。安全管理者は、運転者に対して編集されたプレゼンテーション画像を上映して見せる。そして、編集されたプレゼンテーション画像の危険運転画像(例えば、人の飛び出し)について、まず、図7の第1の再生ボタン51がクリックされて、マーカが付加されていない運転画像を再生させる。そして、安全管理者によりこの運転画像のどの箇所が危険なのかの質問が運転者に発せられる。運転者が明確に答えられないような場合、つぎに、第2の再生ボタン52がクリックされて、人の飛び出し前の危険運転画像についての図5のマーカ43付き画像を再生させて、危険運転状態が運転者に示される。
運転者は実際の危険運転画像を見せられ、かつそれが注意喚起箇所にマーカ43付きの運転画像であるので、危険運転に対してどこに注意を喚起すべきかが明確に示される。こうして、運転者に対して安全管理者は当該注意喚起箇所42に付加されたマーカ43により容易に安全運転指導ができる。また、図6のように、運転者に関するコメント48も適宜付加される。
このように、本発明では、画面上における提示運転画像の運転状態が示された任意の注意喚起箇所にマーカを付加させる制御を行うので、編集に際して危険運転状態が示された注意喚起箇所にマーカを容易に付加できるとともに、運転者に対して当該注意喚起箇所に付加されたマーカにより容易に運転指導ができる。
なお、この実施形態では、編集ソフトウエアを用いて、提示運転画像(プレゼンテーション画像)の編集を行っているが、これに代えて、ハードウエア(専用機)を用いて、編集を行ってもよい。
なお、この実施形態では、編集制御部12は間欠画像編集制御部17を備えているが、これを省略してもよい。
本発明の一実施形態に係る運転指導装置を示す概略構成図である。 図1の編集制御部を示す構成図である。 提示運転画像編集部の動作を示すフローチャート図である。 危険運転画像の一覧の一例を示す図である。 危険運転画像の一例を示す図である。 危険運転画像の一例を示す図である。 危険運転画像の一例を示す図である。 提示運転画像の一例を示す図である。
符号の説明
1:レコーダ部
2:パーソナルコンピュータ(PC)
3:撮像装置(CCDカメラ)
9:表示部
12:編集制御部
13:画面注意表示制御部
14:再生切換制御部
15:合計指標演算部
16:運転画像選択部
17:間欠画像編集制御部
22:提示運転画像(プレゼンテーション画像)編集部
42:注意喚起箇所
43:注意表示(マーカ)

Claims (3)

  1. 少なくとも車両の運転状況を撮像し運転画像を得る撮像装置および運転画像を含むデータを記録するレコーダ部が車両に搭載された車載装置と、前記運転画像から所定の危険運転に関する条件に基づいて抽出された危険運転画像および定常運転画像を含む運転画像に基づいて運転者に提示される提示運転画像を編集する制御を行う編集制御部と、前記提示運転画像を画面に表示する表示部とを備え、表示された提示運転画像に基づき運転者の運転指導を行う運転指導装置であって、
    前記編集制御部は、
    画面上における前記危険運転画像について当該運転状態が示された任意の注意喚起箇所自体に重ね合わせて、該箇所の位置に注意表示を付加させる制御を行う画面注意表示制御部を備え、
    前記所定の危険運転に関する条件に基づいて抽出された危険運転画像を含む連続する運転画像について、前記注意表示を各危険運転画像に共通する前記注意喚起箇所にそれぞれ付加させ、前記注意表示が付加された連続する危険運転画像を含む運転画像に基づいて、これらの運転画像を複数種類集めた提示運転画像を編集するものであり、
    前記複数種類集めた連続する危険運転画像を含む運転画像の合計を指標する合計指標を演算して、当該演算された合計指標を画面上に表示する合計指標演算部を備えた、
    運転指導装置。
  2. 請求項1において、
    前記編集制御部は、前記連続する危険運転画像を含む運転画像の複数種類から、前記合計指標に基づいて任意の複数種類を選択して前記提示運転画像とする運転画像選択部を備えた運転指導装置。
  3. 請求項1において、
    前記編集制御部は、間欠的に撮像された定常運転画像を連続的に提示するよう編集する間欠画像編集制御部を備えた運転指導装置。
JP2006057934A 2006-03-03 2006-03-03 運転指導装置 Expired - Fee Related JP4940465B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006057934A JP4940465B2 (ja) 2006-03-03 2006-03-03 運転指導装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006057934A JP4940465B2 (ja) 2006-03-03 2006-03-03 運転指導装置

Publications (2)

Publication Number Publication Date
JP2007233259A JP2007233259A (ja) 2007-09-13
JP4940465B2 true JP4940465B2 (ja) 2012-05-30

Family

ID=38553880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006057934A Expired - Fee Related JP4940465B2 (ja) 2006-03-03 2006-03-03 運転指導装置

Country Status (1)

Country Link
JP (1) JP4940465B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5090891B2 (ja) * 2007-12-21 2012-12-05 トヨタ自動車株式会社 安全運転教示システム
JP2013012093A (ja) * 2011-06-30 2013-01-17 Yupiteru Corp システム及びプログラム
JP6854227B2 (ja) * 2017-09-29 2021-04-07 本田技研工業株式会社 運転教習装置
JP2019066636A (ja) * 2017-09-29 2019-04-25 本田技研工業株式会社 運転教習装置及び運転教習方法
JP7410835B2 (ja) * 2020-09-30 2024-01-10 本田技研工業株式会社 運転教習装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2592343B2 (ja) * 1990-04-03 1997-03-19 正太郎 稲葉 安全運転指導用ドライブシュミレータ
JP3267713B2 (ja) * 1992-12-14 2002-03-25 本田技研工業株式会社 車両用運転練習装置
JPH08194430A (ja) * 1995-01-13 1996-07-30 Nikon Corp 自動車教習装置
JP2003150042A (ja) * 2001-11-12 2003-05-21 Nec Mobiling Ltd 自動車教習システム、その処理方法及びそのプログラム
NO317200B1 (no) * 2002-08-09 2004-09-13 Best Practice Deployment As System for trafikkopplaering i et kjoretoy
JP2004138556A (ja) * 2002-10-18 2004-05-13 Kumamoto Technology & Industry Foundation カーナビゲーションシステム
JP3817612B2 (ja) * 2003-06-11 2006-09-06 エルゴシーティング株式会社 バーチャルドライビングシステム
JP2005214857A (ja) * 2004-01-30 2005-08-11 Sony Corp ナビゲーション装置、案内画像作成方法
JP2005222007A (ja) * 2004-02-09 2005-08-18 Fukue Sawada 技能教習用の動画を収録した記憶媒体とその画面表示機器

Also Published As

Publication number Publication date
JP2007233259A (ja) 2007-09-13

Similar Documents

Publication Publication Date Title
JP6554280B2 (ja) データ処理装置、画像処理方法、及び、プログラム
JP4940465B2 (ja) 運転指導装置
JP6171142B2 (ja) 記録制御システム、表示制御システム及びプログラム
JP2008003657A (ja) 運転情報集約装置、システム、情報集約方法、及び、情報集約プログラム
JP2007140616A (ja) 運転支援装置および運転情報算出システム
JP5814592B2 (ja) 運転内容評価装置
JP4445493B2 (ja) 運転支援装置
JP2017169181A (ja) 再生装置
JP2007141211A (ja) 運転支援方法および運転支援装置
JP2008257424A (ja) 端末監視方法、端末監視装置、及び端末監視プログラム
JP5042711B2 (ja) 運行管理装置
JP5180450B2 (ja) 運転支援方法および運転支援装置
JP2004294267A5 (ja)
JP2009049518A (ja) 監視装置、監視システム及び映像検索方法
JP6510333B2 (ja) 走行情報解析装置及びコンピュータプログラム
JP2007163472A (ja) 運転指導装置
JP4955239B2 (ja) 監視方法並びに監視システム、監視装置及びセンター監視装置
JP2012098907A (ja) ドライブレコーダ、ドライブレコード管理装置及びドライブレコーダシステム
JP5085693B2 (ja) 運転支援装置および運転支援方法
JP5012644B2 (ja) プレゼンテーション記録装置、プレゼンテーション再生装置及びプログラム
JP2009250792A (ja) データ検査システム
JP5139480B2 (ja) 運転支援装置、運転支援システム、運転支援ソフトおよび運転支援方法
KR100950070B1 (ko) 기행 정보 콘텐츠 제작 장치 및 방법과 콘텐츠 재생 장치
JP4999901B2 (ja) 運転支援装置
JP5918211B2 (ja) 移動情報処理装置、移動情報表示装置、移動情報表示方法及び移動情報管理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120209

R150 Certificate of patent or registration of utility model

Ref document number: 4940465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees