JP3672973B2 - 訓練評価用データ記録再生方法及び訓練評価用データ記録方法及び訓練評価用データ記録再生装置 - Google Patents

訓練評価用データ記録再生方法及び訓練評価用データ記録方法及び訓練評価用データ記録再生装置 Download PDF

Info

Publication number
JP3672973B2
JP3672973B2 JP16785395A JP16785395A JP3672973B2 JP 3672973 B2 JP3672973 B2 JP 3672973B2 JP 16785395 A JP16785395 A JP 16785395A JP 16785395 A JP16785395 A JP 16785395A JP 3672973 B2 JP3672973 B2 JP 3672973B2
Authority
JP
Japan
Prior art keywords
video
training
recording
status
frame address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16785395A
Other languages
English (en)
Other versions
JPH08339160A (ja
Inventor
和憲 北村
淳 桐生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Precision Co Ltd
Original Assignee
Mitsubishi Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Precision Co Ltd filed Critical Mitsubishi Precision Co Ltd
Priority to JP16785395A priority Critical patent/JP3672973B2/ja
Publication of JPH08339160A publication Critical patent/JPH08339160A/ja
Application granted granted Critical
Publication of JP3672973B2 publication Critical patent/JP3672973B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、模擬訓練装置における仮想の訓練状況と、これに対する訓練者の操作を効率よく記録し、訓練後に、任意の状況にある訓練者の様子を迅速に再生し、的確に評価を行えるようにしたものである。
【0002】
【従来の技術】
訓練装置でたとえば緊急操作訓練をした後に、その評価をする場合には、次のようにしていた。訓練者が訓練のための環境状況たとえば模擬計算機の制御により作成された視界映像を見ることによりその状況を判断し、視界映像に対応して訓練機たとえば飛行機や自動車の操作機器を操作する。模擬計算機は、その操作機器の操作量に応じて訓練機器の運動状況、たとえば飛行機や自動車の操縦レバーやハンドルの操作量により飛行機の機体の姿勢や速度あるいは自動車の向きや速度加速度を変化するように視界映像を変化させ、更には訓練者に運動変化による体感を与えるように制御する。模擬計算機は、これらの操作機器の操作状況としての操作量や機体あるいは車体の姿勢、向きのデータのみを訓練評価用データとして所定のパラメータで記録する。訓練後この記録したデータにより読み取れる技量の程度を評価するのである。
【0003】
あるいは、訓練者の操作態度を単独にビデオ・カメラで撮影することが考えられるが、この場合、訓練者が受けた詳細な視覚・聴覚の情報及び操作量等を同じ時間軸上で再生できなかったから、訓練者の技量を客観的に判断できなかった。このため、訓練者が受ける視覚・聴覚の情報に基づいて、どのような行動をとっているか、客観的に判断することができなかった。
【0004】
【発明が解決しようとする課題】
従来の訓練装置では、模擬計算機が訓練員の操作状況や機体あるいは車体の運動状況を数値として記録し、訓練後に記録内容をプリンタへ打ち出したり、表示装置へ表示して評価を行うのみであった。訓練者の操作態度を撮影したビデオ映像や、訓練のための環境状況としての視界映像を制御・加工・記録・再生することはなく、そのための装置もなかった。そのため、記録した機体や車体の操作機器の操作量や運動状況では、訓練者の動作反応や緊張度と連携して異常事態に対する処置行動を評価できず、訓練者熟練度の総合的・客観的な評価ができなかった。
【0005】
この発明は、上記課題を解決するため訓練評価用データ記録再生方法、訓練評価用データ記録方法及び訓練評価用データ記録再生装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明は上記課題を解決するため次のような手段をとる。
【0007】
本発明に係る訓練評価用データ記録再生方法は、模擬計算機のもとで制御される映像合成装置及び映像記録再生装置を備える記録再生方法であって、訓練者の操作態度を撮影した映像と、訓練内容の種目及び操作機器の操作状況及び操作機器の操作によって定まる訓練機の運動状況を文字化した映像とを、模擬視界映像を表示した訓練用映像の一画面の所定位置に映像合成装置において合成した後映像記録再生装置において当該合成映像をフレーム・アドレス上に記録し、模擬計算機は、前記映像記録再生装置が発生する前記フレーム・アドレスに対応して訓練内容の種目及び操作状況及び訓練機の運動状況の文字化情報を記録し、その後、模擬計算機は、当該記録した合成映像を再生する際に、前記訓練内容の種目又は操作状況又は訓練機の運動状況の文字化情報によりフレーム・アドレスを検索し、合成映像を当該検索されたフレーム・アドレスから開始して前記映像記録再生装置により再生するものである。
【0008】
本発明に係る訓練評価用データ記録方法は、模擬計算機のもとで制御される映像合成装置及び映像記録再生装置を備えるデータ記録方法であって、訓練者の操作態度を撮影した映像と、訓練内容の種目及び操作機器の操作状況及び操作機器の操作によって定まる訓練機の運動状況を文字化した映像とを、模擬視界映像を表示した訓練用映像の一画面の所定位置に映像合成装置において合成した後映像記録再生装置において当該合成映像をフレーム・アドレス上に記録し、模擬計算機は、前記映像記録再生装置が発生する前記フレーム・アドレスに対応して訓練内容の種目及び操作状況及び訓練機の運動状況の文字化情報を記録するものである。
【0009】
本発明に係る訓練評価用データ記録再生装置は、模擬計算機のもとで制御される映像合成装置及び映像記録再生装置を備えた装置であって、訓練者の操作態度を撮影した映像と、訓練内容の種目及び操作機器の操作状況及び操作機器の操作によって定まる訓練機の運動状況を文字化した映像とを、模擬視界映像を表示した訓練用映像の一画面の所定位置に合成する映像合成装置と、前記映像合成装置で合成された映像をフレーム・アドレス上に記録する映像記録再生装置と、前記映像記録再生装置が発生するフレーム・アドレスに対応して訓練内容の種目及び操作状況及び訓練機の運動状況の文字化情報を記録するとともに、当該文字化情報により検索されたフレーム・アドレスから開始する合成画像を再生制御する模擬計算機とを有するものである。
【0010】
【作用】
訓練評価用データ記録再生方法において、次のように作用する。
【0011】
訓練時に訓練者の操作態度を撮影した映像と、そのときの訓練内容の種目及び操作機器の操作状況及び操作機器の操作によって定まる訓練機の運動状況を文字化した映像とを、模擬視界映像を表示した訓練用映像の一画面の所定位置に合成する。その後、この合成映像をフレーム・アドレス上に記録しておく。訓練評価をするため、記録した合成映像を再生するには、訓練内容の種目又は操作状況又は訓練機の運動状況の文字化情報によりフレーム・アドレスを検索する。記録された合成映像を検索されたフレーム・アドレスから開始して再生する。
【0012】
訓練評価用データ記録方法において、次のように作用する。
【0013】
訓練時に訓練者の操作態度を撮影した映像と、そのときの訓練内容の種目及び操作機器の操作状況及び操作機器の操作によって定まる訓練機の運動状況を文字化した映像とを、模擬視界映像を表示した訓練用映像の一画面の所定位置に合成する。その後、この合成映像をフレーム・アドレス上に記録する。一方このときのフレーム・アドレスに対応して訓練内容の種目及び操作状況及び訓練機の運動状況の文字化情報を合成映像とは別に記録する。
【0014】
訓練評価用データ記録再生装置において、次のように作用する。
【0015】
映像合成装置は、訓練者の操作態度を撮影した映像と、訓練内容の種目及び操作機器の操作状況及び操作機器の操作によって定まる訓練機の運動状況を文字化した映像とを、模擬視界映像を表示した訓練用映像の一画面の所定位置に合成する。映像記録再生装置は、前記映像合成装置で合成された映像をフレーム・アドレス上に記録しておく。このとき、模擬計算機は、前記映像記録再生装置が発生するフレーム・アドレスに対応して訓練内容の種目及び操作状況及び訓練機の運動状況の文字化情報を記録しておく。さらに、映像記録再生装置において記録された合成画像を再生するときに、模擬計算機は、外部から入力された文字化情報によりフレーム・アドレスを検索し、そのフレーム・アドレスから開始する合成画像を再生制御する。
【0016】
【実施例】
以下本発明の実施例を図により説明する。図1は訓練評価用データ記録再生装置の一実施例の構成図である。図1において、1は模擬計算機、2は訓練者が訓練を受ける場所としての訓練部であり、模擬視界の映像を表示する表示装置、訓練機が備える模擬の操作機器等を設ける。3は前記訓練部2の表示装置に訓練用映像としての模擬視界映像を送出する模擬視界発生装置であり、コンピュータ・グラフィックス(CGI)または実映像等により作成される。4は訓練部2内の訓練者の操作態度を撮影するための撮影装置としてのビデオカメラ、5は映像合成装置であり、前記模擬計算機1から送られた機体(車体)の運動状況や操作機器の操作量のデータさらには訓練内容の種目のデータを文字やグラフの映像信号に変換し、ビデオカメラ4からの映像とともに、模擬視界発生装置3からの模擬視界映像の一画面の所定位置に合成するものである。6は映像合成装置5で合成された映像を所定のフレーム・アドレス上に記録し、指定されたフレーム・アドレスから再生する映像記録再生装置としてのビデオ・ディスク・プレーヤであり、たとえばレーザ・ディスクにより構成される。7はビデオ・ディスク・プレーヤ6の記録・再生映像を表示するディスプレイであり、画面中央部に模擬視界領域71、左上に機体の運動状況領域72、左下に操作機器の操作状況領域73、右上にフレーム・アドレス領域74、右下に訓練者の態度領域75を設けて、それぞれを表示する。模擬計算機1はシステム全体を総合的に制御する。
【0017】
図2は図1の構成図に使用される映像合成装置5のブロック図である。図2において、21は模擬視界発生装置3のCGI等により作成された模擬視界映像をNTSCの映像信号に変換するスキャン・コンバータ、22はビデオカメラ4で撮影した訓練員の様子の映像を入力する外部入力端子、23は映像合成装置5を制御するプロセッサ、24は模擬計算機1から送られたデータを文字の映像信号に変換する文字信号発生回路、25はスキャン・コンバータ21と外部入力端子22とプロセッサ23より送られるNTSCの映像を合成し図1のビデオ・ディスク・プレーヤ6に出力する映像合成回路である。
【0018】
動作を説明する。まず、評価用データの記録について説明する。訓練機として飛行機の場合を説明する。模擬計算機1に訓練開始が指令されると、模擬計算機1は模擬視界発生装置3が訓練内容の種目に応じた模擬視界映像を作成するように制御する。この模擬視界映像は訓練部2の表示装置に表示されるとともに、模擬視界映像の信号が映像合成装置5に送られる。訓練者は表示装置に表示された模擬視界映像を見ながら、訓練機の操作機器を操作操縦し、あたかも訓練機から見た模擬視界の情景が訓練機の正しい態勢から見たものとなるように、又は情景に対処して訓練機が運動するように、操作機器を操作する。この操作機器の操作量は模擬計算機1に送られ、模擬計算機1は訓練機の操作機器の操作量にしたがった運動を計算し、訓練機の運動に応じた模擬視界となるように、模擬視界発生装置3を制御するとともに、この操作機器の操作量及び訓練機の運動状態を順次模擬計算機1上の図示しない内部メモリ及び図示しないハード・ディスクに記録する。訓練内容の種目はプログラムにより予め定められた順序でその状況が発生するようにあるいは図示しない教官部から教官の模擬計算機1への指令により発生するようにしてある。その種目たとえば「離陸」、「故障発生」、「エンジン火災」等の開始毎に模擬計算機1はその訓練内容の種目を制御しそれに応じたデータを記録する。また、これら訓練内容の種目、操作機器の操作状況としての操作量、訓練機の運動状況としての機体状況は、映像合成装置5に送出される。一方、ビデオカメラ4は訓練者の操作の様子を撮影しており、この映像を映像合成装置5に送出する。
【0019】
映像合成装置5の映像合成回路25は、模擬視界発生装置3からスキャンコンバータ21を経て入力した模擬視界映像に対し、ビデオカメラ4からの映像及び模擬計算機1からのデータをプロセッサ23を経て文字信号発生回路24で発生した文字映像を合成する。プロセッサ23の制御で、図1のディスプレイ7の画面中央部の模擬視界領域71、左上の機体の運動状況領域72、左下の操作機器の操作状況領域73、右上のフレーム・アドレス領域74、右下の訓練者の態度領域75にそれぞれを表示するように制御して合成する。
【0020】
映像合成装置5で合成された映像は、ビデオ・ディスク・プレーヤ6において順次生成されるフレーム・アドレス上に記録される。このとき、記録しているフレーム・アドレスは模擬計算機1に送出される。したがって、模擬計算機1上の図示しない内部メモリ及び図示しないハード・ディスクには、記録される訓練内容の種目、操作機器の操作状況としての操作量、訓練機の運動状況としての機体状況のデータが、図3のデータ構造に示すようにフレーム・アドレスに対応して記録されている。
【0021】
ディスプレイ7ではビデオ・ディスク・プレーヤ6で記録している合成映像を表示してモニタすることができる。
【0022】
次に訓練評価のため、評価用データの再生について説明する。訓練終了後、評価するため、ビデオ・ディスク・プレーヤ6の映像記録媒体たとえばビデオ・ディスクに記録されている合成映像を再生する必要がある。その評価に必要な映像を得るため、教官が図示しない入力装置から合成映像検索のために訓練内容の種目又は操作状況又は訓練機の運動状況としてたとえば飛行機の高度を入力する。いま、「エンジン火災」の合成映像を検索するものとする。模擬計算機1は入力された「エンジン火災」の項目を検索し、このときのフレーム・アドレスを引き出す。この入力するデータとフレーム・アドレスとは図3のようなデータ構造となっているため検索が可能となる。模擬計算機1はビデオ・ディスク・プレーヤ6に対して、検索されたフレーム・アドレスから合成映像の再生を行うよう命令を出す。ビデオ・ディスク・プレーヤ6は、「エンジン火災」時の訓練者の操作の様子の再生を開始する。
【0023】
再生された映像に表示される、訓練内容の種目(「エンジン火災」)及び操作機器の操作状況(「スロットル」、「舵角」の操作状況)及び操作機器の操作によって定まる訓練機の運動状況(「高度」等)に関する文字表示や、訓練者の操作態度すなわち処置行動を撮影した映像から、これらの文字表示に現れる数値がどのような行動のもとによって生じたかを客観的に判断でき、エンジン火災等の異常事態に対する処置行動の評価を客観的に行うことができる。
【0024】
操作内容に関する数値等の情報が必要ならば、「エンジン火災」時に模擬計算機1内に記録した、図3に示すデータを模擬計算機1の制御によりプリントアウトする。
【0025】
なお、図3に示すデータは、模擬計算機1上のハード・ディスクへ書込み、ビデオ・ディスク・プレーヤ6には、映像信号及びフレーム・アドレスが同時に書き込まれるため、データは消去作業をしない限り保存され、任意に再生可能である。
【0026】
【発明の効果】
訓練者の操作態度を撮影した映像と、訓練内容の種目及び操作機器の操作状況及び操作機器の操作によって定まる訓練機の運動状況を文字化した映像とを、模擬視界映像を表示した訓練用映像の一画面の所定位置に合成するとともに、当該合成映像をフレーム・アドレス上に記録し、前記フレーム・アドレスに対応して訓練内容の種目及び操作状況及び訓練機の運動状況の文字化情報を記録するので、訓練評価に必要なデータを映像のみを記録するだけでなく、その検索に必要なデータを文字化情報としてフレーム・アドレスに対応して記録することができる。このようにして、訓練中の操作態度の映像と操作状況、運動状況を数量的に示した文字化した映像を同時表示して訓練中の客観的評価が可能となる。
【0027】
上記のように記録した文字化情報によりフレーム・アドレスを検索し、そのフレーム・アドレスに記録した合成映像を再生開始するので、訓練後の、任意の場面の瞬時の検索、再生表示が可能となる。また、再生時における、訓練状況の数値情報(例えば高度情報)の入力を任意に切り替えて、訓練後の多面的評価をすることができる。
【0028】
映像記録再生装置で記録するものは合成映像とフレーム・アドレスだけであり、訓練内容の種目及び操作機器の操作状況及び操作機器の操作によって定まる訓練機の運動状況等のデータは文字化した映像として、ディスプレイ上で人間が読み取れるように記録している。そのため、合成映像の再生のみで、文字映像を含んだ訓練内容を表示して、これらの文字表示に現れる操作状況の数値を、訓練者の動作反応や緊張度と連携して異常事態を含む種々の事態に対する処置行動として評価でき、訓練者熟練度の総合的・客観的な評価をすることができる。
【図面の簡単な説明】
【図1】本発明に係る訓練評価用データ記録再生装置の一実施例の構成図である。
【図2】本発明に用いる映像合成装置のブロック図である。
【図3】フレーム・アドレスに対応して訓練内容の種目及び操作状況及び訓練機の運動状況の文字化情報を記録するデータ構造を示す図である。
【符号の説明】
1…模擬計算機、2…訓練部、3…模擬視界発生装置、4…ビデオカメラ(撮影装置)、5…映像合成装置、6…ビデオ・ディスク・プレーヤ(映像記録再生装置)、7…ディスプレイ、71…模擬視界領域、72…機体の運動状況領域、73…操作機器の操作状況領域、74…フレーム・アドレス領域、75…訓練者の態度領域、21…スキャン・コンバータ、22…外部入力端子、23…プロセッサ、24…文字信号発生回路、25…映像合成回路。

Claims (3)

  1. 模擬計算機のもとで制御される映像合成装置及び映像記録再生装置を備えるデータ記録再生方法であって、
    訓練者の操作態度を撮影した映像と、訓練内容の種目及び操作機器の操作状況及び操作機器の操作によって定まる訓練機の運動状況を文字化した映像とを、模擬視界映像を表示した訓練用映像の一画面の所定位置に映像合成装置において合成した後
    映像記録再生装置において当該合成映像をフレーム・アドレス上に記録し、
    模擬計算機は、前記映像記録再生装置が発生する前記フレーム・アドレスに対応して訓練内容の種目及び操作状況及び訓練機の運動状況の文字化情報を記録し、
    その後、模擬計算機は、当該記録した合成映像を再生する際に、前記訓練内容の種目又は操作状況又は訓練機の運動状況の文字化情報によりフレーム・アドレスを検索し、合成映像を当該検索されたフレーム・アドレスから開始して前記映像記録再生装置により再生することを特徴とする訓練評価用データ記録再生方法。
  2. 模擬計算機のもとで制御される映像合成装置及び映像記録再生装置を備えるデータ記録方法であって、
    訓練者の操作態度を撮影した映像と、訓練内容の種目及び操作機器の操作状況及び操作機器の操作によって定まる訓練機の運動状況を文字化した映像とを、模擬視界映像を表示した訓練用映像の一画面の所定位置に映像合成装置において合成した後
    映像記録再生装置において当該合成映像をフレーム・アドレス上に記録し、
    模擬計算機は、前記映像記録再生装置が発生する前記フレーム・アドレスに対応して訓練内容の種目及び操作状況及び訓練機の運動状況の文字化情報を記録することを特徴とする訓練評価用データ記録方法。
  3. 模擬計算機のもとで制御される映像合成装置及び映像記録再生装置を備え、模擬訓練装置の訓練者の評価用データを記録再生する装置であって、訓練者の操作態度を撮影した映像と、訓練内容の種目及び操作機器の操作状況及び操作機器の操作によって定まる訓練機の運動状況を文字化した映像とを、模擬視界映像を表示した訓練用映像の一画面の所定位置に合成する映像合成装置と、前記映像合成装置で合成された映像をフレーム・アドレス上に記録する映像記録再生装置と、前記映像記録再生装置が発生するフレーム・アドレスに対応して訓練内容の種目及び操作状況及び訓練機の運動状況の文字化情報を記録するとともに、当該文字化情報により検索されたフレーム・アドレスから開始する合成画像を再生制御する模擬計算機とを有することを特徴とする訓練評価用データ記録再生装置。
JP16785395A 1995-06-12 1995-06-12 訓練評価用データ記録再生方法及び訓練評価用データ記録方法及び訓練評価用データ記録再生装置 Expired - Fee Related JP3672973B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16785395A JP3672973B2 (ja) 1995-06-12 1995-06-12 訓練評価用データ記録再生方法及び訓練評価用データ記録方法及び訓練評価用データ記録再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16785395A JP3672973B2 (ja) 1995-06-12 1995-06-12 訓練評価用データ記録再生方法及び訓練評価用データ記録方法及び訓練評価用データ記録再生装置

Publications (2)

Publication Number Publication Date
JPH08339160A JPH08339160A (ja) 1996-12-24
JP3672973B2 true JP3672973B2 (ja) 2005-07-20

Family

ID=15857309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16785395A Expired - Fee Related JP3672973B2 (ja) 1995-06-12 1995-06-12 訓練評価用データ記録再生方法及び訓練評価用データ記録方法及び訓練評価用データ記録再生装置

Country Status (1)

Country Link
JP (1) JP3672973B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8633985B2 (en) 2005-08-05 2014-01-21 Vigil Systems Pty. Ltd. Computerized information collection and training method and apparatus
FR2889765B1 (fr) 2005-08-10 2011-06-24 Commissariat Energie Atomique Element combustible de type plaque macrostructuree
JP4756124B2 (ja) * 2008-06-26 2011-08-24 株式会社 Hmt 研修システム、研修結果提示方法およびプログラム
JP2012212027A (ja) * 2011-03-31 2012-11-01 Railway Technical Research Institute 運転士の異常時対応能力向上用プレイバック及びその処方箋の提示装置

Also Published As

Publication number Publication date
JPH08339160A (ja) 1996-12-24

Similar Documents

Publication Publication Date Title
US6064355A (en) Method and apparatus for playback with a virtual reality system
US5984684A (en) Method and system for teaching physical skills
US4751642A (en) Interactive sports simulation system with physiological sensing and psychological conditioning
US20030227453A1 (en) Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data
US5499146A (en) Method and apparatus for recording images for a virtual reality system
JPH0777593B2 (ja) 個人教授用教具
JP3672973B2 (ja) 訓練評価用データ記録再生方法及び訓練評価用データ記録方法及び訓練評価用データ記録再生装置
JP2005034195A (ja) 講習支援システム及び講習支援方法
WO2021131343A1 (ja) コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JPH0756496A (ja) 訓練用シミュレータのモニタ装置
KR20010105012A (ko) 인터넷을 이용한 골프 스윙 비교 분석 비쥬얼 시스템
KR200184897Y1 (ko) 플레이어 화상 출력 게임기의 영상 녹화장치
JPH07121097A (ja) 再生装置付きフライトシミュレータ
JP2002136762A (ja) 潜在映像を用いたアドベンチャーゲーム
TWI789083B (zh) 擴增實境內容播放之控制方法、系統及其電腦可讀媒介
JPH0663202A (ja) 動作練習装置
JPH1147208A (ja) 眼球訓練装置及び記録媒体
JPH0413175A (ja) 列車運転シミュレータ用模擬視界発生装置
JPH06162736A (ja) 画像記録再生装置
JPH06342254A (ja) モニタ装置
JPH08251577A (ja) 画像練習装置
JPH0998345A (ja) 画像表示装置
JP2524741Y2 (ja) 模擬運転装置
CN117950491A (zh) 元宇宙影音系统、控制方法、电子设备及存储介质
JPH0271773A (ja) 動作診断装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040716

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050421

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees