JP3671024B2 - 遠隔操縦システム - Google Patents
遠隔操縦システム Download PDFInfo
- Publication number
- JP3671024B2 JP3671024B2 JP2002123622A JP2002123622A JP3671024B2 JP 3671024 B2 JP3671024 B2 JP 3671024B2 JP 2002123622 A JP2002123622 A JP 2002123622A JP 2002123622 A JP2002123622 A JP 2002123622A JP 3671024 B2 JP3671024 B2 JP 3671024B2
- Authority
- JP
- Japan
- Prior art keywords
- remote control
- control system
- aircraft
- video input
- input device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000004886 head movement Effects 0.000 claims description 10
- 210000003128 head Anatomy 0.000 description 14
- 238000001514 detection method Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 7
- 210000001525 retina Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Catching Or Destruction (AREA)
- Toys (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、遠隔操縦システムに関し、特に、無人の航空機の遠隔操縦システムに関する。
【0002】
【従来の技術】
従来の無人航空機の操縦システムでは、無人航空機21の機体の前方部21aに設けられた映像入力装置22により、機体の前方Aの画像を撮影し、その画像を送信機23から地上の映像受信機24に無線伝送し、TV画面(前方表示装置)25に表示していた。
【0003】
そして、地上の操縦者27は、TVモニタ25の表示画面により無人航空機21の前方視界Aを確認しながら、操作装置26を操作して、送信機29から受信機30に送信されたその操作信号に基づいて、航空機21の駆動装置28の遠隔操作を行うことで、無人航空機21の操縦を行う方法が試みられていた(特開平8−164896号公報)。
【0004】
有人の操縦者による操縦では、操縦者の側方視界も利用して、自機の姿勢状態を総合的に判断している。従って、映像入力装置による前方視界のみを用いて、遠隔操作により、無人飛行機を安全に飛行させるのは困難である。また、技術習得にも長時間の訓練を必要とした。
【0005】
なお、特開平11−312015号公報には、次の無人ヘリコプターの操縦装置が記載されている。受信器と駆動装置とを備えた無人のヘリコプターが、映像入力装置と、この映像入力装置の映像情報を無線信号に変換し送信する映像信号送信器とを備える。コントロール部が、映像信号受信器と、映像信号処理回路と、表示器と、この表示器を見ながら操縦するための操縦部と、送信器とを備える。操縦部を、操縦席と、この操縦席に座って操作するための操縦桿とで形成する。この操縦桿を、右手で操作するためのサイクリックピッチレバーと左手で操作するためのコレクティブピッチレバーと、足で操作するためのテールロータペダルとで形成する。
【0006】
【発明が解決しようとする課題】
地上の操縦者が自機の姿勢状態を判断するレベルが向上し、操縦し易いことが望まれている。
無人航空機の操縦の技術習得が容易となり、複雑な操縦も可能となることが望まれている。
悪環境下でも無人機の遠隔操縦が行い易いことが望まれている。
地上の操縦者が前方視界のみならず側方視界も利用して自機の姿勢状態を判断でき、操縦し易いことが望まれている。
【0007】
本発明の目的は、地上の操縦者が自機の姿勢状態を判断するレベルが向上し、操縦し易い遠隔操縦システムを提供することである。
本発明の他の目的は、無人航空機の操縦の技術習得が容易となり、複雑な操縦も可能となる遠隔操縦システムを提供することである。
本発明の更に他の目的は、悪環境下でも無人機の遠隔操縦が行い易い遠隔操縦システムを提供することである。
本発明の更に他の目的は、地上の操縦者が前方視界のみならず側方視界も利用して自機の姿勢状態を判断でき、操縦し易い遠隔操縦システムを提供することである。
【0008】
【課題を解決するための手段】
以下に、[発明の実施の形態]で使用する番号・符号を用いて、[課題を解決するための手段]を説明する。これらの番号・符号は、[特許請求の範囲]の記載と[発明の実施の形態]の記載との対応関係を明らかにするために付加されたものであるが、[特許請求の範囲]に記載されている発明の技術的範囲の解釈に用いてはならない。
【0009】
本発明の遠隔操縦システムは、航空機(10)に設けられ、その撮像範囲が変わるように移動可能に設けられた映像入力装置(11)と、前記映像入力装置(11)を前記映像入力装置(11)による前記撮像範囲が変わるように移動させる移動装置(17)と、前記映像入力装置(11)により撮像された画像を地上の操縦者(12)に表示する表示装置(13)と、前記操縦者(12)の頭の動きを検出する頭部動き検出装置(14)とを備え、前記移動装置(17)は、前記検出された前記頭の動きを示すデータに基づいて、前記頭の動きに対応する向きに前記映像入力装置(11)の撮像範囲を移動させる。
【0010】
本発明の遠隔操縦システムにおいて、更に、前記操縦者(12)が地上で前記表示装置(13)を参照しながら前記航空機(10)を遠隔操縦するための操縦装置(26)を備えている。
【0011】
本発明の遠隔操縦システムにおいて、前記映像入力装置(11)は、前記航空機(10)のコックピットに相当する位置に設けられている。また、映像入力装置は、航空機の前方などに設置され、その映像が、位置関係からコックピット位置の映像に変更されることもできる。
【0012】
本発明の遠隔操縦システムにおいて、前記映像入力装置(11)により撮像された前記画像の中央部が相対的に高解像度となるような前記画像のデータが前記表示装置(13)に送信される。
【0013】
本発明の遠隔操縦システムにおいて、前記映像入力装置(11)が前記画像を撮像してから当該画像が前記表示装置(13)に表示されるまでの遅れ時間は、0.6秒以下である。
【0014】
地上の操縦者の頭部の動きに合わせて、航空機上の映像入力装置の撮像範囲の方向を追従させ、地上の操縦者に、あたかも、航空機上にいるかのような視覚を与える。
【0015】
無人航空機上に、電気信号により上下左右方向に撮像範囲の変更可能な映像入力装置を設置する。また、地上の操縦者は、頭部搭載型表示装置と、頭部の動き検出装置を装着する。また、頭部の動きを無人航空機に無線伝送する装置を設置する。
【0016】
さらに、2台のカメラを用いてステレオ画像とすることで機能が向上する。無人航空機のコックピットに相当する場所の音、触覚などの(5感)を検知し、その音、触覚などの情報を地上の操縦者に付与することも機能が向上する。機体と地上装置の無線LANによる情報の一体化も有効である。
【0017】
地上の操縦者の頭部の方向に、機上の映像入力装置の撮像範囲を変化させ、その映像入力装置による映像を頭部搭載型表示装置に表示させることで、操縦者は側方視界も利用することが可能となる。これにより、自機の姿勢状態を総合的に判断レベルが向上し、安全性が向上する。また、無人飛行機の操縦の技術習得が容易となり、複雑な操縦も可能となる。ステルス性の向上、悪環境下での利用が可能となる。
【0018】
【発明の実施の形態】
添付図面を参照して、本発明の遠隔操縦システムの一実施形態を説明する。
【0019】
図1は、本実施形態の構成を示すブロック図である。なお、図2と同じ構成要素については同じ符号を付して、その詳細な説明を省略する。
【0020】
図1に示すように、無人航空機10上に、電気信号により上下左右方向に回転可能なビデオカメラ11を設置する。
地上の操縦者12は、頭部搭載型表示装置(HMD:Head Mounted Display)13を装着する。また、頭部の動き検出装置14にて頭部の動きが検出される。頭部の動き検出装置14は、操縦者の頭部にセンサを装着したり、また頭部の動きを画像処理する方法などがあるが、その方法は限定されない。
頭部の動き検出装置14によって検出された操縦者12の頭部の動きを示す情報を無人航空機10に無線伝送する装置(送信機15、受信機16)を設置する。送信機15は、地上に設置され、受信機16は航空機10上に設置される。
【0021】
地上の操縦者12の頭部の動き(上下左右回転方向)を、頭部の動き検出装置14で検出する。その検出された動き検出データは、地上送信機15から、高速データリンクにより送信され、航空機10上の航空機上受信機16が受信する。
【0022】
受信機16にて受信された動き検出データは、回転装置17に送られる。映像入力装置11には、オートフォーカス機構を付けることもできる。
【0023】
回転装置17は、上記動き検出データに基づいて作動し、映像入力装置11の撮像範囲を変化させる。地上の操縦者12の頭部の動き(上下左右回転方向)に対して、撮像範囲が連動して動くことで、操縦者12が見たい向きの画像を映像入力装置11が撮像し、操縦者12はその画像を地上で頭部搭載型表示装置13を介して視認することができる。
撮像範囲の変化は、操縦者の頭部の動きに対して、映像入力装置を回転させることや、広角レンズを用いた映像入力装置から、操縦者の頭部の動きに対して画像の一部を切り出すことで実現されるが、その方式は限定されない。
【0024】
映像入力装置11により撮像された映像の信号は、航空機10上の航空機上送信機18より、高速データリンクにより送信され、地上の地上受信機19で受信される。この映像は、地上操縦者12の目の前にある広視野の頭部搭載型表示装置13に送られ表示される。地上操縦者12は、眼前の映像を見る。このときの遅れ時間は、短いほどよく、0.15秒以下が望ましいが、最大でも0.6秒以下にする。
【0025】
ところで、人間の視野は170度程度といわれているが、同時に精度良く物体を検知できる領域は30度程度であり、また臨場感も30度程度から飽和し始め、80度程度で飽和することが知られている。このことを考慮して、頭部搭載型表示装置13で与える視野角は30度以上とする。
【0026】
地上の操縦者12は、頭部搭載型表示装置13に映る操縦者12の眼前の映像が、自分の頭部の動きの変化に連動して変化することになる。現在の航空機の操縦者の目の位置に、ビデオカメラ11を設置すれば、機内の状況等を地上で再現でき、より臨場感を高めることができる。頭部搭載型表示装置13に代えて、ハーフドーム型の装置を用いることも可能である。
【0027】
上記のようにすれば、地上の操縦者12にあたかも、航空機10上にいるかのような視覚を与えることができる。
【0028】
さらに、無人航空機10上に2台のカメラ11、11を設置して、地上の操縦者12にステレオ画像を視覚させることで、奥行き情報の認識ができるようになる。
【0029】
また、航空機上のコックピットの操縦席に相当する位置にマイクを設置し、地上でスピーカを用いて、音を再生し、操縦者12に与えることで、音による認識が可能になる。
さらに、無人航空機上のシート等に相当する位置に加速度センサを設け、その加速度センサの検出結果を地上に送信し、地上の触覚付与装置でその検出信号に対応する圧力を操縦者12に与えることで、機体方向の認識が高まる。
【0030】
また、機上の操縦装置の表示データ(視覚以外の高度、速度等の飛行データ等)の情報を地上に送り、地上の操縦装置の表示データとして操縦者12に与えることで、状況認識が高まる。機上の表示データを、地上の操作装置26に送信し、操作装置26の表示盤に表示する。
【0031】
機上の操縦装置および地上の操縦装置の駆動装置(操縦桿等)を同一にし、その地上の駆動装置からの出力信号を航空機に与える。これにより、地上の操縦者の操縦感覚が高まる。
【0032】
映像入力装置11には、ぶれ防止機構を設けることで、操縦者12の視覚疲労低減を図ることができる。
【0033】
網膜走査表示装置を使用することで、両眼視差をつけた立体画像での課題である、輻輳と調整の不一致による視覚疲労を減少させる。ここで、網膜走査表示装置とは、眼に問題の無い程度の光強度のレーザ光線のスポットを網膜上に直接入射させ、網膜上で水平・垂直方向にスキャンして全体の画像を網膜に直接表示し、航空機等のフライトデータ等の画像を外界の実際の風景と重ねて人間の眼の網膜上に直接表示する装置である。本実施形態では、本発明者の発明である特願2001−065483号の技術を適用することができる。
【0034】
人間12の眼の特性に合わせ、中央部のみ高解像度の画像を送信する。画像伝送するデータ量の削減を行うことができる。
【0035】
本実施形態によれば、以下の効果を奏することができる。
地上で操縦する操縦者は、自機の姿勢状態を総合的に判断するレベルが向上し、安全性が向上する。また、無人飛行機は、人命救助用や農薬散布用にも使用できる。
また、無人飛行機の操縦の技術習得が容易となり、複雑な操縦も可能となる。
悪条件下での利用が可能となる。
【0036】
【発明の効果】
本発明の遠隔操縦システムによれば、地上の操縦者が自機の姿勢状態を判断するレベルが向上し、操縦し易い。
【図面の簡単な説明】
【図1】図1は、本発明の遠隔操縦システムの一実施形態の構成を示すブロック図である。
【図2】図2は、従来の遠隔操縦システムの構成を示すブロック図である。
【符号の説明】
10 無人航空機
11 映像入力装置
12 操縦者
13 頭部搭載型表示装置:HMD
14 頭部の動き検出装置
15 送信機
16 受信機
17 回転装置
18 航空機上送信機
19 地上受信機
21 無人航空機
21a 前方部
22 映像入力装置
23 送信機
24 映像受信機
25 前方表示装置
26 操作装置
27 操縦者
28 駆動装置
29 送信機
30 受信機
A 機体の前方
Claims (5)
- 航空機に設けられ、その撮像範囲が変わるような映像入力装置と、
前記映像入力装置を前記映像入力装置による前記撮像範囲が変わるように移動させる移動装置と、
前記映像入力装置により撮像された画像を地上の操縦者に表示する表示装置と、
前記操縦者の頭の動きを検出する頭部動き検出装置とを備え、
前記移動装置は、前記検出された前記頭の動きを示すデータに基づいて、前記頭の動きに対応する向きに前記撮像範囲を移動させ、
前記映像入力装置は、前記航空機の機内の状況を地上で再現できるように前記航空機の操縦者の目の位置に設置される
遠隔操縦システム。 - 請求項1記載の遠隔操縦システムにおいて、
更に、
前記操縦者が地上で前記表示装置を参照しながら前記航空機を遠隔操縦するための操縦装置を備えた
遠隔操縦システム。 - 請求項1または2に記載の遠隔操縦システムにおいて、
前記映像入力装置は、前記航空機のコックピットに相当する位置に設けられている
遠隔操縦システム。 - 請求項1から3のいずれか1項に記載の遠隔操縦システムにおいて、
前記映像入力装置により撮像された前記画像の中央部が相対的に高解像度となるような前記画像のデータが前記表示装置に送信される
遠隔操縦システム。 - 請求項1から4のいずれか1項に記載の遠隔操縦システムに
おいて、
前記映像入力装置が前記画像を撮像してから当該画像が前記表示装置に表示されるまでの遅れ時間は、0.6秒以下である
遠隔操縦システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002123622A JP3671024B2 (ja) | 2002-04-25 | 2002-04-25 | 遠隔操縦システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002123622A JP3671024B2 (ja) | 2002-04-25 | 2002-04-25 | 遠隔操縦システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003312592A JP2003312592A (ja) | 2003-11-06 |
| JP3671024B2 true JP3671024B2 (ja) | 2005-07-13 |
Family
ID=29538859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002123622A Expired - Fee Related JP3671024B2 (ja) | 2002-04-25 | 2002-04-25 | 遠隔操縦システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3671024B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104521928A (zh) * | 2014-12-10 | 2015-04-22 | 绵阳青山森腾信息科技有限公司 | 远程控制型病虫害喷药装置 |
| US9493237B1 (en) | 2015-05-07 | 2016-11-15 | Ryu Terasaka | Remote control system for aircraft |
| US9568996B2 (en) | 2013-02-13 | 2017-02-14 | Seiko Epson Corporation | Image display device and display control method for image display device |
| CN107820049A (zh) * | 2017-10-31 | 2018-03-20 | 易瓦特科技股份公司 | 用于粉末标识的系统 |
| CN107888874A (zh) * | 2017-10-31 | 2018-04-06 | 易瓦特科技股份公司 | 用于粉末标识的装置 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007112315A (ja) * | 2005-10-20 | 2007-05-10 | Hiroboo Kk | 無人ヘリコプターを利用した防災情報収集・配信システム及びその防災情報ネットワーク |
| JP5635333B2 (ja) * | 2010-08-20 | 2014-12-03 | 公益財団法人鉄道総合技術研究所 | 反射ターゲット形成用ラジオコントロール航空機 |
| JP5938927B2 (ja) * | 2012-02-06 | 2016-06-22 | 日本電気株式会社 | 遠隔操作システム、飛翔体の遠隔操作システム、遠隔操作方法、及び飛翔体の遠隔操作方法 |
| JP6145613B2 (ja) * | 2012-03-16 | 2017-06-14 | 株式会社人機一体 | 浮遊移動体および該浮遊移動体を用いた浮遊移動体システム |
| RU2650493C2 (ru) * | 2013-06-07 | 2018-04-16 | Дап Риэлайз Инк. | Система распределения видео в реальном времени |
| CN104035412A (zh) * | 2014-06-12 | 2014-09-10 | 江苏恒创软件有限公司 | 一种基于无人机的农作物病虫害监测系统和方法 |
| CN107077270B (zh) * | 2016-09-27 | 2020-03-27 | 深圳市大疆创新科技有限公司 | 控制方法、控制装置及智能眼镜 |
| CN106337568B (zh) * | 2016-09-29 | 2018-11-30 | 安徽翼讯飞行安全技术有限公司 | 高效外墙修补无人机 |
| CN106719541A (zh) * | 2016-11-23 | 2017-05-31 | 河池学院 | 一种农作物防虫害飞行机器人的工作方法 |
| WO2018123747A1 (ja) * | 2016-12-28 | 2018-07-05 | Necソリューションイノベータ株式会社 | ドローン操縦システム、操縦シグナル送信機セットおよびドローン操縦方法 |
| CN107948582B (zh) * | 2017-10-31 | 2020-06-12 | 易瓦特科技股份公司 | 用于粉末标识的无人机 |
| JP6873515B1 (ja) * | 2019-07-25 | 2021-05-19 | 株式会社プロドローン | 遠隔操縦システムおよびその操縦装置 |
-
2002
- 2002-04-25 JP JP2002123622A patent/JP3671024B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9568996B2 (en) | 2013-02-13 | 2017-02-14 | Seiko Epson Corporation | Image display device and display control method for image display device |
| CN104521928A (zh) * | 2014-12-10 | 2015-04-22 | 绵阳青山森腾信息科技有限公司 | 远程控制型病虫害喷药装置 |
| US9493237B1 (en) | 2015-05-07 | 2016-11-15 | Ryu Terasaka | Remote control system for aircraft |
| CN107820049A (zh) * | 2017-10-31 | 2018-03-20 | 易瓦特科技股份公司 | 用于粉末标识的系统 |
| CN107888874A (zh) * | 2017-10-31 | 2018-04-06 | 易瓦特科技股份公司 | 用于粉末标识的装置 |
| CN107888874B (zh) * | 2017-10-31 | 2020-04-03 | 易瓦特科技股份公司 | 用于粉末标识的装置 |
| CN107820049B (zh) * | 2017-10-31 | 2020-06-12 | 易瓦特科技股份公司 | 用于粉末标识的系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003312592A (ja) | 2003-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3671024B2 (ja) | 遠隔操縦システム | |
| EP3177010B1 (en) | Information processing device, information processing method, and image display system | |
| US10108018B2 (en) | Image display apparatus for displaying an image captured by a mobile apparatus | |
| US8634969B2 (en) | Teleoperation method and human robot interface for remote control of a machine by a human operator | |
| JP4012749B2 (ja) | 遠隔操縦システム | |
| CN111837175B (zh) | 图像显示系统、信息处理装置、信息处理方法、程序和移动体 | |
| KR101408077B1 (ko) | 가상 영상을 이용한 무인기 조종 장치 및 방법 | |
| JP2001209427A (ja) | 無人飛行機の遠隔操縦装置 | |
| JP3477441B2 (ja) | 画像表示装置 | |
| JP6540572B2 (ja) | 表示装置および表示制御方法 | |
| CA2349438C (en) | Image cut-away/display system | |
| US20240196045A1 (en) | Video display system, observation device, information processing method, and recording medium | |
| JP6744033B2 (ja) | 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体 | |
| WO2021172491A1 (ja) | 画像処理装置、表示システム、画像処理方法及び記録媒体 | |
| JP2020126666A (ja) | 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体 | |
| JPH10206789A (ja) | 車両用ヘッドマウントディスプレイ装置 | |
| JP7024997B2 (ja) | 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法 | |
| US20150174501A1 (en) | Personal camera for a remote vehicle | |
| WO2021015201A1 (ja) | 遠隔操縦システムおよびその操縦装置 | |
| CN110083172B (zh) | 一种无人飞行器操控系统 | |
| CA2395516A1 (en) | Vehicle remote control | |
| JPH11312015A (ja) | 無人ヘリコプターの操縦装置 | |
| KR20190069777A (ko) | 무인항공기를 이용한 가상체험시스템 및 무인항공기 가상체험제공방법. | |
| JPWO2020110293A1 (ja) | 表示制御システム、表示制御装置及び表示制御方法 | |
| JP2003312591A (ja) | 航空機用ナビゲーションシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050415 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3671024 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080422 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090422 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100422 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110422 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130422 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |