JP3675787B2 - 飛行体の位置及び姿勢の推測方法、推測装置並びに仮想視界生成システム - Google Patents

飛行体の位置及び姿勢の推測方法、推測装置並びに仮想視界生成システム Download PDF

Info

Publication number
JP3675787B2
JP3675787B2 JP2002278444A JP2002278444A JP3675787B2 JP 3675787 B2 JP3675787 B2 JP 3675787B2 JP 2002278444 A JP2002278444 A JP 2002278444A JP 2002278444 A JP2002278444 A JP 2002278444A JP 3675787 B2 JP3675787 B2 JP 3675787B2
Authority
JP
Japan
Prior art keywords
unit
flying object
operation instruction
state
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002278444A
Other languages
English (en)
Other versions
JP2004117079A (ja
Inventor
敬司 栗田
晋一郎 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Priority to JP2002278444A priority Critical patent/JP3675787B2/ja
Publication of JP2004117079A publication Critical patent/JP2004117079A/ja
Application granted granted Critical
Publication of JP3675787B2 publication Critical patent/JP3675787B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、飛行体の位置及び姿勢を推測する推測方法、該推測方法の実施に使用する推測装置並びに仮想視界生成システムに関する。
【0002】
【従来の技術及び発明が解決しようとする課題】
航空機等の飛行体の多くには、GPS航法装置及びINS航法装置(慣性航法装置)等の航法装置が搭載されている。これらの航法装置は、飛行体を効率的に目的地まで導くために、飛行体の位置を検出し、該位置をマップとともに画面上に表示するようになっている。
【0003】
ところが、GPS航法装置は、所定の時間間隔でGPS衛星から時刻信号を受信し、各受信時毎に飛行体の位置を検出するGPS受信機を備えており、GPS受信機の位置検出の時間間隔が長すぎる場合には、飛行体の位置が不明である時間が長いため、高精度に飛行体の位置を検出する必要がある用途等には使用することができなかった。
【0004】
一方、INS航法装置は、その構造上極めて短い時間間隔で飛行体の位置を検出することが可能であるが、高価であり、小型の飛行機又はヘリコプター等にINS航法装置を搭載することは現実的ではない。
【0005】
また、かかる従来の航法装置を使用することによって、飛行体の操縦を支援することができるが、本願の発明者らは、更に飛行体の操縦の効率的な支援を可能とすべく、飛行体の操縦席又は飛行体の後方から見たときの仮想的な視界を生成し、これを操縦者に提供する仮想視界生成システムを試作した。この仮想視界生成システムは、GPS受信機を備え、このGPS受信機によって取得した位置情報に基づき、飛行位置及びその周辺の地形情報並びに地表のテクスチャを用いて、飛行体の周囲の空間(以下、飛行空間という)の3次元画像を生成し、これを画面上に表示するようになっている。これにより、夜間又は天候不良等の視界不良時においても、操縦者に飛行体の周囲の仮想的な視界を提供することができる。また、飛行体の飛行予定経路又は飛行指示経路等を示すコリドーを仮想視界として表示したり、コリドーと飛行空間とを重畳表示することにより、コリドーから逸脱せずに飛行させるべく、操縦者の操縦を支援することができる。
【0006】
ところが、前述のようにGPS受信機の位置検出の時間間隔が長すぎる場合には、仮想視界生成システムによる画像表示の切り換えが低速となるという問題があった。仮想視界生成システムの画像表示の切り換えが低速の場合には、画像が表示された直後から次の画像に表示が切り替わるまでの間で、飛行体の運動に画像表示が追従しないこととなり、例えば操縦者が飛行体の進行方向を転向させるように操縦したときに、実際にはこの操縦に応じて飛行体が運動しているにもかかわらず、飛行体の運動がこの操縦に応答していないような錯覚を操縦者に与えることがあった。
【0007】
また、前記GPS受信機がGPS衛星からの時刻信号の受信に失敗した場合には、飛行体の位置を検出することができないため、この間の仮想視界の画像を生成することができなかった。
【0008】
また、GPS受信機がGPS衛星から時刻信号を受信していない間の飛行体の位置を、INS航法装置によって取得し、仮想視界の画像の切り換えを高速化することも可能であるが、前述したようにINS航法装置は高価であるため、小型の飛行機又はヘリコプター等の小型の飛行体用の仮想視界生成システムにINS航法装置を使用することは現実的ではない。
【0009】
本発明は、斯かる事情に鑑みてなされたものであり、GPS受信機が飛行体の位置を検出していない間の飛行体の位置及び姿勢を推測することができる推測方法、該推測方法の実施に直接使用する推測装置、及び高速に仮想視界の画像の表示を切り替えることが可能な仮想視界生成システムを提供することを目的とする。
【0010】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る飛行体の位置及び姿勢の推測方法は、飛行体に設けられた操縦部に操縦者から与えられる動作指示を、所定の時間間隔で取得し、取得した動作指示に基づいて、前記時間間隔で繰り返し飛行体の位置及び姿勢を推測する推測方法であって、前記時間間隔よりも長い時間間隔でGPS衛星から受信した信号に基づいて、各受信時に飛行体の位置を検出し、前記動作指示を取得した時刻に、飛行体の位置が検出されていない場合に、予め設定された飛行体の運動方程式、取得した動作指示、並びに前記時刻より過去に検出及び/又は推測した飛行体の位置に基づいて、動作指示を取得した時刻における飛行体の位置及び姿勢を推測することを特徴とする。
【0011】
また、本発明に係る推測装置は、飛行体に設けられた操縦部に操縦者から与えられた動作指示を表す動作指示情報を、所定の時間間隔で外部から受信する第1受信部と、該第1受信部が受信した動作指示情報に基づいて、前記時間間隔で繰り返し飛行体の位置及び姿勢を推測する推測部とを備える推測装置であって、飛行体の位置を表す位置情報を、前記時間間隔よりも長い時間間隔でGPS衛星から受信する第2受信部を備え、前記推測部は、前記第1受信部が動作指示情報を受信した時刻に、前記第2受信部が位置情報を受信していない場合に、予め設定された飛行体の運動方程式、前記第1受信部が受信した動作指示情報、並びに前記時刻より過去に前記第2受信部が受信した位置情報及び/又は該推測部が推測した飛行体の位置を表す位置情報に基づいて、動作指示情報を受信した時刻における飛行体の位置及び姿勢を推測すべくなしてあることを特徴とする。
【0012】
また、本発明に係る仮想視界生成システムは、飛行体に設けられた操縦部に操縦者から与えられた動作指示を、所定の時間間隔で取得する動作指示取得部と、該動作指示取得部が取得した動作指示に基づいて、前記時間間隔で繰り返し飛行体の位置及び姿勢を推測する推測部と、該推測部が推測した飛行体の位置及び姿勢並びに予め与えられた飛行体の飛行空間に関する情報に基づいて、飛行空間に対する飛行体の相対位置及び相対姿勢を演算し、飛行体の内部から又は飛行体の後方からの仮想的な視界の画像を生成する演算部と、該演算部が生成した画像を表示する表示部とを備える仮想視界生成システムであって、前記時間間隔よりも長い時間間隔で飛行体の位置を検出するGPS受信機を更に備え、前記推測部は、前記動作指示取得部が動作指示を取得した時刻に、前記GPS受信機が飛行体の位置を検出していない場合に、予め設定された飛行体の運動方程式、前記動作指示取得部が取得した動作指示、並びに前記時刻より過去に前記GPS受信機が検出した飛行体の位置及び/又は該推測部が推測した飛行体の位置に基づいて、動作指示を取得した時刻における飛行体の位置及び姿勢を推測すべくなしてあることを特徴とする。
【0013】
上記発明によれば、GPS受信機が飛行体の位置を検出する時間間隔より短い時間間隔で操縦部が受け付けた動作指示を取得し、この動作指示を取得した時刻に、飛行体の位置が検出されていない場合に、飛行体の位置及び姿勢を推測する構成としたので、GPS受信機によって飛行体の位置が検出されていない間に、動作指示を取得した時刻における飛行体の位置及び姿勢を取得することができる。
【0014】
また、操縦部に与えられた動作指示を検出するための、例えば操縦桿に設けられた位置センサ等のセンサ類(動作指示取得部)は、小型の飛行機又はヘリコプター等であっても、標準的に装備されているので、動作指示を前記センサの出力等から取り出すことは比較的容易に実現可能である。
【0015】
また、このようにして推測した飛行体の位置及び姿勢に基づいて、飛行体の周囲の空間を含む画像、即ち仮想視界の画像を生成することができ、従って、GPS受信機が飛行体の位置を検出する時間間隔が長かったり、時刻信号の受信に失敗して位置検出ができない場合であっても、高速に仮想視界の画像の表示を切り替えることができる。
【0016】
また、上記発明においては、前記動作指示を取得する時間間隔で、飛行体の状態を検出し、前記動作指示を取得した時刻に、飛行体の位置が検出されていない場合には、前記運動方程式、取得した動作指示、前記時刻より過去に検出及び/又は推測した飛行体の位置、並びに検出した飛行体の状態に基づいて、飛行体の位置及び姿勢を推測することが望ましい。
【0017】
これにより、操縦部に与えられた動作指示、並びに過去にGPS受信機によって検出された、及び/又は過去に推測された飛行体の位置だけでなく、飛行体の状態も利用して飛行体の位置及び姿勢を推測するので、より推測の精度を向上させることが期待できる。
【0018】
また、上記発明においては、複数の時刻に夫々検出又は推測した飛行体の位置を表す位置履歴情報を記憶し、複数の時刻に夫々取得した動作指示を表す動作指示履歴情報を記憶し、複数の時刻に夫々検出した飛行体の状態を表す状態履歴情報を記憶し、前記運動方程式、並びに記憶した位置履歴情報、動作指示履歴情報、及び状態履歴情報に基づいて、前記動作指示履歴情報によって表される動作指示のうちの最新の動作指示を取得した時刻での飛行体の位置及び姿勢を推測する構成とすることが望ましい。
【0019】
また、この場合においては、前記位置履歴情報が、GPS受信機によって過去に検出された飛行体の位置だけを含むものであってもよいし、過去に推測された飛行体の位置だけを含むものであってもよいし、その両方を含むものであってもよい。
【0020】
これにより、複数の時刻における動作指示と、複数の時刻における飛行体の位置と、複数の時刻における飛行体の状態とに基づいて飛行体の位置及び姿勢を推測するため、例えば一の時刻において取得した飛行体の位置が大きな誤差を含んでいる場合であっても、他の時刻における飛行体の位置も使用して飛行体の位置及び姿勢の推測することによって、前記誤差の影響を緩和することが可能であり、一の時刻における動作指示と、一の時刻における飛行体の位置と、一の時刻における飛行体の状態とに基づいて飛行体の位置及び姿勢を推測する場合に比べて、推測の精度を向上させることが期待できる。
【0021】
また、上記発明においては、前記飛行体の状態が、飛行体を推進させる推進部の状態、及び飛行体の対気速度のうちの一方又は両方を含むものであることが望ましい。
【0022】
推進部の状態及び飛行体の対気速度を検出するための、例えばエンジンの回転数を検出する回転数センサ及び大気の動圧を検出するピトー管等のセンサ類は、小型の飛行機又はヘリコプター等であっても、標準的に装備されているので、推進部の状態及び/又は対気速度等を前記センサの出力等から取り出すことは比較的容易に実現可能である。
【0023】
また、上記発明においては、GPS受信機が飛行体の位置を検出した場合に、該GPS受信機によって検出された飛行体の位置と、該GPS受信機によって飛行体の位置が検出された時刻より過去に推測した飛行体の位置のうちの最新の位置との差を、推測誤差として演算し、この推測誤差が、所定の許容範囲を越えるか否かを判別し、前記推測誤差が前記許容範囲を越えると判別された場合に、ユーザに異常の発生を通知するための異常発生通知画像を表示する構成とすることが望ましい。
【0024】
推測した飛行体の位置が、信頼性の高いGPS受信機による検出結果から甚だしく乖離している場合には、飛行体の機体、操縦系統、機器、本発明に係る推測装置若しくは仮想視界生成システム等の故障、誤操作又は誤動作等の何らかの異常が発生している蓋然性が高い。従って、上述のような構成とすることにより、ユーザに異常の発生を通知することができる。また、異常を通知するとともに、本発明に係る推測装置又は仮想視界生成システムの動作を停止するように構成してもよい。
【0025】
【発明の実施の形態】
以下、本発明の実施の形態に係る仮想視界生成システムについて、図面を参照しながら具体的に説明する。
【0026】
図1は、本発明の実施の形態に係る仮想視界生成システムの全体構成を示すブロック図である。図1に示す如く、本発明の実施の形態に係る仮想視界生成システム1は、ヘリコプター又は飛行機等の飛行体2に搭載されており、本発明に係る動作指示取得部たる操作センサ3、GPS受信機4、状態検出部たる機体状態検出部5、推測装置又は推測部たる機体運動計算機6、演算部たる仮想視界画像描画装置7、及び表示部たる表示装置8によって主として構成されている。なお、以下では、飛行体2をヘリコプターとした場合について説明する。
【0027】
操作センサ3は、飛行体2の操縦に用いられる操縦桿、フットペダル、コレクティブレバー、及びスロットル等からなる操縦部に設けられ、操縦桿の前後及び左右への傾倒角度、ペダルの踏み込み量、コレクティブレバーの引き上げ、引き下げ量、並びにスロットルの位置を夫々検出するようになっている。従って、操縦者が前記操縦部を操作することによって飛行体2に対して与えられた動作指示が、操作センサ3によって取得される。
【0028】
かかる操作センサ3は、前記機体運動計算機6に接続されており、前述したような飛行体2の操縦部に与えられた動作指示を表す情報(以下、動作指示情報という)3aを機体運動計算機6へ出力するようになっている。また、このような操作センサ3は、所定の時間間隔で動作指示を取得し、機体運動計算機6へ動作指示情報3aを出力するようになっている。
【0029】
GPS受信機4は、少なくとも4つのGPS衛星9から送信された時刻信号10を夫々同時に受信し、これらの時刻信号から各GPS衛星9までの距離を演算し、この演算結果からGPS受信機4の地球上での位置、即ち飛行体2の地球上での位置を検出するようになっている。また、GPS受信機4は、前記機体運動計算機6に接続されており、飛行体2の位置情報を機体運動計算機6へ出力するようになっている。このようなGPS受信機4は、前記操作センサ3が機体運動計算機6へ動作指示情報3aを出力する時間間隔よりも長い時間間隔でGPS衛星9から時刻信号10を受信し、この時間間隔で機体運動計算機6へ位置情報4aを出力するようになっている。
【0030】
機体状態検出部5は、飛行体2のメインロータ及びテールロータを駆動するエンジン(推進部)の状態を検出するエンジン状態センサ(推進部状態検出部)11を備えている。該エンジン状態センサ11は、エンジンの回転数を検出する回転数センサ及びエンジンの吸気圧を検出する圧力センサ等から構成されており、エンジンの各種の状態を検出する。また、機体状態検出部5は、飛行体2の対気速度を検出するための、ピトー管等から構成された速度センサ12も備えている。
【0031】
この他、機体状態検出部5は、機首の向いている方位(機体のヨー方向の向き)を検出する方位計、機体のロール方向及びピッチ方向の傾きを検出する傾斜センサ、飛行体2の上昇率又は下降率を検出する昇降センサ、メインロータの回転数を検出する回転数センサ、及び/又は飛行体2の飛行高度を検出する高度計等を備えていてもよい。これらのセンサ類は、小型のヘリコプターであっても標準的に装備されているものであり、操縦者の操縦を援助する目的で、ヘリコプターの計器盤に設けられた各種計器にその検出値が表示されるようになっている。従って、このようなセンサ類からその検出値を取り出すことは比較的容易に実現可能である。
【0032】
かかる機体状態検出部5は、前記機体運動計算機6に接続されており、前述したような飛行体2の各種の状態を示す情報(以下、機体状態情報という)5aを機体運動計算機6へ出力するようになっている。また、機体状態検出部5は、前記操作センサ3と同じ時間間隔で飛行体2の各種状態を検出し、この時間間隔で機体運動計算機6へ機体状態情報5aを出力するようになっている。
【0033】
図2は、機体運動計算機6の構成を示すブロック図である。図2に示すように、機体運動計算機6は、CPU(推測部)13,ROM14,RAM(第1記憶部,第2記憶部,第3記憶部)15,入出力インタフェース(第1受信部,第2受信部,第3受信部)16,ハードディスク装置17,及び通信インタフェース(送信部)18から主として構成されている。
【0034】
CPU13は、マイクロプロセッサであり、バスを介してROM14,RAM15,入出力インタフェース16,ハードディスク装置17,及び通信インタフェース18に接続されている。CPU13は、ROM14に記憶されているコンピュータプログラム又はRAM15にロードされたコンピュータプログラムを実行することが可能である。
【0035】
ROM14は、マスクROM、PROM、EPROM、EEPROM等から構成されており、CPU13に実行されるコンピュータプログラム及びこれに用いるデータ等が記録されている。
【0036】
RAM15は、SRAM又はDRAM等により構成されている。RAM15は、ROM14に記憶されているコンピュータプログラムを実行するときに、このコンピュータプログラムがロードされ、CPU13の作業領域として利用される。
【0037】
入出力インタフェース16は、例えばUSB,IEEE1394,RS-232C等のシリアルインタフェース、SCSI,IDE,IEEE1284等のパラレルインタフェース、D/A変換器、A/D変換器等からなるアナログインタフェース等から構成されている。また、入出力インタフェース16には、操作センサ3,GPS受信機4,及び機体状態検出部5が接続されている。
【0038】
ハードディスク装置17は、オペレーティングシステムをはじめ、CPU13に後述するような処理を行わせるためのコンピュータプログラム及びこれに用いるデータ等がインストールされている。
【0039】
通信インタフェース18は、例えばEthernet(登録商標)にて規定されるインタフェースである。この通信インタフェース18は、仮想視界画像描画装置7に接続されており、TCP/IP等のプロトコルを使用して、仮想視界画像描画装置7との間でデータの送受信が可能である。
【0040】
図3は、仮想視界画像描画装置7の構成を示すブロック図である。図3に示すように、仮想視界画像描画装置7は、CPU19,ROM20,RAM21,画像出力インタフェース22,ハードディスク装置23,及び通信インタフェース24から主として構成されている。画像出力インタフェース22は、画像を描画するために用いられるプロセッサ及び画像データを一時的に記憶するための画像メモリ等を備えている。このような画像出力インタフェース22は、表示装置8に接続されており、表示装置8へ画像データを出力するようになっている。また、通信インタフェース24は、機体運動計算機6が備える通信インタフェース18に接続されており、機体運動計算機6と相互にデータの送受信が可能となっている。
【0041】
また、CPU19,ROM20,RAM21,ハードディスク装置23,及び通信インタフェース24の構成は、機体運動計算機6が備えるCPU13,ROM14,RAM15,ハードディスク装置17,及び通信インタフェース18の構成と同様であるので、説明を省略する。
【0042】
表示装置8は、LCD又はCRTディスプレイ等で構成されており、画像出力インタフェース22から与えられた画像データに従って、画像(画面)を表示する。
【0043】
以下に、本発明の実施の形態に係る仮想視界生成システムの動作について説明する。図4及び図5は、本発明の実施の形態に係る仮想視界生成システムの動作の流れを示すフローチャートである。
【0044】
図4に示すように、まず操作センサ3が、動作指示情報3aを取得し、これを機体運動計算機6へ送信(出力)する(ステップS1)。機体運動計算機6の入出力インタフェース16が動作指示情報3aを受信し(ステップS2)、この動作指示情報3aがCPU13に与えられる。CPU13は、過去に受信した動作指示情報3aと、この動作指示情報3aとから、動作指示履歴情報3bを生成し(ステップS3)、RAM15に格納する。この動作指示履歴情報3bは、過去の所定回数分の動作指示情報3aから構成された情報である。例えば、10回前から後に受信した動作指示情報3aによって動作指示履歴情報3bは構成される。また、この動作指示履歴情報3bは、例えばRAM15の所定の領域に、受信順に動作指示情報3aが並べられて記憶される等、これに含まれる動作指示情報3aの受信順が判別可能な態様で、RAM15に記憶されて構成される。従って、ステップS3の処理の一例としては、RAM15内に動作指示履歴情報3bを格納するための領域が予め確保されており、この領域が空いている場合には、領域が全て埋まるまで動作指示情報3aを順次格納することによって動作指示履歴情報3bを生成し、領域が全て埋まっている場合には、この領域に記憶されている動作指示履歴情報3bから、最も古い動作指示情報3aを削除し、動作指示履歴情報3bに最新の動作指示情報3aを追加することによって、新たな動作指示履歴情報3bを生成するものが挙げられる。
【0045】
次に、機体状態検出部5が、機体状態情報5aを機体運動計算機6へ送信(出力)する(ステップS4)。この機体状態情報5aは、機体運動計算機6の入出力インタフェース16によって受信され(ステップS5)、CPU13に与えられる。CPU13は、過去に受信した機体状態情報5aと、この機体状態情報5aとから、機体状態履歴情報5bを生成し(ステップS6)、RAM15に格納する。機体状態履歴情報5bは、動作指示履歴情報3bに含まれる動作指示情報3aと同じ回数だけ過去から後に受信された機体状態情報5aから構成されており、これらの機体状態情報5aが、受信順が判別可能な態様でRAM15に記憶されて構成される。
【0046】
次に、GPS受信機4が、位置情報4aを機体運動計算機6へ送信(出力)する(ステップS7)。
【0047】
図6は、本発明の実施の形態に係る仮想視界生成システムの動作を説明するタイミングチャートである。前述したように、GPS受信機4から位置情報4aが送信される時間間隔は、操作センサ3から動作指示情報3aが送信される時間間隔及び機体状態検出部5から機体状態情報5aが送信される時間間隔よりも長い。従って、操作センサ3及び機体状態検出部5から夫々動作指示情報3a及び機体状態情報5aが送信された時刻に、GPS受信機4から位置情報4aが送信されない場合がある。そこで、CPU13は、ステップS6の処理を実行した後に、GPS受信機4から位置情報4aを受信したか否かを判別する(ステップS8)。このステップS8の処理で、位置情報4aを受信したと判別された場合(図4のS8でYes)には、過去に受信した位置情報4aと、今回受信した位置情報4aとから、位置履歴情報4bを生成し(ステップS9)、RAM15に格納する。位置履歴情報4bは、所定回数だけ過去から後にGPS受信機4から受信された位置情報4aから構成されており、これらの位置情報4aが、受信順が判別可能な態様でRAM15に記憶されて構成される。
【0048】
次に、CPU13は、後述するステップS11又はステップS12の処理によって前回推測した飛行体の位置と、今回受信した位置情報4aが示す飛行体の位置との差を、推測誤差として求め、この推測誤差が所定の許容範囲以下であるか否かを判別する(ステップS10)。
【0049】
このステップS10の処理で、推測誤差が許容範囲内である場合(図5のS10でYes)には、飛行体2の位置及び姿勢の第1推測処理を行う(ステップS11)。この第1推測処理では、予め設定された運動方程式(フライトモデル)と、動作指示履歴情報3bと、機体状態履歴情報5bと、位置履歴情報4bとに基づいて、動作指示履歴情報3bに含まれる動作指示情報3aのうち最新のもの、即ち、今回操作センサ3によって取得された動作指示情報3aの取得時刻における飛行体2の位置及び姿勢を推測する。前記運動方程式は、飛行体2の機体の形状、エンジン、ロータ及びブレード等の特性に基づいて予め設定されたものである。ユーザは、この運動方程式を用いて、その入力(引数)が動作指示履歴情報3b,機体状態履歴情報5b,及び位置履歴情報4bであって、その出力(戻り値)が最新の動作指示情報3aを取得した時刻での飛行体2の位置及び姿勢を表す位置姿勢情報6aの関数を予め設定しておく。これは、例えば空気抵抗の程度、エンジン、ロータ及び/又はブレードの特性等に関するパラメータを定義しておき、この各種パラメータに、飛行体2に合致した値を代入することによって、関数を設定するようにしてもよい。ステップS11の処理では、CPU13は、このように設定された関数に動作指示履歴情報3b,機体状態履歴情報5b,及び位置履歴情報4bを与え、位置姿勢情報6aを取得する。
【0050】
一方、ステップS8の処理で、位置情報4aを受信しなかったと判別された場合(図4のS8でNo)には、飛行体2の位置及び姿勢の第2推測処理を行う(ステップS12)。この第2推測処理では、予め設定された運動方程式と、動作指示履歴情報3bと、機体状態履歴情報5bと、過去に推測した飛行体2の位置とに基づいて、動作指示履歴情報3bに含まれる動作指示情報3aのうち最新のものの取得時刻における飛行体2の位置及び姿勢を推測する。この運動方程式もまた、第1推測処理で用いた運動方程式と同様に、飛行体2の機体の形状、エンジン、ロータ及びブレード等の特性に基づいて予め設定されたものである。ユーザは、この運動方程式を用いて、その入力(引数)が動作指示履歴情報3b,機体状態履歴情報5b,及び過去に推測した飛行体2の位置であって、その出力(戻り値)が最新の動作指示情報3aを取得した時刻での位置姿勢情報6aの関数を予め設定しておく。この関数もまた、第1推測処理で用いた関数と同様に、各種パラメータの設定によって、設定されるように構成してもよい。ステップS12の処理では、CPU13は、このように設定された関数に動作指示履歴情報3b,機体状態履歴情報5b,及び過去に推測した飛行体2の位置を与え、位置姿勢情報6aを取得する。
【0051】
そして、CPU13は、ステップS11又はステップS12の処理によって取得した位置姿勢情報6aを、通信インタフェース18に送信させ(ステップS13)、処理をステップS2へ戻す。
【0052】
また、ステップS10において、推測誤差が許容範囲を越える場合(図5のS10でNo)には、推測誤差が大きすぎることから、飛行体2の機体又は仮想視界生成システム1に故障が発生していると考えることができる。従って、この場合には、CPU13は、ユーザに警告を促す警告画面を表示する指示を表す警告指示情報を通信インタフェース18に送信させ(ステップS14)、処理を終了する。
【0053】
次に、仮想視界画像描画装置7の処理について説明する。仮想視界画像描画装置7のCPU19は、機体運動計算機6から警告指示情報を受信したか否かを判別する(ステップS15)。このステップS15の処理で、警告指示情報を受信していないと判別された場合(図5のS15でNo)には、ステップS13の処理で機体運動計算機6から送信された位置姿勢情報6aが通信インタフェース24によって受信され、CPU19に与えられる(ステップS16)。CPU19は、この位置姿勢情報6aに基づいて、仮想視界画像7aを生成する(ステップS17)。
【0054】
図7は、表示装置8に表示された仮想視界画像7aを示す図である。仮想視界画像描画装置7のハードディスク装置23には、少なくとも飛行体2の飛行経路の一部の地形情報と、地表のテクスチャと、位置情報とが関連づけて記憶されている。ステップS17の処理では、CPU19は、位置姿勢情報6aによって得られる飛行体2の位置から、この位置に対応する地形の3次元データを生成し、この3次元データの地表の部分に、地表のテクスチャを貼り付けて、図7に示すような飛行体2の周囲の仮想的な空間を生成する。また、図7に示すように、この仮想空間内の前記位置姿勢情報6aによって表される位置に、仮想的な飛行体2の3次元モデルを、前記位置姿勢情報6aによって表される姿勢で配置する。また、図7に示すように、飛行体2の飛行予定経路又は飛行指示経路を表す情報を予めハードディスク装置23又はRAM21に記憶しておき、この情報に基づいて、前記飛行予定経路又は飛行指示経路を表すコリドーを仮想空間の画像に重畳して表示してもよい。そして、CPU19は、仮想的な3次元モデルとして表された飛行体2の後方から見たときの視界を表す仮想視界画像7aを画像データとして生成する。なお、本実施の形態に係る仮想視界画像描画装置7は、このステップS17の処理の全てをCPU19によって実行する構成であってもよいし、ステップS17の処理の一部をCPU19によって実行し、他を画像出力インタフェース22が備えるプロセッサによって実行する構成であってもよい。
【0055】
次に、CPU19は、画像出力インタフェース22に、このようにして生成した仮想視界画像7aを表示装置8へ出力させる(ステップS18)。これにより、図7に示すような仮想視界画像7aが表示装置8に表示されることとなる。そして、CPU19は、処理をステップS15へ戻す。
【0056】
また、CPU19は、ステップS15において、警告指示情報を受信したと判別された場合(図5のS15でYes)には、表示装置8に警告画面を表示させるべく、画像出力インタフェース22にこの警告画面の画像データを表示装置8へ出力させ(ステップS19)、処理を終了する。これにより、表示装置8に警告画面が表示され、ユーザに故障発生が通知されることとなる。
【0057】
以上の如き構成により、図6に示すように、飛行体2の位置及び姿勢の推測、並びに仮想視界画像7aの表示の切り換えは、動作指示取得部3による動作指示情報3aの送信及び機体状態検出部5による機体状態情報5aの送信の時間間隔と同じサイクルで行われる。従って、GPS受信機4による位置情報4aの送信のサイクルに比べて、極めて短いサイクルで仮想視界画像7aの表示を切り替えることができる。
【0058】
これにより、飛行体2の運動に画像表示が追従することとなり、ユーザ(操縦者)に、飛行体2の運動が操縦に応答していないような錯覚を与えることを防止することができる。
【0059】
また、GPS受信機4が時刻信号の受信に失敗した場合であっても、飛行体2の位置及び姿勢を推測することができ、この間の仮想視界画像7aを生成することができるので、仮想視界画像7aの表示の切り替えが中断されない。
【0060】
なお、本実施の形態においては、飛行体2をヘリコプターとした場合について述べたが、これに限定されるものではなく、飛行体2を他の形態の回転翼機又は固定翼機としてもよい。
【0061】
また、本実施の形態においては、飛行体2の仮想的な3次元の飛行空間を生成し、仮想視界画像7aを生成する構成について述べたが、これに限定されるものではなく、推測した飛行体2の位置及び姿勢から、飛行体2の位置及び姿勢(進行方向)を2次元マップに重畳表示する構成としてもよい。これにより、INS航法装置を用いなくても、極めて短い時間間隔で飛行体の位置を表示する航法装置を構成することができる。
【0062】
また、前述した第1及び第2推測処理で用いた運動方程式を、飛行体2の機体の形状、エンジン、ロータ及びブレード等の特性だけでなく、乗員数、燃料の残量にも基づいて設定する構成としてもよい。これにより、飛行体2の位置及び姿勢の推測精度の向上が期待できる。
【0063】
また、本実施の形態においては、仮想視界生成システム1を、操作センサ3、GPS受信機4、機体状態検出部5、機体運動計算機6、仮想視界画像描画装置7、及び表示装置8を夫々接続することによって構成したが、これに限定されるものではなく、例えば、機体運動計算機6と仮想視界画像描画装置7とを1つのコンピュータで構成する等、仮想視界生成システム1に含まれる各装置の全部又は一部を1つの装置に纏めて構成してもよい。
【0064】
【発明の効果】
本発明に係る飛行体の位置及び姿勢を推測する推測方法、該推測方法の実施に使用する推測装置並びに仮想視界生成システムによる場合は、GPS受信機が飛行体の位置を検出する時間間隔より短い時間間隔で操縦部が受け付けた動作指示を取得し、この動作指示を取得した時刻に、飛行体の位置が検出されていない場合には、飛行体の位置及び姿勢を推測する構成としたので、GPS受信機によって飛行体の位置が検出されていない間に、飛行体の位置及び姿勢を取得することができる。
【0065】
また、操縦部に与えられた動作指示を検出するためのセンサ(動作指示取得部)は、小型の飛行機又はヘリコプター等であっても、標準的に装備されているので、動作指示を前記センサの出力等から取り出すことは比較的容易に実現可能である。
【0066】
また、このようにして推測した飛行体の位置及び姿勢に基づいて、飛行体の周囲の空間を含む画像、即ち仮想視界の画像を生成することができ、従って、GPS受信機が飛行体の位置を検出する時間間隔が長かったり、時刻信号の受信に失敗して位置検出ができない場合であっても、高速に仮想視界の画像の表示を切り替えることができる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る仮想視界生成システムの全体構成を示すブロック図である。
【図2】本発明の実施の形態に係る仮想視界生成システムが備える機体運動計算機の構成を示すブロック図である。
【図3】本発明の実施の形態に係る仮想視界生成システムが備える仮想視界画像描画装置の構成を示すブロック図である。
【図4】本発明の実施の形態に係る仮想視界生成システムの動作の流れを示すフローチャートである。
【図5】本発明の実施の形態に係る仮想視界生成システムの動作の流れを示すフローチャートである。
【図6】本発明の実施の形態に係る仮想視界生成システムの動作を説明するタイミングチャートである。
【図7】本発明の実施の形態に係る仮想視界生成システムが備える表示装置に表示された仮想視界画像を示す図である。
【符号の説明】
1 仮想視界生成システム
2 飛行体
3 操作センサ(動作指示取得部)
3a 動作指示情報
3b 動作指示履歴情報
4 GPS受信機
4a 位置情報
4b 位置履歴情報
5 機体状態検出部(状態検出部)
5a 機体状態情報(状態情報)
5b 機体状態履歴情報(状態履歴情報)
6 機体運動計算機(推測装置,推測部)
6a 位置姿勢情報
7 仮想視界画像描画装置(演算部)
7a 仮想視界画像
8 表示装置(表示部)
9 GPS衛星
10 時刻信号
11 エンジン状態センサ
12 速度センサ
13 CPU(推測部)
14 ROM
15 RAM(第1記憶部,第2記憶部,第3記憶部)
16 入出力インタフェース(第1受信部,第2受信部,第3受信部)
17 ハードディスク装置
18 通信インタフェース(送信部)
19 CPU
20 ROM
21 RAM
22 画像出力インタフェース
23 ハードディスク装置
24 通信インタフェース

Claims (17)

  1. 飛行体に設けられた操縦部に操縦者から与えられる動作指示を、所定の時間間隔で取得し、取得した動作指示に基づいて、前記時間間隔で繰り返し飛行体の位置及び姿勢を推測する推測方法であって、
    前記時間間隔よりも長い時間間隔でGPS衛星から受信した信号に基づいて、各受信時に飛行体の位置を検出し、
    前記動作指示を取得した時刻に、飛行体の位置が検出されていない場合に、予め設定された飛行体の運動方程式、取得した動作指示、並びに前記時刻より過去に検出及び/又は推測した飛行体の位置に基づいて、動作指示を取得した時刻における飛行体の位置及び姿勢を推測することを特徴とする推測方法。
  2. 前記動作指示を取得する時間間隔で、飛行体の状態を検出し、
    前記動作指示を取得した時刻に、飛行体の位置が検出されていない場合には、前記運動方程式、取得した動作指示、前記時刻より過去に検出及び/又は推測した飛行体の位置、並びに検出した飛行体の状態に基づいて、飛行体の位置及び姿勢を推測することを特徴とする請求項1に記載の推測方法。
  3. 複数の時刻に夫々検出又は推測した飛行体の位置を表す位置履歴情報を記憶し、
    複数の時刻に夫々取得した動作指示を表す動作指示履歴情報を記憶し、
    複数の時刻に夫々検出した飛行体の状態を表す状態履歴情報を記憶し、
    前記運動方程式、並びに記憶した位置履歴情報、動作指示履歴情報、及び状態履歴情報に基づいて、前記動作指示履歴情報によって表される動作指示のうちの最新の動作指示を取得した時刻での飛行体の位置及び姿勢を推測することを特徴とする請求項2に記載の推測方法。
  4. 前記飛行体の状態は、飛行体を推進させる推進部の状態を含むことを特徴とする請求項2又は3に記載の推測方法。
  5. 前記飛行体の状態は、飛行体の対気速度を含むことを特徴とする請求項2乃至4の何れかに記載の推測方法。
  6. 飛行体に設けられた操縦部に操縦者から与えられた動作指示を表す動作指示情報を、所定の時間間隔で外部から受信する第1受信部と、
    該第1受信部が受信した動作指示情報に基づいて、前記時間間隔で繰り返し飛行体の位置及び姿勢を推測する推測部と
    を備える推測装置であって、
    飛行体の位置を表す位置情報を、前記時間間隔よりも長い時間間隔でGPS衛星から受信する第2受信部
    を備え、
    前記推測部は、前記第1受信部が動作指示情報を受信した時刻に、前記第2受信部が位置情報を受信していない場合に、予め設定された飛行体の運動方程式、前記第1受信部が受信した動作指示情報、並びに前記時刻より過去に前記第2受信部が受信した位置情報及び/又は該推測部が推測した飛行体の位置を表す位置情報に基づいて、動作指示情報を受信した時刻における飛行体の位置及び姿勢を推測すべくなしてあることを特徴とする推測装置。
  7. 飛行体の状態を表す状態情報を、前記第1受信部が動作指示を受信する時間間隔で外部から受信する第3受信部を更に備え、
    前記推測部は、前記第1受信部及び前記第3受信部が動作指示情報及び状態情報を夫々受信した時刻に、前記第2受信部が位置情報を受信していない場合には、前記運動方程式、前記第1受信部が受信した動作指示情報、前記時刻より過去に前記第2受信部が受信した位置情報及び/又は該推測部が推測した飛行体の位置を表す位置情報、並びに前記第3受信部が受信した状態情報に基づいて、飛行体の位置及び姿勢を推測すべくなしてあることを特徴とする請求項6に記載の推測装置。
  8. 複数の時刻に前記第1受信部によって夫々受信された動作指示情報を含む動作指示履歴情報を記憶する第1記憶部と、
    複数の時刻に、前記第2受信部によって受信された位置情報及び/又は前記推測部によって推測された飛行体の位置を表す位置情報を含む位置履歴情報を記憶する第2記憶部と、
    複数の時刻に前記第3受信部によって夫々受信された状態情報を含む状態履歴情報を記憶する第3記憶部と
    を更に備え、
    前記推測部は、前記運動方程式、前記第1記憶部に記憶された動作指示履歴情報、前記第2記憶部に記憶された位置履歴情報、及び前記第3記憶部に記憶された状態履歴情報に基づいて、前記動作指示履歴情報に含まれる動作指示情報のうちの最新の動作指示情報を前記第1受信部が受信した時刻での飛行体の位置及び姿勢を推測すべくなしてあることを特徴とする請求項7に記載の推測装置。
  9. 前記状態情報は、飛行体を推進させる推進部の状態を表す情報を含むことを特徴とする請求項7又は8に記載の推測装置。
  10. 前記状態情報は、飛行体の対気速度を表す情報を含むことを特徴とする請求項7乃至9の何れかに記載の推測装置。
  11. 前記推測部は、
    前記第2受信部が位置情報を受信した場合に、該位置情報によって表される飛行体の位置と、該位置情報が受信された時刻より過去に該推測部が推測した飛行体の位置のうちの最新の位置との差を、推測誤差として演算する推測誤差演算手段と、
    該推測誤差演算手段によって演算された推測誤差が、所定の許容範囲を越えるか否かを判別する判別手段と
    を有し、
    前記判別手段によって前記推測誤差が前記許容範囲を越えると判別された場合に、異常の発生を表す異常発生情報を外部へ送信する送信部
    を更に備えることを特徴とする請求項6乃至10の何れかに記載の推測装置。
  12. 飛行体に設けられた操縦部に操縦者から与えられた動作指示を、所定の時間間隔で取得する動作指示取得部と、
    該動作指示取得部が取得した動作指示に基づいて、前記時間間隔で繰り返し飛行体の位置及び姿勢を推測する推測部と、
    該推測部が推測した飛行体の位置及び姿勢並びに予め与えられた飛行体の飛行空間に関する情報に基づいて、飛行空間に対する飛行体の相対位置及び相対姿勢を演算し、飛行体の内部から又は飛行体の後方からの仮想的な視界の画像を生成する演算部と、
    該演算部が生成した画像を表示する表示部と
    を備える仮想視界生成システムであって、
    前記時間間隔よりも長い時間間隔で飛行体の位置を検出するGPS受信機
    を更に備え、
    前記推測部は、前記動作指示取得部が動作指示を取得した時刻に、前記GPS受信機が飛行体の位置を検出していない場合に、予め設定された飛行体の運動方程式、前記動作指示取得部が取得した動作指示、並びに前記時刻より過去に前記GPS受信機が検出した飛行体の位置及び/又は該推測部が推測した飛行体の位置に基づいて、動作指示を取得した時刻における飛行体の位置及び姿勢を推測すべくなしてあることを特徴とする仮想視界生成システム。
  13. 前記動作指示取得部が動作指示を取得する時間間隔で、飛行体の状態を検出する状態検出部を更に備え、
    前記推測部は、前記動作指示取得部が動作指示を取得した時刻に、前記GPS受信機が飛行体の位置を検出していない場合には、前記運動方程式、前記動作指示取得部が取得した動作指示、前記時刻より過去に前記GPS受信機が検出した飛行体の位置及び/又は該推測部が推測した飛行体の位置、並びに前記状態検出部が検出した飛行体の状態に基づいて、飛行体の位置及び姿勢を推測すべくなしてあることを特徴とする請求項12に記載の仮想視界生成システム。
  14. 複数の時刻に前記動作指示取得部によって夫々取得された動作指示を表す動作指示履歴情報を記憶する第1記憶部と、
    複数の時刻に、前記GPS受信機によって検出された飛行体の位置及び/又は前記推測部によって推測された飛行体の位置を表す位置履歴情報を記憶する第2記憶部と、
    複数の時刻に前記状態検出部によって夫々検出された飛行体の状態を表す状態履歴情報を記憶する第3記憶部と
    を更に備え、
    前記推測部は、前記運動方程式、前記第1記憶部に記憶された動作指示履歴情報、前記第2記憶部に記憶された位置履歴情報、及び前記第3記憶部に記憶された状態履歴情報に基づいて、前記動作指示履歴情報が表す動作指示のうちの最新の動作指示を前記動作指示取得部が取得した時刻での飛行体の位置及び姿勢を推測すべくなしてあることを特徴とする請求項13に記載の仮想視界生成システム。
  15. 前記状態検出部は、飛行体を推進させる推進部の状態を検出する推進部状態検出部を有し、
    前記飛行体の状態は、前記推進部状態検出部が検出した推進部の状態を含むことを特徴とする請求項13又は14に記載の仮想視界生成システム。
  16. 前記状態検出部は、飛行体の対気速度を検出する対気速度検出部を有し、
    前記飛行体の状態は、前記対気速度検出部が検出した対気速度を含むことを特徴とする請求項13乃至15の何れかに記載の仮想視界生成システム。
  17. 前記推測部は、
    前記GPS受信機が飛行体の位置を検出した場合に、該GPS受信機によって検出された飛行体の位置と、該GPS受信機によって飛行体の位置が検出された時刻より過去に該推測部が推測した飛行体の位置のうちの最新の位置との差を、推測誤差として演算する推測誤差演算手段と、
    該推測誤差演算手段によって演算された推測誤差が、所定の許容範囲を越えるか否かを判別する判別手段と
    を有し、
    前記演算部は、前記判別手段によって前記推測誤差が前記許容範囲を越えると判別された場合に、ユーザに異常の発生を通知するための異常発生通知画像を前記表示部に表示させるべくなしてある
    ことを特徴とする請求項12乃至16の何れかに記載の仮想視界生成システム。
JP2002278444A 2002-09-25 2002-09-25 飛行体の位置及び姿勢の推測方法、推測装置並びに仮想視界生成システム Expired - Fee Related JP3675787B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002278444A JP3675787B2 (ja) 2002-09-25 2002-09-25 飛行体の位置及び姿勢の推測方法、推測装置並びに仮想視界生成システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002278444A JP3675787B2 (ja) 2002-09-25 2002-09-25 飛行体の位置及び姿勢の推測方法、推測装置並びに仮想視界生成システム

Publications (2)

Publication Number Publication Date
JP2004117079A JP2004117079A (ja) 2004-04-15
JP3675787B2 true JP3675787B2 (ja) 2005-07-27

Family

ID=32273717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002278444A Expired - Fee Related JP3675787B2 (ja) 2002-09-25 2002-09-25 飛行体の位置及び姿勢の推測方法、推測装置並びに仮想視界生成システム

Country Status (1)

Country Link
JP (1) JP3675787B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016018472A (ja) * 2014-07-10 2016-02-01 日本電気株式会社 制御装置、制御システム、および制御方法
JP7333565B1 (ja) * 2022-08-08 2023-08-25 学校法人 芝浦工業大学 飛行体および飛行体の制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3483962B2 (ja) * 1994-12-05 2004-01-06 株式会社ザナヴィ・インフォマティクス 航法装置
JP3052286B2 (ja) * 1997-08-28 2000-06-12 防衛庁技術研究本部長 飛行システムおよび航空機用擬似視界形成装置
JP3001866B1 (ja) * 1998-10-26 2000-01-24 中日本航空株式会社 飛行体を用いた測量方法及びその装置
JP3508719B2 (ja) * 2000-12-13 2004-03-22 日本電気株式会社 空中線制御装置及び制御方法
JP3952692B2 (ja) * 2000-12-27 2007-08-01 アイシン・エィ・ダブリュ株式会社 地図表示装置及び地図表示方法

Also Published As

Publication number Publication date
JP2004117079A (ja) 2004-04-15

Similar Documents

Publication Publication Date Title
US11474516B2 (en) Flight aiding method and system for unmanned aerial vehicle, unmanned aerial vehicle, and mobile terminal
EP2635941B1 (en) Automatic control of an aircraft in the event of flight crew incapacity
CA2555836C (en) Control system for vehicles
EP2885676B1 (en) Flying camera with string assembly for localization and interaction
JP6506302B2 (ja) モバイルプラットフォームを操作するための方法及び装置
EP2708853B1 (en) Landing point indication system for a rotorcraft
CN106249755B (zh) 一种无人机自主导航系统及导航方法
US9031719B2 (en) Passive local wind estimator
US9989378B2 (en) Display of aircraft altitude
US6484072B1 (en) Embedded terrain awareness warning system for aircraft
US11874674B2 (en) Vehicle control and interface system
JP2787061B2 (ja) 操縦制御用ディスプレイ
CN107111321B (zh) 控制方法、控制装置、飞行控制系统与多旋翼无人机
EP3271743A1 (en) Trajectory control of a vehicle
CN113994292A (zh) 无人飞行器的控制方法和设备
WO2013174559A1 (en) Method and device for estimating a wind field
EP2846134B1 (en) Helicopter system and method for integrating collective flight director cues
JP3675787B2 (ja) 飛行体の位置及び姿勢の推測方法、推測装置並びに仮想視界生成システム
EP2533123B1 (en) Navigation system for an aircraft and method of operating such a navigation system
CA2788512C (en) Control system for vehicles
EP4163643A1 (en) System and method for low speed wind estimation in vtol aircraft
US20240053770A1 (en) Vehicle control loops and interfaces

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050426

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090513

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100513

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110513

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120513

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130513

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees