JP3621833B2 - 映像表示装置及び運転訓練シミュレータ映像装置 - Google Patents
映像表示装置及び運転訓練シミュレータ映像装置 Download PDFInfo
- Publication number
- JP3621833B2 JP3621833B2 JP17724098A JP17724098A JP3621833B2 JP 3621833 B2 JP3621833 B2 JP 3621833B2 JP 17724098 A JP17724098 A JP 17724098A JP 17724098 A JP17724098 A JP 17724098A JP 3621833 B2 JP3621833 B2 JP 3621833B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- video data
- processing unit
- data
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば娯楽施設に設けられる映像表示装置、及び運転訓練シミュレータにおいて、運転員の操作に応じ、実機に設置してある監視ＴＶ等を模擬する運転訓練シミュレータ映像装置に関する。
【０００２】
【従来の技術】
従来のプラント訓練シミュレータにおける監視ＴＶ等を模擬する映像装置は、一般的に図１３に示すように構成されている。すなわち、従来のプラント運転訓練シミュレータ映像装置は、映像模擬装置１、表示装置２、ネットワーク３、制御計算機４から構成される。
【０００３】
上記映像模擬装置１は、入力部５、データ再生部６、映像保管部７、及び表示管理部９から構成され、上記映像保管部７には、運転状況に応じた実写映像データ８が個別に保管されている。一般には、映像保管部７として光ディスク再生装置が用いられている。
【０００４】
上記制御計算機４は、プラント訓練シミュレータによるプラント運転状態に従って、制御指令をネットワーク３を介して映像模擬装置１に送信し、映像模擬装置１はそれに応じた映像信号を表示装置２に出力する。
【０００５】
以下、上記映像模擬装置１の処理動作について説明する。
１．制御計算機４から映像データの開始や終了命令がネットワーク３を介して入力部５に送信される。
２．入力管理部５が表示終了命令を受けた場合、データ再生部６に現在再生中の映像データの終了を指示する。
３．入力部５が映像データの開始命令を受けた場合、映像データ名をデータ再生部６に送信する。
４．データ再生部６は、現在再生中の映像データを終了し、映像データ名に対応する映像データを映像保管部７から呼び出す。
５．データ再生部６は、呼び出した映像データを動画表示とするために、毎秒６０〜１５枚の速度で画像を作成して表示管理部９に送信する。上記映像データは、入力部５の要求に応じ、サイクリックに表示処理される。
６．画像が入力されると表示管理部９は、映像を表示装置２に出力する。
７．上記「１．」〜「６．」の処理を繰り返して実行する。
【０００６】
【発明が解決しようとする課題】
従来技術では、映像保管部７に保管された映像をそのまま表示するため、運転状況に応じた全ての映像データを撮影し、その膨大な映像データを映像保管部７に保管しておく必要がある。しかし、光ディスクなどの装置は、映像保管の容量が小さく、個々の実写映像データ８の記録時間が例えば５〜６秒と非常に短いので、サイクリックな映像再生を行なうと映像の最後と最初の部分が切り替わって途切れた映像となる。また、例えばトーチの成長映像を表示するような場合、トーチの成長映像と揺らぎ映像は別のデータとして管理する必要があり、制御計算機４からの指示も複雑となる。
【０００７】
また、実際に撮影したデータを実写映像データ８として利用しているため、実際に撮影のできない運転状況についての映像を再現することができない。
【０００８】
また、複数台のＴＶ映像を１つの表示装置２に表示するには、複数台の映像模擬装置１とそれを合成する集約装置が別途必要になり、非常に高価なシステムとなる。
【０００９】
本発明は上記実情に鑑みなされたもので、実際に撮影のできない運転状況映像を再現できると共に途切れのないサイクリックな映像を再生でき、且つシステムを安価に構成し得る映像表示装置及び運転訓練シミュレータ映像装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１の発明は、予め各種模擬画像を記憶し、機器の操作に応じて前記模擬画像を選択して表示装置に表示する映像表示装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データを記憶する映像保管部と、再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、入力指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データを読み出すデータ管理処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された映像データをサイクリックな画像に再生する再生処理部と、前記再生処理部により再生された画像データを前記表示装置に出力する表示管理部とを具備したことを特徴とする。
【００１１】
第２の発明は、予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データを記憶する映像保管部と、再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データを読み出すデータ管理処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された映像データをサイクリックな画像に再生する再生処理部と、前記再生処理部により再生された画像データを前記表示装置に出力する表示管理部とを具備したことを特徴とする。
【００１２】
第３の発明は、予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データ及び部品映像データを記憶する映像保管部と、再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データ及び部品映像データを読み出すデータ管理処理部と、前記制御処理部からの制御指令に従って動作し、前記データ管理処理部により映像保管部から読み出された実写映像データまたは加工映像データに対し部品映像データを画像合成する映像加工処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像加工処理部により処理された合成画像をサイクリックな画像に再生する再生処理部と、前記再生処理部により再生された画像データを前記表示装置に出力する表示管理部とを具備したことを特徴とする。
【００１３】
第４の発明は、予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データを記憶する映像保管部と、再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データを読み出すデータ管理処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された映像データをサイクリックな画像に再生する再生処理部と、前記制御処理部から送られてくる表示領域情報により画面上の表示領域を分割し、分割画面数分だけ前記データ管理処理部及び前記再生処理部の処理動作を繰り返して実行する表示領域処理部と、前記表示領域処理部により処理された各表示領域に分割された画像を前記表示装置に出力する表示管理部とを具備したことを特徴とする。
【００１４】
第５の発明は、予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データ及び部品映像データを記憶する映像保管部と、再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データ及び部品映像データを読み出すデータ管理処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された実写映像データまたは加工映像データに対し部品映像データを画像合成する映像加工処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像加工処理部により処理された合成画像をサイクリックな画像に再生する再生処理部と、前記制御処理部から送られてくる表示領域情報により画面上の表示領域を分割し、分割画面数分だけ前記データ管理処理部及び前記再生処理部の処理動作を繰り返して実行する表示領域処理部と、前記表示領域処理部により処理された各表示領域に分割された画像を前記表示装置に出力する表示管理部とを具備したことを特徴とする。
【００１５】
また、前記第２ないし第５の発明における前記再生処理部は、最初は映像データの先頭から再生を開始し、２回目以降は予め指定された位置から映像データを再生することを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
【００１７】
（第１実施形態）
図１は、本発明の第１実施形態に係るプラント運転訓練シミュレータ映像装置の基本構成図である。
【００１８】
この第１実施形態に係わるプラント訓練シミュレータ映像装置は、映像模擬装置１０、表示装置２、ネットワーク３、制御計算機４から構成される。
【００１９】
上記映像模擬装置１０は、入力部５、表示管理部９、処理部１１、映像保管部１２、再生管理データ保管部１６からなり、例えば電子計算機を用いて構成している。また、上記処理部１１は、制御処理部２１、データ管理処理部２２及び再生処理部２３からなる。更に映像保管部１２は、例えばハードディスクに運転状況に応じた実写映像データ１３及び加工映像データ１４を個別に保管している。
【００２０】
上記加工映像データ１４は、実際には撮影のできない映像等を予めコンピュータ・グラフィックス等の画像処理を施して作成したものである。例えば火力プラント訓練シミュレータに実施する場合には、火力プラントの運転状況に応じた各種燃焼パターンの基準炎モデルを作成する。
【００２１】
次に上記実施形態の動作を説明する。
【００２２】
制御計算機４は、プラント運転訓練シミュレータのプラント運転状態により、映像要求、指示をネットワーク３を介して映像模擬装置１０に送信し、映像模擬装置１０はそれに応じた映像信号を表示管理部９から表示装置２に出力する。
【００２３】
上記映像模擬装置１０は、以下の処理を実行する。
１．制御計算機４からプラント運転状態要求がネットワーク３を介して入力部５に送信される。
２．入力部５は、プラント運転状態要求に応じて制御処理部２１に映像制御指示を出力する。制御処理部２１は、映像制御指示、例えばバーナ点消火、燃料流量、燃料流速、空気流量等に基づいて再生管理データ保管部１６から再生する映像データ名や再生情報を取得する。
３．制御処理部２１は、映像データ名をデータ管理処理部２２に送信する。
４．データ管理処理部２２は、映像保管部１２から映像データ、すなわち実写映像データ１３及び加工映像データ１４を読み込み、制御処理部２１に送信する。
５．制御処理部２１は、再生管理データ保管部１６の再生情報も使用し、映像データと再生の開始位置を再生処理部２３に渡す。
６．再生処理部２３は、動画表示を行なうため、毎秒６０〜１５枚の速度で画像を作成し、画像を表示管理部９に送信する。映像データが終了すると、再生管理データ保管部１６の再生情報により、先頭からの繰り返し、途中からの繰り返しまたは終了する。繰り返しがある場合には、上記「５．」から繰り返す。
７．表示管理部９は、画像が入力されると、映像を表示装置２に出力する。
８．上記「１．」〜「７．」の処理を繰り返し実行する。
【００２４】
上記の構成とすることにより、再生管理データ保管部１６による映像のきめ細かい制御が可能になり、繰り返し映像開始位置等の設定により、一つの映像データで遷移状態映像とサイクリック映像を再現することができる。
【００２５】
図２は、火力プラントボイラ内のトーチ点火を示したものである。点火と同時に炎は徐々に大きくなり、一定の長さで炎の成長は止まり、揺らぎながら燃え続ける。
【００２６】
上記のようにトーチの成長映像と揺らぎ映像を一つのデータで管理することにより、制御計算機４からの命令も簡略になり、システムの開発時間を短縮することができる。
【００２７】
図３は、上記再生管理データ保管部１６に保管される再生管理データの構造例を示したものである。今、例えば３番トーチの点火指令が出されたとすると、再生管理データ保管部１６に保管された再生管理データから映像データ名が求まる。更に初回の再生開始時間及び２回目以降の再生開始時間が求まる。これによりトーチ点火時は、映像データの先頭から再生が開始され、トーチ成長状況が表示される。２回目以降は７秒目からの再生が指示されており、成長した炎の揺らぎ映像を再現できる。ここで映像データの最後数秒間と７秒目の前後数秒間を連続映像になるよう画像処理を施しておくことにより、途切れのない揺らぎ映像を再現することができる。
【００２８】
また、映像データとしてコンピュータ・グラフィックス等の画像処理を施した加工映像データ１４を映像保管部１２から取り込むことで、図４に示すように実機での運転ができない映像表示が可能になる。図４（ａ）はトーチ点火時における実際の映像の模式図、同図（ｂ）は加工映像の模式図を示したものである。図４（ａ）に示す実写による映像では上段に炎がないが、コンピュータ・グラフィックスで実際の映像を模擬した加工映像データ１４を作成したり、実際の映像の火炎部分を事前に画像処理した加工映像データ１４を作成しておくことにより、図４（ｂ）に矢印で示すように火炎映像を再現することができる。
【００２９】
上記のようにして、従来技術では実現できなかった各種運転状況を示す映像を再現することが可能になる。
【００３０】
更に、映像保管部１２としてハードディスク等の大容量の記憶装置を使用することで、光ディスクより大容量のデータを保管することが可能となる。
【００３１】
（第２実施形態）
図５は、本発明の第２実施形態に係るプラント運転訓練シミュレータ映像装置の基本構成図である。
【００３２】
この第２実施形態に係るプラント運転訓練シミュレータ映像装置は、映像模擬装置１０、表示装置２、ネットワーク３、制御計算機４から構成される。
【００３３】
上記映像模擬装置１０は、入力部５、表示管理部９、処理部１１、映像保管部１２、再生管理データ保管部１６からなり、上記処理部１１は、制御処理部２１、データ管理処理部２２、再生処理部２３及び映像加工処理部２４からなる。更に映像保管部１２は、運転状況に応じた実写映像データ１３、加工映像データ１４、及び部品映像データ１５を個別に保管している。
【００３４】
上記のようにこの第２実施形態は、上記第１実施形態に対し、処理部１１内に映像加工処理部２４を設けると共に、映像保管部１２に実写映像データ１３、加工映像データ１４及び部品映像データ１５を格納するようにしたものである。上記部品映像データ１５は、加工映像データ１４と同様にコンピュータ・グラフィックス等の画像処理を施すことにより作成している。
【００３５】
また、映像加工処理部２４は、制御処理部２１の制御指令により、映像保管部１２から読み出した実写映像データ１３と、加工映像データ１４及び部品映像データ１５を画像処理し、合成画像を作成する機能を有している。
【００３６】
次に上記第２実施形態の動作を説明する。
【００３７】
制御計算機４は、プラント運転訓練シミュレータのプラント運転状態により、映像要求、指示をネットワーク３を介して映像模擬装置１０に送信し、映像模擬装置１０はそれに応じた映像信号を表示管理部９から表示装置２に出力する。
【００３８】
上記映像模擬装置１０は、以下の処理を実行する。
１．制御計算機４からプラント運転状態要求がネットワーク３を介して入力部５に送信される。
２．入力部５から、制御処理部２１に映像制御指示が出される。制御処理部２１は、映像制御指示に基づいて再生管理データ保管部１６から再生する映像データ名や再生情報を取得する。制御処理部２１は、再生管理データ保管部１６から更に複数の部品映像データ名とその位置や拡大率を含む変換行列などの再生情報を取得する。
３．制御処理部２１は、映像データ名をデータ管理処理部２２に送信する。
４．管理処理部２２は、指示された実写映像データ１３、加工映像データ１４を映像保管部１２から読み込み、制御処理部２１に送信する。
５．制御処理部２１は、部品映像名をデータ管理処理部２２に送信する。
６．データ管理処理部２２は、指示された部品映像データ１５を映像保管部１２から読み込み、制御処理部２１に送信する。
７．部品映像データ分だけ、上記「５．」〜「６．」の処理を繰り返す。
８．制御処理部２１は、再生管理データ保管部１６の再生情報も用い、映像データと再生の開始位置を再生処理部２３に渡す。
９．再生処理部２３は、１画像を映像加工処理部２４に送信する。映像データが終了すると、再生管理データ保管部１６の再生情報により、先頭からの繰り返し、途中からの繰り返しまたは終了する。繰り返しがある場合には、上記「８．」の項から繰り返す。
１０．制御処理部２１は、部品映像データを再生処理部２３に渡す。
１１．再生処理部２３は、１画像と座標変換行列を映像加工処理部２４に送信する。部品映像データが終了すると、先頭からの繰り返す。
１２．部品映像の個数分だけ、上記「１０．」〜「１１．」の処理を繰り返す。
１３．映像加工処理部２４は、映像データの画像と複数の部品映像データの画像を処理し、制御処理部２１を介して表示管理部９に合成画像を送信する。動画表示を行なうため、上記「８．」〜「１３．」は毎分６０〜１５枚の速度で処理される。
１４．表示管理部９は、上記画像が入力されると、映像を表示装置２に出力して表示する。
１５．上記「１．」〜「１４．」の処理を繰り返す。
【００３９】
図６は再生管理データの構造例を示す概念図である。
【００４０】
再生管理データの各行には、制御計算機４から送信される再生指令に応じた映像制御データが含まれる。再生指令に応じ背景映像となる実写映像データ１３または加工映像データ１４の映像データ名、繰り返しフラグ、初回開始時間、２回目以降開始時間、映像効果処理指令及び部品映像データ情報を含む。部品映像データ数が１以上の場合、部品映像データ毎に映像名、座標変換行列、繰り返しフラグ、初回開始時間、２回目以降開始時間を持つ。
【００４１】
次に上記処理部１１の動作を図７に示すフローチャートを参照して説明する。
【００４２】
まず、背景となる実写映像データ１３または加工映像データ１４を映像保管部１２から読み込み（ステップＡ１）、１画像を再生処理し、映像加工処理部２４に送信する（ステップＡ２）。次に部品データ数ｎを再生管理データ保管部１６から読み込み（ステップＡ３）、データ数ｎが“０”より大きいか否かを判断する（ステップＡ４）。データ数ｎが１以上であれば、映像保管部１２から部品映像データ１５または加工映像データ１４を読み込み（ステップＡ５）、１画像を生成処理する（ステップＡ６）。座標変換行列を基にこの画像の大きさと表示位置を計算し、映像加工処理部２４に送信する（ステップＡ７）。次いで「ｎ−１」の処理を行なってその結果を「ｎ」とし（ステップＡ８）、ステップＡ４に戻る。
【００４３】
上記の処理をｎ回繰り返し、ステップＡ４でデータ数ｎが“０”になったと判断されると、ステップＡ９に進み、映像加工処理部２４にて背景映像画像とｎ個の部分映像画像を画像合成する。次に映像効果処理指令がある場合、輝度変換やもや効果などを加味した映像効果処理を行なう（ステップＡ１０）。これにより多彩な映像を実現することができる。
【００４４】
図８は炎を例とした場合の再生管理データの構造例、図９は映像生成例を示したものである。図８におけるＢ１データは映像保管部１２に実写映像データ１３として、Ｐ３は部品映像データ１５として保管されている。上記再生管理データの１行目を用いれば、図９示すように炎が一本ある映像、２行目を使えば左右に２本ある映像、３行目を用いれば上下にある映像を再現できる。このように、従来装置と比較して少ない保管データで映像再現が可能になり、また、再生管理データにより実機撮影の難しい映像再現も可能になる。
【００４５】
上記のように映像加工処理部２４を追加することで、映像保管部１２に保管されていない運転状況の映像作成が可能になり、次のような効果が得られる。
１．全ての運転状況の映像データを映像保管部１２に保持することなく、運転に応じた映像が再現でき、保管データの大幅な削減が可能になる。これにより保管データのデータ作成時間が大幅に短縮できるだけでなく、再現可能な運転状況が拡大し、映像再現装置の価値が高まる。
２．画像処理による加工映像を作成でき、実際に撮影できない映像再現が可能になる。また、同一映像でも映像効果処理により、他の火炎が写り込み輝度が高くなった状態、もやが掛かった状態など複数の映像を再現できる。
３．映像データを切替える時も映像加工処理部２４により、連続的な映像を作成でき、途切れのない映像再現が可能になる。
【００４６】
（第３実施形態）
図１０は、本発明の第３実施形態に係るプラント運転訓練シミュレータ映像装置の基本構成図である。
【００４７】
この第３実施形態に係るプラント運転訓練シミュレータ映像装置は、上記第２実施形態に対し、処理部１１内に表示領域処理部２５を設けた点と、制御計算機４から表示領域指令と映像制御指示が送信される点が異なっている。
【００４８】
この第３実施形態における映像模擬装置１０の処理を以下に説明する。
１．制御計算機４からプラント運転状態要求がネットワーク３を介して入力部５に送信される。
２．制御計算機４から入力部５に表示領域指示が出された場合、制御処理部２１は再生管理データ保管部１６に表示領域情報を保管する。
３．制御計算機４から入力部５に映像制御指示が出された場合、制御処理部２１は表示領域情報に再生指示命令を設定し、映像データ名、更に複数の部品映像データ名を再生管理データ保管部１６から取得する。
４．制御処理部２１は、映像データ名をデータ管理処理部２２に送信する。
５．管理処理部２２は、映像保管部１２から実写映像データ１３または加工映像データ１４を読み込み、制御処理部２１に送信する。
６．制御処理部２１は、部品映像名をデータ管理処理部２２に送信する。
７．管理処理部２２は、映像保管部１２から部品映像データ１５を読み込み、制御処理部２１に送信する。
８．部品映像データの個数分だけ、上記「６．」〜「７．」の処理を繰り返す。
９．以下、再生処理を行なう。
１０．制御処理部２１は、再生管理データ保管部１６の再生情報も用い、映像データと再生の開始位置を再生処理部２３に渡す。
１１．再生処理部２３は、１画像を映像加工処理部２４に送信する。映像データが終了すると、再生管理データ保管部１６の再生情報により、先頭からの繰り返し、途中からの繰り返しまたは終了する。繰り返しがある場合には、上記「１０．」から処理を繰り返す。
１２．制御処理部２１は、映像保管部１２から読み出した部品映像データ１５を再生処理部２３に渡す。
１３．再生処理部２３は、１画像と座標変換行列を映像加工処理部２４に送信する。部品映像データが終了すると、先頭からの繰り返す。
１４．部品映像分だけ、「１２．」〜「１３．」を繰り返す。
１５．映像加工処理部２４は、映像データの画像と複数の部品映像データを画像処理し、表示領域処理部２５に合成画像を送信する。
１６．表示領域処理部２５は、再生管理データ保管部１６の表示領域情報から画面上の表示領域に画像をスケーリングした画像を表示管理部７に送信する。動画表示を行なうため、「１０．」〜「１６．」の処理は毎分６０〜１５枚の速度で実行される。
１７．再生情報に基づいて分割画面数分だけ上記「１０．」〜「１６．」の処理を繰り返す。
１８．全ての画像が入力されると表示管理部９は、映像を表示装置２に出力する。
１９．上記「１．」〜「１８．」の処理を繰り返す。
【００４９】
図１１は、第３実施形態における再生管理データの構造を示す概念図である。画面分割数には、表示する模擬映像数が指定されている。１画面の場合は１が示される。表示領域情報は画面分割数分ある。各行には、画面右下と左上座標値と図６で説明した再生指示命令が設定されている。この情報をもとに複数画面の表示が行なわれる。この表示領域情報は、制御計算機４から送信することも予め映像模擬装置１０に設定しておくこともできる。
【００５０】
更に第２実施形態と同様な再生指示命令の対応表があり、再生指令命令から各画面に表示する再生映像を求める。
【００５１】
次に処理部１１における複数画面の表示処理について図１２に示すフローチャートを参照して説明する。
【００５２】
制御計算機４から入力部５を介して制御処理部２１に制御指令が送られてくると、制御処理部２１は、表示領域情報か否か、映像制御指令か否かをステップＢ１、Ｂ２で判断し、表示領域情報であれば、この表示領域情報を再生管理データ保管部１６に保管し（ステップＢ３）、また、映像制御指令であれば、表示領域情報に再生指示命令を設定し、映像データ名、更に複数の部品映像データ名を取得する（ステップＢ４）。
【００５３】
また、制御処理部２１は、制御計算機４から終了指令が送られてくると、ステップＢ５で検出し、再生処理を終了する。
【００５４】
それ以外の場合、画面分割数が“０”より大きいか否かを判断し（ステップＢ６）、画面分割数が“０”であればステップＢ１に戻り、画面分割数が１以上であれば、画面分割数を「ｉ」とし（ステップＢ７）、再生処理を実行する。
【００５５】
再生処理は、上記図７のフローチャートに示した映像再生の処理に従って実行する（ステップＢ８）。そして、図７で作成された映像を画面位置座標をもとにスケーリングし（ステップＢ９）、表示領域に貼り付ける。そして、「ｉ」の値を「−１」し、その結果を「ｉ」とする（ステップＢ１０）。その後、「ｉ」の値が“０”より大きいか否かを判断し（ステップＢ１１）、“０”より大きければステップＢ８に戻り、映像再生の処理を再度実行する。
【００５６】
上記映像再生の処理を画面分割数の個数分だけ繰り返して実行する。全ての画面映像処理が終了した後、表示管理部９は複数画面を同時に表示装置２に表示する（ステップＢ１２）。
【００５７】
以上の処理を繰り返して実行することにより、１台の映像模擬装置１０で複数の映像表示を行なうことができる。
【００５８】
上記のように表示領域処理部２５を追加することで、１台の映像模擬装置１０で複数台のＴＶ映像を同時に再生することが可能になる。この結果、従来装置では複数映像を再現するのに画面数分の映像模擬装置１０が必要になるのに対し、本発明では１台の映像模擬装置１０で構成することが可能になり、安価にシステムを実現できる。
【００５９】
なお、上記第３実施形態では、映像保管部１２に保管した実写映像データ１３または加工映像データ１４と部品映像データ１５とを映像加工処理部２４により合成する場合を対象として実施した場合について示したが、図１に示したように実写映像データ１３または加工映像データ１４に対して部品映像データ１５を合成しない場合においても同様にして実施し得るものである。
【００６０】
また、上記各実施形態では、コンピュータ・グラフィックス等により予め作成した炎モデルをハードディスクに記憶する場合について説明したが、ハードディスクの他、例えばＤＶＤ等の大容量メモリを利用し得ることは勿論である。
【００６１】
また、上記実施形態では、プラント運転訓練シミュレータに実施した場合について示したが、本発明はプラントに限らず、例えば航空機、自動車、電車等のシミュレータに実施できると共に、その他、娯楽施設の映像表示装置等に実施することができる。
【００６２】
【発明の効果】
以上詳記したように本発明によれば、実写映像データの他に、予めコンピュータ・グラフィックス等の画像処理により各種模擬画像を作成して大容量メモリに記憶させているので、実写映像データでは十分に表現できない映像についても、上記メモリから対応する模擬画像を読み出してサイクリックに表示することにより、任意の模擬が可能となり、実際に撮影できない映像を再現することができる。また、前記再生処理部は、最初は映像データの先頭から再生を開始し、２回目以降は予め指定された位置から映像データを再生できるようにしているので、一つの映像データから遷移状態映像とサイクリック映像を再現でき、かつ途切れのない映像を現することができる。
【００６３】
また、映像保管部に実写映像データ及び加工映像データと共に部品映像データを予め記憶させ、映像加工処理部で実写映像データまたは加工映像データに対し部品映像データを加工して合成することにより、映像保管部に保管されていない運転状況の映像作成が可能となる。従って、全ての運転状況の映像データを映像保管部に保持することなく、運転に応じた映像を再現でき、保管データの大幅な削減が可能になり、データ作成時間を大幅に短縮できる。しかも、再現可能な運転状況を拡大し、映像再現装置の価値を高めることができる。
【００６４】
更に、制御計算機から送信される表示領域指令と映像制御指示に従って動作する表示領域処理部を追加することにより、１台の映像模擬装置で複数台のＴＶ映像を同時に再生することが可能になり、安価にシステムを実現できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係るプラント運転訓練シミュレータ映像装置の全体の構成図。
【図２】同実施形態における映像データ再生の制御を示す模式図。
【図３】同実施形態における再生管理データの構造を示す概念図。
【図４】同実施形態における実写映像及び加工映像野例を模式的に示す図。
【図５】本発明の第２実施形態に係るプラント運転訓練シミュレータ映像装置の全体の構成図。
【図６】同実施形態における再生管理データの構造を示す概念図。
【図７】同実施形態における処理部の映像再生動作を示すフローチャート。
【図８】同実施形態における再生管理データの構造を示す概念図。
【図９】同実施形態における映像再現の模式図。
【図１０】本発明の第３実施形態におけるプラント運転訓練シミュレータ映像装置の全体の構成図。
【図１１】同実施形態における再生管理データの構造を示す概念図。
【図１２】同実施形態における処理部の複数画面表示処理動作を示すフローチャート。
【図１３】従来のプラント運転訓練シミュレータ映像装置の全体の構成図。
【符号の説明】
２ 表示装置
３ ネットワーク
４ 制御計算機
５ 入力部
９ 表示管理部
１０ 映像模擬装置
１１ 処理部
１２ 映像保管部
１３ 実写映像データ
１４ 加工映像データ
１５ 部品映像データ
１６ 再生管理データ保管部
２１ 制御処理部
２２ データ管理処理部
２３ 再生処理部
２４ 映像加工処理部
２５ 表示領域処理部
【発明の属する技術分野】
本発明は、例えば娯楽施設に設けられる映像表示装置、及び運転訓練シミュレータにおいて、運転員の操作に応じ、実機に設置してある監視ＴＶ等を模擬する運転訓練シミュレータ映像装置に関する。
【０００２】
【従来の技術】
従来のプラント訓練シミュレータにおける監視ＴＶ等を模擬する映像装置は、一般的に図１３に示すように構成されている。すなわち、従来のプラント運転訓練シミュレータ映像装置は、映像模擬装置１、表示装置２、ネットワーク３、制御計算機４から構成される。
【０００３】
上記映像模擬装置１は、入力部５、データ再生部６、映像保管部７、及び表示管理部９から構成され、上記映像保管部７には、運転状況に応じた実写映像データ８が個別に保管されている。一般には、映像保管部７として光ディスク再生装置が用いられている。
【０００４】
上記制御計算機４は、プラント訓練シミュレータによるプラント運転状態に従って、制御指令をネットワーク３を介して映像模擬装置１に送信し、映像模擬装置１はそれに応じた映像信号を表示装置２に出力する。
【０００５】
以下、上記映像模擬装置１の処理動作について説明する。
１．制御計算機４から映像データの開始や終了命令がネットワーク３を介して入力部５に送信される。
２．入力管理部５が表示終了命令を受けた場合、データ再生部６に現在再生中の映像データの終了を指示する。
３．入力部５が映像データの開始命令を受けた場合、映像データ名をデータ再生部６に送信する。
４．データ再生部６は、現在再生中の映像データを終了し、映像データ名に対応する映像データを映像保管部７から呼び出す。
５．データ再生部６は、呼び出した映像データを動画表示とするために、毎秒６０〜１５枚の速度で画像を作成して表示管理部９に送信する。上記映像データは、入力部５の要求に応じ、サイクリックに表示処理される。
６．画像が入力されると表示管理部９は、映像を表示装置２に出力する。
７．上記「１．」〜「６．」の処理を繰り返して実行する。
【０００６】
【発明が解決しようとする課題】
従来技術では、映像保管部７に保管された映像をそのまま表示するため、運転状況に応じた全ての映像データを撮影し、その膨大な映像データを映像保管部７に保管しておく必要がある。しかし、光ディスクなどの装置は、映像保管の容量が小さく、個々の実写映像データ８の記録時間が例えば５〜６秒と非常に短いので、サイクリックな映像再生を行なうと映像の最後と最初の部分が切り替わって途切れた映像となる。また、例えばトーチの成長映像を表示するような場合、トーチの成長映像と揺らぎ映像は別のデータとして管理する必要があり、制御計算機４からの指示も複雑となる。
【０００７】
また、実際に撮影したデータを実写映像データ８として利用しているため、実際に撮影のできない運転状況についての映像を再現することができない。
【０００８】
また、複数台のＴＶ映像を１つの表示装置２に表示するには、複数台の映像模擬装置１とそれを合成する集約装置が別途必要になり、非常に高価なシステムとなる。
【０００９】
本発明は上記実情に鑑みなされたもので、実際に撮影のできない運転状況映像を再現できると共に途切れのないサイクリックな映像を再生でき、且つシステムを安価に構成し得る映像表示装置及び運転訓練シミュレータ映像装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１の発明は、予め各種模擬画像を記憶し、機器の操作に応じて前記模擬画像を選択して表示装置に表示する映像表示装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データを記憶する映像保管部と、再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、入力指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データを読み出すデータ管理処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された映像データをサイクリックな画像に再生する再生処理部と、前記再生処理部により再生された画像データを前記表示装置に出力する表示管理部とを具備したことを特徴とする。
【００１１】
第２の発明は、予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データを記憶する映像保管部と、再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データを読み出すデータ管理処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された映像データをサイクリックな画像に再生する再生処理部と、前記再生処理部により再生された画像データを前記表示装置に出力する表示管理部とを具備したことを特徴とする。
【００１２】
第３の発明は、予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データ及び部品映像データを記憶する映像保管部と、再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データ及び部品映像データを読み出すデータ管理処理部と、前記制御処理部からの制御指令に従って動作し、前記データ管理処理部により映像保管部から読み出された実写映像データまたは加工映像データに対し部品映像データを画像合成する映像加工処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像加工処理部により処理された合成画像をサイクリックな画像に再生する再生処理部と、前記再生処理部により再生された画像データを前記表示装置に出力する表示管理部とを具備したことを特徴とする。
【００１３】
第４の発明は、予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データを記憶する映像保管部と、再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データを読み出すデータ管理処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された映像データをサイクリックな画像に再生する再生処理部と、前記制御処理部から送られてくる表示領域情報により画面上の表示領域を分割し、分割画面数分だけ前記データ管理処理部及び前記再生処理部の処理動作を繰り返して実行する表示領域処理部と、前記表示領域処理部により処理された各表示領域に分割された画像を前記表示装置に出力する表示管理部とを具備したことを特徴とする。
【００１４】
第５の発明は、予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データ及び部品映像データを記憶する映像保管部と、再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データ及び部品映像データを読み出すデータ管理処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された実写映像データまたは加工映像データに対し部品映像データを画像合成する映像加工処理部と、前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像加工処理部により処理された合成画像をサイクリックな画像に再生する再生処理部と、前記制御処理部から送られてくる表示領域情報により画面上の表示領域を分割し、分割画面数分だけ前記データ管理処理部及び前記再生処理部の処理動作を繰り返して実行する表示領域処理部と、前記表示領域処理部により処理された各表示領域に分割された画像を前記表示装置に出力する表示管理部とを具備したことを特徴とする。
【００１５】
また、前記第２ないし第５の発明における前記再生処理部は、最初は映像データの先頭から再生を開始し、２回目以降は予め指定された位置から映像データを再生することを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
【００１７】
（第１実施形態）
図１は、本発明の第１実施形態に係るプラント運転訓練シミュレータ映像装置の基本構成図である。
【００１８】
この第１実施形態に係わるプラント訓練シミュレータ映像装置は、映像模擬装置１０、表示装置２、ネットワーク３、制御計算機４から構成される。
【００１９】
上記映像模擬装置１０は、入力部５、表示管理部９、処理部１１、映像保管部１２、再生管理データ保管部１６からなり、例えば電子計算機を用いて構成している。また、上記処理部１１は、制御処理部２１、データ管理処理部２２及び再生処理部２３からなる。更に映像保管部１２は、例えばハードディスクに運転状況に応じた実写映像データ１３及び加工映像データ１４を個別に保管している。
【００２０】
上記加工映像データ１４は、実際には撮影のできない映像等を予めコンピュータ・グラフィックス等の画像処理を施して作成したものである。例えば火力プラント訓練シミュレータに実施する場合には、火力プラントの運転状況に応じた各種燃焼パターンの基準炎モデルを作成する。
【００２１】
次に上記実施形態の動作を説明する。
【００２２】
制御計算機４は、プラント運転訓練シミュレータのプラント運転状態により、映像要求、指示をネットワーク３を介して映像模擬装置１０に送信し、映像模擬装置１０はそれに応じた映像信号を表示管理部９から表示装置２に出力する。
【００２３】
上記映像模擬装置１０は、以下の処理を実行する。
１．制御計算機４からプラント運転状態要求がネットワーク３を介して入力部５に送信される。
２．入力部５は、プラント運転状態要求に応じて制御処理部２１に映像制御指示を出力する。制御処理部２１は、映像制御指示、例えばバーナ点消火、燃料流量、燃料流速、空気流量等に基づいて再生管理データ保管部１６から再生する映像データ名や再生情報を取得する。
３．制御処理部２１は、映像データ名をデータ管理処理部２２に送信する。
４．データ管理処理部２２は、映像保管部１２から映像データ、すなわち実写映像データ１３及び加工映像データ１４を読み込み、制御処理部２１に送信する。
５．制御処理部２１は、再生管理データ保管部１６の再生情報も使用し、映像データと再生の開始位置を再生処理部２３に渡す。
６．再生処理部２３は、動画表示を行なうため、毎秒６０〜１５枚の速度で画像を作成し、画像を表示管理部９に送信する。映像データが終了すると、再生管理データ保管部１６の再生情報により、先頭からの繰り返し、途中からの繰り返しまたは終了する。繰り返しがある場合には、上記「５．」から繰り返す。
７．表示管理部９は、画像が入力されると、映像を表示装置２に出力する。
８．上記「１．」〜「７．」の処理を繰り返し実行する。
【００２４】
上記の構成とすることにより、再生管理データ保管部１６による映像のきめ細かい制御が可能になり、繰り返し映像開始位置等の設定により、一つの映像データで遷移状態映像とサイクリック映像を再現することができる。
【００２５】
図２は、火力プラントボイラ内のトーチ点火を示したものである。点火と同時に炎は徐々に大きくなり、一定の長さで炎の成長は止まり、揺らぎながら燃え続ける。
【００２６】
上記のようにトーチの成長映像と揺らぎ映像を一つのデータで管理することにより、制御計算機４からの命令も簡略になり、システムの開発時間を短縮することができる。
【００２７】
図３は、上記再生管理データ保管部１６に保管される再生管理データの構造例を示したものである。今、例えば３番トーチの点火指令が出されたとすると、再生管理データ保管部１６に保管された再生管理データから映像データ名が求まる。更に初回の再生開始時間及び２回目以降の再生開始時間が求まる。これによりトーチ点火時は、映像データの先頭から再生が開始され、トーチ成長状況が表示される。２回目以降は７秒目からの再生が指示されており、成長した炎の揺らぎ映像を再現できる。ここで映像データの最後数秒間と７秒目の前後数秒間を連続映像になるよう画像処理を施しておくことにより、途切れのない揺らぎ映像を再現することができる。
【００２８】
また、映像データとしてコンピュータ・グラフィックス等の画像処理を施した加工映像データ１４を映像保管部１２から取り込むことで、図４に示すように実機での運転ができない映像表示が可能になる。図４（ａ）はトーチ点火時における実際の映像の模式図、同図（ｂ）は加工映像の模式図を示したものである。図４（ａ）に示す実写による映像では上段に炎がないが、コンピュータ・グラフィックスで実際の映像を模擬した加工映像データ１４を作成したり、実際の映像の火炎部分を事前に画像処理した加工映像データ１４を作成しておくことにより、図４（ｂ）に矢印で示すように火炎映像を再現することができる。
【００２９】
上記のようにして、従来技術では実現できなかった各種運転状況を示す映像を再現することが可能になる。
【００３０】
更に、映像保管部１２としてハードディスク等の大容量の記憶装置を使用することで、光ディスクより大容量のデータを保管することが可能となる。
【００３１】
（第２実施形態）
図５は、本発明の第２実施形態に係るプラント運転訓練シミュレータ映像装置の基本構成図である。
【００３２】
この第２実施形態に係るプラント運転訓練シミュレータ映像装置は、映像模擬装置１０、表示装置２、ネットワーク３、制御計算機４から構成される。
【００３３】
上記映像模擬装置１０は、入力部５、表示管理部９、処理部１１、映像保管部１２、再生管理データ保管部１６からなり、上記処理部１１は、制御処理部２１、データ管理処理部２２、再生処理部２３及び映像加工処理部２４からなる。更に映像保管部１２は、運転状況に応じた実写映像データ１３、加工映像データ１４、及び部品映像データ１５を個別に保管している。
【００３４】
上記のようにこの第２実施形態は、上記第１実施形態に対し、処理部１１内に映像加工処理部２４を設けると共に、映像保管部１２に実写映像データ１３、加工映像データ１４及び部品映像データ１５を格納するようにしたものである。上記部品映像データ１５は、加工映像データ１４と同様にコンピュータ・グラフィックス等の画像処理を施すことにより作成している。
【００３５】
また、映像加工処理部２４は、制御処理部２１の制御指令により、映像保管部１２から読み出した実写映像データ１３と、加工映像データ１４及び部品映像データ１５を画像処理し、合成画像を作成する機能を有している。
【００３６】
次に上記第２実施形態の動作を説明する。
【００３７】
制御計算機４は、プラント運転訓練シミュレータのプラント運転状態により、映像要求、指示をネットワーク３を介して映像模擬装置１０に送信し、映像模擬装置１０はそれに応じた映像信号を表示管理部９から表示装置２に出力する。
【００３８】
上記映像模擬装置１０は、以下の処理を実行する。
１．制御計算機４からプラント運転状態要求がネットワーク３を介して入力部５に送信される。
２．入力部５から、制御処理部２１に映像制御指示が出される。制御処理部２１は、映像制御指示に基づいて再生管理データ保管部１６から再生する映像データ名や再生情報を取得する。制御処理部２１は、再生管理データ保管部１６から更に複数の部品映像データ名とその位置や拡大率を含む変換行列などの再生情報を取得する。
３．制御処理部２１は、映像データ名をデータ管理処理部２２に送信する。
４．管理処理部２２は、指示された実写映像データ１３、加工映像データ１４を映像保管部１２から読み込み、制御処理部２１に送信する。
５．制御処理部２１は、部品映像名をデータ管理処理部２２に送信する。
６．データ管理処理部２２は、指示された部品映像データ１５を映像保管部１２から読み込み、制御処理部２１に送信する。
７．部品映像データ分だけ、上記「５．」〜「６．」の処理を繰り返す。
８．制御処理部２１は、再生管理データ保管部１６の再生情報も用い、映像データと再生の開始位置を再生処理部２３に渡す。
９．再生処理部２３は、１画像を映像加工処理部２４に送信する。映像データが終了すると、再生管理データ保管部１６の再生情報により、先頭からの繰り返し、途中からの繰り返しまたは終了する。繰り返しがある場合には、上記「８．」の項から繰り返す。
１０．制御処理部２１は、部品映像データを再生処理部２３に渡す。
１１．再生処理部２３は、１画像と座標変換行列を映像加工処理部２４に送信する。部品映像データが終了すると、先頭からの繰り返す。
１２．部品映像の個数分だけ、上記「１０．」〜「１１．」の処理を繰り返す。
１３．映像加工処理部２４は、映像データの画像と複数の部品映像データの画像を処理し、制御処理部２１を介して表示管理部９に合成画像を送信する。動画表示を行なうため、上記「８．」〜「１３．」は毎分６０〜１５枚の速度で処理される。
１４．表示管理部９は、上記画像が入力されると、映像を表示装置２に出力して表示する。
１５．上記「１．」〜「１４．」の処理を繰り返す。
【００３９】
図６は再生管理データの構造例を示す概念図である。
【００４０】
再生管理データの各行には、制御計算機４から送信される再生指令に応じた映像制御データが含まれる。再生指令に応じ背景映像となる実写映像データ１３または加工映像データ１４の映像データ名、繰り返しフラグ、初回開始時間、２回目以降開始時間、映像効果処理指令及び部品映像データ情報を含む。部品映像データ数が１以上の場合、部品映像データ毎に映像名、座標変換行列、繰り返しフラグ、初回開始時間、２回目以降開始時間を持つ。
【００４１】
次に上記処理部１１の動作を図７に示すフローチャートを参照して説明する。
【００４２】
まず、背景となる実写映像データ１３または加工映像データ１４を映像保管部１２から読み込み（ステップＡ１）、１画像を再生処理し、映像加工処理部２４に送信する（ステップＡ２）。次に部品データ数ｎを再生管理データ保管部１６から読み込み（ステップＡ３）、データ数ｎが“０”より大きいか否かを判断する（ステップＡ４）。データ数ｎが１以上であれば、映像保管部１２から部品映像データ１５または加工映像データ１４を読み込み（ステップＡ５）、１画像を生成処理する（ステップＡ６）。座標変換行列を基にこの画像の大きさと表示位置を計算し、映像加工処理部２４に送信する（ステップＡ７）。次いで「ｎ−１」の処理を行なってその結果を「ｎ」とし（ステップＡ８）、ステップＡ４に戻る。
【００４３】
上記の処理をｎ回繰り返し、ステップＡ４でデータ数ｎが“０”になったと判断されると、ステップＡ９に進み、映像加工処理部２４にて背景映像画像とｎ個の部分映像画像を画像合成する。次に映像効果処理指令がある場合、輝度変換やもや効果などを加味した映像効果処理を行なう（ステップＡ１０）。これにより多彩な映像を実現することができる。
【００４４】
図８は炎を例とした場合の再生管理データの構造例、図９は映像生成例を示したものである。図８におけるＢ１データは映像保管部１２に実写映像データ１３として、Ｐ３は部品映像データ１５として保管されている。上記再生管理データの１行目を用いれば、図９示すように炎が一本ある映像、２行目を使えば左右に２本ある映像、３行目を用いれば上下にある映像を再現できる。このように、従来装置と比較して少ない保管データで映像再現が可能になり、また、再生管理データにより実機撮影の難しい映像再現も可能になる。
【００４５】
上記のように映像加工処理部２４を追加することで、映像保管部１２に保管されていない運転状況の映像作成が可能になり、次のような効果が得られる。
１．全ての運転状況の映像データを映像保管部１２に保持することなく、運転に応じた映像が再現でき、保管データの大幅な削減が可能になる。これにより保管データのデータ作成時間が大幅に短縮できるだけでなく、再現可能な運転状況が拡大し、映像再現装置の価値が高まる。
２．画像処理による加工映像を作成でき、実際に撮影できない映像再現が可能になる。また、同一映像でも映像効果処理により、他の火炎が写り込み輝度が高くなった状態、もやが掛かった状態など複数の映像を再現できる。
３．映像データを切替える時も映像加工処理部２４により、連続的な映像を作成でき、途切れのない映像再現が可能になる。
【００４６】
（第３実施形態）
図１０は、本発明の第３実施形態に係るプラント運転訓練シミュレータ映像装置の基本構成図である。
【００４７】
この第３実施形態に係るプラント運転訓練シミュレータ映像装置は、上記第２実施形態に対し、処理部１１内に表示領域処理部２５を設けた点と、制御計算機４から表示領域指令と映像制御指示が送信される点が異なっている。
【００４８】
この第３実施形態における映像模擬装置１０の処理を以下に説明する。
１．制御計算機４からプラント運転状態要求がネットワーク３を介して入力部５に送信される。
２．制御計算機４から入力部５に表示領域指示が出された場合、制御処理部２１は再生管理データ保管部１６に表示領域情報を保管する。
３．制御計算機４から入力部５に映像制御指示が出された場合、制御処理部２１は表示領域情報に再生指示命令を設定し、映像データ名、更に複数の部品映像データ名を再生管理データ保管部１６から取得する。
４．制御処理部２１は、映像データ名をデータ管理処理部２２に送信する。
５．管理処理部２２は、映像保管部１２から実写映像データ１３または加工映像データ１４を読み込み、制御処理部２１に送信する。
６．制御処理部２１は、部品映像名をデータ管理処理部２２に送信する。
７．管理処理部２２は、映像保管部１２から部品映像データ１５を読み込み、制御処理部２１に送信する。
８．部品映像データの個数分だけ、上記「６．」〜「７．」の処理を繰り返す。
９．以下、再生処理を行なう。
１０．制御処理部２１は、再生管理データ保管部１６の再生情報も用い、映像データと再生の開始位置を再生処理部２３に渡す。
１１．再生処理部２３は、１画像を映像加工処理部２４に送信する。映像データが終了すると、再生管理データ保管部１６の再生情報により、先頭からの繰り返し、途中からの繰り返しまたは終了する。繰り返しがある場合には、上記「１０．」から処理を繰り返す。
１２．制御処理部２１は、映像保管部１２から読み出した部品映像データ１５を再生処理部２３に渡す。
１３．再生処理部２３は、１画像と座標変換行列を映像加工処理部２４に送信する。部品映像データが終了すると、先頭からの繰り返す。
１４．部品映像分だけ、「１２．」〜「１３．」を繰り返す。
１５．映像加工処理部２４は、映像データの画像と複数の部品映像データを画像処理し、表示領域処理部２５に合成画像を送信する。
１６．表示領域処理部２５は、再生管理データ保管部１６の表示領域情報から画面上の表示領域に画像をスケーリングした画像を表示管理部７に送信する。動画表示を行なうため、「１０．」〜「１６．」の処理は毎分６０〜１５枚の速度で実行される。
１７．再生情報に基づいて分割画面数分だけ上記「１０．」〜「１６．」の処理を繰り返す。
１８．全ての画像が入力されると表示管理部９は、映像を表示装置２に出力する。
１９．上記「１．」〜「１８．」の処理を繰り返す。
【００４９】
図１１は、第３実施形態における再生管理データの構造を示す概念図である。画面分割数には、表示する模擬映像数が指定されている。１画面の場合は１が示される。表示領域情報は画面分割数分ある。各行には、画面右下と左上座標値と図６で説明した再生指示命令が設定されている。この情報をもとに複数画面の表示が行なわれる。この表示領域情報は、制御計算機４から送信することも予め映像模擬装置１０に設定しておくこともできる。
【００５０】
更に第２実施形態と同様な再生指示命令の対応表があり、再生指令命令から各画面に表示する再生映像を求める。
【００５１】
次に処理部１１における複数画面の表示処理について図１２に示すフローチャートを参照して説明する。
【００５２】
制御計算機４から入力部５を介して制御処理部２１に制御指令が送られてくると、制御処理部２１は、表示領域情報か否か、映像制御指令か否かをステップＢ１、Ｂ２で判断し、表示領域情報であれば、この表示領域情報を再生管理データ保管部１６に保管し（ステップＢ３）、また、映像制御指令であれば、表示領域情報に再生指示命令を設定し、映像データ名、更に複数の部品映像データ名を取得する（ステップＢ４）。
【００５３】
また、制御処理部２１は、制御計算機４から終了指令が送られてくると、ステップＢ５で検出し、再生処理を終了する。
【００５４】
それ以外の場合、画面分割数が“０”より大きいか否かを判断し（ステップＢ６）、画面分割数が“０”であればステップＢ１に戻り、画面分割数が１以上であれば、画面分割数を「ｉ」とし（ステップＢ７）、再生処理を実行する。
【００５５】
再生処理は、上記図７のフローチャートに示した映像再生の処理に従って実行する（ステップＢ８）。そして、図７で作成された映像を画面位置座標をもとにスケーリングし（ステップＢ９）、表示領域に貼り付ける。そして、「ｉ」の値を「−１」し、その結果を「ｉ」とする（ステップＢ１０）。その後、「ｉ」の値が“０”より大きいか否かを判断し（ステップＢ１１）、“０”より大きければステップＢ８に戻り、映像再生の処理を再度実行する。
【００５６】
上記映像再生の処理を画面分割数の個数分だけ繰り返して実行する。全ての画面映像処理が終了した後、表示管理部９は複数画面を同時に表示装置２に表示する（ステップＢ１２）。
【００５７】
以上の処理を繰り返して実行することにより、１台の映像模擬装置１０で複数の映像表示を行なうことができる。
【００５８】
上記のように表示領域処理部２５を追加することで、１台の映像模擬装置１０で複数台のＴＶ映像を同時に再生することが可能になる。この結果、従来装置では複数映像を再現するのに画面数分の映像模擬装置１０が必要になるのに対し、本発明では１台の映像模擬装置１０で構成することが可能になり、安価にシステムを実現できる。
【００５９】
なお、上記第３実施形態では、映像保管部１２に保管した実写映像データ１３または加工映像データ１４と部品映像データ１５とを映像加工処理部２４により合成する場合を対象として実施した場合について示したが、図１に示したように実写映像データ１３または加工映像データ１４に対して部品映像データ１５を合成しない場合においても同様にして実施し得るものである。
【００６０】
また、上記各実施形態では、コンピュータ・グラフィックス等により予め作成した炎モデルをハードディスクに記憶する場合について説明したが、ハードディスクの他、例えばＤＶＤ等の大容量メモリを利用し得ることは勿論である。
【００６１】
また、上記実施形態では、プラント運転訓練シミュレータに実施した場合について示したが、本発明はプラントに限らず、例えば航空機、自動車、電車等のシミュレータに実施できると共に、その他、娯楽施設の映像表示装置等に実施することができる。
【００６２】
【発明の効果】
以上詳記したように本発明によれば、実写映像データの他に、予めコンピュータ・グラフィックス等の画像処理により各種模擬画像を作成して大容量メモリに記憶させているので、実写映像データでは十分に表現できない映像についても、上記メモリから対応する模擬画像を読み出してサイクリックに表示することにより、任意の模擬が可能となり、実際に撮影できない映像を再現することができる。また、前記再生処理部は、最初は映像データの先頭から再生を開始し、２回目以降は予め指定された位置から映像データを再生できるようにしているので、一つの映像データから遷移状態映像とサイクリック映像を再現でき、かつ途切れのない映像を現することができる。
【００６３】
また、映像保管部に実写映像データ及び加工映像データと共に部品映像データを予め記憶させ、映像加工処理部で実写映像データまたは加工映像データに対し部品映像データを加工して合成することにより、映像保管部に保管されていない運転状況の映像作成が可能となる。従って、全ての運転状況の映像データを映像保管部に保持することなく、運転に応じた映像を再現でき、保管データの大幅な削減が可能になり、データ作成時間を大幅に短縮できる。しかも、再現可能な運転状況を拡大し、映像再現装置の価値を高めることができる。
【００６４】
更に、制御計算機から送信される表示領域指令と映像制御指示に従って動作する表示領域処理部を追加することにより、１台の映像模擬装置で複数台のＴＶ映像を同時に再生することが可能になり、安価にシステムを実現できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係るプラント運転訓練シミュレータ映像装置の全体の構成図。
【図２】同実施形態における映像データ再生の制御を示す模式図。
【図３】同実施形態における再生管理データの構造を示す概念図。
【図４】同実施形態における実写映像及び加工映像野例を模式的に示す図。
【図５】本発明の第２実施形態に係るプラント運転訓練シミュレータ映像装置の全体の構成図。
【図６】同実施形態における再生管理データの構造を示す概念図。
【図７】同実施形態における処理部の映像再生動作を示すフローチャート。
【図８】同実施形態における再生管理データの構造を示す概念図。
【図９】同実施形態における映像再現の模式図。
【図１０】本発明の第３実施形態におけるプラント運転訓練シミュレータ映像装置の全体の構成図。
【図１１】同実施形態における再生管理データの構造を示す概念図。
【図１２】同実施形態における処理部の複数画面表示処理動作を示すフローチャート。
【図１３】従来のプラント運転訓練シミュレータ映像装置の全体の構成図。
【符号の説明】
２ 表示装置
３ ネットワーク
４ 制御計算機
５ 入力部
９ 表示管理部
１０ 映像模擬装置
１１ 処理部
１２ 映像保管部
１３ 実写映像データ
１４ 加工映像データ
１５ 部品映像データ
１６ 再生管理データ保管部
２１ 制御処理部
２２ データ管理処理部
２３ 再生処理部
２４ 映像加工処理部
２５ 表示領域処理部
Claims (6)
- 予め各種模擬画像を記憶し、機器の操作に応じて前記模擬画像を選択して表示装置に表示する映像表示装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データを記憶する映像保管部と、
再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、
入力指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、
前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データを読み出すデータ管理処理部と、
前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された映像データをサイクリックな画像に再生する再生処理部と、
前記再生処理部により再生された画像データを前記表示装置に出力する表示管理部と
を具備したことを特徴とする映像表示装置。 - 予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データを記憶する映像保管部と、
再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、
運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、
前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データを読み出すデータ管理処理部と、
前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された映像データをサイクリックな画像に再生する再生処理部と、
前記再生処理部により再生された画像データを前記表示装置に出力する表示管理部と
を具備したことを特徴とする運転訓練シミュレータ映像装置。 - 予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データ及び部品映像データを記憶する映像保管部と、
再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、
運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、
前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データ及び部品映像データを読み出すデータ管理処理部と、
前記制御処理部からの制御指令に従って動作し、前記データ管理処理部により映像保管部から読み出された実写映像データまたは加工映像データに対し部品映像データを画像合成する映像加工処理部と、
前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像加工処理部により処理された合成画像をサイクリックな画像に再生する再生処理部と、
前記再生処理部により再生された画像データを前記表示装置に出力する表示管理部と
を具備したことを特徴とする運転訓練シミュレータ映像装置。 - 予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データを記憶する映像保管部と、
再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、
運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、
前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データを読み出すデータ管理処理部と、
前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された映像データをサイクリックな画像に再生する再生処理部と、
前記制御処理部から送られてくる表示領域情報により画面上の表示領域を分割し、分割画面数分だけ前記データ管理処理部及び前記再生処理部の処理動作を繰り返して実行する表示領域処理部と、
前記表示領域処理部により処理された各表示領域に分割された画像を前記表示装置に出力する表示管理部と
を具備したことを特徴とする運転訓練シミュレータ映像装置。 - 予め各種模擬画像を記憶し、シミュレータの操作に応じて前記模擬画像を選択して表示装置に表示する運転訓練シミュレータ映像装置において、
前記各種模擬映像を実写映像データにより記憶すると共に、画像処理により模擬して作成した加工映像データ及び部品映像データを記憶する映像保管部と、
再生する映像データ名、再生情報を含む再生管理データを保管する再生管理データ保管部と、
運転訓練シミュレータからの指示に従って装置全体の制御動作を行なうと共に前記再生管理データ保管部から映像データ名及び再生情報を読出す制御処理部と、
前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された映像データ名に基づいて前記映像保管部から実写映像データ、加工映像データ及び部品映像データを読み出すデータ管理処理部と、
前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像保管部から読み出された実写映像データまたは加工映像データに対し部品映像データを画像合成する映像加工処理部と、
前記制御処理部からの制御指令に従って動作し、前記再生管理データ保管部から読出された再生情報を使用し、前記映像加工処理部により処理された合成画像をサイクリックな画像に再生する再生処理部と、
前記制御処理部から送られてくる表示領域情報により画面上の表示領域を分割し、分割画面数分だけ前記データ管理処理部及び前記再生処理部の処理動作を繰り返して実行する表示領域処理部と、
前記表示領域処理部により処理された各表示領域に分割された画像を前記表示装置に出力する表示管理部と
を具備したことを特徴とする運転訓練シミュレータ映像装置。 - 前記再生処理部は、最初は映像データの先頭から再生を開始し、２回目以降は予め指定された位置から映像データを再生することを特徴とする請求項２、３、４又は５記載の運転訓練シミュレータ映像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17724098A JP3621833B2 (ja) | 1998-06-24 | 1998-06-24 | 映像表示装置及び運転訓練シミュレータ映像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17724098A JP3621833B2 (ja) | 1998-06-24 | 1998-06-24 | 映像表示装置及び運転訓練シミュレータ映像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000010465A JP2000010465A (ja) | 2000-01-14 |
| JP3621833B2 true JP3621833B2 (ja) | 2005-02-16 |
Family
ID=16027609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17724098A Expired - Fee Related JP3621833B2 (ja) | 1998-06-24 | 1998-06-24 | 映像表示装置及び運転訓練シミュレータ映像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3621833B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5242597B2 (ja) * | 2008-01-17 | 2013-07-24 | 株式会社東芝 | インストラクタ支援システム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07281588A (ja) * | 1994-04-08 | 1995-10-27 | Kensetsu Gijutsu Kenkyusho:Kk | 施設管理者用トレーニング装置および災害時における情報取得支援装置 |
| JPH08248868A (ja) * | 1995-03-07 | 1996-09-27 | Hitachi Denshi Ltd | 自然現象表現方法 |
-
1998
- 1998-06-24 JP JP17724098A patent/JP3621833B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000010465A (ja) | 2000-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002140727A (ja) | 表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体、ならびに、表示制御装置および方法 | |
| JP3621833B2 (ja) | 映像表示装置及び運転訓練シミュレータ映像装置 | |
| CN117033700A (zh) | 基于ai助手辅助课件展示的方法、系统及存储介质 | |
| JP3764585B2 (ja) | プラント運転訓練シミュレータ映像装置 | |
| JP2006208784A (ja) | 教育システム、装置制御方法 | |
| JPH05137103A (ja) | プレゼンテーシヨン装置 | |
| JPS61265983A (ja) | マルチ映像表示方式 | |
| JP2005292886A (ja) | 画像表示装置、方法およびプログラム | |
| JPH06351034A (ja) | マルチ画面編集装置及びマルチ画面表示装置 | |
| JP2584070B2 (ja) | データ編集装置とデータ編集方法 | |
| JP3841815B2 (ja) | 映像デ―タ編集方法 | |
| JPH07281865A (ja) | マルチディスプレイシステム | |
| KR100597537B1 (ko) | 멀티미디어 재생장치 및 재생방법 | |
| US20080232778A1 (en) | Method and system for media production in virtual studio | |
| JP2000132150A (ja) | 映像表示装置 | |
| JP3170021B2 (ja) | 運転訓練シミュレータ装置 | |
| JP3085615B2 (ja) | カラオケ装置 | |
| JP4018928B2 (ja) | 番組制作方法 | |
| JP2007193516A (ja) | レーダ情報処理装置、レーダ情報処理プログラム | |
| JPH0756622A (ja) | 監視制御システム | |
| JPH06274097A (ja) | 訓練用シミュレータ | |
| JP3735535B2 (ja) | テクスチャマッピング方法、記録媒体、プログラム、およびプログラム実行装置 | |
| JPH088864A (ja) | 番組作成装置 | |
| JP3292509B2 (ja) | 動画像再生装置およびこれを用いた装置 | |
| JP2002344851A (ja) | 教材用ビデオ映像の再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041007 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041119 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |