JP4075253B2 - 赤外線映像供給装置 - Google Patents

赤外線映像供給装置 Download PDF

Info

Publication number
JP4075253B2
JP4075253B2 JP33272199A JP33272199A JP4075253B2 JP 4075253 B2 JP4075253 B2 JP 4075253B2 JP 33272199 A JP33272199 A JP 33272199A JP 33272199 A JP33272199 A JP 33272199A JP 4075253 B2 JP4075253 B2 JP 4075253B2
Authority
JP
Japan
Prior art keywords
angle
infrared
directivity
rotation angle
visual axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP33272199A
Other languages
English (en)
Other versions
JP2001157202A (ja
Inventor
孝 黒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP33272199A priority Critical patent/JP4075253B2/ja
Publication of JP2001157202A publication Critical patent/JP2001157202A/ja
Application granted granted Critical
Publication of JP4075253B2 publication Critical patent/JP4075253B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、航空機等の運行物に搭載された赤外線センサ及び運用者の眼前に設置されたヘルメット・マウント・ディスプレイ等の赤外線表示器を用い、夜間における運行の支援等を目的に、運用者の指向する方向の赤外線映像を、運用者に供給するための赤外線映像供給装置に関するものである。
【0002】
【従来の技術】
図8は、従来の赤外線映像供給装置の構成の一例を示す図である。図において、1は赤外線撮像部と、2は視軸駆動部、3は赤外線撮像部1と視軸駆動部2とより構成される赤外線センサ、4は運用者、5は角度検出器、6は視軸制御器、7は信号処理器、8は赤外線表示器、9は運用者の指向角度及び回転角度信号、10は視軸指向角度及び回転角度の指示信号、11は視軸駆動部の視軸指向角度及び回転角度信号、12は赤外線信号、13は赤外線映像信号、14は航空機、15は外界の赤外光である。
【0003】
次に動作について説明する。
1〜13は、同一の航空機14に搭載される。ここで、3は運用者に赤外線映像を供給することを目的とした赤外線センサであり、外界の赤外光15を受信、光電変換し信号処理器7へ赤外線信号12として出力する赤外線撮像部1と、視軸制御器6から出力される視軸指向角度及び回転角度の指示信号10に基づき赤外線撮像部1の視軸指向角度及び回転角度を制御するとともに視軸駆動部2の視軸指向角度及び回転角度信号11を視軸制御器6に出力する視軸駆動部2とから構成される。また、信号処理器7においては、赤外線撮像部1から出力された赤外線信号12を赤外線映像信号13に変換し、運用者4の眼前に設置した赤外線表示器8へ出力し、併せて、角度検出器5においては、運用者4の指向角度及び回転角度を検出しその情報を運用者の指向角度及び回転角度信号9として視軸制御器6へ出力し、更に、視軸制御器6においては、運用者の指向角度及び回転角度信号9及び視軸駆動部2の視軸指向角度及び回転角度信号11に基づき、視軸駆動部2へ視軸指向角度及び回転角度の指示信号10を出力する。なお、上記における各角度は全て機体基準である。
【0004】
ここで、図8においては、角度検出器5として運用者4の頭の指向角度及び回転角度を検出する場合を示したが、運用者4の目の指向角度及び回転角度を検出するよう構成することも可能である。
【0005】
また、図8においては、赤外線撮像部1の指向角度及び回転角度を制御するにあたり、赤外線撮像部1全体を駆動する場合を示したが、赤外線撮像部1内の赤外線光学系のみを駆動するよう構成することも可能である。
【0006】
図9は、このような従来の赤外線映像供給装置の航空機への搭載の一例を示す図であり、図において、14は航空機、3は赤外線センサ、4は運用者、16は運用者の眼前に設置する赤外線表示器8の一例としてヘルメット・マウント・ディスプレイを示している。
【0007】
このように赤外線映像供給装置を構成することで、運用者4が首を振ったり傾けた場合においても、運用者4が目視により確認するのと同じ指向角度及び回転角度の赤外線映像を運用者4の眼前に表示でき、夜間等において、運用者4が上記赤外線映像を確認しながら航空機14を操縦することが可能となる。
【0008】
【発明が解決しようとする課題】
しかしながら、以上のような従来の赤外線映像供給装置では、運用者4が急激に指向角度及び回転角度を変更した場合、赤外線センサ3の指向角度及び回転角度は追従遅れが生じることが避けられず、その場合、運用者4の眼前には、運用者4の指向角度及び回転角度と異なる赤外線映像が表示されることになり、運用者4に外界を誤認識させるとともに、違和感を与えるという問題があった。
【0009】
また、運用者4の指向角度及び回転角度が機体振動等により小刻みに振動した場合、その動きに赤外線センサの指向角度及び回転角度を追従させることになるため、運用者の眼前には、振動によりぼけた赤外線映像が表示されることになり、運用者の識別性能を低下させるという問題もあった。
【0010】
この発明は、上記問題点を解消するためになされたもので、運用者が急激に指向角度及び回転角度を変更した場合でも、運用者に対して外界の誤認識及び違和感を生じさせず、また、運用者の指向角度及び回転角度が機外振動等により小刻みに振動した場合でも、ぼけのない高品質の赤外線映像を運用者に提供することを目的とする。
【0011】
【課題を解決するための手段】
第1の発明における赤外線映像供給装置は、赤外線センサが追従可能な角速度で運用者が指向角及び回転角を駆動した場合のみ、赤外線表示器へ赤外線映像を供給することで、運用者が外界を誤認識するのを防ぐとともに、表示内容に違和感を抱くことを防ぐものである。すなわち、従来の赤外線映像供給装置に対し、角度検出器で検出した運用者の指向角度及び回転角度より、運用者の指向角速度及び回転角速度を算出し、指向角速度及び回転角速度が赤外線センサが追従可能な角速度以下の場合のみ、赤外線表示器へ赤外線映像を供給するよう管理する第1の角速度判定回路を付加し、赤外線映像供給装置を構成したものである。
【0012】
第2の発明における赤外線映像供給装置は、赤外線センサと運用者との指向角度及び回転角度の差が所定の角度差内の場合のみ、赤外線表示器へ赤外線映像を供給することで、運用者が外界を誤認識するのを防ぐとともに、表示内容に違和感を抱くことを防ぐものである。すなわち、従来の赤外線映像供給装置に対し、視軸駆動部から出力される赤外線撮像部の指向角度及び回転角度並びに角度検出器から出力される運用者の指向角度及び回転角度とにより、赤外線撮像部と運用者との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差が所定角度以下の場合のみ、赤外線表示器へ赤外線映像を供給するよう管理する第1の角度差判定回路を付加し、赤外線映像供給装置を構成したものである。
【0013】
第3の発明における赤外線映像供給装置は、赤外線センサと運用者との指向角度及び回転角度に差が生じた場合においても、上記差に基づき、赤外線センサから出力される赤外線信号内から所定の角度範囲を抽出し、映像信号に変換して赤外線表示器に出力することで、視軸駆動部の追従遅れを補正し、運用者が外界を誤認識するのを防ぐとともに、表示内容に違和感を抱くことを防ぐものである。すなわち、従来の赤外線映像供給装置に対し、視軸駆動部から出力される指向角度及び回転角度並びに角度検出器から出力される指向角度及び回転角度とにより、赤外線撮像部と運用者との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差に基づき赤外線撮像部から出力される赤外線信号内から所定の角度範囲を抽出する画像抽出回路を付加し、赤外線映像供給装置を構成したものである。
【0014】
第4の発明における赤外線映像供給装置は、赤外線センサの指向角度及び回転角度と、運用者の所定時間内における運用者の平均指向角度及び平均回転角度との差が所定の値以下の場合、運用者の指向角及び回転角の変化は高周波振動に起因するものと判断し、赤外線センサの視軸を現状の指向角及び回転角を維持させることで、ぼけの小さい、高品位の赤外線映像を運用者に供給するものである。すなわち、従来の赤外線映像供給装置に対し、視軸駆動部から出力される指向角度及び回転角度並びに角度検出器から出力される指向角度及び回転角度とにより、所定時間内における運用者の平均指向角度及び平均回転角度を算出するとともに、赤外線撮像部の指向角度及び回転角度と前記運用者の平均指向角度及び平均回転角度との差を算出し、差が所定の角度差以内の場合、視軸駆動部へ現状の指向角度及び回転角度の維持指令を行うよう管理する第2の角度差判定回路を付加し、赤外線映像供給装置を構成したものである。
【0015】
第5の発明における赤外線映像供給装置は、赤外線センサと運用者との指向角度及び回転角度の差が所定の角度差以内の場合、上記角度差に基づき、赤外線センサから出力される赤外線信号内から所定の角度範囲を抽出し映像信号に変換して赤外線表示器に出力し視軸駆動部の追従遅れを補正するとともに、赤外線センサの指向角度及び回転角度と、運用者の所定時間内における運用者の平均指向角度及び平均回転角度との差が所定の値以下の場合、赤外線センサの現在の指向角度及び回転角度を維持させることで、運用者が外界を誤認識するのを防ぐとともに、表示内容に違和感を抱くことを防ぎ、更に、ぼけの小さい、高品位の赤外線映像を運用者に供給するものである。すなわち、従来の赤外線映像供給装置に対し、視軸駆動部から出力される指向角度及び回転角度並びに角度検出器から出力される指向角度及び回転角度とにより、赤外線撮像部と運用者との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差に基づき赤外線撮像部から出力される赤外線信号内から所定の角度範囲を抽出し赤外線表示器に出力する画像抽出回路を付加するとともに、視軸駆動部から出力される指向角度及び回転角度並びに角度検出器から出力される指向角度及び回転角度とより、所定時間内における運用者の平均指向角度及び平均回転角度を算出するとともに、赤外線撮像部の指向角度及び回転角度と前記運用者の平均指向角度及び平均回転角度との差を算出し、差が所定の角度差以内の場合、視軸駆動部へ現状の指向角度及び回転角度の維持指令を行うよう管理する第2の角度差判定回路を付加し、赤外線映像供給装置を構成したものである。
【0016】
第6の発明における赤外線映像供給装置は、赤外線センサが追従可能な角速度で運用者が指向角及び回転角を駆動した場合、赤外線表示器へ外界の赤外線映像を供給し、角速度が追従可能な角速度を上回った場合、直前の赤外線映像の平均輝度と同じ輝度の均一の映像を赤外線表示器へ供給することで、運用者の外界に対する誤認識及び表示内容への違和感を抱くことを防ぐとともに、表示映像の輝度変化による目の順応時間の短縮を図るものである。すなわち、従来の赤外線映像供給装置に対し、角度検出器で検出した運用者の指向角度及び回転角度より、運用者の指向角速度及び回転角速度を算出し、指向角速度及び回転角速度が所定の角速度以下の場合、赤外線表示器へ外界の赤外線映像を供給するとともに、指向角速度及び回転角速度が所定の角速度を越えた場合、直前の赤外線映像の平均輝度と同じ輝度の均一の映像を供給するよう管理する第2の角速度判定回路を付加し、赤外線映像供給装置を構成したものである。
【0017】
第7の発明における赤外線映像供給装置は、赤外線センサと運用者との指向角度及び回転角度の差が所定の角度差内の場合、赤外線表示器へ外界の赤外線映像を供給し、指向角度及び回転角度の差が所定の角度差を越えた場合、直前の赤外線映像の平均輝度と同じ輝度の均一の映像を赤外線表示器へ供給することで、運用者の外界に対する誤認識及び表示内容への違和感を抱くことを防ぐとともに、表示映像の輝度変化による目の順応時間の短縮を図るものである。すなわち、従来の赤外線映像供給装置に対し、視軸駆動部から出力される赤外線撮像部の指向角度及び回転角度並びに角度検出器から出力される運用者の指向角度及び回転角度とより、赤外線撮像部と運用者との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差が所定角度以下の場合、赤外線表示器へ外界の赤外線映像を供給するとともに、指向角度及び回転角度の差が所定角度を越えた場合、直前の赤外線映像の平均輝度と同じ輝度の均一の映像を供給するよう管理する第3の角度差判定回路を付加し、赤外線映像供給装置を構成したものである。
【0018】
【発明の実施の形態】
実施の形態1.
以下、この発明における一実施の形態を図を用いて説明する。図1は、この発明の実施の形態1を示す構成図である。図において、1〜6及び8〜15は従来の装置と同一である。また、16は従来の装置の信号処理器7と同様に、赤外線センサ3から出力される赤外線信号12を赤外線表示器8用に変換して出力する映像信号生成回路、17は角度検出器5から出力される運用者の指向角度及び回転角度信号9により指向角速度及び回転角速度を算出し、指向角速度及び回転角速度が所定の値以下の場合のみ、赤外線表示器8への赤外線映像信号13の出力を行うよう管理する第1の角速度判定回路である。なお、実施例においては、一例として第1の角速度判定回路17は信号処理器7内に配設するものとしている。
【0019】
次に動作について説明する。1〜6及び8〜15の動作は、従来の装置と同等である。
ここで、赤外線センサ3は、通常、装置の限界能力として最大指向角速度及び最大回転角速度が規定され、それ以上の角速度では駆動させない。そのため、運用者の指向角速度及び回転角速度が上記赤外線センサ3の指向角速度及び回転角速度を越えた場合、赤外線センサ3は追従遅れを生じ、その状態で赤外線表示器8に赤外線映像13を表示すると、運用者の角速度及び角度と異なる映像を眼前に表示してしまうことになる。そこで、第1の角速度判定回路17において、角度検出器5から出力される運用者の指向角度及び回転角度信号9に基づき、運用者の指向角速度及び回転角速度を算出し、角速度が所定の値以下、例えば装置の最大指向角速度及び最大回転角速度以下の場合のみ、赤外線表示器8へ赤外線映像信号13の出力を行うよう管理する。
このように装置を構成することで、運用者が高角速度で指向角及び回転角を変化させた場合においても、赤外線映像の供給を停止することにより、運用者の外界の誤認識及び違和感発生を防止することが可能となる。
【0020】
実施の形態2.
図2は、この発明の実施の形態2を示す構成図である。図において、1〜6及び8〜15は従来の装置と同一である。また、16は従来の装置の信号処理器7と同様に、赤外線センサ3から出力される赤外線信号12を赤外線表示器8用に変換して出力する映像信号生成回路、18は視軸駆動部2から出力される視軸駆動部の指向角度及び回転角度信号11並びに角度検出器5から出力される運用者の指向角度及び回転角度信号9とにより、赤外線撮像部と運用者との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差が所定の角度差以下の場合のみ、赤外線表示器8へ赤外線映像信号13の供給を行うよう管理する第1の角度差判定回路である。なお、実施例においては、一例として第1の角度差判定回路18は信号処理器7内に配設するものとしている。
【0021】
次に動作について説明する。1〜6及び8〜15の動作は、従来の装置と同等である。
通常、視軸駆動部2の駆動応答性能の限界により、赤外線センサ3と運用者4との指向角度及び回転角度には誤差が生じることが避けられず、赤外線表示器8に表示される赤外線映像信号13と、運用者4の指向及び回転する角度の外界とには、必然的に差が生じる。一方、赤外線表示器8に表示される赤外線映像信号13を用いて夜間航法等を実施する場合、表示画像と外界とが完全に一致していることが望ましいが、ある程度の角度差は、運用上許容される。なお、許容される角度差は、航空機の速度、高度及び旋回能力等の運用面から決定される。そこで、第1の角度差判定回路18において、角度検出器5から出力される運用者の指向角度及び回転角度信号9並びに視軸駆動部2から出力される視軸駆動部の視軸指向角度及び回転角度信号11に基づき、運用者4と赤外線撮像部1との指向角度及び回転角度の差を算出し、角度差が所定の値以下の場合のみ、赤外線表示器8へ赤外線映像信号13を供給するよう管理する。
このように装置を構成することで、例えば運用者が高角速度で指向角及び回転角を変化させ、赤外線センサ3と運用者4との指向角及び回転角に差が生じた場合においても、赤外線映像の供給を停止することにより、運用者の外界の誤認識及び違和感発生を防止することが可能となる。
【0022】
実施の形態3.
図3は、この発明の実施の形態3を示す構成図である。図において、1〜6及び8〜15は従来の装置と同一である。また、16は従来の装置の信号処理器7と同様に、赤外線センサ3から出力される赤外線信号12を赤外線表示器8用に変換して出力する映像信号生成回路、19は視軸駆動部2から出力される視軸駆動部の指向角度及び回転角度信号11並びに角度検出器5から出力される運用者の指向角度及び回転角度信号9とにより、赤外線撮像部1と運用者4との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差に基づき赤外線撮像部1から出力される赤外線信号13内から、所定の角度範囲を抽出する画像抽出回路である。なお、実施例においては、一例として画像抽出回路19は信号処理器7内に配設するものとしている。
【0023】
次に動作について説明する。1〜6及び8〜15の動作は、従来の装置と同等である。
通常、視軸駆動部2の駆動応答性能の限界により、赤外線センサ3と運用者4との指向角度及び回転角度には誤差が生じることが避けられない。一方、赤外線表示器8に表示される赤外線映像13を用いて夜間航法等を実施する場合、表示画像と外界とが出来るだけ一致していることが望ましい。そこで、画像抽出回路19において、角度検出器5から出力される運用者の指向角度及び回転角度信号9並びに視軸駆動部2から出力される視軸駆動部の視軸指向角度及び回転角度信号11に基づき、運用者4と赤外線撮像部1との指向角度及び回転角度の差を算出し、指向角度の差に基づき赤外線信号12内から角度差と映像の視野角の半分との比率分、縦横に画像中心位置をオフセットさせ、かつ、回転角度の差に基づき角度差分回転させた画像を抽出し、映像信号生成回路16へ供給する。
このように装置を構成することで、例えば運用者が高角速度で指向角及び回転角を変化させ、赤外線センサ3と運用者4との指向角及び回転角に差が生じた場合においても、角度差を高速に画像処理した映像を運用者に供給することで、外界と合致した赤外線映像を運用者に供給する事が可能となり、結果として、赤外線映像の供給を継続しながら、運用者の外界の誤認識及び違和感発生を防止することが可能となる。
【0024】
実施の形態4.
図4は、この発明の実施の形態4を示す構成図である。図において、1〜5及び7〜15は従来の装置と同一である。また、20は従来の装置の視軸制御器6と同様に、角度検出器5から出力される運用者の指向角度及び回転角度信号9に基づき視軸駆動部2への視軸駆動を指示する制御角度演算回路、21は視軸駆動部2から出力される視軸駆動部の指向角度及び回転角度信号11並びに角度検出器5から出力される運用者の指向角度及び回転角度信号9とにより、赤外線撮像部1と運用者4との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差が所定の角度以下の場合、制御角度演算装置20から視軸制御部2へ出力する視軸指向角度及び回転角度の指示信号20を現在の視軸指向部の視軸指向角度及び回転角度11を維持するよう管理する第2の角度差判定回路である。なお、実施例においては、一例として第2の角度差判定回路21は視軸制御器6内に配設するものとしている。
【0025】
次に動作について説明する。1〜5及び7〜15の動作は、従来の装置と同等である。
通常、視軸駆動部2の駆動応答性能の限界により、赤外線センサ3と運用者4との指向角度及び回転角度には誤差が生じることが避けられず、赤外線表示器8に表示される赤外線映像信号13と、運用者4の指向及び回転する角度の外界とには、必然的に差が生じる。一方、赤外線表示器8に表示される赤外線映像信号13を用いて夜間航法等を実施する場合、表示画像と外界とが完全に一致していることが望ましいが、ある程度の角度差は、運用上許容される。また、運用者4の指向角度及び回転角度と視軸駆動部2の指向角度及び回転角度を完全に一致させようとした場合、機体振動等による運用者4の指向角度及び回転角度の振動等に対しても、赤外線センサ3を追従させることになってしまい、結果として、ぼけた赤外線映像信号13を赤外線表示器8に表示することになってしまう。そこで、第2の角度差判定回路21において、角度検出器5から出力される運用者の指向角度及び回転角度信号9並びに視軸駆動部2から出力される視軸駆動部の視軸指向角度及び回転角度信号11に基づき、運用者4と赤外線撮像部1との指向角度及び回転角度の差を算出し、角度差が所定の値以下の場合、制御角度演算回路20から視軸駆動部2へ出力する視軸指向角度及び回転角度の指示信号20を現状の指向角度及び回転角度を維持するよう第2の角度差判定回路21で管理する。
このように装置を構成することで、例えば運用者4の指向角度及び回転角度が航空機の振動等により微小振動した場合においても、赤外線センサの指向角度及び回転角度を維持することにより、ぼけの小さい、高品質の赤外線映像を運用者に供給することが可能となる。
【0026】
実施の形態5.
図5は、この発明の実施の形態5を示す構成図である。図において、1〜5及び8〜15は従来の装置と同一である。また、7,16,19は実施の形態3と同一、6,20,21は実施の形態4と同一である。
【0027】
次に動作について説明する。1〜5及び8〜15の動作は、従来の装置と同等、また、7,16,19は実施の形態3と同等、6,20,21は実施の形態4と同等である。
通常、視軸駆動部2の駆動応答性能の限界により、赤外線センサ3と運用者4との指向角度及び回転角度には誤差が生じることが避けられず、赤外線表示器8に表示される赤外線映像13と、運用者4の指向及び回転する角度の外界とには、必然的に差が生じる。一方、赤外線表示器8に表示される赤外線映像13を用いて夜間航法等を実施する場合、表示画像と外界とが完全に一致していることが望ましい。また、運用者4の指向角度及び回転角度と視軸駆動部2の指向角度及び回転角度を完全に一致させようとした場合、機体振動等による運用者4の指向角度及び回転角度の振動等に対しても、赤外線センサ3を追従させることになってしまい、結果として、ぼけた赤外線映像信号13を赤外線表示器8に表示することになってしまう。そこで、第2の角度差判定回路21において、角度検出器5から出力される運用者の指向角度及び回転角度信号9並びに視軸駆動部2から出力される視軸駆動部の視軸指向角度及び回転角度信号11に基づき、運用者4と赤外線撮像部1との指向角度及び回転角度の差を算出し、角度差が所定の値以下の場合、制御角度演算回路20から視軸駆動部2へ出力する視軸指向角度及び回転角度の指示信号20を現状の指向角度及び回転角度を維持するよう第2の角度差判定回路21で管理する。さらに、画像抽出回路19において、角度検出器5から出力される運用者の指向角度及び回転角度信号9並びに視軸駆動部2から出力される視軸駆動部の視軸指向角度及び回転角度信号11に基づき、運用者4と赤外線撮像部1との指向角度及び回転角度の差を算出し、指向角度の差に基づき赤外線信号12内から角度差と映像の視野角の半分との比率分、縦横に画像中心位置をオフセットさせ、かつ、回転角度の差に基づき角度差分回転させた画像を抽出し、映像信号生成回路16へ供給する。
このように装置を構成することで、例えば運用者4の指向角度及び回転角度が航空機の振動等により、微小振動し、かつ、運用者4と赤外線センサ2との間に追従遅れが生じた場合においても、微小振動に対しては赤外線センサ2の指向角度及び回転角度を維持するとともに追従遅れ分は画像処理により補正することで、ぼけの小さい、高品質の赤外線映像を、外界と合致させて供給することが可能となる。
【0028】
実施の形態6.
図6は、この発明の実施の形態6を示す構成図である。図において、1〜6及び8〜15は従来の装置と同一である。また、16は従来の装置の信号処理器7と同様に、赤外線センサ3から出力される赤外線信号12を赤外線表示器8用に変換して出力する映像信号生成回路、22は映像信号生成回路16から出力される赤外線映像信号を記憶するメモリ、23は上記メモリ22に記憶された赤外線映像の均一輝度を算出し、上記均一輝度の赤外線映像を生成する均一輝度映像生成回路、24は角度検出器5から出力される運用者の指向角度及び回転角度信号9より指向角速度及び回転角速度を算出し、指向角速度及び回転角速度が所定の値以下の場合、赤外線表示器8へ映像信号生成回路16からの出力映像を供給し、指向角速度及び回転角速度が所定の値を越えた場合、赤外線表示器8へ均一輝度映像生成回路23からの出力映像を供給するよう管理する第2の角速度判定回路である。なお、実施例においては、一例としてメモリ22、均一輝度映像生成回路23及び第2の角速度判定回路24は信号処理器7内に配設するものとしている。
【0029】
次に動作について説明する。1〜6及び8〜15の動作は、従来の装置と同等である。
ここで、赤外線センサ3は、通常、装置の限界能力として最大指向角速度及び最大回転角速度が規定され、それ以上の角速度では駆動させない。そのため、運用者の指向角速度及び回転角速度が上記赤外線センサの指向角速度及び回転角速度を越えた場合、赤外線センサ3は追従遅れを生じ、その状態で赤外線表示器8に赤外線映像13を表示すると、運用者の角速度及び角度と異なる映像を眼前に表示してしまうことになる。そこで、第2の角速度判定回路24において、角度検出器5から出力される運用者の指向角度及び回転角度信号9に基づき、運用者の指向角速度及び回転角速度を算出し、角速度が所定の値以下、例えば装置の最大指向角速度及び最大回転角速度以下の場合、赤外線表示器8へ外界の赤外線映像として、映像信号生成回路16の出力を供給し、角速度が所定の値を越えた場合、均一輝度映像生成回路23から均一輝度の映像を供給するように管理する。このように装置を構成することで、運用者が高角速度で指向角及び回転角を変化させた場合においても、外界の赤外線映像の供給を停止する代わりに直前までの外界の赤外線映像と同じ輝度の映像を供給することで、運用者の外界の誤認識及び違和感発生を防止するとともに輝度変化による運用者の目の順応時間の短縮を図ることが可能となる。
【0030】
実施の形態7.
図7は、この発明の実施の形態7を示す構成図である。図において、1〜6及び8〜15は従来の装置と同一である。また、16は従来の装置の信号処理器7と同様に、赤外線センサ3から出力される赤外線信号12を赤外線表示器8用に変換して出力する映像信号生成回路、22は映像信号生成回路16から出力される赤外線映像信号を記憶するメモリ、23は上記メモリ22に記憶された赤外線映像の均一輝度を算出し、上記均一輝度の赤外線映像を生成する均一輝度映像生成回路、25は視軸駆動部2から出力される視軸駆動部の指向角度及び回転角度信号11並びに角度検出器5から出力される運用者の指向角度及び回転角度信号9とにより、赤外線撮像部1と運用者との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差が所定の角度差以下の場合、赤外線表示器8へ映像信号生成回路16からの出力映像を供給し、指向角度及び回転角度の差が所定の値を越えた場合、赤外線表示器8へ均一輝度映像生成回路23からの出力映像を供給するよう管理する第3の角度差判定回路である。なお、実施例においては、一例としてメモリ22、均一輝度映像生成回路23及び第3の角度差判定回路25は信号処理器7内に配設するものとしている。
【0031】
次に動作について説明する。1〜6及び8〜15の動作は、従来の装置と同等である。
通常、視軸駆動部2の駆動応答性能の限界により、赤外線センサ3と運用者4との指向角度及び回転角度には誤差が生じることが避けられず、赤外線表示器8に表示される赤外線映像13と、運用者4の指向及び回転する角度の外界とには、必然的に差が生じる。一方、赤外線表示器8に表示される赤外線映像信号13を用いて夜間航法等を実施する場合、表示画像と外界とが完全に一致していることが望ましいが、ある程度の角度差は、運用上許容される。なお、許容される角度差は、航空機の速度、高度及び旋回能力等の運用面から決定される。そこで、第3の角度差判定回路25において、角度検出器5から出力される運用者の指向角度及び回転角度信号9並びに視軸駆動部2から出力される視軸駆動部の視軸指向角度及び回転角度11に基づき、運用者4と赤外線撮像部1との指向角度及び回転角度の差を算出し、角度差が所定の値以下の場合、赤外線表示器8へ外界の赤外線映像として、映像信号生成回路16の出力を供給し、角度差が所定の値を越えた場合、均一輝度映像生成回路23から均一輝度の映像を供給するよう管理する。
このように装置を構成することで、例えば運用者が高角速度で指向角及び回転角を変化させ、赤外線センサ3と運用者4との指向角及び回転角に差が生じた場合においても、外界の赤外線映像の供給を停止する代わりに直前までの外界の赤外線映像と同じ輝度の映像を供給することで、運用者の外界の誤認識及び違和感発生を防止するとともに輝度変化による運用者の目の順応時間の短縮を図ることが可能となる。
【0032】
【発明の効果】
以上のように、第1の発明によれば、運用者の指向角度及び回転角度に基づき、運用者の指向角速度及び回転角速度を算出し、角速度が所定の値以下の場合のみ、赤外線表示器へ赤外線映像の出力を行うよう管理する第2の角速度判定回路を配設することで、運用者が高角速度で指向角及び回転角を変化させた場合、赤外線映像の供給を停止することで、運用者の外界の誤認識及び違和感発生を防止する、赤外線映像供給装置を提供することが可能となる。
【0033】
また、第2の発明によれば、運用者の指向角度及び回転角度並びに視軸駆動部の視軸指向角度及び回転角度に基づき、運用者と赤外線撮像部との指向角度及び回転角度の差を算出し、角度差が所定の値以下の場合のみ、赤外線表示器へ赤外線映像を供給するよう管理する第1の角度差判定回路を配設することで、運用者が高角速度で指向角及び回転角を変化させ、赤外線センサの運用者との指向角及び回転角に差が生じた場合においても、赤外線映像の供給を停止することで、運用者の外界の誤認識及び違和感発生を防止する、赤外線映像供給装置を提供することが可能となる。
【0034】
第3の発明によれば、運用者の指向角度及び回転角度並びに視軸駆動部の視軸指向角度及び回転角度に基づき、運用者と赤外線撮像部との指向角度及び回転角度の差を算出し、指向角度の差に基づき赤外線信号内から補正画像を抽出する画像抽出回路を配設することで、赤外線センサと運用者との指向角及び回転角に差が生じた場合においても、角度差を高速に画像処理した映像を運用者に供給することで、外界と合致した赤外線映像を運用者に供給する、赤外線映像供給装置を提供することが可能となる。
【0035】
また、第4の発明によれば、運用者の指向角度及び回転角度並びに視軸駆動部の視軸指向角度及び回転角度に基づき、運用者と赤外線撮像部との指向角度及び回転角度の差を算出し、角度差が所定の値以下の場合、現状の視軸指向角度及び回転角度を維持するよう管理する第2の角度差判定回路を配設することで、運用者の指向角度及び回転角度が航空機の振動等により微小振動した場合においても、赤外線センサの指向角度及び回転角度を維持することにより、ぼけの小さい、高品質の赤外線映像を運用者に供給する、赤外線映像供給装置を提供することが可能となる。
【0036】
第5の発明によれば、運用者の指向角度及び回転角度並びに視軸駆動部の視軸指向角度及び回転角度に基づき、運用者と赤外線撮像部との指向角度及び回転角度の差を算出し、角度差が所定の値以下の場合、現状の視軸指向角度及び回転角度を維持するよう管理する第2の角度差判定回路、並びに、運用者の指向角度及び回転角度並びに視軸駆動部の視軸指向角度及び回転角度に基づき、運用者と赤外線撮像部との指向角度及び回転角度の差を算出し、指向角度の差に基づき赤外線信号内から補正画像を抽出する画像抽出回路を配設することで、運用者の指向角度及び回転角度が航空機の振動等により微小振動し、また、赤外線センサと運用者との指向角及び回転角に差が生じた場合においても、赤外線センサの指向角度及び回転角度を維持するとともに、角度差を高速に画像処理した映像を運用者に供給することで、ぼけの小さい、高品質で、かつ、外界と合致した赤外線映像を運用者に供給する、赤外線映像供給装置を提供することが可能となる。
【0037】
また、第6の発明によれば、運用者の指向角度及び回転角度に基づき、運用者の指向角速度及び回転角速度を算出し、角度差が所定の値以下の場合、赤外線表示器へ外界の赤外線映像の出力を行うとともに、指向角速度及び回転角速度が所定の値を越えた場合、赤外線表示器へ均一輝度の映像を供給するよう管理する第2の角速度判定回路を配設することで、例えば運用者が視軸駆動部が追従できないような、高角速度で指向角及び回転角を変化させた場合においても、外界の赤外線映像の供給を停止する代わりに直前までの外界の赤外線映像と同じ輝度の映像を運用者に供給することで、運用者の外界の誤認識及び違和感発生を防止するとともに輝度変化による運用者の目の順応時間の短縮を図れる、赤外線映像供給装置を提供することが可能となる。
【0038】
第7の発明によれば、運用者の指向角度及び回転角度並びに視軸駆動部の視軸指向角度及び回転角度に基づき、運用者と赤外線撮像部との指向角度及び回転角度の差を算出し、角度差が所定の値以下の場合、赤外線表示器へ外界の赤外線映像を供給し、角度差が所定の値を越えた場合、均一輝度の映像を供給するよう管理する第3の角度差判定回路を配設することで、例えば運用者が高角速度で指向角及び回転角を変化させ、赤外線センサと運用者との指向角及び回転角に差が生じた場合においても、外界の赤外線映像の供給を停止する代わりに直前までの外界の赤外線映像と同じ輝度の映像を供給することで、運用者の外界の誤認識及び違和感発生を防止するとともに輝度変化による運用者の目の順応時間の短縮を図れる、赤外線映像供給装置を提供することが可能となる。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による赤外線映像供給装置を示す構成図である。
【図2】 この発明の実施の形態2による赤外線映像供給装置を示す構成図である。
【図3】 この発明の実施の形態3による赤外線映像供給装置を示す構成図である。
【図4】 この発明の実施の形態4による赤外線映像供給装置を示す構成図である。
【図5】 この発明の実施の形態5による赤外線映像供給装置を示す構成図である。
【図6】 この発明の実施の形態6による赤外線映像供給装置を示す構成図である。
【図7】 この発明の実施の形態7による赤外線映像供給装置を示す構成図である。
【図8】 従来の赤外線映像供給装置を示す構成図である。
【図9】 従来の赤外線映像供給装置の航空機への搭載の一例を示す図である。
【符号の説明】
1 赤外線撮像部、2 視軸駆動部、3 赤外線センサ、4 運用者、5 角度検出器、6 視軸制御器、7 信号処理器、8 赤外線表示器、14 航空機、16 映像信号生成回路、17 第1の角速度判定回路、18 第1の角度差判定回路、19 画像抽出回路、20 制御角度演算回路、21 第2の角度差判定回路、22 メモリ、23 均一輝度映像発生回路、24 第2の角速度判定回路、25 第3の角度差判定回路。

Claims (7)

  1. 外界の赤外光を受信、光電変換し赤外線信号として出力する赤外線撮像部、前記赤外線撮像部の視軸指向角度及び回転角度を外部からの指示に基づき制御するとともにその指向角度及び回転角度を外部に出力する視軸駆動部とにより構成される赤外線センサと、運用者の指向角度及び回転角度を検出する角度検出器と、上記角度検出器の検出角度に基づき上記視軸駆動部への視軸駆動を指示する視軸制御器と、上記運用者の眼前に設置される赤外線映像表示用の赤外線表示器と、上記赤外線センサの出力する赤外線信号を変換し上記赤外線表示器へ赤外線映像信号として出力する信号処理器と、上記角度検出器から出力される指向角度及び回転角度より指向角速度及び回転角速度を算出し、指向角速度及び回転角速度が所定の値以下の場合のみ、前記赤外線表示器へ前記赤外線映像を供給するよう管理する第1の角速度判定回路とにより構成したことを特徴とする赤外線映像供給装置。
  2. 外界の赤外光を受信、光電変換し赤外線信号として出力する赤外線撮像部、前記赤外線撮像部の視軸指向角度及び回転角度を外部からの指示に基づき制御するとともにその指向角度及び回転角度を外部に出力する視軸駆動部とより構成される赤外線センサと、運用者の指向角度及び回転角度を検出する角度検出器と、上記角度検出器の検出角度に基づき上記視軸駆動部への視軸駆動を指示する視軸制御器と、上記運用者の眼前に設置される赤外線映像表示用の赤外線表示器と、上記赤外線センサの出力する赤外線信号を変換し上記赤外線表示器へ赤外線映像信号として出力する信号処理器と、上記視軸駆動部から出力される指向角度及び回転角度並びに上記角度検出器から出力される指向角度及び回転角度とにより、上記赤外線撮像部と上記運用者との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差が所定の値以下の場合のみ、前記赤外線表示器へ前記赤外線映像を供給するよう管理する第1の角度差判定回路とにより構成したことを特徴とする赤外線映像供給装置。
  3. 外界の赤外光を受信、光電変換し赤外線信号として出力する赤外線撮像部、前記赤外線撮像部の視軸指向角度及び回転角度を外部からの指示に基づき制御するとともにその指向角度及び回転角度を外部に出力する視軸駆動部とより構成される赤外線センサと、運用者の指向角度及び回転角度を検出する角度検出器と、上記角度検出器の検出角度に基づき上記視軸駆動部への視軸駆動を指示する視軸制御器と、上記運用者の眼前に設置される赤外線映像表示用の赤外線表示器と、上記赤外線センサの出力する赤外線信号を変換し上記赤外線表示器へ赤外線映像信号として出力する信号処理器と、上記視軸駆動部から出力される指向角度及び回転角度並びに角度検出器から出力される指向角度及び回転角度とより、上記赤外線撮像部と上記運用者との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差に基づき上記赤外線撮像部から出力される上記赤外線信号内から所定の角度範囲を抽出する画像抽出回路とより構成したことを特徴とする赤外線映像供給装置。
  4. 外界の赤外光を受信、光電変換し赤外線信号として出力する赤外線撮像部と、前記赤外線撮像部の視軸指向角度及び回転角度を外部からの指示に基づき制御するとともにその指向角度及び回転角度を外部に出力する視軸駆動部とより構成される赤外線センサと、運用者の指向角度及び回転角度を検出するとともに外部に出力する角度検出器と、上記角度検出器の検出角度に基づき上記視軸駆動部への視軸駆動を指示する視軸制御器と、上記運用者の眼前に設置される赤外線映像表示用の赤外線表示器と、上記赤外線センサの出力する赤外線信号を変換し上記赤外線表示器へ赤外線映像として出力する信号処理器と、上記視軸駆動部から出力される指向角度及び回転角度並びに上記角度検出器から出力される指向角度及び回転角度とより、所定時間内における運用者の平均指向角度及び平均回転角度を算出するとともに、上記赤外線撮像部の指向角度及び回転角度と前記運用者の平均指向角度及び平均回転角度との差を算出し、差が所定の角度差以内の場合、上記視軸駆動部へ現状の指向角度及び回転角度の維持指令を行う第2の角度差判定回路とより構成したことを特徴とする赤外線映像供給装置。
  5. 外界の赤外光を受信、光電変換し赤外線信号として出力する赤外線撮像部と、前記赤外線撮像部の視軸指向角度及び回転角度を外部からの指示に基づき制御するとともにその指向角度及び回転角度を外部に出力する視軸駆動部とより構成される赤外線センサと、運用者の指向角度及び回転角度を検出するとともに外部に出力する角度検出器と、上記角度検出器の検出角度に基づき上記視軸駆動部への視軸駆動を指示する視軸制御器と、上記運用者の眼前に設置される赤外線映像表示用の赤外線表示器と、上記赤外線センサの出力する赤外線信号を変換し上記赤外線表示器へ赤外線映像として出力する信号処理器と、上記視軸駆動部から出力される指向角度及び回転角度並びに角度検出器から出力される指向角度及び回転角度とより、上記赤外線撮像部と上記運用者との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差に基づき上記赤外線撮像部から出力される上記赤外線信号内から所定の角度範囲を抽出し上記赤外線表示器に出力する画像抽出回路と、上記視軸駆動部から出力される指向角度及び回転角度並びに上記角度検出器から出力される指向角度及び回転角度とより、所定時間内における運用者の平均指向角度及び平均回転角度を算出するとともに、上記赤外線撮像部の指向角度及び回転角度と上記運用者の平均指向角度及び平均回転角度との差を算出し、差が所定の角度差以内の場合、上記視軸駆動部へ現状の指向角度及び回転角度の維持指令を行う第2の角度差判定回路とより構成したことを特徴とする赤外線映像供給装置。
  6. 外界の赤外光を受信、光電変換し赤外線信号として出力する赤外線撮像部と、前記赤外線撮像部の視軸指向角度及び回転角度を外部からの指示に基づき制御するとともにその指向角度及び回転角度を外部に出力する視軸駆動部とより構成される赤外線センサと、運用者の指向角度及び回転角度を検出するとともに外部に出力する角度検出器と、上記角度検出器の検出角度に基づき上記視軸駆動部への視軸駆動を指示する視軸制御器と、上記運用者の眼前に設置される赤外線映像表示用の赤外線表示器と、上記赤外線センサの出力する赤外線信号を変換し上記赤外線表示器へ赤外線映像として出力する信号処理器と、上記信号処理器から出力される上記赤外線映像を記憶するメモリと、上記メモリに記憶した赤外線映像の平均輝度を算出するとともに、上記平均輝度の均一赤外線映像を出力する均一輝度映像生成回路と、角度検出器から出力される指向角度及び回転角度より指向角速度及び回転角速度を算出し、指向角速度及び回転角速度が所定の値以下の場合、前記赤外線表示器へ前記赤外線映像を供給し、指向角速度及び回転角速度が所定の値を越えた場合、前記赤外線表示器へ前記平均輝度の均一赤外線映像を供給するよう管理する第2の角速度判定回路とより構成したことを特徴とする赤外線映像供給装置。
  7. 外界の赤外光を受信、光電変換し赤外線信号として出力する赤外線撮像部と、前記赤外線撮像部の視軸指向角度及び回転角度を外部からの指示に基づき制御するとともにその指向角度及び回転角度を外部に出力する視軸駆動部とより構成される赤外線センサと、運用者の指向角度及び回転角度を検出するとともに外部に出力する角度検出器と、上記角度検出器の検出角度に基づき上記視軸駆動部への視軸駆動を指示する視軸制御器と、上記運用者の眼前に設置される赤外線映像表示用の赤外線表示器と、上記赤外線センサの出力する赤外線信号を変換し上記赤外線表示器へ赤外線映像として出力する信号処理器と、上記信号処理器から出力される上記赤外線映像を記憶するメモリと、上記メモリに記憶した赤外線映像の平均輝度を算出するとともに、上記平均輝度の均一赤外線映像を出力する均一輝度映像生成回路と、上記視軸駆動部から出力される指向角度及び回転角度並びに上記角度検出器から出力される指向角度及び回転角度とより、上記赤外線撮像部と上記運用者との指向角度及び回転角度の差を算出し、指向角度及び回転角度の差が所定の値以下の場合、前記赤外線表示器へ前記赤外線映像を供給し、指向角度及び回転角度の差が所定の値を越えた場合、前記赤外線表示器へ前記平均輝度の均一赤外線映像を供給するよう管理する第3の角度差判定回路とより構成したことを特徴とする赤外線映像供給装置。
JP33272199A 1999-11-24 1999-11-24 赤外線映像供給装置 Expired - Lifetime JP4075253B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33272199A JP4075253B2 (ja) 1999-11-24 1999-11-24 赤外線映像供給装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33272199A JP4075253B2 (ja) 1999-11-24 1999-11-24 赤外線映像供給装置

Publications (2)

Publication Number Publication Date
JP2001157202A JP2001157202A (ja) 2001-06-08
JP4075253B2 true JP4075253B2 (ja) 2008-04-16

Family

ID=18258132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33272199A Expired - Lifetime JP4075253B2 (ja) 1999-11-24 1999-11-24 赤外線映像供給装置

Country Status (1)

Country Link
JP (1) JP4075253B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006264567A (ja) * 2005-03-25 2006-10-05 Yamaha Motor Co Ltd ヘリコプタ
CN108974374B (zh) * 2018-08-08 2021-11-19 缪纪生 全天候视景引导着陆系统

Also Published As

Publication number Publication date
JP2001157202A (ja) 2001-06-08

Similar Documents

Publication Publication Date Title
US9769383B2 (en) Electronic binoculars
US6999005B2 (en) Image compensation apparatus
US6471637B1 (en) Image orientation for endoscopic video displays
US7298384B2 (en) Mixed reality presenting apparatus and image processing method
JPWO2012032809A1 (ja) 運転支援装置
JP2000284214A (ja) ヘルメット搭載用表示手段制御装置
US20210180743A1 (en) Gimbal control method, gimbal control device, gimbal system, and unmanned aerial vehicle
KR100778318B1 (ko) 렌즈 수평이동방식 스테레오 입체카메라 시스템
JP2002312117A (ja) 円筒映像球面映像コントロール装置
JP2001346200A (ja) 画像切出し/表示システム
JP4075253B2 (ja) 赤外線映像供給装置
JP2009139827A (ja) 画像振れ補正装置
JP2011257342A (ja) ヘッドトラッキング装置及びヘッドトラッキング方法
WO2021117606A1 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
CN205356558U (zh) 遥控观看系统及其摄像端和观看端
JP2001298656A (ja) 撮像装置
JP6655751B1 (ja) 映像表示制御装置、方法およびプログラム
JP2000312319A (ja) ヘッドマウントディスプレイ
JP2017207650A (ja) レンズ装置
KR20160144245A (ko) 프로젝터 장치
JP2008060981A (ja) 画像観察装置
JP2550827B2 (ja) ヘルメットマウンテッドディスプレイ
US20230026805A1 (en) Remote controlled device, image display device, and video display control method
GB2426074A (en) Camera mounting with gyroscopic stablizer
JP2021092696A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040722

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080121

R151 Written notification of patent or utility model registration

Ref document number: 4075253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140208

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term