JP3383323B2 - 航空機用仮想映像表示システム - Google Patents

航空機用仮想映像表示システム

Info

Publication number
JP3383323B2
JP3383323B2 JP10004292A JP10004292A JP3383323B2 JP 3383323 B2 JP3383323 B2 JP 3383323B2 JP 10004292 A JP10004292 A JP 10004292A JP 10004292 A JP10004292 A JP 10004292A JP 3383323 B2 JP3383323 B2 JP 3383323B2
Authority
JP
Japan
Prior art keywords
pilot
cockpit
subsystem
image
outside world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10004292A
Other languages
English (en)
Other versions
JPH05112298A (ja
Inventor
エドワード ハミルトン ブルース
スタイルズ,ジュニア ローレン
フィリップ ハーパー ハワード
クレイグ カス ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Technologies Corp
Original Assignee
United Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by United Technologies Corp filed Critical United Technologies Corp
Publication of JPH05112298A publication Critical patent/JPH05112298A/ja
Application granted granted Critical
Publication of JP3383323B2 publication Critical patent/JP3383323B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/301Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/307Simulation of view from aircraft by helmet-mounted projector or display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/46Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer the aircraft being a helicopter
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0198System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明は航空機表示システムに係
り、さらに詳細には、外界の仮想映像に基づいた映像表
示を、対応する重ね合わされたコクピット構造外郭線と
一緒に、夜間などの無視界飛行状態中の運行及び/また
は悪天候飛行運行の特にヘリコプタである航空機のヘル
メット取付表示サブシステムに与える仮想映像表示シス
テムに関する。 【0002】 【従来の技術】現在計画中及び/または開発段階にある
(ヘリコプタを含む)将来の航空機は、エアフレーム、
パワープラント、フライト制御装置、航空電子装置、航
行装置、武器などの多数の相互に関連付けられた複雑な
サブシステムから成る複雑なシステムになっている。そ
のようなサブシステムは、非常に多量の状態データを発
生する。その多くは、航空機の安全及び/または効率的
運行及び/または操縦の目的で、パイロットによって頻
繁に監視される必要がある。これら将来世代の航空機で
はパイロットの仕事負荷のかなりの部分が、発生される
状態データを参照して、飛行運転中に航空機サブシステ
ムの状態を監視することに向けられる。 【0003】さらに、将来世代の航空機の飛行要求は、
NOE、悪天候、及び/または夜間飛行など高度なパイ
ロット仕事負荷飛行運転が大きな割合を占める。そのよ
うな高度なパイロット仕事負荷飛行運転は、空間での航
空機方向及び/または位置を外界に関して連続的に把握
することをパイロットに要求すると共に、航空機サブシ
ステムの状態を連続監視することに加え、航空機に関し
て外界の興味ある目的の状況把握をパイロットに要求す
る。 【0004】種々の航空機サブシステムの状態を監視す
るタスクは、外界の空間及び状況の連続的把握を維持す
るタスクと競合する。航空機サブシステムの状態を監視
するため、パイロットは彼の注意をコクピット外側の外
界の観察から基準発生状態データにそらさせなければな
らない。そのような逸脱は、外界の空間及び/または状
況把握の変化度合に損失をもたらし、それは、特に高度
なパイロット仕事負荷飛行運転中、最適な飛行状態より
も劣らせてしまう。 【0005】現在の航空機設計方法論は、航空機に関す
る外界の連続的空間及び状況把握を維持することについ
機能タスクと、航空機状態情報を監視することにつ
いての機能タスク間の相関関係を最適化することに努力
を払っている。そのような設計方法論は、パイロットに
よって実行されようとしている連続的空間及び状況把握
機能と干渉しないような方法で、生きた航空機状態情報
をパイロットに対してアクセス可能とさせるシステムや
方法を求めている。さらに、そのような飛行状態情報
は、種々の機能タスク間のいかなる分断をも防止するよ
う、パイロットの空間方向及び視角と一致する方法で与
えられる必要がある。そのような分断は、基準の可変フ
レームを維持するため大きなパイロット仕事負荷及び/
またはパイロットのまごつきをもたらす。 【0006】電子光学系は、状態監視機能と空間及び状
況把握機能の両方を同時に実行するのを容易化するた
め、航空機状態情報をパイロットに与えるよう開発され
てきた。これらのシステムは、種々の航空機サブシステ
ムによって発生される航空機状態情報像に対応する記号
化及びデジタル状態情報像を発生すると共に、パイロッ
トの視界中にそのような記号化状態情報像を重ね合わせ
。それらの像は、代表的には、記号化像がパイロット
の視覚系に関して光学的無限位置にあるよう現されるよ
うに、コリメートされた光線によって、パイロットの視
界内に導かれる。 【0007】したがって、パイロットは、コクピット外
側の外界を無限位置に見ると同時に、無限位置で記号化
されたデジタル像を見る。2組の像の重ね合わせ、すな
わち、電子的に発生された記号化及びデジタル状態情報
像は、外界に関して航空機の空間方向、航空機の状態の
把握と、航空機に関する外界の状況把握を、パイロット
に同時に維持させる。 【0008】記号化像を発生するためにコリメートされ
た光線を用いる模範的な従来の電子光学系は、ヘッドア
ップ表示(HVD)サブシステム及びヘルメット取付表
示(HMD)サブシステムを含んでいる。HVD及びH
MDサブシステムの代表例が、米国特許第4,446,
480号、4,439,775号、4,439,157
号、4,305,057号、4,269,476号及び
3,923,370号に開示されている。 【0009】 【発明が解決しようとする課題】そのような電子光学系
は、有視界及び無視界飛行状態中航空機に関する外界の
連続空間及び状況把握を維持する機能タスクと、航空機
状態情報を監視する機能タスク間の相互関係を最適化す
ることに、大きく寄与した。しかし、航空機に関する外
界の空間及び状況把握の機能タスクと干渉する問題が特
定された。 【0010】有視界飛行状態中、パイロットは、彼に航
空機に関する外界の連続空間及び状況把握を安全かつ効
率的に維持させる認識機構を使用する。さらに詳細に
は、パイロットは、意識的にあるいは無意識に、航空機
に関する外界のパイロットの視覚観察を方向付ける基準
フレームとして、航空機のおおい構造を利用する。この
認識機構は、航空機の操縦席おおい構造が外界の空間及
び状況把握を維持するための効率的基準を与える限り、
有視界飛行状態中にパイロットをまごつかせることをな
くしている。有用な類例は、外界の連続空間及び状況把
握、すなわち道路、他の交通、歩行者などと自動車の関
係を維持するため、自分の自動車のフードや前部バンパ
を利用する自動車運転手がある。 【0011】夜間及び/または悪天候飛行運転などの無
視界飛行状態中、パイロットは、一般に、前の段落で述
べた認識機構に頼ることができない。パイロットが、操
縦席おおい構造及び/または外界を目で感知できないよ
うな無視界飛行状態は何度もあり、外界の空間及び状況
把握の維持を容易化するため、操縦席おおい構造及び外
界間の基準関係を実現できない。さらに、非常にしばし
、無視界飛行状態において航空機を操縦しているパイ
ロットは、航空機操縦の目的で、前述の電子光学系によ
ってパイロットの視界中に結合される外界の仮想映像を
利用する。 【0012】そのような仮想映像は、弱光テレビジョン
システム、赤外線映像化システムなどの種々の検知シス
テムによって発生され得る。そのような仮想映像発生シ
ステムの共通の特性は、外界のそのような発生された仮
想映像の基準フレームが全体的に操縦席おおい構造から
分離しているということにある。例えば、仮想映像発生
システムは、典型的には、航空機の計画飛行行路の仮想
映像を発生するように、航空機のノーズ部または前方腹
部に配置される。特に、航空機が直進及び水平飛行以外
飛行手立てを行っている場合、そのような仮想映像
は、飛行運行中前述の認識機構の使用を支援する、航空
機の操縦席おおい構造に容易に相互に関連付けできな
い。 【0013】その結果、無視界飛行状態で航空機を操縦
するために仮想映像を利用しているパイロットは、直進
及び水平飛行以外の飛行手立てを行っているとき、簡単
にまごついてしまうことになる。そのようなまごつき
は、特にNOE飛行運転などの高度なパイロット仕事負
荷飛行状態において、航空機の安全操縦に悪影響を与え
る。外界の仮想映像を用いている飛行運転中に航空機に
関する外界の連続空間及び状況把握を維持するため、有
視界飛行状態中にパイロットが利用する認識機構パイ
ロットに利用させる航空機の基準を、無視界飛行状態中
に仮想映像を利用しているパイロットに提供する必要が
ある。 【0014】本発明の主な目的は、ヘルメット取付表示
サブシステムを介して、重ね合わされたコクピット構造
外郭線と一緒に外界の仮想映像に基づいた映像表示をパ
イロットに提供する仮想映像表示システムを提供する
とにある。 【0015】 【課題を解決するための手段】本発明の目的は、夜間な
どの無視界飛行状態及び/または悪天候飛行運行中、特
にヘリコプタなどの航空機を操縦するために使用するた
めの本発明に係る仮想映像表示(VID)システムによ
って達成される。本発明のVIDシステムは、主処理、
インタフェース及び制御手段、仮想映像化サブシステ
ム、航空機操縦席おおい構造の二値化マップ、映像表示
サブシステム、及び所定の航空機座標系に関する映像表
示サブシステムの姿勢及び位置を検知するための手段を
有する。 【0016】本発明に係るVIDシステムは、夜間など
の無視界飛行状況把握及び/または悪天候飛行運転中の
ヘリコプタでの使用に特に有用である。ヘリコプタは、
所定の操縦席おおい構造を有するコクピットと、可動仮
想映像化サブシステムを有する。 【0017】仮想映像化サブシステムは、無視界飛行状
況把握すなわちパイロットの視覚系が、例えば夜間及び
/または悪天候飛行運転などのように、ヘリコプタの安
全及び/または効率的運行を保証するのに充分な明瞭さ
をもって外界を把握することができない状態中に外界の
連続的仮想映像を与えるように動作する。夜間飛行運転
中の外界の仮想映像を発生させるためには、前方監視赤
外線(FLIR)映像化サブシステムが夜間飛行運転
中の外界の連続する高精細仮想映像を発生するために利
用され得る。 【0018】光テレビジョンシステム、レーダシステ
ム、あるいは外界の高精細仮想映像を発生することので
きるような他のセンサなどの映像化システムが、本発
明に係るVIDシステムの仮想映像化サブシステムとし
て利用され得る。仮想映像化サブシステムは、FLIR
のサブシステムのFOVをヘリコプタのパイロットの視
覚系の光軸と一致させるように整列させるよう仮想映像
化サブシステムのFOVがヘリコプタに関して移動可能
なように、映像表示サブシステムに従属させられる。 【0019】VIDシステムの映像表示サブシステム
は、(仮想映像化サブシステムによって捉えられた仮想
映像から導かれる)外界の映像を、パイロットの視覚系
の光軸に関して、すなわちパイロットの視覚内で、中心
に位置付けるよう動作する。映像表示サブシステムは、
ヘルメット及びバイザ型スクリーンを含むヘルメット取
付表示(HMD)サブシステムである。HMDサブシス
テムは、仮想映像化サブシステムによって与えられる仮
想映像から導かれるコリメートされた映像表示を、無視
界飛行状況把握中外界の現実的な高精細画表現を与える
ように、パイロットの視覚系に投射するよう同時に動作
する。 【0020】HMDサブシステムのヘルメットに関連し
て、ヘリコプタのコクピット内のHMDサブシステムの
空間位置及び角度方向を決めるよう動作する検知手段が
ある。ヘルメット検知手段によって発生される位置/方
向信号は、そのような信号を処理するために動作する主
処理、インタフェース、及び制御手段に結合され、コク
ピットに関係してHMDサブシステムの位置及び角度方
向(視角)を特定する。 【0021】「設計視点」として示される仮想基準点
は、ヘリコプタのコクピット内に定められ。その設計
視点は、操縦席おおい構造の構成上の構造に基づいてヘ
リコプタのパイロットに与えられる可視度(外界の良好
な視界)を定める設計パラメータである。 【0022】設計視点は、本発明に係るVIDシステム
の座標系の原点を確定する。主処理、インタフェース、
及び制御手段によって、HMDサブシステムの空間位置
及び視角の特定及び描写を容易にするため極座標系
が、HMDサブシステムの空間位置及び視角を定め、操
縦席おおい構造の二値化マップを発生するために使用さ
れる。 【0023】HMDサブシステムの空間位置及び視角の
特定は、極座標系を用いることによって簡単化される。
一般的規則として一度パイロットがコクピット座席
適切に位置付けされると、典型的な飛行運転中にパイロ
ットによって自然に行われる(HMDサブシステム移動
に直接応答する)ヘッド運動の多くは、垂直回りのヘ
ッド回転(左右ヘッド回転運動)、横回りのヘッド回
転(上下ヘッド運動)、あるいはそれらの組み合わせか
らなる。前述のヘッド運動は、HMDサブシステムの空
間視角、すなわち、極座標よって記述され得るところ
の、(極座標系の径ベクトルによって決められる)パ
イロットの視覚系の光軸の指向角を定める。 【0024】並進運動は、そのような運動が比較的真直
ぐな幾何関係に基づいた計算を含む限り、主処理、イン
タフェース、及び制御手段処理能力を用いて、収容さ
れかつ特定される。 【0025】HMDサブシステムの初期空間位置及び視
角は、設計視点及びパイロット視覚系の光軸によってき
められる。そのHMDサブシステムの初期空間位置は、
設計視点すなわち極座標系の原点として決められる。H
MDサブシステムの初期空間視角は、パイロット視覚系
の光軸が設計視点を通過し、かつコクピット操縦席お
おい構造の前部の中間を通過する長手方向軸と同軸であ
るように定められる。ヘルメット取付検知手段は、前述
のHMDサブシステムの初期空間位置及び視角に初期化
される。HMDサブシステムの次の運動は、ヘルメット
取付検知手段によって検知され、主処理、インタフェー
ス、及び制御手段の処理能力を用いて、極座標によって
定められ、説明される。 【0026】操縦席おおい構造は、多数の防風ポスト
側部ポストコクピットレールを含む。 【0027】操縦席おおい構造の防風ポスト、側部ポス
ト、コクピットレールは、それぞれ組み合わさって、
イロットが外界の視覚観察に利用できる操縦席おおい構
造の視認部を形成する。操縦席おおい構造の防風ポス
ト、側部ポスト及びコクピットレール部材は、有視界飛
行運行中パイロットが外界の視覚観察を行うのを妨げ
る。そのような場合、パイロットは、意識的にあるいは
無意識に、パイロット及び外界間に位置されている各ポ
スト及レール部材などの構造部材に対して、外界の視
覚観察を基準化する。上述の操縦席おおい構造の構造
材は、有視界飛行運行中ヘリコプタ関して外界の空間
及び状況認識をパイロットに保持させ続ける認識機構の
一体化素子である。 【0028】したがって、本発明に係るVIDシステム
パイロットが、ヘリコプタに関する外界の空間及び
状況認識を保つために、無視界飛行運行中、有視界飛行
運行中に動作するものと同一の認識機構に頼り、それを
利用するように、(FLIRサブシステム及びHMDサ
ブシステム介して)無視界飛行運行中にパイロットに
与えられる現実的な高精細画表現を形成する仮想映像中
、操縦席おおい構造のこれらの構造部材を、含ませ
る。 【0029】二値化マップは、操縦席おおい構造の防風
ポスト、側部ポスト及びコクピットレールに対応する相
互に関連する一連の構造外郭線である。防風ポスト、側
部ポスト及びコクピットレールに対応する構造外郭線
は、極座標系を用いて形成され、二値化マップに蓄積さ
れる。 【0030】のマップは、それを主処理、インタフェ
ース、及び制御手段内のメモリ構造内に容易に記憶させ
得るように、二値化形で作られる。対応する映像上に
重ね合わせるために、主処理、インタフェース、及
び制御手段によ二値化マップの関連する構造外郭線の
再構築中に、主処理、インタフェース、及び制御手段
は、再構築された構造外郭線が連続構造として与えられ
るように、各構造外郭線を形成する隣り合うデジタル点
間に挿入するように動作する 【0031】VIDシステムの主処理、インタフェー
ス、及び制御(PPIC手段は、中央処理ユニット、
記憶装置、入出力ポート、及び制御、アドレス、データ
バスを含んでいる汎用電子計算機である。 【0032】電子計算機構成は、例えば、2つ以上の
制御、アドレス、データバスを有する分割処理型のもの
である。1本のバスが、入出力タスク及び通信機能を受
け持つ。他の分離されたバスは、像処理、決定機能、及
びマップ線再構築と映像形態への変換に用いられる。単
一バスよりも多くのバスを採用する構成に対して、各バ
スは代表的には、それらと関連するモトローラ8028
6型プロセッサなどのプロセッサを有する。PPIC手
段は、幾何学的構成体間1.25ミクロンの非常に高速
の集積回路(VHSIC)の形態で作られている。その
ようなPPIC手段は、13メガバイトを超える内部メ
モリ、及び毎秒1900万命令及び毎秒3億以上の演算
を実行する能力を有する。 【0033】PPIC手段はVIDシステムから構成
される種々のサブシステム間に電子的インタフェースを
与えるように動作する。 【0034】PPIC手段は制御信号を与え、仮想映
像化サブシステムの空間方向をHMDサブシステムの視
角と同期させ、すなわち、仮想映像化サブシステムのF
OVをパイロットの視覚系の光軸に対応して整列させる
よう動作する。これらの制御信号はヘルメット取付検
知手段によって与えられる位置/方向信号に基づいて中
央処理ユニットによって導かれる。 【0035】PPIC手段は、さらに、本発明に係るV
IDシステムによって要求される必要な処理能力を与え
るよう動作する。この処理能力は、仮想映像化サブシス
テムによって発生され、かつ応する仮想映像を発生す
るため対応する信号をHMDサブシステムに与える
とと、入力される仮想映像信号を処理することと、を含
んでいる。PPIC手段は、またヘルメット取付検知
手段によって与えられる位置/方向信号に基づいて、H
MDサブシステムの空間方向及び視角を定めるよう動作
する。 【0036】PPIC手段は、さらに、中央処理ユニッ
トによってHMDサブシステムの決定された空間方向及
び視角をヘリコプタの操縦席おおい構造に相関させるよ
う動作する。HMDサブシステムの相関付けられた空間
方向及び視角に基づいて、中央処理ユニットは、二値化
マップを用いて操縦席おおい構造の関連部分の構造外郭
線を再構築し、仮想映像化サブシステムによって発生さ
れる仮想映像と同期される構造外郭線を与える。中央処
理ユニットは、同期された構造外郭線をHMDサブシス
テムによって発生される映像と両立し得るビデオフォー
マットに変換するために使用される。 【0037】PPIC手段は、さらに所定の方法で、
同期された構造外郭線を対応する映像上に結合させるよ
う動作する。さらに詳細には、同期された構造外郭線
は、その構造外郭線が下側にある映像の対応する部分を
妨げるように、対応する映像上に重ね合わされる。しか
し、構造外郭線の構造(厚み)によって、映像の妨げが
最小化される。 【0038】この結合された映像は、外界の画素表現
与える。この画素表現は、HMDサブシステムによって
パイロットによって監視され、上述の認識機構に基づい
て、ヘリコプタに関する外界の空間及び状況把握を維持
するためにパイロットによって使用される。 【0039】この結合された映像表示は、仮想映像化サ
ブシステムのFOV内にある外界の要素を与える。外界
の映像の構造外郭線相関付けることによって、パイロ
ットは、ヘリコプタに関する外界の空間及び情況認識を
得ることができる。 【0040】 【作用】本発明に係るVIDシステムは、外界の連続仮
想映像を与えるよう動作し、これらの外界の仮想映像に
基づいて連続の映像表示を発生すると共に、夜間などの
無視界飛行状態及び/または悪天候飛行運行中に、その
航空機を操縦するために、そのような映像を映像表示サ
ブシステムを介してパイロットに伝えるものである。そ
のVIDシステムは、さらに、パイロットがヘリコプタ
操縦席おおい構造に関して方向付けられた認識映像表示
を与えられるように、操縦席おおい構造の二値化マップ
構造外郭線の同期部分をその映像に重ね合わせるよう
に動作し、それによってパイロットに、対応する航空機
操縦席おおい構造に関して外界を表わす映像表示を参照
させる。 【0041】 【実施例】以下図面を参照しながら説明する。図中、同
類の符号は、対応するまたは類似の要素を示す。図1
は、夜間などの無視界飛行状態及び/または悪天候飛行
運行中、特にヘリコプタなどの航空機を操縦するために
使用するための本発明に係る仮想映像表示(VID)シ
ステム10の概略図である。本発明に係るVIDシステ
10は、主処理、インタフェース及び制御手段10
0、仮想映像化サブシステム20、航空機操縦席おおい
構造60の二値化マップ80、映像表示サブシステム4
0、及び所定の航空機座標系に関する映像表示サブシス
テム40の姿勢及び位置を検知するための手段50を有
する。 【0042】本発明に係るVIDシステム10は、外界
の連続仮想映像を与えるよう動作し、これらの外界の仮
想映像に基づいて連続の映像表示を発生すると共に、夜
間などの無視界飛行状態及び/または悪天候飛行運行中
に、その航空機を操縦するために、そのような映像を映
像表示サブシステム40を介してパイロットに伝えるも
のである。そのVIDシステム10は、さらに、パイロ
ットがヘリコプタ操縦席おおい構造60に関して方向付
けられた認識映像表示を与えられるように、操縦席おお
い構造60の二値化マップ80の同期部分をその映像に
重ね合わせるように動作し、それによってパイロット
に、対応する航空機操縦席おおい構造60に関して外界
を表わす映像表示を参照させる。 【0043】上述の如く、パイロットは、意識的にまた
は潜在的に、有視界運行中航空機操縦席おおい構造の対
応する部分に関して彼の視覚系によって感受された外界
の視覚像を参照する。この認識機構は、パイロットに、
航空機に関して外界の空間及び状況の把握を保たせ続け
させる。したがって、VIDシステム10は、有視界飛
行状態中に動作する認識機構が、航空機に関して外界の
空間及び状況の把握を保持するために、無視界飛行状況
把握中にパイロットによって利用され得るように、有視
界飛行状況把握中の外界のパイロット視界に機能的に及
び構造的に均等であるところの無視界飛行状況把握中の
外界のコクピット基準視界をパイロットに与えるように
動作する。このVIDシステム10は、無視界飛行状況
把握中、特に、対応する航空機操縦席おおい構造60が
視覚系を使用しているパイロットによって感知され得な
い飛行状況把握中、パイロットが、方向感覚を喪失しな
いようにする。 【0044】本発明に係るVIDシステム10は、夜間
などの無視界飛行状況把握及び/または悪天候飛行運転
中のヘリコプタでの使用に特に有用である。1つのその
ようなヘリコプタHの代表例が図2に示されている。そ
れは、RAH−66コマンチ軽ヘリコプタを示してい
る。そのRAH−66ヘリコプタHは、以下に詳述する
如く、所定の操縦席おおい構造60を有するコクピット
CPと、ジンバルを備える仮想映像化サブシステム20
を収容する透明なノーズ部NSを有する。本発明に係る
VIDシステム10は、RAH−66ヘリコプタの構成
及び構造を用いて以下に説明されるが、無視界飛行運転
の他の型のヘリコプタ及び/または航空機においても使
用され得るものである。 【0045】仮想映像化サブシステム20は、無視界飛
行状況把握すなわちパイロットの視覚系が、例えば夜間
及び/または悪天候飛行運転などのように、ヘリコプタ
Hの安全及び/または効率的運行を保証するのに充分な
明瞭さをもって外界を把握することができない状態中に
外界の連続的仮想映像を与えるように動作する。ここで
使用される仮想映像の用語は、例えば、木や建物が木や
建物として認識され得るなど、人間の視覚系統によって
認められる場合と同じ外界に、構成的細さにおいて対応
する外界の現実的な高精細画表現を定めている。 【0046】本発明に係るVIDシステム10で使用さ
れる型の仮想映像化サブシステム20の動作特性及び能
力は、いわゆる当業者に良く知られている。例えば、夜
間飛行運転中の外界の仮想映像を発生させるためには、
前方監視赤外線(FLIR)映像化サブシステム20
が、現在の技術に基づいて、夜間飛行運転中の外界の連
続する高精細仮想映像を発生するための好適な手段であ
る。FLIR映像化サブシステム20は、FLIRセン
サの視界(FOV)内の外界の種々の要素によって放出
される熱放射の差を検知し、次に処理(以下の主処理、
インタフェース、及び制御手段100を参照)される検
知された熱放射差を表わす信号を発生し、そのFLIR
映像化サブシステム20のFOV内の外界の連続する高
精細仮想映像を与える。そのFLIR映像化サブシステ
ム20は、飛行条件、飛行任務要求などの要因によっ
て、黒白コントラストまたはその逆のコントラストなど
として温冷の熱的差分像を発生するように選択的に動作
する。 【0047】外界の高精細仮想映像を発生することので
きるような弱光テレビジョンシステム、レーダシステ
ム、あるいは他のセンサなどの映像化システムが、本発
明に係るVIDシステム10の仮想映像化サブシステム
20として利用され得る。以下に詳細に説明される如
く、仮想映像化サブシステム20は、そのサブシステム
20のFOVがヘリコプタHの透明なノーズ構造NS内
に可動的にジンバルされ、そのサブシステム20のFO
VをヘリコプタHのパイロットの視覚系の光軸と一致さ
せるように整列させるよう、映像表示サブシステム40
に従属させられる。 【0048】VIDシステム10の映像表示サブシステ
ム40は、(仮想映像化サブシステム20によって捉え
られた仮想映像から導かれる)外界の映像を、パイロッ
トの視覚系の光軸に関して、すなわちパイロットの視覚
内で、中心に位置付けるよう動作する。次に図3を参照
する。好適な映像表示サブシステム40は、ヘルメット
42及びバイザ型スクリーン44を含むヘルメット取付
表示(HMD)サブシステムである。スクリーン44
は、部分反射するスクリーン材料を用いることによって
光列の反射部分として作製される。その結果、スクリー
ン44は、コリメートされ映像をパイロットの視覚系
に収束させて投射するよう動作する。付随的に、スクリ
ーン44は、外界からの可視光放射に対して部分的に透
明であるように作られる。したがって、スクリーン44
は、有視界飛行状況把握中パイロットの視覚系によって
外界(及び操縦席おおい構造60)の認識を容易にさせ
ると共に、仮想映像化サブシステム20によって与えら
れる仮想映像から導かれるコリメートされた映像表示
を、無視界飛行状況把握中外界の現実的な高精細画表現
を与えるパイロットの視覚系に投射するよう同時に動作
する。パイロットによって認識される映像は、映像のコ
リメーションによって無限遠に位置されるよう表わされ
る。 【0049】バイザ型スクリーン44は、ヘルメット4
2に対して取り外し可能に取り付けられる。したがっ
て、スクリーン44は、必要なら、有視界飛行運転に対
しては取り外し可能である。スクリーン44は、(パイ
ロットの目間の中間点から彼の頭から外方向へ突出る直
線として定義されるパイロットの視覚系の光軸に関し
て、それぞれ、垂直方向及び横方向に)パイロットに対
して外界の30°×60°のパノラマ視界を与えるよう
に、所定の曲線構造に作られる。 【0050】HMDサブシステム40は、両眼で見るよ
うになっており、トーマスエレクトロニクス、ヒューズ
エアクラフト、あるいはAT&Tベル研究所によって製
造されている二重小型陰極線管(CRT)46を有す
る。それは、主処理、インタフェース、及び制御手段1
00からの像信号を受信すると共に、それから高精細映
像を発生するように動作する。1インチ径CRT46
は、1200映像線、すなわち1200×1200画素
マトリクスを与える。各CRT46と関連して、それら
CRT46と高精細映像用スクリーン44との間に光学
インタフェースを与えるコリメートしている光列48が
ある。光列48は、映像をパイロットの視覚系によって
認識するためのスクリーン44上に投影するため、CR
T46によって発生された映像を拡大し、かつコリメー
トするよう働く。HMDサブシステム40は、パイロッ
トがスクリーン44を介して外界の単一のパノラマ的高
精細映像画表現を感知するように、重ね合っている映像
を発生するよう動作する。本発明のVIDシステム10
で使用するHMDサブシステム40は、当業者に一般的
に知られたものである。HMDサブシステムの代表例
は、米国再発行特許第Re28,847号に説明されて
いる。 【0051】HMDサブシステム40のヘルメット42
に関連して、ヘリコプタHのコクピットCP内のHMD
サブシステム40の空間位置及び角度方向を決めるよう
動作する検知手段50がある。図3に例示される如く、
ヘルメット取付検知手段50は、ヘルメット42と一緒
に取り付けられたセンサ52と、ヘルメット42に隣接
してコクピットCK内に取り付けられた電磁放射器54
を備えている。センサ52は、電磁放射器54によって
放射される一定の界強度をもつ電磁放射に応答して、妨
害された電磁放射の電磁界強度及び位相に基づいて、コ
クピットCK内のHMDサブシステムの位置及び角度方
向に対応する位置/方向信号を発生する。これらの位置
/方向信号は、そのような信号を処理するために動作す
る主処理、インタフェース、及び制御手段100に結合
され、コクピットCKに関係してHMDサブシステム4
0の位置及び角度方向(視角)を特定する。本発明に係
るVIDシステム10で使用されるヘルメット取付検知
手段50は、一般に当業者に知られている。そのような
検知手段は、典型的には、米国特許第4,017,85
8号及び同第3,983,474号に開示されている如
く、3軸においてヘルメット42の角度方向を表わす信
号を与える3軸ポルヘムス(Polhemus)系によ
って表わされる。 【0052】「設計視点」として示される仮想基準点9
0は、図2に表わされている如くヘリコプタHのコクピ
ットCK内に定められる(設計視点90は、操縦席おお
い構造60を構成するいかなる構成素子すなわち装置を
も一致しないという意味において想像上のもの)。その
設計視点90は、操縦席おおい構造60の構成上の構造
に基づいてヘリコプタHのパイロットに与えられる可視
度(外界の良好な視界)を定める設計パラメータであ
る。例としては、単一/直列接続コクピット構造を有す
る軍用ヘリコプタに対しては、MIL−STD−850
Bに、操縦席おおい構造の可視度要求が示唆されてい
る。 【0053】飛行運転に対して、パイロットは、自分自
身をコクピット座席CS(図2参照)に位置付け、彼の
視覚系の光軸の方向が、図3に示された設計視点90と
一致するように、そのコクピット座席CSを調節する。
この整列操作を容易に行うため、RAH−66ヘリコプ
タHは、(コクピットの中間面と一致する)コクピット
ダッシュボードに取り付けられ、かつ作動される時、コ
リメートされた光が設計視点90を通過して放射される
ように位置付けられた照準規正焦点装置を含んでいる。
パイロットがコクピットCP内で適切に位置付けられる
時のみ、すなわち、パイロットの視覚系の光軸の原点
設計視点90と一致する時のみ、このコリメートされた
光がパイロットの視覚系に感知され得る。 【0054】設計視点90は、本発明に係るVIDシス
テム10の座標系の原点(0,0,0)を確定する。主
処理、インタフェース、及び制御手段100によって、
HMDサブシステム40の空間位置及び視角の特定及び
描写を容易にするため、図4、図5の平面図に例示され
る如く、ヘリコプタHの対応するコクピット構造上をお
おう極座標系(γ,θ,β,α)が、HMDサブシステ
ム40の空間位置及び視角を定め、以下に詳細に説明さ
れる如く、操縦席おおい構造60の二値化マップ80を
発生するために使用される。また、ヘリコプタで使用さ
れる3軸座標系の説明のため、すなわち、長手方向軸X
−X,横軸Y−Y,及び垂直軸Z−Zが図4、図5に示
されている。以下に詳述される如く、極座標系は、次の
変換式によって操縦席おおい構造60の任意の点(x,
y,z)を決めるために使用される。 【0055】 【数1】 【0056】 【数2】 【0057】 【数3】 【0058】 【数4】 【0059】HMDサブシステム40の空間位置及び視
角の特定は、極座標系を用いることによって簡単化され
る。一般的規則として、上述の如く、一度パイロットが
コクピット座席CSに適切に位置付けされると、典型的
な飛行運転中にパイロットによって自然に行われる(H
MDサブシステム40移動に直接応答する)ヘッド運動
の多くは、垂直軸Z−Z回りのヘッド回転(左右ヘッド
回転運動)、横軸Y−Y回りのヘッド回転(上下ヘッド
運動)、あるいはそれらの組み合わせからなる。前述の
ヘッド運動は、HMDサブシステム40の空間視角、す
なわち、極座標系の角度θ、角度α、あるいはそれらの
組み合わせによって記述され得るところの、(極座標系
径ベクトルによって決められる)パイロットの視覚
系の光軸の指向角を定める。 【0060】通常の飛行運転中に、長手方向軸、横軸、
及びまたは垂直軸に沿ったパイロットの頭の相対的並進
運動はほとんどないことが経験的に知られている。した
がって、実際的には、HMDサブシステム40は、極座
標系の原点と一致する一定の空間位置を有するものとし
て定められる。たとえ、HMDサブシステム40が並進
運動を受けるとしても、そのような運動は、そのような
運動が比較的真直ぐな幾何関係に基づいた計算を含む限
り、主処理、インタフェース、及び制御手段100を処
理能力を用いて、収容されかつ特定される。 【0061】HMDサブシステム40の初期空間位置及
び視角は、設計視点90及びパイロット視覚系の光軸に
よってきめられる。そのHMDサブシステム40の初期
空間位置は、設計視点90すなわち極座標系の原点とし
て決められる。HMDサブシステム40の初期視角は、
パイロット視覚系の光軸が設計視点90を通過し、かつ
コクピットCP操縦席おおい構造の前部の中間を通過す
る長手方向軸X−Xと同軸であるように定められる。ヘ
ルメット取付検知手段50は、前述のHMDサブシステ
ム40の初期空間位置と視角に初期化される。HMDサ
ブシステム40の次の運動は、ヘルメット取付検知手段
50によって検知され、主処理、インタフェース、及び
制御手段100の処理能力を用いて、方向角θ,α(必
要ならば、径ベクトルγ及び方向角β)によって定め
られ、説明される。 【0062】図6は、図2に表わされたヘリコプタHの
操縦席おおい構造60の直線プロットである。その直線
プロットは、設計視点90及び上述の極座標系に基づい
て導かれた。座標は、方向角θを表わし、縦座標は方
向角αを表わしている。操縦席おおい構造60は、左右
防風ポスト61L,61R,横方向ポスト62,左右前
方側部ポスト63L,63R,左右後方側部ポスト64
L,64R,左右二次側部ポスト65L,65R,前方
コクピットレール66,左右一次コクピットレール67
L,67R,左右二次コクピットレール68L,68
R,及び左右三次コクピットレール69L,69Rを含
む。 【0063】操縦席おおい構造60から成る前述の構造
部材は、それぞれ組み合わさって、外界の視覚観察に利
用できる操縦席おおい構造60の視認部を形成する。図
6に示される如く、これらは、前方操縦席おお70、
左右一次側部操縦席おお72L,72R,左右二次側
部操縦席おお74L,74R,及び左右三次側部操縦
席おお76L,76Rとして形成される。上述の種々
の操縦席おおは、外界からの可視光放射がそれら
してパイロットの視覚系に伝えられるような光学的に透
材料から作られる。操縦席おお部材は、これらの
部材がパイロットの視覚系に対して効果的に透明である
限り、本発明に係るVIDシステム10に関係しない。
また、それは、有視界飛行運行中パイロットによる外界
の視覚観察の基準点として機能しない。したがって、そ
れは、ヘリコプタHに関して外界の空間的な及び状況認
識を保持するためのパイロットの認識機構の部分ではな
い。 【0064】反対に、操縦席おおい構造60の構造ポス
ト及びレール部材は、有視界飛行運行中パイロットが外
界の視覚観察を行うのを妨げる。そのような場合、パイ
ロットは、意識的にあるいは無意識に、パイロット
間に位置されている各ポスト及レール部材に対し
て、外界の視覚観察を基準化する。上述の操縦席おおい
構造60の構造ポスト及びレール部材は、有視界飛行運
行中ヘリコプタHに関して外界の空間及び状況認識をパ
イロットに保持させ続ける認識機構の一体化素子であ
る。 【0065】したがって、本発明に係るVIDシステム
10は、操縦席おおい構造60のこれらの素子を、パイ
ロットが、ヘリコプタHに関する外界の空間及び状況認
識を保つために、無視界飛行運行中、有視界飛行運行中
に動作するものと同一の認識機構に頼り、それを利用す
るように、(FLIRサブシステム20及びHMDサブ
システム40を介して)無視界飛行運行中にパイロット
に与えられる現実的な高精細画表現を形成する仮想映像
中に、含ませる。 【0066】図7は、図6に示された操縦席おおい構造
60に対応する一定の縮尺率の線形二値化マップ80で
ある。二値化マップ80は、上述の如く、操縦席おおい
構造60の構造ポスト及びレールに対応する相互に関連
する一連の構造外郭線である。構造外郭線81L,81
Rは、それぞれ左右防風ポスト61L,61Rに対応
し、構造外郭線82は、横方向ポスト62に対応し、構
造外郭線83L,83Rは、それぞれ左右前方側部ポス
ト63L,63Rに対応し、構造外郭線84L,84R
は、それぞれ左右後方側部ポスト64L,64Rに対応
し、構造外郭線85L,85Rは、それぞれ左右二次側
部ポスト65L,65Rに対応し、構造外郭線86は、
前方コクピットレール66に対応し、構造外郭線87
L,87Rは、それぞれ左右一次コクピットレール67
L,67Rに対応し、構造外郭線88L,88Rは、そ
れぞれ左右二次コクピットレール68L,68Rに対応
し、そして構造外郭線89L,89Rは左右三次コクピ
ットレール69L,69Rに対応している。 【0067】二値化マップ80は、上述の極座標系を用
いて形成され、操縦席おおい構造60からなるポスト及
びレールのそれぞれに対応している(極座標系によって
定められかつ特定されるデジタル点に基づいて)二値化
構造外郭線シーケンスを定める。そのマップ80は、そ
れを主処理、インタフェース、及び制御手段100内の
メモリ構造内に容易に記憶させ得るように、二値化形式
で作られる。対応する映像上に次重ね合わせるため
に、主処理、インタフェース、及び制御手段100によ
って二値化マップ80の関連する構造外郭線の再構築中
に、主処理、インタフェース、及び制御手段100は、
再構築された構造外郭線が連続構造として与えられるよ
うに、各構造外郭線を形成する隣り合うデジタル点間に
挿入するように動作する。主処理、インタフェース、及
び制御手段100は、さらに、必要に応じて、構造外郭
線の厚さを変えるように動作する。 【0068】VIDシステム10の主処理、インタフェ
ース、及び制御手段100(PPIC手段)は、図8に
さらに詳細に示されている。例示されたPPIC手段1
00は、中央処理ユニット102、ランダムアクセスメ
モリ(RAM)103、読み出し専用メモリ(ROM)
104、入出力ポート106,108,110,11
2、及び制御、アドレス、データバス114を含んでい
る。PPIC手段100は、特に示されているものとは
異なる形態を取り得る汎用電子計算として一般化され
た形態で表わされている。 【0069】電子計算機構成は、2つ以上の制御、ア
ドレス、データバスを有する分割処理型のものである。
1本のバスが、入出力タスク及び通信機能を受け持つ。
他の分離されたバスは、像処理、決定機能、及びマップ
線再構築と映像形態への変換に用いられる。単一バスよ
りも多くのバスを採用する構成に対して、各バスは代表
的には、それらと関連するモトローラ80286型プロ
セッサなどのプロセッサを有する。PPIC手段100
は、幾何学的構成体間1.25ミクロンの非常に高速の
集積回路(VHSIC)の形態で作られている。そのよ
うなPPIC手段100は、13メガバイトを超える
部メモリ、及び毎秒1900万命令及び毎秒3億以上の
演算を実行する能力を有する。 【0070】PPIC手段100は、上述の如く、それ
ぞれ信号線116,118,120,122,124を
介して、VIDシステム10から構成される種々のサブ
システム間に電子的インタフェースを与える。HMDサ
ブシステム40とヘルメット取付検知手段50間の相互
作用結合は、符号130によって特定されている。 【0071】PPIC手段100は、信号線116を介
して制御信号を与え、仮想映像化サブシステム20の空
間方向をHMDサブシステム40の視角と同期させ、す
なわち、仮想映像化サブシステム20のFOVをパイロ
ットの視覚系の光軸に対応して整列させるよう動作す
る。これらの制御信号は、信号線122を介してヘルメ
ット取検知手段50によって与えられる位置/方向信
号に基づいて中央処理ユニット102によって導かれ
る。 【0072】PPIC手段100は、さらに、本発明の
VIDシステム10によって要求される必要な処理能力
を与えるよう動作する。この処理能力は仮想映像に対
応する映像を発生するように、信号線120を介して、
対応する信号をHMDサブシステム40に与えるため
、仮想映像化サブシステム20によって発生されると
ともに信号線188を介して入力される仮想映像信号を
処理することを含んでいる。PPIC手段100は、ま
た、信号線122を介してヘルメット取付ット検知手段
50によって与えられる位置/方向信号に基づいて、H
MDサブシステム40の空間方向及び視角を定めるよう
動作する。 【0073】PPIC手段100は、さらに、中央処理
ユニット102によってHMDサブシステム40の決定
された空間方向及び視角をヘリコプタHの操縦席おおい
構造60に相関させるよう動作する。HMDサブシステ
0の相関付けられた空間方向及び視角に基づいて、
中央処理ユニット102は、二値化マップ80を用いて
操縦席おおい構造60の関連部分の構造外郭線を再構築
し、仮想映像化サブシステム20によって発生される仮
想映像と同期される構造外郭線を与える。中央処理ユニ
ット102は、同期された構造外郭線をHMDサブシス
テムによって発生される映像と両立し得るビデオフォー
マットに変換するために使用される。 【0074】PPIC手段100は、さらに、信号線1
20を介して所定の方法で、同期された構造外郭線を対
応する映像上に結合させるよう動作する。さらに詳細に
は、同期された構造外郭線は、その構造外郭線が下側に
ある映像の対応する部分を妨げるように、対応する映像
上に重ね合わされる。しかし、構造外郭線の構造(厚
み)によって、映像の妨げが最小化される。 【0075】図9は、本発明に係るVIDシステム10
によって発生される瞬時結合映像の画素表現である。こ
の画素表現は、HMDサブシステム40によってパイロ
ットによって監視され、上述の認識機構に基づいて、ヘ
リコプタHに関する外界の空間及び状況把握を維持する
ためにパイロットによって使用される。図9の画素表現
は、仮想映像化サブシステム20によって与えられる仮
想映像から導かれたHMDサブシステム40によって発
生される映像に重ね合わされる、ヘリコプタHの左右防
風ポスト61L,61Rに対応する構造外郭線81L,
81Rを表わしている。ビデオ映像は、仮想映像化サブ
システム20のFOV内にある飛行中のヘリコプタH
、木々T、及び建物などの外界の要素を表示する。
図9に表わされた他の記号は、本発明に関係のない航空
機状態情報を表わしている。参照文字AHLによって特
定される記号は、外界の水平線に対応している人口の水
平線である。 【0076】図9に関して、構造外郭線81L,81R
は、表示された画素表現がヘリコプタHの前方操縦席お
おい構造70を介して見られようとしていることを、パ
イロットに知らせる。構造外郭線81L,81Rを人口
水平線AHLを相関付けることにより、ヘリコプタHが
左に浅く傾けられて飛行されようとしていることがパイ
ロットに知らされる。この情報は、上述の認識機構を用
いて、ヘリコプタHと外界間の関係の空間把握をパイロ
ットに与える。 【0077】構造外郭線81L,81RをヘリコプタH
の画素表示相関付けることによって、ヘリコプタH
がパイロットのコースと交差する飛行路にあること
が、パイロットに知らせられる。ヘリコプタH近くの木
々T及び建物Bは、前方飛行に対してハザードをパイロ
ットに与える。この情報は、認識機構を用いて、ヘリコ
プタHと外界間の状況把握をパイロットに与える。 【0078】 【発明の効果】本発明によれば、夜間でも安全に飛行す
るための表示システムが与えられる。
【図面の簡単な説明】 【図1】本発明に係る構造外郭線を含んでいる仮想映像
表示システムの概略図である。 【図2】本発明に係る仮想映像表示システムが使用され
るヘリコプタの平面図である。 【図3】本発明に係る仮想映像表示システムにおいて使
用するヘルメット取付表示サブシステムの平面図であ
る。 【図4】本発明に係る仮想映像表示システムに対する基
準系としての極座標系を表わしている。 【図5】本発明に係る仮想映像表示システムに対する基
準系としての極座標系を表わしている。 【図6】図2のヘリコプタの操縦席おおい構造の直線プ
ロットである。 【図7】図6の操縦席おおい構造に対応する光学的不透
明体構造外郭線を表わしている二値化マップを示す直線
プロットである。 【図8】図1の仮想映像表示システムの主処理装置、イ
ンタフェース、及び制御手段の概略図である。 【図9】外界の仮想映像の映像表示上に重ね合わされた
光学的不透明体構造外郭線の平面図である。 【符号の説明】 10…VIDシステム 20…仮想映像化サブシステム 50…姿勢及び位置検知手段 60…操縦席おおい構造 80…二値化マップ 100…制御手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ローレン スタイルズ,ジュニア アメリカ合衆国,コネチカット,ロック スベリー,オールド ロックスベリー ロード 12 (72)発明者 ハワード フィリップ ハーパー アメリカ合衆国,コネチカット,ハンテ ィントン,ナヴァジョ ループ 325 (72)発明者 ロバート クレイグ カス アメリカ合衆国,コネチカット,ウエス ト レディング,ブルーベリー ヒル ロード 12 (56)参考文献 特開 平2−145914(JP,A) 欧州特許出願公開330147(EP,A 1) (58)調査した分野(Int.Cl.7,DB名) B64D 45/08

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 所定構造の操縦席おおい構造を有する航
    空機内でパイロットによって使用される仮想映像表示シ
    ステムであって、該表示システムは、 外界の仮想映像を発生するための仮想映像化手段と、 上記外界の仮想映像に基づいて、パイロットによって見
    られる映像を発生・表示するための映像表示手段と、 上記映像表示手段と相互作用するように配置され、上記
    映像表示手段の空間位置及び視角に対応する位置信号を
    発生するための検知手段と、 操縦席おおい構造の所定構造に対応する一連の構造外郭
    線であって幅を最小化した構造外郭線を蓄積するための
    マップ手段と、 上記検知手段によって発生された上記位置信号に基づい
    て、上記映像表示手段の空間位置及び視角を決定するた
    めの電子計算機処理手段とを備え、 上記電子計算機処理手段は、さらに上記マップ手段の上
    記蓄積された構造外郭線から操縦席おおい構造の部分の
    構造外郭線を再構築するよう動作し、上記再構築された
    構造外郭線部分は、上記映像表示手段の上記決定された
    空間位置及び視角に基づくとともにこれらに同期し、 上記電子計算機処理手段は、さらに上記再構築された構
    造外郭線部分を上記表示された映像上に重ね合わせ、外
    界の高精細画表示をパイロットに与えるように動作し、
    上記重ね合わされかつ再構築された構造外郭線部分は、
    上記表示された映像の対応する部分を妨げることによっ
    て、パイロットが上記妨げられて表示された映像を見る
    際に基準フレームとなることを特徴とする表示システ
    ム。
JP10004292A 1991-04-22 1992-04-21 航空機用仮想映像表示システム Expired - Fee Related JP3383323B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US68940591A 1991-04-22 1991-04-22
US689,405 1991-04-22

Publications (2)

Publication Number Publication Date
JPH05112298A JPH05112298A (ja) 1993-05-07
JP3383323B2 true JP3383323B2 (ja) 2003-03-04

Family

ID=24768308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10004292A Expired - Fee Related JP3383323B2 (ja) 1991-04-22 1992-04-21 航空機用仮想映像表示システム

Country Status (6)

Country Link
US (1) US5296854A (ja)
EP (1) EP0511154A3 (ja)
JP (1) JP3383323B2 (ja)
CA (1) CA2060406C (ja)
DE (1) DE511154T1 (ja)
ES (1) ES2034930T1 (ja)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
US5517193A (en) * 1993-04-30 1996-05-14 International Business Machines Corporation Meteorological workstation
DE4314811A1 (de) * 1993-05-05 1994-12-08 Vdo Luftfahrtgeraete Werk Gmbh Verfahren zur Darstellung von Flugführungsinformationen
US6037936A (en) 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
US6064398A (en) * 1993-09-10 2000-05-16 Geovector Corporation Electro-optic vision systems
US7301536B2 (en) 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
DE4339606A1 (de) * 1993-11-20 1995-05-24 Bodenseewerk Geraetetech Piloten-Trainingsgerät
US5491510A (en) * 1993-12-03 1996-02-13 Texas Instruments Incorporated System and method for simultaneously viewing a scene and an obscured object
US5566073A (en) * 1994-07-11 1996-10-15 Margolin; Jed Pilot aid using a synthetic environment
TW275590B (en) * 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
GB2337681B (en) * 1994-12-09 2000-02-23 Sega Enterprises Kk Head mounted display and head mounted video display system
US6535210B1 (en) 1995-06-07 2003-03-18 Geovector Corp. Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
FR2738628B1 (fr) * 1995-09-08 1997-10-24 Sextant Avionique Dispositif optique de determination de l'orientation d'un solide
US6181302B1 (en) 1996-04-24 2001-01-30 C. Macgill Lynde Marine navigation binoculars with virtual display superimposing real world image
DE19631414A1 (de) 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
JP3338618B2 (ja) * 1996-10-07 2002-10-28 ミノルタ株式会社 実空間画像と仮想空間画像の表示方法及び表示装置
GB9623911D0 (en) 1996-11-18 1997-01-08 Armstrong Healthcare Ltd Improvements in or relating to an orientation detector arrangement
US5838262A (en) * 1996-12-19 1998-11-17 Sikorsky Aircraft Corporation Aircraft virtual image display system and method for providing a real-time perspective threat coverage display
DE19653595C1 (de) * 1996-12-20 1998-07-02 Siemens Ag Informationsanzeigesystem für mindestens eine Person
JP3052286B2 (ja) * 1997-08-28 2000-06-12 防衛庁技術研究本部長 飛行システムおよび航空機用擬似視界形成装置
JP2939234B1 (ja) 1998-03-24 1999-08-25 株式会社コミュータヘリコプタ先進技術研究所 飛行経路表示装置
DE19836002B4 (de) * 1998-08-08 2010-02-11 Eurocopter Deutschland Gmbh Stereoskopische Flugführungshilfe
US6173239B1 (en) 1998-09-30 2001-01-09 Geo Vector Corporation Apparatus and methods for presentation of information relating to objects being addressed
US6297749B1 (en) 1998-11-06 2001-10-02 Eric S. Smith Emergency operating system for piloting an aircraft in a smoke filled cockpit
JP4174624B2 (ja) * 1999-02-02 2008-11-05 株式会社島津製作所 救難目標位置指示装置
WO2000065423A2 (en) * 1999-04-01 2000-11-02 Price Ricardo A Electronic flight instrument displays
DE19930710C2 (de) * 1999-07-02 2003-06-12 Eads Deutschland Gmbh Bilddarstellungssystem und -verfahren für Fahrzeuge
AU6748200A (en) * 1999-07-19 2001-02-05 David L. Still A computer based human-centered display system
US6429789B1 (en) 1999-08-09 2002-08-06 Ford Global Technologies, Inc. Vehicle information acquisition and display assembly
US6396475B1 (en) 1999-08-27 2002-05-28 Geo Vector Corp. Apparatus and methods of the remote address of objects
DE19942586A1 (de) * 1999-09-08 2001-03-15 Volkswagen Ag Verfahren und Anordnung zur Vorbereitung eines Crash-Versuches mit einem Kraftfahrzeug
US6909381B2 (en) * 2000-02-12 2005-06-21 Leonard Richard Kahn Aircraft collision avoidance system
US6522292B1 (en) 2000-02-23 2003-02-18 Geovector Corp. Information systems having position measuring capacity
US6285926B1 (en) 2000-04-28 2001-09-04 Rockwell Collins Selected hover altitude deviation display and method
DE10022820B4 (de) * 2000-05-10 2007-06-28 Eads Deutschland Gmbh Flugführungsanzeige
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置
DE10047237A1 (de) 2000-09-23 2002-04-11 Physoptics Opto Electronic Gmb System zur Aufnahme des Netzhautreflexbildes
IL138831A (en) * 2000-10-03 2007-07-24 Rafael Advanced Defense Sys An information system is operated by Mabat
AU2002223353A1 (en) * 2000-11-30 2002-06-11 Karen Sa Landing and navigating system with virtual representation of the immediate surroundings
US7031875B2 (en) 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
EP1377870A2 (en) * 2001-03-30 2004-01-07 Koninklijke Philips Electronics N.V. Method, system and device for augmented reality
US6573841B2 (en) 2001-04-02 2003-06-03 Chelton Flight Systems Inc. Glide range depiction for electronic flight instrument displays
US8015507B2 (en) 2001-11-05 2011-09-06 H2Eye (International) Limited Graphical user interface for a remote operated vehicle
GB2381725B (en) * 2001-11-05 2004-01-14 H2Eye Graphical user interface for a remote operated vehicle
JP3711339B2 (ja) * 2002-03-25 2005-11-02 川崎重工業株式会社 擬似視界形成装置
US6714141B2 (en) 2002-04-09 2004-03-30 Colm C. Kennedy Electronic cockpit vision system
WO2004034373A2 (en) * 2002-10-09 2004-04-22 Ohio University Multi-view head-up synthetic vision display system
US7619626B2 (en) 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
US7148861B2 (en) * 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
US7091881B2 (en) 2003-03-31 2006-08-15 Sikorsky Aircraft Corporation Integrated hover display with augmented approach to hover symbology cueing for degraded visual environmental conditions
EP1616228A4 (en) * 2003-03-31 2013-05-29 Sikorsky Aircraft Corp TECHNICAL DESIGNS ENHANCING THE AVOIDANCE OF OBSTACLES AND THE PARTIAL BLACKOUT OPERATIONS OF HELICOPTERS
US20040219961A1 (en) * 2003-04-08 2004-11-04 Ellenby Thomas William Computer games having variable execution dependence with respect to spatial properties of a mobile unit.
US7312725B2 (en) * 2003-07-08 2007-12-25 Supersonic Aerospace International, Llc Display system for operating a device with reduced out-the-window visibility
DE102004051625B4 (de) * 2004-10-23 2006-08-17 Eads Deutschland Gmbh Verfahren zur Pilotenunterstützung bei Landungen von Helicoptern im Sichtflug unter Brown-Out oder White-Out Bedingungen
US20060190812A1 (en) * 2005-02-22 2006-08-24 Geovector Corporation Imaging systems including hyperlink associations
US7437223B2 (en) * 2005-08-05 2008-10-14 The Boeing Company Heading reference command and control algorithm and cueing systems and methods for aircraft turn-to-target maneuvers
US20070194171A1 (en) * 2005-10-03 2007-08-23 Rocket Racing, Inc. Rocket-powered vehicle racing information system
US7287722B2 (en) 2005-10-03 2007-10-30 Rocket Racing, Inc. Rocket-powered vehicle racing competition
FR2902757B1 (fr) * 2006-06-22 2014-07-04 Airbus France Dispositif d'aide au positionnement d'un pilote dans un aeronef
FR2903788B1 (fr) 2006-07-11 2008-11-14 Thales Sa Viseur tete haute a affichage securise
US10908421B2 (en) * 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
DE102007014015B4 (de) * 2007-03-23 2010-07-01 Eads Deutschland Gmbh Mensch-Maschinen-Interface zur Pilotenunterstützung bei Start und Landung eines Fluggeräts bei verminderter Außensicht
EP1990674A1 (en) 2007-05-09 2008-11-12 Harman Becker Automotive Systems GmbH Head-mounted display system
US7605719B1 (en) * 2007-07-25 2009-10-20 Rockwell Collins, Inc. System and methods for displaying a partial images and non-overlapping, shared-screen partial images acquired from vision systems
US8063798B2 (en) * 2008-06-03 2011-11-22 Honeywell International Inc. Methods and apparatus to assist pilots under conditions in which spatial disorientation may be present
US7980512B1 (en) * 2008-06-13 2011-07-19 The Boeing Company System and method for displaying aerial refueling symbology
US8155806B2 (en) * 2008-07-23 2012-04-10 Honeywell International Inc. Aircraft display systems and methods for enhanced display of landing information
FR2935810B1 (fr) * 2008-09-09 2010-10-22 Airbus France Procede de reglage d'une compensation d'harmonisation entre capteur video et dispositif de visualisation tete haute, et dispositifs correspondants
US8065082B2 (en) * 2008-11-14 2011-11-22 Honeywell International Inc. Display systems with enhanced symbology
US8264377B2 (en) * 2009-03-02 2012-09-11 Griffith Gregory M Aircraft collision avoidance system
US8264379B2 (en) * 2009-03-10 2012-09-11 Honeywell International Inc. Methods and systems for correlating data sources for vehicle displays
US8040258B2 (en) * 2009-04-07 2011-10-18 Honeywell International Inc. Enhanced situational awareness system and method
US8240383B2 (en) * 2009-05-08 2012-08-14 Momentive Specialty Chemicals Inc. Methods for making and using UV/EB cured precured particles for use as proppants
US20110106447A1 (en) * 2009-11-03 2011-05-05 Honeywell International Inc. System for providing a pilot of an aircraft with a visual depiction of a terrain
ES2679743T3 (es) * 2010-02-23 2018-08-30 Elbit Systems Ltd. Escaneo y procesamiento de imágenes en tiempo real
US20110254706A1 (en) * 2010-04-20 2011-10-20 Sikorsky Aircraft Corporation Methods and Systems Involving Viewing Angles in Aircraft Displays
WO2011159757A2 (en) * 2010-06-15 2011-12-22 Sensics Inc. Systems and methods for personal viewing devices
US20120140125A1 (en) * 2010-12-03 2012-06-07 Honeywell International Inc. Aircraft cockpit visor display
FR2969792B1 (fr) * 2010-12-23 2012-12-28 Thales Sa Procede de suppression d'un masque de cockpit et systeme de visualisation de casque associe
US8754786B2 (en) * 2011-06-30 2014-06-17 General Electric Company Method of operating a synthetic vision system in an aircraft
EP2662722B1 (en) * 2012-05-11 2016-11-23 AGUSTAWESTLAND S.p.A. Helicopter and method for displaying a visual information associated to flight parameters to an operator of an helicopter
FR2996522B1 (fr) * 2012-10-05 2014-12-26 Dassault Aviat Pointe avant d'engin volant et engin volant associe
FR2996672B1 (fr) * 2012-10-05 2014-12-26 Dassault Aviat Systeme de visualisation pour aeronef avec des lignes de relief et procede associe
EP3077868B1 (en) * 2013-12-03 2021-09-01 Federal Express Corporation System and method for enhancing vision inside an aircraft cockpit
US9542147B2 (en) 2013-12-16 2017-01-10 Lockheed Martin Corporation Peripheral vision hover drift cueing
US9366546B2 (en) 2014-02-24 2016-06-14 Lockheed Martin Corporation Projected synthetic vision
US9563276B2 (en) 2014-03-26 2017-02-07 Lockheed Martin Corporation Tactile and peripheral vision combined modality hover drift cueing
IL251843B (en) * 2017-04-20 2018-10-31 Elbit Systems Ltd Line-of-sight display mounted to the helicopter head
DE102017219790A1 (de) * 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
FR3081838B1 (fr) * 2018-05-30 2020-09-04 Airbus Operations Sas Dispositif et procede d’insensibilisation a des pannes d’un systeme d’affichage.
US11682313B2 (en) 2021-03-17 2023-06-20 Gregory M. Griffith Sensor assembly for use in association with aircraft collision avoidance system and method of using the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3892051A (en) * 1973-10-31 1975-07-01 Gen Electric Simulated collimation of computer generated images
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
GB1527049A (en) * 1976-06-18 1978-10-04 Pilkington Perkin Elmer Ltd Head-up displays
US4439157A (en) * 1982-05-03 1984-03-27 The United States Of America As Represented By The Secretary Of The Navy Helmet mounted display projector
CA1331812C (en) * 1988-02-24 1994-08-30 Bruce E. Hamilton Aircraft helmet pointing angle display symbology
US5072218A (en) * 1988-02-24 1991-12-10 Spero Robert E Contact-analog headup display method and apparatus
US4961626A (en) * 1989-02-21 1990-10-09 United Techologies Corporation Direct incorporation of night vision in a helmet mounted display

Also Published As

Publication number Publication date
ES2034930T1 (es) 1993-04-16
CA2060406A1 (en) 1992-10-23
US5296854A (en) 1994-03-22
CA2060406C (en) 1998-12-01
EP0511154A3 (en) 1993-03-03
DE511154T1 (de) 1993-01-14
EP0511154A2 (en) 1992-10-28
JPH05112298A (ja) 1993-05-07

Similar Documents

Publication Publication Date Title
JP3383323B2 (ja) 航空機用仮想映像表示システム
US7180476B1 (en) Exterior aircraft vision system using a helmet-mounted display
US6909381B2 (en) Aircraft collision avoidance system
US4805015A (en) Airborne stereoscopic imaging system
US8687056B2 (en) Aircraft landing assistance
US3557304A (en) Remote control flying system
US20010048763A1 (en) Integrated vision system
US8508435B2 (en) Situational awareness components of an enhanced vision system
JP2008504597A (ja) 周辺界の画像を表示するための装置及び方法
US4350489A (en) Dome field of view scene extenders
EP1161094B1 (en) Image cut-away/display system
JP3252129B2 (ja) ヘリコプタの操縦支援装置
US5610764A (en) Device for improving the field of vision of aircraft that do not have a sufficient transparent surface area
Peinecke et al. Design considerations for a helmet-mounted synthetic degraded visual environment display
Lemoine et al. Contribution of TopOwl head mounted display system in degraded visual environments
CN113298955B (zh) 一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器
EP0190302B1 (en) Information display
Hebel et al. Imaging sensor fusion and enhanced vision for helicopter landing operations
Boehm et al. Visual aids for future helicopters
JP3206061B2 (ja) ディスプレイ付ヘルメット
Lüken et al. ALLFlight-a sensor based conformal 3D situational awareness display for a wide field of view helmet mounted display
RU2165062C1 (ru) Способ высокоточного целеуказания
Böhm et al. " NH90 TTH: The Mission Adaptable Helicopter-The Mission Flight Aids
Boehm et al. Flight trials with the mission flight aids of NH 90 TTH
Lydick Head-steered sensor flight test results and implications

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees