JPH05112298A - 航空機用仮想映像表示システム - Google Patents

航空機用仮想映像表示システム

Info

Publication number
JPH05112298A
JPH05112298A JP4100042A JP10004292A JPH05112298A JP H05112298 A JPH05112298 A JP H05112298A JP 4100042 A JP4100042 A JP 4100042A JP 10004292 A JP10004292 A JP 10004292A JP H05112298 A JPH05112298 A JP H05112298A
Authority
JP
Japan
Prior art keywords
subsystem
pilot
cockpit
aircraft
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4100042A
Other languages
English (en)
Other versions
JP3383323B2 (ja
Inventor
Bruce E Hamilton
エドワード ハミルトン ブルース
Lorren Stiles Jr
スタイルズ,ジユニア ローレン
Howard P Harper
フイリツプ ハーパー ハワード
Robert Craig Kass
クレイグ カス ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Technologies Corp
Original Assignee
United Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by United Technologies Corp filed Critical United Technologies Corp
Publication of JPH05112298A publication Critical patent/JPH05112298A/ja
Application granted granted Critical
Publication of JP3383323B2 publication Critical patent/JP3383323B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/301Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/307Simulation of view from aircraft by helmet-mounted projector or display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/46Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer the aircraft being a helicopter
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0198System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【目的】 ヘルメット取付表示サブシステムを介して、
重ね合されたコクピット構造外郭線と一緒に外界の仮想
映像に基づいたビデオ表示をパイロットに提供する。 【構成】 主処理、インタフェース及び制御手段10
0、仮想映像化サブシステム20、航空機操縦席おおい
構造の二値化マップ80、映像表示サブシステム40、
及び所定の航空機座標系に関する映像表示サブシステム
の姿勢及び位置を検知するための手段50を有する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は航空機表示システムに係
り、さらに詳細には、外界の仮想映像に基づいた映像表
示を、対応する重ね合わされたコクピット構造外郭線と
一緒に、夜間などの無視界飛行状態中の運行及び/また
は悪天候飛行運行の特にヘリコプタである航空機のヘル
メット取付表示サブシステムに与える仮想映像表示シス
テムに関する。
【0002】
【従来の技術】現在計画中及び/または開発段階にある
(ヘリコプタを含む)将来の航空機は、エアフレーム、
パワープラント、フライト制御装置、航空電子装置、航
行装置、武器などの多数の相互に関連付けられた複雑な
サブシステムから成る複雑なシステムになっている。そ
のようなサブシステムは、非常に多量の状態データを発
生する。その多くは、航空機の安全及び/または効率的
運行及び/または操縦の目的で、パイロットによって頻
繁に監視される必要がある。これら将来世代の航空機で
はパイロットの仕事負荷のかなりの部分が、発生される
状態データを参照して、飛行運転中に航空機サブシステ
ムの状態を監視することに向けられる。
【0003】さらに、将来世代の航空機の飛行要求は、
NOE、悪天候、及び/または夜間飛行など高度なパイ
ロット仕事負荷飛行運転が大きな割合を占める。そのよ
うな高度なパイロット仕事負荷飛行運転は、空間での航
空機方向及び/または位置を外界に関して連続的に把握
することをパイロットに要求すると共に、航空機サブシ
ステムの状態を連続監視することに加え、航空機に関し
て外界の興味ある目的の状況把握をパイロットに要求す
る。
【0004】種々の航空機サブシステムの状態を監視す
るタスクは、外界の空間及び状況の連続的把握を維持す
るタスクと競合する。航空機サブシステムの状態を監視
するため、パイロットは彼の注意をコクピット外側の外
界の観察から基準発生状態データにそらさせなければな
らない。そのような逸脱は、外界の空間及び/または状
況把握の変化度合に損失をもたらし、それは、特に高度
なパイロット仕事負荷飛行運転中、最適な飛行状態より
も劣らせてしまう。
【0005】現在の航空機設計方法論は、航空機に関す
る外界の連続的空間及び状況把握を維持することについ
て機能タスクと、航空機状態情報を監視することについ
ての機能タスク間の相関関係を最適化することに努力を
払っている。そのような設計方法論は、パイロットによ
って実行されようとしている連続的空間及び状況把握機
能と干渉しないような方法で、生きた航空機状態情報を
パイロットに対してアクセス可能とさせるシステムや方
法を求めている。さらに、そのような飛行状態情報は、
種々の機能タスク間のいかなる非結合をも防止するよ
う、パイロットの空間方向及び視角と一致する方法で与
えられる必要がある。そのような非結合は、基準の可変
フレームを維持するため大きなパイロット仕事負荷及び
/またはパイロットのまごつきをもたらす。
【0006】電子光学系は、状態監視機能と空間及び状
況把握機能の両方を同時に実行するのを容易化するた
め、航空機状態情報をパイロットに与えるよう開発され
てきた。これらのシステムは、種々の航空機サブシステ
ムによって発生される航空機状態情報像に対応すると共
に、パイロットの視界中にそのような記号化状態情報像
を重ね合わせる記号化及びデジタル状態情報像を発生す
る。それらの像は、代表的には、記号化像がパイロット
の視覚系に関して光学的無限位置にあるよう現されるよ
うに、コリメートされた光線によって、パイロットの視
界内に導かれる。
【0007】したがって、パイロットは、コクピット外
側の外界を無限位置に見ると同時に、無限位置で記号化
されたデジタル像を見る。2組の像の重ね合わせ、すな
わち、電子的に発生された記号化及びデジタル状態情報
像は、外界に関して航空機の空間方向、航空機の状態の
把握と、航空機に関する外界の状況把握を、パイロット
に同時に維持させる。
【0008】記号化像を発生するためにコリメートされ
た光線を用いる模範的な従来の電子光学系は、ヘッドア
ップ表示(HVD)サブシステム及びヘルメット取付表
示(HMD)サブシステムを含んでいる。HVD及びH
MDサブシステムの代表例が、米国特許第4,446,
480号、4,439,775号、4,439,157
号、4,305,057号、4,269,476号及び
3,923,370号に開示されている。
【0009】
【発明が解決しようとする課題】そのような電子光学系
は、有視界及び無視界飛行状態中航空機に関する外界の
連続空間及び状況把握を維持する機能タスクと、航空機
状態情報を監視する機能タスク間の相互関係を最適化す
ることに、大きく寄与した。しかし、航空機に関する外
界の空間及び状況把握の機能タスクと干渉する問題が特
定された。
【0010】有視界飛行状態中、パイロットは、彼に航
空機に関する外界の連続空間及び状況把握を安全かつ効
率的に維持させる認識機構を使用する。さらに詳細に
は、パイロットは、航空機の操縦席おおい構造が外界の
空間及び状況把握を維持するための効率的基準を与える
限り、有視界飛行状態中にパイロットをまごつかせるこ
とをなくしている。有用な類例は、外界の連続空間及び
状況把握、すなわち道路、他の交通、歩行者などと自動
車の関係を維持するため、自分の自動車のフードや前部
バンパを利用する自動車運転手がある。
【0011】夜間及び/または悪天候飛行運転などの無
視界飛行状態中、パイロットは、一般に、前の章で述べ
た認識機構に頼ることができない。パイロットが、操縦
席おおい構造及び/または外界を目で感知できないよう
な無視界飛行状態は何度もあり、外界の空間及び状況把
握の維持を容易化するため、操縦席おおい構造及び外界
間の基準関係を効果付けられない。さらに、非常に多
く、無視界飛行状態において航空機を操縦しているパイ
ロットは、航空機操縦の目的で、前述の電子光学系によ
ってパイロットの視界中に結合される外界の仮想映像を
利用する。
【0012】そのような仮想映像は、弱光テレビジョン
システム、赤外線映像化システムなどの種々の見地シス
テムによって発生され得る。そのような仮想映像発生シ
ステムの共通の特性は、外界のそのような発生された仮
想映像の基準フレームが全体的に操縦席おおい構造から
得られるということにある。例えば、仮想映像発生シス
テムは、典型的には、航空機の計画飛行行路の仮想映像
を発生するように、航空機のノーズ部または前方腹部に
配置される。特に、航空機が直進及び水平飛行以外飛行
手立てを行っている場合、そのような仮想映像は、飛行
運行中前述の認識機構の使用を支援する、航空機の操縦
席おおい構造に容易に相互に関連付けできない。
【0013】その結果、無視界飛行状態で航空機を操縦
するために仮想映像を利用しているパイロットは、直進
及び水平飛行以外の飛行手立てを行っているとき、簡単
にまごついてしまうことになる。そのようなまごつき
は、特にNOE飛行運転などの高度なパイロット仕事負
荷飛行状態において、航空機の安全操縦に悪影響を与え
る。外界の仮想映像を用いている飛行運転中に航空機に
関する外界の連続空間及び状況把握を維持するため、有
視界飛行状態中にパイロットが利用する認識機構を、無
視界飛行状態中にパイロットに利用させる必要がある。
【0014】本発明の主な目的は、ヘルメット取付表示
サブシステムを介して、重ね合わされたコクピット構造
外郭線と一緒に外界の仮想映像に基づいたビデオ表示を
パイロットに提供することにある。
【0015】
【課題を解決するための手段】本発明の目的は、夜間な
どの無視界飛行状態及び/または悪天候飛行運行中、特
にヘリコプタなどの航空機を操縦するために使用するた
めの本発明に係る仮想映像表示(VID)システムによ
って達成される。本発明のVIDシステムは、主処理、
インタフェース及び制御手段、仮想映像化サブシステ
ム、航空機操縦席おおい構造の二値化マップ、映像表示
サブシステム、及び所定の航空機座標系に関する映像表
示サブシステムの姿勢及び位置を検知するための手段を
有する。
【0016】本発明に係るVIDシステムは、夜間など
の無視界飛行状況把握及び/または悪天候飛行運転中の
ヘリコプタでの使用に特に有用である。ヘリコプタは、
所定の操縦席おおい構造を有するコクピットと、可動仮
想映像化サブシステムを有する。
【0017】仮想映像化サブシステムは、無視界飛行状
況把握すなわちパイロットの視覚系が、例えば夜間及び
/または悪天候飛行運転などのように、ヘリコプタの安
全及び/または効率的運行を保証するのに充分な明瞭さ
をもって外界を把握することができない状態中に外界の
連続的仮想映像を与えるように動作する。夜間飛行運転
中の外界の仮想映像を発生させるためには、前方監視赤
外線(FLIR)映像化サブシステムが、現在の技術に
基づいて、夜間飛行運転中の外界の連続する高精細仮想
映像を発生するための好適な手段である。
【0018】外界の高精細仮想映像を発生することので
きるような弱光テレビジョンシステム、レーダシステ
ム、あるいは他のセンサなどの映像化システムが、本発
明に係るVIDシステムの仮想映像化サブシステムとし
て利用され得る。仮想映像化サブシステムは、そのサブ
システムのFOVがヘリコプタHの透明なノーズ構造N
S内に可動的にジンバルされ、そのサブシステムのFO
Vをヘリコプタのパイロットの視覚系の光軸と一致させ
るように整列させるよう、映像表示サブシステムに従属
させられる。
【0019】VIDシステムの映像表示サブシステム
は、(仮想映像化サブシステムによって捉えられた仮想
映像から導かれる)外界の映像を、パイロットの視覚系
の光軸に関して、すなわちパイロットの視覚内で、中心
に位置付けるよう動作する。映像表示サブシステムは、
ヘルメット及びバイザ型スクリーンを含むヘルメット取
付表示(HMD)サブシステムである。HMDサブシス
テムは、仮想映像化サブシステムによって与えられる仮
想映像から導かれるコリメートされた映像表示を、無視
界飛行状況把握中外界の現実的な高精細画表現を与える
パイロットの視覚系に投射するよう同時に動作する。
【0020】HMDサブシステムのヘルメットに関連し
て、ヘリコプタのコクピット内のHMDサブシステムの
空間位置及び角度方向を決めるよう動作する検知手段が
ある。ヘルメット検知手段によって発生される位置/方
向信号は、そのような信号を処理するために動作する主
処理、インタフェース、及び制御手段に結合され、コク
ピットに関係してHMDサブシステムの位置及び角度方
向(視角)を特定する。
【0021】「設計視点」として示される仮想基準点
は、ヘリコプタのコクピット内に定められる(設計視点
は、操縦席おおい構造を構成するいかなる構成素子すな
わち装置とも一致しないという意味において想像上のも
の)。その設計視点は、操縦席おおい構造の構成上の構
造に基づいてヘリコプタのパイロットに与えられる可視
度(外界の良好な視界)を定める設計パラメータであ
る。
【0022】設計視点は、本発明に係るVIDシステム
の座標系の方向(0,0,0)を確定する。主処理、イ
ンタフェース、及び制御手段によって、HMDサブシス
テムの空間位置及び視角の特定及び描写を容易にするた
め、ヘリコプタの対応するコクピット構造上をおおう極
座標系が、HMDサブシステムの空間位置及び視角を定
め、操縦席おおい構造の二値化マップを発生するために
使用される。
【0023】HMDサブシステムの空間位置及び視角の
特定は、極座標系を用いることによって簡単化される。
一般的レールとして、上述の如く、一度パイロットがコ
クピット座席CSに適切に位置付けされると、典型的な
飛行運転中にパイロットによって自然に行われる(HM
Dサブシステム移動に直接応答する)ヘッド運動の多く
は、垂直軸Z−Z回りのヘッド回転(左右ヘッド回転運
動)、横軸Y−Y回りのヘッド回転(上下ヘッド運
動)、あるいはそれらの組み合わせからなる。前述のヘ
ッド運動は、HMDサブシステムの空間視角、すなわ
ち、極座標系の角度θ、角度α、あるいはそれらの組み
合わせによって記述され得るところの、(極座標系の半
径ベクトルによって決められる)パイロットの視覚系の
光軸の指向角を定める。
【0024】並進運動は、そのような運動が比較的真直
ぐな幾何関係に基づいた計算を含む限り、主処理、イン
タフェース、及び制御手段を処理能力を用いて、収容さ
れかつ特定される。
【0025】HMDサブシステムの初期空間位置及び視
角は、設計視点及びパイロット視覚系の光軸によってき
められる。そのHMDサブシステムの初期空間位置は、
設計視点すなわち極座標系の方向として決められる。H
MDサブシステムの初期視角は、パイロット視覚系の光
軸が設計視点を通過し、かつコクピット操縦席おおい構
造の前部の中間を通過する長手方向軸と同軸であるよう
に定められる。ヘルメット取付検知手段は、前述のHM
Dサブシステムの初期空間位置に初期化される。HMD
サブシステムの次の運動は、ヘルメット取付検知手段に
よって検知され、主処理、インタフェース、及び制御手
段を用いて、極座標によって定められ、説明される。
【0026】操縦席おおい構造は、左右防風ポスト、横
方向ポスト、左右前方側部ポスト、左右後方側部、前方
コクピットレール、左右一次コクピットレール、左右二
次コクピットレール、及び左右三次コクピットレールを
含む。
【0027】操縦席おおい構造から成る前述の構造部材
は、それぞれ組み合わさって、外界の視覚観察に利用で
きる操縦席おおい構造の視認部を形成する。操縦席おお
い構造60の構造ポスト及びレール部材は、有視界飛行
運行中パイロットが外界の視覚観察を行うのを妨げる。
そのような場合、パイロットは、意識的にあるいは無意
識に、パイロット及び外界間に位置されている各ポスト
及び外界間に設置されている各ポスト及びレール部材に
対して、外界の視覚観察を基準化する。上述の操縦席お
おい構造の構造ポスト及びレール部材は、有視界飛行運
行中ヘリコプタHに関して外界の空間及び状況認識をパ
イロットに保持させ続ける認識機構の一体化素子であ
る。
【0028】したがって、本発明に係るVIDシステム
は、操縦席おおい構造のこれらの素子を、パイロット
が、ヘリコプタに関する外界の空間及び状況認識を保つ
ために、無視界飛行運行中、有視界飛行運行中に動作す
るものと同一の認識機構に頼り、それを利用するよう
に、(FLIRサブシステム及びHMDサブシステム4
0を介して)無視界飛行運行中にパイロットに与えられ
る現実的な高精細画表現を形成する仮想映像中に含ませ
る。
【0029】二値化マップは、操縦席おおい構造の構造
ポスト及びレールに対応する相互に関連する一連の構造
外郭線である。
【0030】二値化マップは、上述の極座標系を用いて
形成され、操縦席おおい構造からなるポスト及びレール
のそれぞれに対応している(極座標系によって定められ
かつ特定されるデジタル点に基づいて)二値化構造外郭
線シーケンスを定める。そのマップは、それを主処理、
インタフェース、及び制御手段内のメモリ構造内に容易
に記憶させ得るように、二値化形状で作られる。対応す
る映像上に次の重ね合わせるために、主処理、インタフ
ェース、及び制御手段によって二値化マップの関連する
構造外郭線の再構築中に、主処理、インタフェース、及
び制御手段は、再構築された構造外郭線が連続構造とし
て与えられるように、各構造外郭線を形成する隣り合う
デジタル点間に挿入するように動作する。主処理、イン
タフェース、及び制御手段は、さらに、必要に応じて、
構造外郭線の厚さを変えるように動作する。
【0031】例示されたPPIC手段は、中央処理ユニ
ット、ランダムアクセスメモリ(RAM)、読み出し専
用メモリ(ROM)、入出力ポート、及び制御、アドレ
ス、データバスを含んでいる。PPIC手段は、特に示
されているものとは異なる形態を取り得る汎用電子計算
機処理として一般化された形態で表わされている。
【0032】電子計算機処理構成は、1以上の制御、ア
ドレス、データバスを有する分割処理型のものである。
1本のバスが、入出力タスク及び通信機能を受け持つ。
他の分離されたバスは、像処理、決定機能、及びマップ
線再構築と映像形態への変換に用いられる。単一バスよ
りも多くのバスを採用する技術に対して、各バスは代表
的には、それらと関連するモトローラ80286型プロ
セッサなどのプロセッサを有する。PPIC手段は、幾
何学的構成体間1.25ミクロンの非常に高速の集積回
路(VHSIC)の形態で作られている。そのようなP
PIC手段は、13メガバイト以上の内部メモリ、及び
毎秒1900万命令及び毎秒3億以上の演算を実行する
能力を有する。
【0033】PPIC手段は、上述の如く、それぞれ信
号線を介して、VIDシステムから構成される種々のサ
ブシステム間に電子的インタフェースを与える。
【0034】PPIC手段は、信号線を介して制御信号
を与え、仮想映像化サブシステムの空間方向をHMDサ
ブシステムの視角と同期させ、すなわち、仮想映像化サ
ブシステムのFOVをパイロットの視覚系の光軸に対応
して整列させるよう動作する。これらの制御信号は、信
号線を介してヘルメット取付検知手段によって与えられ
る位置/方向信号に基づいて中央処理ユニットによって
導かれる。
【0035】PPIC手段は、さらに、本発明に係るV
IDシステムによって要求される必要な処理能力を与え
るよう動作する。この処理能力は、仮想映像化サブシス
テムによって発生され、かつ仮想映像に対応する映像を
発生するため、信号線を介して、対応する信号をHMD
サブシステムに与えるために信号線を介して入力される
仮想映像信号を処理する内容を含んでいる。PPIC手
段は、また、信号線を介してヘルメット取付検知手段に
よって与えられる位置/方向信号に基づいて、HMDサ
ブシステムの空間方向及び視角を定めるよう動作する。
【0036】PPIC手段は、さらに、中央処理ユニッ
トによってHMDサブシステムの決定された空間方向及
び視角をヘリコプタの操縦席おおい構造に相関させるよ
う動作する。HMDサブシステムの相関付けられた空間
方向及び視角に基づいて、中央処理ユニットは、二値化
マップを用いて操縦席おおい構造の関連部分の構造外郭
線を再構築し、仮想映像化サブシステムによって発生さ
れる仮想映像と同期される構造外郭線を与える。中央処
理ユニットは、同期された構造外郭線をHMDサブシス
テムによって発生される映像と両立し得るビデオフォー
マットに変換するために使用される。
【0037】PPIC手段は、さらに、信号線を介して
所定の方法で、同期された構造外郭線を対応する映像上
に結合させるよう動作する。さらに詳細には、同期され
た構造外郭線は、その構造外郭線が下側にある映像の対
応する部分を妨げるように、対応する映像上に重ね合わ
される。しかし、構造外郭線の構造(厚み)によって、
映像の妨げが最小化される。
【0038】本発明に係るVIDシステムによって発生
される瞬時結合映像の画素表現である。この画素表現
は、HMDサブシステムによってパイロットによって監
視され、上述の認識機構に基づいて、ヘリコプタに関す
る外界の空間及び状況把握を維持するためにパイロット
によって使用される。
【0039】構造外郭線をヘリコプタの画素表示を相関
付けることによって、ヘリコプタHがパイロットのコー
スと交差する飛行路にあることが、パイロットに知らせ
られる。
【0040】
【作用】本発明に係るVIDシステムは、外界の連続仮
想映像を与えるよう動作し、これらの外界の仮想映像に
基づいて連続の映像表示を発生すると共に、夜間などの
無視界飛行状態及び/または悪天候飛行運行中に、その
航空機を操縦するために、そのような映像を映像表示サ
ブシステムを介してパイロットに伝えるものである。そ
のVIDシステムは、さらに、パイロットがヘリコプタ
操縦席おおい構造に関して方向付けられた認識映像表示
を与えられるように、操縦席おおい構造の二値化マップ
の同期部分をその映像に重ね合わせるように動作し、そ
れによってパイロットに、対応する航空機操縦席おおい
構造に関して外界を表わす映像表示を参照させる。
【0041】
【実施例】以下図面を参照しながら説明する。図中、同
類の符号は、対応するまたは類似の要素を示す。図1
は、夜間などの無視界飛行状態及び/または悪天候飛行
運行中、特にヘリコプタなどの航空機を操縦するために
使用するための本発明に係る仮想映像表示(VID)シ
ステム10の概略図である。本発明に係るVIDシステ
ムは、主処理、インタフェース及び制御手段100、仮
想映像化サブシステム20、航空機操縦席おおい構造6
0の二値化マップ80、映像表示サブシステム40、及
び所定の航空機座標系に関する映像表示サブシステム4
0の姿勢及び位置を検知するための手段50を有する。
【0042】本発明に係るVIDシステムは、外界の連
続仮想映像を与えるよう動作し、これらの外界の仮想映
像に基づいて連続の映像表示を発生すると共に、夜間な
どの無視界飛行状態及び/または悪天候飛行運行中に、
その航空機を操縦するために、そのような映像を映像表
示サブシステム40を介してパイロットに伝えるもので
ある。そのVIDシステムは、さらに、パイロットがヘ
リコプタ操縦席おおい構造60に関して方向付けられた
認識映像表示を与えられるように、操縦席おおい構造6
0の二値化マップ80の同期部分をその映像に重ね合わ
せるように動作し、それによってパイロットに、対応す
る航空機操縦席おおい構造60に関して外界を表わす映
像表示を参照させる。
【0043】上述の如く、パイロットは、意識的にまた
は潜在的に、有視界運行中航空機操縦席おおい構造の対
応する部分に関して彼の視覚系によって感受された外界
の視覚像を参照する。この認識機構は、パイロットに、
航空機に関して外界の空間及び状況の把握を保たせ続け
させる。したがって、VIDシステムは、有視界飛行状
態中に動作する認識機構が、航空機に関して外界の空間
及び状況の把握を保持するために、無視界飛行状況把握
中にパイロットによって利用され得るように、有視界飛
行状況把握中の外界のパイロット視界に機能的に及び構
造的に均等であるところの無視界飛行状況把握中の外界
のコクピット基準視界をパイロットに与えるように動作
する。このVIDシステムは、無視界飛行状況把握中、
特に、対応する航空機操縦席おおい構造60が視覚系を
使用しているパイロットによって感知され得ない飛行状
況把握中、パイロットが、方向感覚を喪失しないように
する。
【0044】本発明に係るVIDシステムは、夜間など
の無視界飛行状況把握及び/または悪天候飛行運転中の
ヘリコプタでの使用に特に有用である。1つのそのよう
なヘリコプタHの代表例が図2に示されている。それ
は、RAH−66コマンチ軽ヘリコプタを示している。
そのRAH−66ヘリコプタHは、以下に詳述する如
く、所定の操縦席おおい構造60を有するコクピットC
Pと、仮想映像化サブシステム20を収容する透明なノ
ーズ部を有する。本発明に係るVIDシステムは、RA
H−66ヘリコプタの構成及び構造を用いて以下に説明
されるが、無視界飛行運転の他の型のヘリコプタ及び/
または航空機においても使用され得るものである。
【0045】仮想映像化サブシステム20は、無視界飛
行状況把握すなわちパイロットの視覚系が、例えば夜間
及び/または悪天候飛行運転などのように、ヘリコプタ
Hの安全及び/または効率的運行を保証するのに充分な
明瞭さをもって外界を把握することができない状態中に
外界の連続的仮想映像を与えるように動作する。ここで
使用される仮想映像の用語は、例えば、木や建物が木や
建物として認識され得るなど、人間の視覚系統によって
認められる場合と同じ外界に、構成的細さにおいて対応
する外界の現実的な高精細画表現を定めている。
【0046】本発明に係るVIDシステムで使用される
型の仮想映像化サブシステム20の動作特性及び能力
は、いわゆる当業者に良く知られている。例えば、夜間
飛行運転中の外界の仮想映像を発生させるためには、前
方監視赤外線(FLIR)映像化サブシステム20が、
現在の技術に基づいて、夜間飛行運転中の外界の連続す
る高精細仮想映像を発生するための好適な手段である。
FLIR映像化サブシステム20は、FLIRセンサの
視界(FOV)内の外界の種々の要素によって放出され
る熱放射の差を検知し、次に処理(以下の主処理、イン
タフェース、及び制御手段100を参照)される検知さ
れた熱放射差を表わす信号を発生し、そのFLIR映像
化サブシステム20のFOV内の外界の連続する高精細
仮想映像を与える。そのFLIR映像化サブシステム2
0は、飛行条件、飛行任務要求などの要因によって、黒
白コントラストなどとして温冷の熱的差分像を発生す
る。
【0047】外界の高精細仮想映像を発生することので
きるような弱光テレビジョンシステム、レーダシステ
ム、あるいは他のセンサなどの映像化システムが、本発
明に係るVIDシステム10の仮想映像化サブシステム
20として利用され得る。以下に詳細に説明される如
く、仮想映像化サブシステム20は、そのサブシステム
20のFOVがヘリコプタHの透明なノーズ構造NS内
に可動的にジンバルされ、そのサブシステム20のFO
VをヘリコプタHのパイロットの視覚系の光軸と一致さ
せるように整列させるよう、映像表示サブシステム40
に従属させられる。
【0048】VIDシステムの映像表示サブシステム4
0は、(仮想映像化サブシステム20によって捉えられ
た仮想映像から導かれる)外界の映像を、パイロットの
視覚系の光軸に関して、すなわちパイロットの視覚内
で、中心に位置付けるよう動作する。次に図3を参照す
る。好適な映像表示サブシステム40は、ヘルメット4
2及びバイザ型スクリーン44を含むヘルメット取付表
示(HMD)サブシステムである。スクリーン44は、
部分反射するスクリーン材料を用いることによって光列
の反射部分として作製される。その結果、スクリーン4
4は、コリメートされたートされた映像をパイロットの
視覚系に収束させて投射するよう動作する。付随的に、
スクリーン44は、外界からの可視光放射に対して部分
的に透明であるように作られる。したがって、スクリー
ン44は、有視界飛行状況把握中パイロットの視覚系に
よって外界(及び操縦席おおい構造60)の認識を容易
にさせると共に、仮想映像化サブシステム20によって
与えられる仮想映像から導かれるコリメートされた映像
表示を、無視界飛行状況把握中外界の現実的な高精細画
表現を与えるパイロットの視覚系に投射するよう同時に
動作する。パイロットによって認識される映像は、映像
のコリメーションによって無限空間に位置されるよう表
わされる。
【0049】バイザ型スクリーン44は、ヘルメット4
2に対して取り外し可能に取り付けられる。したがっ
て、スクリーン44は、必要なら、有視界飛行運転に対
しては取り外し可能である。スクリーン44は、(パイ
ロットの目間の中間点から彼の頭から外方向へ突出る直
線として定義されるパイロットの視覚系の光軸に関し
て、それぞれ、垂直方向及び横方向に)パイロットに対
して外界の30°×60°のパノラマ視界を与えるよう
に、所定の曲線構造に作られる。
【0050】HMDサブシステム40は、両眼で見るよ
うになっており、トーマスエレクトロニクス、ヒューズ
エアクラフト、あるいはAT&Tベル研究所によって製
造されている二重小型陰極線管(CRT)46を有す
る。それは、主処理、インタフェース、及び制御手段1
00からの像信号を受信すると共に、それから高精細映
像を発生するように動作する。1インチ径CRT46
は、1200映像線、すなわち1200×1200画素
マトリクスを与える。各CRT46と関連して、それら
CRT46と高精細映像用スクリーン44との間に光学
インタフェースを与えるコリメートしている光列48が
ある。光列48は、映像をパイロットの視覚系によって
認識するためのスクリーン44上に投影するため、CR
T46によって発生された映像を拡大し、かつコリメー
トするよう働く。HMDサブシステム40は、パイロッ
トがスクリーン44を介して外界の単一のパノラマ的高
精細映像画表現を感知するように、重ね合っている映像
を発生するよう動作する。VIDシステムで使用するH
MDサブシステム40は、当業者に一般的に知られたも
のである。HMDサブシステムの代表例は、米国再発行
特許第Re28,847号に説明されている。
【0051】HMDサブシステム40のヘルメット42
に関連して、ヘリコプタHのコクピットCP内のHMD
サブシステム40の空間位置及び角度方向を決めるよう
動作する検知手段50がある。図3に例示される如く、
ヘルメット取付検知手段50は、ヘルメット42と一緒
に取り付けられたセンサ52と、ヘルメット42に隣接
してコクピットCK内に取り付けられた電磁放射器54
を備えている。センサ52は、電磁放射器54によって
放射される一定の界強度をもつ電磁放射に応答して、妨
害された電磁放射の電磁界強度及び位相に基づいて、コ
クピットCK内のHMDサブシステムの位置及び角度方
向に対応する位置/方向信号を発生する。これらの位置
/方向信号は、そのような信号を処理するために動作す
る主処理、インタフェース、及び制御手段100に結合
され、コクピットCKに関係してHMDサブシステム4
0の位置及び角度方向(視角)を特定する。本発明に係
るVIDシステムで使用されるヘルメット取付検知手段
50は、一般に当業者に知られている。そのような検知
手段は、典型的には、米国特許第4,017,858号
及び同第3,983,474号に開示されている如く、
3軸においてヘルメット42の角度方向を表わす信号を
与える3軸ポルヘムス(Polhemus)系によって表わされ
る。
【0052】「設計視点」として示される仮想基準点9
0は、図2に表わされている如くヘリコプタHのコクピ
ットCK内に定められる(設計視点90は、操縦席おお
い構造60を構成するいかなる構成素子すなわち装置を
も一致しないという意味において想像上のもの)。その
設計視点90は、操縦席おおい構造60の構成上の構造
に基づいてヘリコプタHのパイロットに与えられる可視
度(外界の良好な視界)を定める設計パラメータであ
る。例としては、単一/直列接続コクピット構造を有す
る軍用ヘリコプタに対しては、MIL−STD−850
Bに、操縦席おおい構造の可視度要求が示唆されてい
る。
【0053】飛行運転に対して、パイロットは、自分自
身をコクピット座席CS(図2参照)に位置付け、彼の
視覚系の光軸の方向が、図3に示された設計視点90と
一致するように、そのコクピット座席CSを調節する。
この整列操作を容易に行うため、RAH−66ヘリコプ
タHは、(コクピットの中間面と一致する)コクピット
ダッシュボードに取り付けられ、かつ作動される時、コ
リメートされた光が設計視点90を通過して放射される
ように位置付けられたボアを含んでいる。パイロットが
コクピットCP内で適切に位置付けられる時のみ、すな
わち、パイロットの視覚系の光軸の方向が設計視点90
と一致する時のみ、このコリメートされた光がパイロッ
トの視覚系に感知され得る。
【0054】設計視点90は、本発明に係るVIDシス
テムの座標系の方向(0,0,0)を確定する。主処
理、インタフェース、及び制御手段100によって、H
MDサブシステム40の空間位置及び視角の特定及び描
写を容易にするため、図4、図5の平面図に例示される
如く、ヘリコプタHの対応するコクピット構造上をおお
う極座標系(γ,θ,β,α)が、HMDサブシステム
40の空間位置及び視角を定め、以下に詳細に説明され
る如く、操縦席おおい構造60の二値化マップ80を発
生するために使用される。また、ヘリコプタで使用され
る3軸座標系の説明のため、すなわち、長手方向軸X−
X,横軸Y−Y,及び垂直軸Z−Zが図4、図5に示さ
れている。以下に詳述される如く、極座標系は、次の変
換式によって操縦席おおい構造60の任意の点(x,
y,z)を決めるために使用される。
【0055】
【数1】
【0056】
【数2】
【0057】
【数3】
【0058】
【数4】
【0059】HMDサブシステム40の空間位置及び視
角の特定は、極座標系を用いることによって簡単化され
る。一般的レールとして、上述の如く、一度パイロット
がコクピット座席CSに適切に位置付けされると、典型
的な飛行運転中にパイロットによって自然に行われる
(HMDサブシステム40移動に直接応答する)ヘッド
運動の多くは、垂直軸Z−Z回りのヘッド回転(左右ヘ
ッド回転運動)、横軸Y−Y回りのヘッド回転(上下ヘ
ッド運動)、あるいはそれらの組み合わせからなる。前
述のヘッド運動は、HMDサブシステム40の空間視
角、すなわち、極座標系の角度θ、角度α、あるいはそ
れらの組み合わせによって記述され得るところの、(極
座標系の半径ベクトルによって決められる)パイロット
の視覚系の光軸の指向角を定める。
【0060】通常の飛行運転中に、長手方向軸、横軸、
及びまたは垂直軸に沿ったパイロットの頭の相対的並進
運動はほとんどないことが経験的に知られている。した
がって、実際的には、HMDサブシステム40は、極座
標系の方向と一致する一定の空間位置を有するものとし
て定められる。たとえ、HMDサブシステム40が並進
運動を受けるとしても、そのような運動は、そのような
運動が比較的真直ぐな幾何関係に基づいた計算を含む限
り、主処理、インタフェース、及び制御手段100を処
理能力を用いて、収容されかつ特定される。
【0061】HMDサブシステム40の初期空間位置及
び視角は、設計視点90及びパイロット視覚系の光軸に
よってきめられる。そのHMDサブシステム40の初期
空間位置は、設計視点90すなわち極座標系の方向とし
て決められる。HMDサブシステム40の初期視角は、
パイロット視覚系の光軸が設計視点90を通過し、かつ
コクピットCP操縦席おおい構造の前部の中間を通過す
る長手方向軸X−Xと同軸であるように定められる。ヘ
ルメット取付検知手段50は、前述のHMDサブシステ
ム40の初期空間位置に初期化される。HMDサブシス
テム40の次の運動は、ヘルメット取付検知手段50に
よって検知され、主処理、インタフェース、及び制御手
段100を用いて、方向角θ,α(必要ならば、半径ベ
クトルγ及び方向角β)によって定められ、説明され
る。
【0062】図6は、図2に表わされたヘリコプタHの
操縦席おおい構造60の直線プロットである。その直線
プロットは、設計視点90及び上述の極座標系に基づい
て導かれた。座標は、方向角θを表わし、縦座標は方向
角αを表わしている。操縦席おおい構造60は、左右防
風ポスト61L,61R,横方向ポスト62,左右前方
側部ポスト63L,63R,左右後方側部65L,65
R,前方コクピットレール66,左右一次コクピットレ
ール67L,67R,左右二次コクピットレール68
L,68R,及び左右三次コクピットレール69L,6
9Rを含む。
【0063】操縦席おおい構造60から成る前述の構造
部材は、それぞれ組み合わさって、外界の視覚観察に利
用できる操縦席おおい構造60の視認部を形成する。図
6に示される如く、これらは、前方操縦席おおい構造7
0、左右一次側部操縦席おおい構造72L,72R,左
右二次側部操縦席おおい構造74L,74R,及び左右
三次側部操縦席おおい構造76L,76Rとして形成さ
れる。上述の種々の操縦席おおい構造は、外界からの可
視光放射がそれらの通してパイロットの四角形に伝えら
れるような光学的に透明場材料から作られる。操縦席お
おい構造部材は、これらの部材がパイロットの視覚系に
対して効果的に透明である限り、本発明に係るVIDシ
ステムに関係しない。また、それは、有視界飛行運行中
パイロットによる外界の視覚観察の基準点として機能し
ない。したがって、それは、ヘリコプタHに関して外界
の空間的な及び状況認識を保持するためのパイロットの
認識機構の部分ではない。
【0064】反対に、操縦席おおい構造60の構造ポス
ト及びレール部材は、有視界飛行運行中パイロットが外
界の視覚観察を行うのを妨げる。そのような場合、パイ
ロットは、意識的にあるいは無意識に、パイロット及び
外界間に位置されている各ポスト及び外界間に設置され
ている各ポスト及びレール部材に対して、外界の視覚観
察を基準化する。上述の操縦席おおい構造60の構造ポ
スト及びレール部材は、有視界飛行運行中ヘリコプタH
に関して外界の空間及び状況認識をパイロットに保持さ
せ続ける認識機構の一体化素子である。
【0065】したがって、本発明に係るVIDシステム
は、操縦席おおい構造60のこれらの素子を、パイロッ
トが、ヘリコプタHに関する外界の空間及び状況認識を
保つために、無視界飛行運行中、有視界飛行運行中に動
作するものと同一の認識機構に頼り、それを利用するよ
うに、(FLIRサブシステム20及びHMDサブシス
テム40を介して)無視界飛行運行中にパイロットに与
えられる現実的な高精細画表現を形成する仮想映像中
に、含ませる。
【0066】図7は、図6に示された操縦席おおい構造
60に対応する一定割合の線形二値化マップ80であ
る。二値化マップ80は、上述の如く、操縦席おおい構
造60の構造ポスト及びレールに対応する相互に関連す
る一連の構造外郭線である。構造外郭線81L,81R
は、それぞれ左右防風ポスト61L,61Rに対応し、
構造外郭線82は、横方向ポスト62に対応し、構造外
郭線83L,83Rは、それぞれ左右前方側部ポスト6
3L,63Rに対応し、構造外郭線84L,84Rは、
それぞれ左右後方側部ポスト64L,64Rに対応し、
構造外郭線85L,85Rは、それぞれ左右二次側部ポ
スト65L,65Rに対応し、構造外郭線86は、前方
コクピットレール66に対応し、構造外郭線87L,8
7Rは、それぞれ左右一次コクピットレール67L,6
7Rに対応し、構造外郭線88L,88Rは、それぞれ
左右二次コクピットレール68L,68Rに対応し、そ
して構造外郭線89L,89Rは左右三次コクピットレ
ール69L,69Rに対応している。
【0067】二値化マップ80は、上述の極座標系を用
いて形成され、操縦席おおい構造60からなるポスト及
びレールのそれぞれに対応している(極座標系によって
定められかつ特定されるデジタル点に基づいて)二値化
構造外郭線シーケンスを定める。そのマップ80は、そ
れを主処理、インタフェース、及び制御手段100内の
メモリ構造内に容易に記憶させ得るように、二値化形状
で作られる。対応する映像上に次の重ね合わせるため
に、主処理、インタフェース、及び制御手段100によ
って二値化マップ80の関連する構造外郭線の再構築中
に、主処理、インタフェース、及び制御手段100は、
再構築された構造外郭線が連続構造として与えられるよ
うに、各構造外郭線を形成する隣り合うデジタル点間に
挿入するように動作する。主処理、インタフェース、及
び制御手段100は、さらに、必要に応じて、構造外郭
線の厚さを変えるように動作する。
【0068】VIDシステムの主処理、インタフェー
ス、及び制御手段100(PPIC手段)は、図8にさ
らに詳細に示されている。例示されたPPIC手段10
0は、中央処理ユニット102、ランダムアクセスメモ
リ(RAM)103、読み出し専用メモリ(ROM)1
04、入出力ポート106,108,110,112、
及び制御、アドレス、データバス114を含んでいる。
PPIC手段100は、特に示されているものとは異な
る形態を取り得る汎用電子計算機処理として一般化され
た形態で表わされている。
【0069】電子計算機処理構成は、1以上の制御、ア
ドレス、データバスを有する分割処理型のものである。
1本のバスが、入出力タスク及び通信機能を受け持つ。
他の分離されたバスは、像処理、決定機能、及びマップ
線再構築と映像形態への変換に用いられる。単一バスよ
りも多くのバスを採用する技術に対して、各バスは代表
的には、それらと関連するモトローラ80286型プロ
セッサなどのプロセッサを有する。PPIC手段100
は、幾何学的構成体間1.25ミクロンの非常に高速の
集積回路(VHSIC)の形態で作られている。そのよ
うなPPIC手段100は、13メガバイト以上の内部
メモリ、及び毎秒1900万命令及び毎秒3億以上の演
算を実行する能力を有する。
【0070】PPIC手段100は、上述の如く、それ
ぞれ信号線116,118,120,122,124を
介して、VIDシステムから構成される種々のサブシス
テム間に電子的インタフェースを与える。HMDサブシ
ステム40とヘルメット取付検知手段50間の相互作用
結合は、符号130によって特定されている。
【0071】PPIC手段100は、信号線116を介
して制御信号を与え、仮想映像化サブシステム20の空
間方向をHMDサブシステム40の視角と同期させ、す
なわち、仮想映像化サブシステム20のFOVをパイロ
ットの視覚系の光軸に対応して整列させるよう動作す
る。これらの制御信号は、信号線122を介してヘルメ
ット取付ット検知手段50によって与えられる位置/方
向信号に基づいて中央処理ユニット102によって導か
れる。
【0072】PPIC手段100は、さらに、VIDシ
ステムによって要求される必要な処理能力を与えるよう
動作する。この処理能力は、仮想映像化サブシステム2
0によって発生され、かつ仮想映像に対応する映像を発
生するため、信号線120を介して、対応する信号をH
MDサブシステム40に与えるために信号線188を介
して入力される仮想映像信号を処理する内容を含んでい
る。PPIC手段100は、また、信号線122を介し
てヘルメット取付ット検知手段50によって与えられる
位置/方向信号に基づいて、HMDサブシステム40の
空間方向及び視角を定めるよう動作する。
【0073】PPIC手段100は、さらに、中央処理
ユニット102によってHMDサブシステム40の決定
された空間方向及び視角をヘリコプタHの操縦席おおい
構造60に相関させるよう動作する。HMDサブシステ
ム20の相関付けられた空間方向及び視角に基づいて、
中央処理ユニット102は、二値化マップ80を用いて
操縦席おおい構造60の関連部分の構造外郭線を再構築
し、仮想映像化サブシステム20によって発生される仮
想映像と同期される構造外郭線を与える。中央処理ユニ
ット102は、同期された構造外郭線をHMDサブシス
テムによって発生される映像と両立し得るビデオフォー
マットに変換するために使用される。
【0074】PPIC手段100は、さらに、信号線1
20を介して所定の方法で、同期された構造外郭線を対
応する映像上に結合させるよう動作する。さらに詳細に
は、同期された構造外郭線は、その構造外郭線が下側に
ある映像の対応する部分を妨げるように、対応する映像
上に重ね合わされる。しかし、構造外郭線の構造(厚
み)によって、映像の妨げが最小化される。
【0075】図9は、本発明に係るVIDシステムによ
って発生される瞬時結合映像の画素表現である。この画
素表現は、HMDサブシステム40によってパイロット
によって監視され、上述の認識機構に基づいて、ヘリコ
プタHに関する外界の空間及び状況把握を維持するため
にパイロットによって使用される。図9の画素表現は、
仮想映像化サブシステム20によって与えられる仮想映
像から導かれたHMDサブシステム40によって発生さ
れる映像に重ね合わされる、ヘリコプタHの左右防風ポ
スト61L,61Rに対応する構造外郭線81L,81
Rを表わしている。ビデオ映像は、仮想映像化サブシス
テム20のFOV内にある飛行中のヘリコプタH、木々
T、及び建物13などの外界の要素を表示する。図9に
表わされた他の記号は、本発明に関係のない航空機状態
情報を表わしている。参照文字AHLによって特定され
る記号は、外界の水平線に対応している人口の水平線で
ある。
【0076】図9に関して、構造外郭線81L,81R
は、表示された画素表現がヘリコプタHの前方操縦席お
おい構造70を介して見られようとしていることを、パ
イロットに知らせる。構造外郭線81L,81Rを人口
水平線AHLを相関付けることにより、ヘリコプタHが
左に浅く傾けられて飛行されようとしていることがパイ
ロットに知らされる。この情報は、上述の認識機構を用
いて、ヘリコプタHと外界間の関係の空間把握をパイロ
ットに与える。
【0077】構造外郭線81L,81RをヘリコプタH
の画素表示を相関付けることによって、ヘリコプタHが
パイロットのコースと交差する飛行路にあることが、パ
イロットに知らせられる。ヘリコプタH近くの木々T及
び建物Bは、前方飛行に対してハザードをパイロットに
与える。この情報は、認識機構を用いて、ヘリコプタH
と外界間の状況把握をパイロットに与える。
【0078】
【発明の効果】本発明によれば、夜間でも安全に飛行す
るための表示システムが与えられる。
【図面の簡単な説明】
【図1】本発明に係る構造外郭線を含んでいる仮想映像
表示システムの概略図である。
【図2】本発明に係る仮想映像表示システムが使用され
るヘリコプタの平面図である。
【図3】本発明に係る仮想映像表示システムにおいて使
用するヘルメット取付表示サブシステムの平面図であ
る。
【図4】本発明に係る仮想映像表示システムに対する基
準系としての極座標系を表わしている。
【図5】本発明に係る仮想映像表示システムに対する基
準系としての極座標系を表わしている。
【図6】図2のヘリコプタの操縦席おおい構造の直線プ
ロットである。
【図7】図6の操縦席おおい構造に対応する光学的不透
明体構造外郭線を表わしている二値化マップを示す直線
プロットである。
【図8】図1の仮想映像表示システムの主処理装置、イ
ンタフェース、及び制御手段の概略図である。
【図9】外界の仮想映像の映像表示上に重ね合わされた
光学的不透明体構造外郭線の平面図である。
【符号の説明】
10…VIDシステム 20…仮想映像化サブシステム 50…姿勢及び位置検知手段 60…操縦席おおい構造 80…二値化マップ 100…制御手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ローレン スタイルズ,ジユニア アメリカ合衆国,コネチカツト,ロツクス ベリー,オールド ロツクスベリー ロー ド 12 (72)発明者 ハワード フイリツプ ハーパー アメリカ合衆国,コネチカツト,ハンテイ ントン,ナヴアジヨ ループ 325 (72)発明者 ロバート クレイグ カス アメリカ合衆国,コネチカツト,ウエスト レデイング,ブルーベリー ヒル ロー ド 12

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 所定構造の操縦席おおい構造を有する航
    空機用仮想映像表示システムであって、該表示システム
    は、 外界の仮想映像を発生するための仮想映像化手段と、 航空機パイロットによって見られる上記の外界の仮想映
    像に基づいて、映像を発生するための映像表示手段と、 上記映像表示手段と相互作用するように位置され、上記
    映像表示手段の空間位置及び視角に対応する信号を発生
    するための検知手段と、 操縦席おおい構造の所定構造に対応する構造外郭線を蓄
    積するためのマップ手段と、 上記検知手段によって発生された上記信号に基づいて、
    上記映像表示手段の空間位置及び視角を決定するための
    電子計算機処理手段とを備え、 上記電子計算機処理手段が、上記映像表示手段の上記決
    定された空間位置及び視角に基づいて、かつそれらと視
    角において同期して、上記マップ手段から構造外郭線を
    再構築するよう動作し、 上記電子計算機処理手段が、さらに上記同期された構造
    外郭線を上記映像上に重ね合わせ、外界の高精細画表示
    をパイロットに与えるよう動作し、その重ね合わされか
    つ同期された構造外郭線がパイロットに基準骨組みを与
    えることを特徴とする表示システム。
JP10004292A 1991-04-22 1992-04-21 航空機用仮想映像表示システム Expired - Fee Related JP3383323B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US689,405 1976-05-24
US68940591A 1991-04-22 1991-04-22

Publications (2)

Publication Number Publication Date
JPH05112298A true JPH05112298A (ja) 1993-05-07
JP3383323B2 JP3383323B2 (ja) 2003-03-04

Family

ID=24768308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10004292A Expired - Fee Related JP3383323B2 (ja) 1991-04-22 1992-04-21 航空機用仮想映像表示システム

Country Status (6)

Country Link
US (1) US5296854A (ja)
EP (1) EP0511154A3 (ja)
JP (1) JP3383323B2 (ja)
CA (1) CA2060406C (ja)
DE (1) DE511154T1 (ja)
ES (1) ES2034930T1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000225998A (ja) * 1999-02-02 2000-08-15 Shimadzu Corp 救難目標位置指示装置
US6272404B1 (en) 1998-03-24 2001-08-07 Advanced Technology Institute Of Commuter-Helicopter, Ltd. Flight path indicated apparatus
JP2003279375A (ja) * 2002-03-25 2003-10-02 Kawasaki Heavy Ind Ltd 擬似視界形成装置
JP2004265412A (ja) * 2003-03-01 2004-09-24 Boeing Co:The 視覚画像化を提供するためのシステムおよび方法
JP2013014318A (ja) * 2011-06-30 2013-01-24 General Electric Co <Ge> 航空機内の合成ビジョンシステムを動作させる方法
JP2013237434A (ja) * 2012-05-11 2013-11-28 Agustawestland Spa 航空機および、航空機の操縦士に飛行パラメータに関係する視覚的情報を表示するための方法

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
US5517193A (en) * 1993-04-30 1996-05-14 International Business Machines Corporation Meteorological workstation
DE4314811A1 (de) * 1993-05-05 1994-12-08 Vdo Luftfahrtgeraete Werk Gmbh Verfahren zur Darstellung von Flugführungsinformationen
US7301536B2 (en) 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
US6037936A (en) 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
US6064398A (en) * 1993-09-10 2000-05-16 Geovector Corporation Electro-optic vision systems
DE4339606A1 (de) * 1993-11-20 1995-05-24 Bodenseewerk Geraetetech Piloten-Trainingsgerät
US5491510A (en) * 1993-12-03 1996-02-13 Texas Instruments Incorporated System and method for simultaneously viewing a scene and an obscured object
US5566073A (en) * 1994-07-11 1996-10-15 Margolin; Jed Pilot aid using a synthetic environment
GB2337680B (en) * 1994-12-09 2000-02-23 Sega Enterprises Kk Head mounted display, and head mounted video display system
TW275590B (en) * 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
US6535210B1 (en) 1995-06-07 2003-03-18 Geovector Corp. Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
FR2738628B1 (fr) * 1995-09-08 1997-10-24 Sextant Avionique Dispositif optique de determination de l'orientation d'un solide
US6181302B1 (en) 1996-04-24 2001-01-30 C. Macgill Lynde Marine navigation binoculars with virtual display superimposing real world image
DE19631414A1 (de) 1996-08-05 1998-02-19 Daimler Benz Ag Vorrichtung zur Aufnahme des Netzhautreflexbildes und Überlagerung von Zusatzbildern im Auge
JP3338618B2 (ja) * 1996-10-07 2002-10-28 ミノルタ株式会社 実空間画像と仮想空間画像の表示方法及び表示装置
GB9623911D0 (en) * 1996-11-18 1997-01-08 Armstrong Healthcare Ltd Improvements in or relating to an orientation detector arrangement
US5838262A (en) * 1996-12-19 1998-11-17 Sikorsky Aircraft Corporation Aircraft virtual image display system and method for providing a real-time perspective threat coverage display
DE19653595C1 (de) * 1996-12-20 1998-07-02 Siemens Ag Informationsanzeigesystem für mindestens eine Person
JP3052286B2 (ja) * 1997-08-28 2000-06-12 防衛庁技術研究本部長 飛行システムおよび航空機用擬似視界形成装置
DE19836002B4 (de) * 1998-08-08 2010-02-11 Eurocopter Deutschland Gmbh Stereoskopische Flugführungshilfe
US6173239B1 (en) 1998-09-30 2001-01-09 Geo Vector Corporation Apparatus and methods for presentation of information relating to objects being addressed
US6297749B1 (en) 1998-11-06 2001-10-02 Eric S. Smith Emergency operating system for piloting an aircraft in a smoke filled cockpit
AU6488400A (en) * 1999-04-01 2000-11-10 Ricardo A. Price Electronic flight instrument displays
DE19930710C2 (de) * 1999-07-02 2003-06-12 Eads Deutschland Gmbh Bilddarstellungssystem und -verfahren für Fahrzeuge
AU6748200A (en) * 1999-07-19 2001-02-05 David L. Still A computer based human-centered display system
US6429789B1 (en) 1999-08-09 2002-08-06 Ford Global Technologies, Inc. Vehicle information acquisition and display assembly
US6396475B1 (en) 1999-08-27 2002-05-28 Geo Vector Corp. Apparatus and methods of the remote address of objects
DE19942586A1 (de) * 1999-09-08 2001-03-15 Volkswagen Ag Verfahren und Anordnung zur Vorbereitung eines Crash-Versuches mit einem Kraftfahrzeug
US6909381B2 (en) * 2000-02-12 2005-06-21 Leonard Richard Kahn Aircraft collision avoidance system
US6522292B1 (en) 2000-02-23 2003-02-18 Geovector Corp. Information systems having position measuring capacity
US6285926B1 (en) 2000-04-28 2001-09-04 Rockwell Collins Selected hover altitude deviation display and method
DE10022820B4 (de) * 2000-05-10 2007-06-28 Eads Deutschland Gmbh Flugführungsanzeige
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置
DE10047237A1 (de) 2000-09-23 2002-04-11 Physoptics Opto Electronic Gmb System zur Aufnahme des Netzhautreflexbildes
IL138831A (en) * 2000-10-03 2007-07-24 Rafael Advanced Defense Sys An information system is operated by Mabat
AU2002223353A1 (en) * 2000-11-30 2002-06-11 Karen Sa Landing and navigating system with virtual representation of the immediate surroundings
US7031875B2 (en) 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
EP1377870A2 (en) * 2001-03-30 2004-01-07 Koninklijke Philips Electronics N.V. Method, system and device for augmented reality
US6573841B2 (en) 2001-04-02 2003-06-03 Chelton Flight Systems Inc. Glide range depiction for electronic flight instrument displays
GB2381725B (en) * 2001-11-05 2004-01-14 H2Eye Graphical user interface for a remote operated vehicle
US8015507B2 (en) 2001-11-05 2011-09-06 H2Eye (International) Limited Graphical user interface for a remote operated vehicle
US6714141B2 (en) 2002-04-09 2004-03-30 Colm C. Kennedy Electronic cockpit vision system
US20060066459A1 (en) * 2002-10-09 2006-03-30 Douglas Burch Multi-view head-up synthetic vision display system
US7619626B2 (en) 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
EP1616228A4 (en) * 2003-03-31 2013-05-29 Sikorsky Aircraft Corp TECHNICAL DESIGNS ENHANCING THE AVOIDANCE OF OBSTACLES AND THE PARTIAL BLACKOUT OPERATIONS OF HELICOPTERS
US7091881B2 (en) * 2003-03-31 2006-08-15 Sikorsky Aircraft Corporation Integrated hover display with augmented approach to hover symbology cueing for degraded visual environmental conditions
US20040219961A1 (en) * 2003-04-08 2004-11-04 Ellenby Thomas William Computer games having variable execution dependence with respect to spatial properties of a mobile unit.
US7312725B2 (en) * 2003-07-08 2007-12-25 Supersonic Aerospace International, Llc Display system for operating a device with reduced out-the-window visibility
DE102004051625B4 (de) * 2004-10-23 2006-08-17 Eads Deutschland Gmbh Verfahren zur Pilotenunterstützung bei Landungen von Helicoptern im Sichtflug unter Brown-Out oder White-Out Bedingungen
US20060190812A1 (en) * 2005-02-22 2006-08-24 Geovector Corporation Imaging systems including hyperlink associations
US7437223B2 (en) * 2005-08-05 2008-10-14 The Boeing Company Heading reference command and control algorithm and cueing systems and methods for aircraft turn-to-target maneuvers
US7287722B2 (en) 2005-10-03 2007-10-30 Rocket Racing, Inc. Rocket-powered vehicle racing competition
US20070194171A1 (en) * 2005-10-03 2007-08-23 Rocket Racing, Inc. Rocket-powered vehicle racing information system
FR2902757B1 (fr) * 2006-06-22 2014-07-04 Airbus France Dispositif d'aide au positionnement d'un pilote dans un aeronef
FR2903788B1 (fr) 2006-07-11 2008-11-14 Thales Sa Viseur tete haute a affichage securise
US10908421B2 (en) * 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
DE102007014015B4 (de) * 2007-03-23 2010-07-01 Eads Deutschland Gmbh Mensch-Maschinen-Interface zur Pilotenunterstützung bei Start und Landung eines Fluggeräts bei verminderter Außensicht
EP1990674A1 (en) 2007-05-09 2008-11-12 Harman Becker Automotive Systems GmbH Head-mounted display system
US7605719B1 (en) * 2007-07-25 2009-10-20 Rockwell Collins, Inc. System and methods for displaying a partial images and non-overlapping, shared-screen partial images acquired from vision systems
US8063798B2 (en) * 2008-06-03 2011-11-22 Honeywell International Inc. Methods and apparatus to assist pilots under conditions in which spatial disorientation may be present
US7980512B1 (en) * 2008-06-13 2011-07-19 The Boeing Company System and method for displaying aerial refueling symbology
US8155806B2 (en) * 2008-07-23 2012-04-10 Honeywell International Inc. Aircraft display systems and methods for enhanced display of landing information
FR2935810B1 (fr) 2008-09-09 2010-10-22 Airbus France Procede de reglage d'une compensation d'harmonisation entre capteur video et dispositif de visualisation tete haute, et dispositifs correspondants
US8065082B2 (en) * 2008-11-14 2011-11-22 Honeywell International Inc. Display systems with enhanced symbology
US8264377B2 (en) 2009-03-02 2012-09-11 Griffith Gregory M Aircraft collision avoidance system
US8264379B2 (en) * 2009-03-10 2012-09-11 Honeywell International Inc. Methods and systems for correlating data sources for vehicle displays
US8040258B2 (en) * 2009-04-07 2011-10-18 Honeywell International Inc. Enhanced situational awareness system and method
US8240383B2 (en) * 2009-05-08 2012-08-14 Momentive Specialty Chemicals Inc. Methods for making and using UV/EB cured precured particles for use as proppants
US20110106447A1 (en) * 2009-11-03 2011-05-05 Honeywell International Inc. System for providing a pilot of an aircraft with a visual depiction of a terrain
ES2679743T3 (es) * 2010-02-23 2018-08-30 Elbit Systems Ltd. Escaneo y procesamiento de imágenes en tiempo real
US20110254706A1 (en) * 2010-04-20 2011-10-20 Sikorsky Aircraft Corporation Methods and Systems Involving Viewing Angles in Aircraft Displays
WO2011159757A2 (en) * 2010-06-15 2011-12-22 Sensics Inc. Systems and methods for personal viewing devices
US20120140125A1 (en) * 2010-12-03 2012-06-07 Honeywell International Inc. Aircraft cockpit visor display
FR2969792B1 (fr) * 2010-12-23 2012-12-28 Thales Sa Procede de suppression d'un masque de cockpit et systeme de visualisation de casque associe
FR2996672B1 (fr) * 2012-10-05 2014-12-26 Dassault Aviat Systeme de visualisation pour aeronef avec des lignes de relief et procede associe
FR2996522B1 (fr) * 2012-10-05 2014-12-26 Dassault Aviat Pointe avant d'engin volant et engin volant associe
EP3077868B1 (en) * 2013-12-03 2021-09-01 Federal Express Corporation System and method for enhancing vision inside an aircraft cockpit
US9542147B2 (en) 2013-12-16 2017-01-10 Lockheed Martin Corporation Peripheral vision hover drift cueing
US9366546B2 (en) 2014-02-24 2016-06-14 Lockheed Martin Corporation Projected synthetic vision
US9563276B2 (en) 2014-03-26 2017-02-07 Lockheed Martin Corporation Tactile and peripheral vision combined modality hover drift cueing
IL251843B (en) * 2017-04-20 2018-10-31 Elbit Systems Ltd Line-of-sight display mounted to the helicopter head
DE102017219790A1 (de) * 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
FR3081838B1 (fr) * 2018-05-30 2020-09-04 Airbus Operations Sas Dispositif et procede d’insensibilisation a des pannes d’un systeme d’affichage.
US11682313B2 (en) 2021-03-17 2023-06-20 Gregory M. Griffith Sensor assembly for use in association with aircraft collision avoidance system and method of using the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3892051A (en) * 1973-10-31 1975-07-01 Gen Electric Simulated collimation of computer generated images
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
GB1527049A (en) * 1976-06-18 1978-10-04 Pilkington Perkin Elmer Ltd Head-up displays
US4439157A (en) * 1982-05-03 1984-03-27 The United States Of America As Represented By The Secretary Of The Navy Helmet mounted display projector
US5072218A (en) * 1988-02-24 1991-12-10 Spero Robert E Contact-analog headup display method and apparatus
CA1331812C (en) * 1988-02-24 1994-08-30 Bruce E. Hamilton Aircraft helmet pointing angle display symbology
US4961626A (en) * 1989-02-21 1990-10-09 United Techologies Corporation Direct incorporation of night vision in a helmet mounted display

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272404B1 (en) 1998-03-24 2001-08-07 Advanced Technology Institute Of Commuter-Helicopter, Ltd. Flight path indicated apparatus
JP2000225998A (ja) * 1999-02-02 2000-08-15 Shimadzu Corp 救難目標位置指示装置
JP2003279375A (ja) * 2002-03-25 2003-10-02 Kawasaki Heavy Ind Ltd 擬似視界形成装置
JP2004265412A (ja) * 2003-03-01 2004-09-24 Boeing Co:The 視覚画像化を提供するためのシステムおよび方法
JP4584603B2 (ja) * 2003-03-01 2010-11-24 ザ・ボーイング・カンパニー 視覚画像化を提供するためのシステムおよび方法
JP2013014318A (ja) * 2011-06-30 2013-01-24 General Electric Co <Ge> 航空機内の合成ビジョンシステムを動作させる方法
JP2013237434A (ja) * 2012-05-11 2013-11-28 Agustawestland Spa 航空機および、航空機の操縦士に飛行パラメータに関係する視覚的情報を表示するための方法

Also Published As

Publication number Publication date
JP3383323B2 (ja) 2003-03-04
CA2060406C (en) 1998-12-01
EP0511154A3 (en) 1993-03-03
ES2034930T1 (es) 1993-04-16
CA2060406A1 (en) 1992-10-23
DE511154T1 (de) 1993-01-14
US5296854A (en) 1994-03-22
EP0511154A2 (en) 1992-10-28

Similar Documents

Publication Publication Date Title
JPH05112298A (ja) 航空機用仮想映像表示システム
US4805015A (en) Airborne stereoscopic imaging system
CA1320599C (en) Contact-analog headup display method and apparatus
Furness III The super cockpit and its human factors challenges
US6909381B2 (en) Aircraft collision avoidance system
CA2691375C (en) Aircraft landing assistance
CN106275467B (zh) 用于整合平视显示器和下视显示器的系统和方法
US8508435B2 (en) Situational awareness components of an enhanced vision system
US20010048763A1 (en) Integrated vision system
US20070247457A1 (en) Device and Method for Presenting an Image of the Surrounding World
KR101662032B1 (ko) 조종사의 시선 방향과 동기화 된 uav 항공 영상 촬영 시스템
EP1161094B1 (en) Image cut-away/display system
US6151081A (en) Large screen display with projected overlay and method of using same
Roscoe The eyes prefer real images
US20210191392A1 (en) Vehicle control system
US5610764A (en) Device for improving the field of vision of aircraft that do not have a sufficient transparent surface area
US20220301441A1 (en) Method and system for displaying and managing a situation in the environment of an aircraft
Lemoine et al. Contribution of TopOwl head mounted display system in degraded visual environments
CN113298955B (zh) 一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器
EP0190302B1 (en) Information display
Kelly et al. Helmet-mounted area of interest
CN111833686A (zh) 一种可重定义的直升机战术模拟器视景显示系统
Ineson Imagery for a virtual cockpit
Fortin et al. Improving land vehicle situational awareness using a distributed aperture system
Pepper Visual perception research at Naval Ocean Systems Center

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees