JP6081092B2 - 航空機内の合成ビジョンシステムを動作させる方法 - Google Patents

航空機内の合成ビジョンシステムを動作させる方法 Download PDF

Info

Publication number
JP6081092B2
JP6081092B2 JP2012144836A JP2012144836A JP6081092B2 JP 6081092 B2 JP6081092 B2 JP 6081092B2 JP 2012144836 A JP2012144836 A JP 2012144836A JP 2012144836 A JP2012144836 A JP 2012144836A JP 6081092 B2 JP6081092 B2 JP 6081092B2
Authority
JP
Japan
Prior art keywords
pilot
heading
aircraft
updated
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012144836A
Other languages
English (en)
Other versions
JP2013014318A (ja
Inventor
ティモシー・ドナル・ポール・バーンズ
ダシール・マシューズ・コルビ
ノーマン・レオナード・オーヴェンズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2013014318A publication Critical patent/JP2013014318A/ja
Application granted granted Critical
Publication of JP6081092B2 publication Critical patent/JP6081092B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00Arrangements or adaptations of instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/301Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Seats For Vehicles (AREA)

Description

本発明は、航空機内の合成ビジョンシステムを動作させる方法に関する。
現代の航空機は、航空機の前面の世界のコンピュータ生成表現を示す表示をクルーに提示することができる合成ビジョンシステムの使用を含むことができる。こうした合成ビジョンシステムは、フライトクルーが、地形および障害物に対して自分達を方向付ける、フライトクルーの能力を改善し、明瞭な可視性条件下でコックピットの風防ガラスからフライトクルーが実際に見ることになるものに対応する画像をフライトクルーに提供する。こうしたシステムは、航空機の外で可視性が低いときに特に有用である場合がある。現行の合成ビジョンシステムは、前方視眺望をクルーに提供することに制限される。
一実施形態では、少なくとも1つのフライトディスプレイを有するフライトデッキ、フライトデッキに面する操縦士の座席、および少なくとも1つのフライトディスプレイ上に表示するための合成画像を生成する合成ビジョンシステムを有するコックピットを有する航空機を動作させる方法は、航空機の場所および機首方位を確定すること、確定された場所および機首方位に従って合成ビジョンシステムから合成ビジョン画像を取出すこと、少なくとも1つのフライトディスプレイ上に合成ビジョン画像を表示すること、表示されている合成ビジョン画像について機首方位の変更を要求する操縦士からの視点変更入力を受信すること、視点変更入力に応答して、座席に座っている操縦士について操縦士の頭部の動きを追跡すること、追跡された頭部の動きに基づいて更新された機首方位を確定すること、更新された機首方位に従って合成ビジョンシステムから、更新された合成ビジョン画像を取出すこと、および、少なくとも1つのフライトディスプレイ上に更新された合成ビジョン画像を表示することを含む。
本発明の第1の実施形態による合成ビジョンシステムを有する航空機コックピットの一部分の斜視図である。 図1の航空機で使用するための合成ビジョンシステムの略図である。 真っすぐ前方位置のユーザおよび前方視合成ビジョン画像の表示の略図を示す図である。 本発明の実施形態による更新された合成ビジョン画像を表示するために、合成ビジョンシステムと相互作用するユーザの例を示す図である。 本発明の実施形態による更新された合成ビジョン画像を表示するために、合成ビジョンシステムと相互作用するユーザの例を示す図である。 本発明の実施形態による更新された合成ビジョン画像を表示するために、合成ビジョンシステムと相互作用するユーザの例を示す図である。
図1は、操縦士座席14、副操縦士座席16、航空機コントロールヨーク18、ならびに、いくつかのフライトコントロール22および複数のフライトディスプレイ24を有するフライトデッキ20を有するコクピット12を有する航空機10の一部分を示す。複数のフライトディスプレイ24は、1次および2次フライトディスプレイを含むことができ、それらのどれもが、操縦士およびフライトクルーに、広い範囲の航空機情報、フライト情報、ナビゲーション情報、および航空機の運航およびコントロールで使用される他の情報を表示するために使用されることができる。商業航空機が示されたが、本発明は、任意のタイプの航空機、たとえば制限なしで、固定翼、回転翼、ロケット、個人航空機、および軍用航空機で使用されることができることが想定される。
フライトデッキ20に面する操縦士座席14に座っている操縦士26は、航空機10を操縦するために、ヨーク18ならびに他のフライトコントロール22を利用することができる。コントロールスティックまたは他のコントロールデバイスが、あるいはヨーク18の代わりに、コックピット12に設置されることができること、および、こうしたコントロールスティックが、航空機10を操縦するために使用されることができることが想定される。この説明のために、「ヨーク(yoke)」という用語は、全てのタイプのコントロールデバイスを指すために使用される。操縦士26は、風防ガラス28および/または窓29を通して航空機10のフライト経路を視覚的に監視することができる。しかし、操縦士26が風防ガラス28および窓29を通した視界に頼る場合、操縦士26の可視範囲は制限される場合がある。操縦士およびフライトクルーの他のメンバは、自分達の可視範囲を増し、自分達の意思決定能力を高めるために、複数のフライトディスプレイ24を使用することができる。例示的な実施形態では、フライトディスプレイ24は、天候、地形、固定障害物(たとえば、塔および建物)、可変障害物(たとえば、他の航空機)、フライト特性(たとえば、高度または速度)、またはその任意の組合せを示すように構成されることができる。
合成ビジョンシステム30は、航空機10に含まれることができ、また、フライトディスプレイ24の1つのディスプレイ上に表示するために航空機10の周りの世界の合成画像を生成することができる。合成ビジョンシステム30は、3Dを使用して、操縦士の飛行環境を理解する明確でかつ直観的な手段を操縦士に提供するコンピュータベースの現実感システムである。合成ビジョンシステム30は、情報から生成される航空機の外の世界の現実的な画像形成および種々のデータベースからのイメジャリを操縦士に提供することによって、操縦士26の状況認識を改善するために3D画像形成を使用する。
センサ32およびアクチュエータ34はまた、コックピット12内に配置されることができ、合成ビジョンシステム30の一部分として含まれることができ、本明細書で詳細に述べられる。操縦士座席14に座っている操縦士26がセンサ32の眺望内にあるようにセンサ32が位置決めされることができること、および、アクチュエータ34は、ヨーク18上に配置されているとして示されたが、あるいは、操縦士26の手の届く所でフライトデッキ20上の他の所に配置されることができることを説明することでこの時点では十分である。
図2は、航空機状態モジュール36、グラフィックスプロセッサ38、スクリーン40、メモリ42、データベース44、センサ32、アクチュエータ34、およびコントローラ46を含むとして合成ビジョンシステム30を概略的に示す。航空機状態モジュール36は、航空機10に関する状態データを提供することができる。こうした状態データは、非制限的な例として、測地位置、高度、機首方位、速度、および加速度を含むとすることができる。状態モジュール36は、航空機10の測地位置に関する座標データを提供することができる全地球測位システム(GPS)を含むことができる。GPS位置はまた、状態モジュール36に、航空機10の高度ならびに航空機10の機首方位および速度に関するデータを提供することができる。状態モジュール36はまた、位置および機首方位入力ならびに速度および加速度入力を提供することができる航空機10の慣性基準システムから受信されるデータを含むことができる。
グラフィックスプロセッサ38は、コントローラ46から受信される命令および情報に応答してスクリーン40上に画像を生成することが可能な任意の適したグラフィックスプロセッサとすることができる。グラフィックスプロセッサ38は、コントローラ46と物理的に別個の実体であるとして示されるが、グラフィックスプロセッサ38は、コントローラ46の構成要素と考えられ、コントローラ46は、別個のグラフィックスプロセッサを利用することなく、スクリーン40上で表示される画像を操作しうることが想定される。
スクリーン40は、液晶ディスプレイ(LCD)スクリーン、プラズマスクリーン、または、グラフィック画像が表示されることができる任意の他のタイプのスクリーンなどの任意の適したディスプレイスクリーンとすることができる。スクリーン40は、複数のフライトディスプレイ24のディスプレイの1つであるとして示された。あるいは、スクリーン40は、別個のディスプレイスクリーンとすることができることが想定される。
メモリ42は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、フラッシュメモリ、または、ディスク、DVD、CD−ROMなどのような1つまたは複数の異なるタイプの可搬型電子メモリ、あるいは、これらのタイプのメモリの任意の適した組合せを含むことができる。示すように、データベース44は、メモリ42に含まれることができ、また、地域特有の地形、滑走路および空港レイアウトを含む人工物、ならびに航空機トラフィック情報を含むさらなるイメジャリを含むことができるイメジャリデータを記憶することができる。データベース44がいくつかのデータベースを組込むことができる、すなわち、データベース44が、実際には、地形データベース、人工障害物データベース、地政学データベース、水文データベース、および他のデータベースを含むいくつかの別個のデータベースとすることができることが想定される。合成ビジョンシステム30は、複数のデータベースから得られる情報およびイメジャリデータから合成ビジョン画像を生成することによって合成ビジョン画像を取出し表示することが想定される。
あるいは、データベース44は、メモリ42から離れることができるが、データベース44がメモリ42および/またはコントローラ46によってアクセスされるように、メモリ42および/またはコントローラ46とつながっていることができることが想定される。たとえば、データベース44が、可搬型メモリデバイス上に含まれることができ、こうした場合、合成ビジョンシステム30が、可搬型メモリデバイスを受取るためのポートを含むことができ、こうしたポートが、コントローラ46と電子的につながっており、それにより、コントローラ46が可搬型メモリデバイスのコンテンツを読取ることができることが想定される。データベース44が、通信リンクを通して更新されることができること、および、こうして、エアトラフィックイメジャリに関する情報などのリアルタイム情報が、データベース44に含まれ、また、合成ビジョンシステム30によって表示される合成ビジョン画像に含まれることができることも想定される。
センサ32は、非制限的な例として、操縦士26の頭部を含む、1つまたは複数の被検知対象物の動きを検出し、追跡される動きに関する信号を出力することが可能な任意の適したセンサとすることができる。センサ32は、基準場所に対するまたは対象物の開始位置に対する操縦士の頭部の動きを検出することが可能とすることができる。非制限的な例として、センサ32は、固定場所でフライトデッキ20上に搭載されることができるカメラを含むことができ、操縦士座席14を包囲する視野を有することができ、操縦士の頭部の動きを示す信号を出力することができる。例示的なカメラは、CCDカメラ、CMOSカメラ、デジタルカメラ、ビデオカメラ、赤外線カメラ、または操縦士の頭部の動きを追跡することが可能な任意の他のタイプのデバイスを含む。カメラの使用は、例示に過ぎないこと、および、他のタイプの動きセンサが使用されることができることが認識されるべきである。さらなる非制限的な例として、加速度計などの非光学的な動き/位置センサが使用されることができる。使用されるセンサ32のタイプによらず、センサ32は、水平の動きおよび垂直の動きを含む、複数の方向への操縦士の頭部の動きを検出することができ、また、こうした動きに関する信号をコントローラ46に出力することができることが想定される。操縦士が、センサの検出を、水平の動きまたは垂直の動きに制限することを可能にすることができるメカニズムが、センサ32に動作可能に結合されることができることが想定される。こうして、操縦士は、横の動きすなわち水平の動きだけが検出されるように、一方または他方の検出方向をディセーブルする能力を有することができる。
アクチュエータ34は、合成ビジョンシステム30に動作可能に結合されることができ、それにより、操縦士がアクチュエータ34を起動すると、合成ビジョンシステム30は、表示される合成ビジョン画像について操縦士26が機首方位の変更を要求しているという入力を受信する。示すように、アクチュエータ34は、操縦士26が、アクチュエータ34の操作を通して視点変更についての要求を選択的に入力することができるように、操縦士26などのユーザによって容易にアクセス可能とすることができる。非制限的な例として、アクチュエータ34は、ヨーク18上のスイッチとして示されている。しかし、アクチュエータ34は、表示変更についての要求を入力することが可能な任意の適したメカニズムとすることができ、また、アクチュエータ34が操縦士26によってアクセス可能である任意の場所に配置されることが想定される。
コントローラ46は、合成ビジョンシステム30を動作させるのに必要な機能を実行することが可能な、1つまたは複数のマイクロプロセッサまたは適した電子構成要素を含むことができる。コントローラ46は、センサ32と電子的につながっており、検知される対象物の動きを示す、センサ32によって出力される信号を受信することができる。コントローラ46は、操縦士の頭部の動きの追跡を可能にする画像プロセッサを含むことができることが想定される。より具体的には、コントローラ46の画像プロセッサは、センサ32からの出力を取得し、出力信号から操縦士の頭部の動きの量を追跡することができる。あるいは、センサ32が、操縦士26の頭部の動きを追跡するためのこうした画像形成ソフトウェアまたは能力を含むことができること、および、センサ32から出力される信号が、追跡される動きを示すことができることが想定される。
コントローラ46は、メモリ42と電子的につながっていることができ、それにより、コントローラ46は、メモリ42内に含まれるデータを読取ると共に、所望される場合、メモリ42にデータを書込むことができる。コントローラ46はまた、グラフィックスプロセッサ38とつながっていることができ、グラフィックスプロセッサ38は、次に、スクリーン40につながっている。したがって、コントローラ46は、コントローラ46からグラフィックスプロセッサ38に発行される命令および情報を通して、スクリーン40上に表示される画像を左右することができる。スクリーン40上に表示される画像に関する、コントローラ46からグラフィックスプロセッサ38への命令は、メモリ42およびデータベース44内に含まれる情報に基づくとすることができる。
上述した合成ビジョンシステム30は、航空機10の運航においてフライトクルーを補助するために、レンダリングされるシーンまたはスクリーン40上に表示される他の画像に対してコントロールを及ぼすために使用されることができる。合成ビジョンシステム30の動作中に、コントローラ46は、航空機状態モジュール36からデータを受信することができ、そのデータから、コントローラ46は、航空機10の場所、機首方位、および速度に関する情報を確定することができる。非制限的な例として、航空機の場所は、GPSからの座標から確定されることができ、航空機の機首方位は、慣性誘導システムから機首方位入力を受信することによって確定されることができる。コントローラ46は、メモリ42にアクセスし、航空機の場所および機首方位データを、データベース44からの適切なイメジャリデータと照合し、こうした情報をグラフィックスプロセッサ38に提供することができる。グラフィックスプロセッサ38は、その後、正確なイメジャリをスクリーン40に出力することができる。
本質的に、合成ビジョンシステム30は、航空機10の確定された場所および機首方位に従って合成ビジョン画像を取出し、スクリーン40上に合成ビジョン画像を表示する。こうした眺望は、2Dまたは3Dで行われ、航空機10の動きを反映するために、1秒当たりに複数回、繰返して更新されることができる。こうして、航空機10が移動するにつれて、航空機10の前部風防ガラス28から外を見る操縦士が見ることになる実際の眺望に全体が一致する画像を提供するために、合成ビジョン画像が、連続して更新されることができる。こうした前方視合成表示および前方視操縦士が図3Aに示される。
合成ビジョンシステム30はまた、航空機10の真っすぐ前方でない表示を得るために使用されることができる。真っすぐ前方の合成ビジョン画像を表示しながら、合成ビジョンシステム30は、表示される合成ビジョン画像について機首方位の変更を要求する操縦士26から視点変更入力を受信することができる。こうした入力は、操縦士26がアクチュエータ34を起動すると、受信されることができる。アクチュエータ34からのこうした表示変更入力は、操縦士26が操縦士座席14に座っている間に、合成ビジョンシステム30が操縦士の頭部の動きを追跡することをもたらす。より具体的には、センサ32は、操縦士の頭部の動きを示す信号をコントローラ46に出力することができ、コントローラ46は、出力信号から、操縦士の頭部の動きを追跡することができる。あるいは、センサ32は、操縦士の頭部の追跡された動きを示す信号をコントローラ46に出力することができる。
動きが追跡される方法によらず、コントローラ46は、その後、操縦士の頭部の追跡された頭部の動きに基づいて更新された機首方位を確定することができる。コントローラ46は、この更新された機首方位を取得し、更新された機首方位に関連する情報およびイメジャリをデータベース44から取出し、こうした情報をグラフィックスプロセッサ38に送出する。グラフィックスプロセッサ38は、その後、更新された機首方位に基づく更新された合成ビジョン画像をスクリーン40に送出する。これは、操縦士26が、ある角度だけ自分の頭部を動かすことによって、スクリーン40上に表示される合成ビジョン画像について機首方位を変更することを可能にする。たとえば、操縦士26が、自分の現在の眺望の右にあるものをスクリーン40が示すことを好む場合、操縦士26は、アクチュエータ34を選択し、自分の頭部を右に回すことができ、合成ビジョンシステム30は、以前に示されたものの右の世界についての更新された合成ビジョン画像をスクリーン40上に表示するように働くことになる。たとえば、図3Bに示すように、操縦士の頭部が右に5°動くと、ライン50は、操縦士の頭部の動きをよりよく示すために図に含まれており、表示される合成画像は、以前に前方視していた表示の右に同様に5°である更新された機首方位を有することができる。こうして、合成ビジョンシステム30は、操縦士の頭部の動きに基づいて確定される方向で、地形、ランドマーク、およびエアトラフィックの更新された合成ビジョン画像をスクリーン40上に表示する。こうした眺望は、航空機10の動きおよび合成ビジョンシステム30によって確定される操縦士の頭部のさらなる動きを反映するために、1秒当たりに複数回、繰返し更新されることができる。アクチュエータ34の解除によって、画像は、真っすぐ前方の眺望に戻る。
操縦士の頭部の動きを追跡することは、頭部の動きを横に追跡すること、ならびに、ピッチを確定するために、頭部の動きを上下に追跡することを含むことができることが想定される。操縦士の頭部が横に動く場合、こうした横方向の動きに対する更新された機首方位は、コントローラ46によって確定され、更新された合成ビジョン画像は、更新された機首方位に従って取出されることが理解されるであろう。操縦士の頭部の動きがまた、上下の動きを含む場合、追跡された上下の頭部の動きに基づくピッチが確定され、更新された合成ビジョン画像は、更新された機首方位と確定されたピッチの両方に従って取出され、これは、地形、障害物、およびエアトラフィックをグラフィカルに表示するように合成ビジョンシステム30により完全に指示する能力を操縦士26に可能にする。
更新された機首方位を確定するときに、合成ビジョンシステム30が、操縦士26の追跡された頭部の動きをスケーリングすることが想定される。合成ビジョンシステム30によるこうしたスケーリングは、真っすぐ前方位置から、操縦士の目が少なくとも1つのフライトディスプレイ上に固定されたままになる位置までに対応する回転範囲を、180°の更新された機首方位の変化に変換することを含むことができる。そのため、こうしたスケーリングの使用によって、操縦士の頭部は、操縦士がスクリーン40とのアイコンタクトを維持するように、非制限的な例として40°未満、回転することができ、結果として得られる表示は、操縦士が、航空機10の背後を合成的に見られるように、少なくとも180°の機首方位の変化を有することになる。こうしたスケーリングは、操縦士26が、操縦士の頭部を、左、右、上、および下に単に動かすことによって、航空機10の周りのエリアの全体的な眺望を有することを可能にし、一方、操縦士の目が操縦士の1次フライトディスプレイ上に固定されることを依然として可能にし、それにより、操縦士は、操縦士の視野52が操縦士の前方にあるスクリーン40を依然として含むことになるため、そのディスプレイとの視覚コンタクトを失わない。
スケーリングを非線形とすることができることがさらに想定される。非制限的な例として、非線形スケーリングは、操縦士の頭部の回転が増すにつれて、スケーリングの量の増加を含むことができる。より具体的には、操縦士の頭部が、真っすぐ前方位置からさらに離れて動くにつれて、スケーリングの量が増加する。たとえば、図3Cは、操縦士の頭部が真っすぐ前方位置から10°動いており、一方、更新された機首方位が、前方視位置から50°動いていることを示す。図3Dでは、操縦士の頭部が真っすぐ前方位置から35°動いており、一方、更新された機首方位が、前方視位置から180°動いていることが示される。こうして、操縦士の頭部の動きは、操縦士の見かけの動きの範囲を増加させるために合成ビジョンシステムによってスケーリングされ、操縦士が、フライトデッキ20上のディスプレイの視界を維持することを依然として可能にする。
先の説明は、航空機の飛行中の合成ビジョンシステム30を示すが、航空機10が地上にいる間に、合成ビジョンシステム30が使用されることができることも想定される。こうした事例では、合成ビジョン画像または更新された合成ビジョン画像を取出すことは、ゲートの場所および航空機10の周りの他の航空機に関するデータを受信することを含むことができることが想定される。これは、フライトクルーが、航空機が空港面のどこにあるかを特定するのを補助し、フライトクルーが、航空機10の真っすぐ前方にない他の航空機の場所を識別するのに役立つことができる。さらに、上述した実施形態は、操縦士26からの入力および操縦士の頭部の動きを追跡することに関連するが、合成ビジョンシステム30が、代替のフライトクルーメンバからの入力を容易に受信でき、これらのメンバの動きが、更新された機首方位を確定するために追跡されうることが理解されるであろう。たとえば、副操縦士が使用するために、別個のスクリーン、センサ、およびアクチュエータが含まれることができること、および、こうした要素は、コントローラが、副操縦士の頭部の動きに関して、更新された機首方位を確定できるように、合成ビジョンシステムに結び付けられることができることが想定される。
上述した合成ビジョンシステムは、前方視することだけに限定されず、合成ビジョンシステム30上の表示を制御するために、操縦士の頭部の動きを使用する。合成ビジョンシステムおよび上述した方法は、操縦士が、アクチュエータを起動することによって操縦士の合成眺望を容易に調整することを可能にし、それにより、操縦士を前方だけの眺望に制限する代わりに、操縦士の頭部の動きの検出に基づいて、合成ビジョンが更新される。操縦士は、自分の頭部を回転させるにつれて、地形、障害物、および航空機の周りのトラフィックについての改善された状況認識を得ることができ、その後、アクチュエータの解除によって、合成ビジョンが、真っすぐ前方の眺望を表す合成ビジョン画像に戻ることができる。上述した実施形態および方法は、操縦士が航空機の外を見回すより多くの自由度を可能にすることによって、操縦士の改善された状況認識を可能にし、操縦士が、依然として1次フライトディスプレイを眺望内に維持しながら、航空機の全体の周りの環境の精神的モデルを形成することを可能にする。
この書かれた説明は、最良の形態を含む、本発明を開示する例、および、任意のデバイスまたはシステムを作ること、使用すること、任意の組込まれた方法を実施することを含む、当業者が本発明を実施することを可能にする例を使用する。本発明の特許性のある範囲は、特許請求項によって規定され、当業者が思い付く他の例を含むことができる。こうした他の例は、特許請求項の文言上の言語と異ならない構造的要素を有する場合、または、特許請求項の文言上の言語とごくわずかの差を有する等価な構造的要素を含む場合、特許請求項の範囲内にあることを意図される。
10 航空機
12 コックピット
14 操縦士座席
16 副操縦士座席
18 航空機コントロールヨーク
20 フライトデッキ
22 フライトコントロール
24 フライトディスプレイ
26 操縦士
28 風防ガラス
29 窓
30 合成ビジョンシステム
32 センサ
34 アクチュエータ
36 航空機状態モジュール
38 グラフィックスプロセッサ
40 スクリーン
42 メモリ
44 データベース
46 コントローラ
50 ライン
52 視野

Claims (8)

  1. 少なくとも1つのフライトディスプレイを有するフライトデッキ、前記フライトデッキに面する操縦士の座席、および前記少なくとも1つのフライトディスプレイ上に表示するための合成画像を生成する合成ビジョンシステムを有するコックピットを備える航空機を動作させる方法であって、
    前記航空機の場所および機首方位を確定する段階と、
    前記確定された場所および機首方位に従って前記合成ビジョンシステムから合成ビジョン画像を取出す段階と、
    前記少なくとも1つのフライトディスプレイ上に前記合成ビジョン画像を表示する段階と、
    表示されている前記合成ビジョン画像について前記機首方位の変更を要求する前記操縦士からの視点変更入力を受信する段階と、
    前記視点変更入力に応答して、前記座席に座っている前記操縦士について前記操縦士の頭部の動きを追跡する段階と、
    前記追跡された頭部の動きに基づいて更新された機首方位を確定する段階であって前記更新された機首方位を確定する段階は、前記追跡される頭部の動きをスケーリングする段階を含む、前記段階と、
    前記更新された機首方位に従って前記合成ビジョンシステムから更新された合成ビジョン画像を取出す段階と、および、
    前記少なくとも1つのフライトディスプレイ上に前記更新された合成ビジョン画像を表示する段階とを含む方法。
  2. 少なくとも1つのフライトディスプレイを有するフライトデッキ、前記フライトデッキに面する操縦士の座席、および前記少なくとも1つのフライトディスプレイ上に表示するための合成画像を生成する合成ビジョンシステムを有するコックピットを備える航空機を動作させる方法であって、
    前記航空機の場所および機首方位を確定する段階と、
    前記確定された場所および機首方位に従って前記合成ビジョンシステムから合成ビジョン画像を取出す段階と、
    前記少なくとも1つのフライトディスプレイ上に前記合成ビジョン画像を表示する段階と、
    表示されている前記合成ビジョン画像について前記機首方位の変更を要求する前記操縦士からの視点変更入力を受信する段階と、
    前記視点変更入力に応答して、前記座席に座っている前記操縦士について前記操縦士の頭部の動きを追跡する段階であって、前記操縦士の頭部の動きを追跡する段階は、頭部の動きを少なくとも横に追跡する段階を含む前記段階と、
    前記追跡された頭部の動きに基づいて更新された機首方位を確定する段階であって前記更新された機首方位を確定する段階は、前記追跡される頭部の動きをスケーリングする段階と、ピッチを確定するために、頭部の動きを上下に追跡する段階とに基づく、前記段階と、
    前記更新された機首方位に従って前記合成ビジョンシステムから更新された合成ビジョン画像を取出す段階と、および、
    前記少なくとも1つのフライトディスプレイ上に前記更新された合成ビジョン画像を表示する段階とを含む方法。
  3. 前記航空機の場所を確定する段階は、全地球測位システムから座標を受信する段階を含み、前記航空機の機首方位を確定する段階は、慣性誘導システムから機首方位入力を受信する段階を含む請求項1または2に記載の方法。
  4. 前記合成ビジョン画像を取出す段階は、前記合成ビジョンシステムが、前記航空機上に記憶された少なくとも1つのデータベースから前記合成ビジョン画像を生成する段階を含む請求項1乃至3のいずれかに記載の方法。
  5. 前記スケーリングは、操縦士の目が前記少なくとも1つのフライトディスプレイ上に固定されることを依然として可能にしつつ、少真っすぐ前方位置から、操縦士の目が少なくとも1つのフライトディスプレイ上に固定されたままになる位置までに対応する回転範囲を、180°の更新された機首方位の変化に変換することをもたらす請求項1乃至4のいずれかに記載の方法。
  6. 前記スケーリングは、少なくとも180°の機首方位変更をもたらす40°未満の前記操縦士の頭部の回転をもたらす請求項記載の方法。
  7. 前記スケーリングは、非線形である請求項1乃至6のいずれかに記載の方法。
  8. 前記スケーリングは、前記操縦士の頭部の回転が増加するにつれて増加する請求項1乃至7のいずれかに記載の方法。
JP2012144836A 2011-06-30 2012-06-28 航空機内の合成ビジョンシステムを動作させる方法 Expired - Fee Related JP6081092B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/174,246 US8754786B2 (en) 2011-06-30 2011-06-30 Method of operating a synthetic vision system in an aircraft
US13/174,246 2011-06-30

Publications (2)

Publication Number Publication Date
JP2013014318A JP2013014318A (ja) 2013-01-24
JP6081092B2 true JP6081092B2 (ja) 2017-02-15

Family

ID=46465078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012144836A Expired - Fee Related JP6081092B2 (ja) 2011-06-30 2012-06-28 航空機内の合成ビジョンシステムを動作させる方法

Country Status (5)

Country Link
US (2) US8754786B2 (ja)
EP (1) EP2541210B1 (ja)
JP (1) JP6081092B2 (ja)
CN (1) CN102866710B (ja)
CA (1) CA2781869C (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8754786B2 (en) * 2011-06-30 2014-06-17 General Electric Company Method of operating a synthetic vision system in an aircraft
US9581692B2 (en) 2012-05-30 2017-02-28 Honeywell International Inc. Collision-avoidance system for ground crew using sensors
US9472109B2 (en) * 2014-01-07 2016-10-18 Honeywell International Inc. Obstacle detection system providing context awareness
US9762895B1 (en) * 2014-03-11 2017-09-12 Rockwell Collins, Inc. Dual simultaneous image presentation for a three-dimensional aviation display
JP5971282B2 (ja) * 2014-06-04 2016-08-17 横河電機株式会社 フィールド機器管理システム
FR3029618B1 (fr) * 2014-12-05 2019-09-27 Thales Systeme de visualisation synthetique comprenant des moyens d'adaptation du paysage affiche
US9563270B2 (en) 2014-12-26 2017-02-07 Microsoft Technology Licensing, Llc Head-based targeting with pitch amplification
WO2016149039A1 (en) * 2015-03-17 2016-09-22 Sikorsky Aircraft Corporation Trajectory control of a vehicle
GB2536964B (en) * 2015-04-02 2019-12-25 Ge Aviat Systems Ltd Avionics display system
US10108010B2 (en) * 2015-06-29 2018-10-23 Rockwell Collins, Inc. System for and method of integrating head up displays and head down displays
US9702726B2 (en) 2015-11-16 2017-07-11 Honeywell International Inc. Enhanced instrument procedure visualization
US10598932B1 (en) 2016-01-06 2020-03-24 Rockwell Collins, Inc. Head up display for integrating views of conformally mapped symbols and a fixed image source
US10523929B2 (en) * 2016-04-27 2019-12-31 Disney Enterprises, Inc. Systems and methods for creating an immersive video content environment
US10097745B2 (en) * 2016-04-27 2018-10-09 Zepp Labs, Inc. Head rotation tracking device for video highlights identification
FR3054314B1 (fr) * 2016-07-19 2018-08-31 Thales Systeme d'affichage de donnees avioniques sur au moins un espace d'affichage, cockpit d'aeronef comportant un tel systeme, procede d'affichage et produit programme d'ordinateur associes
FR3075984B1 (fr) * 2017-12-21 2019-11-15 Thales Procede et systeme de recalage d'une symbologie de pilotage d'un aeronef sur un afficheur tete haute porte conforme avec le monde reel exterieur via un systeme de vision synthetique svs
FR3076387B1 (fr) * 2018-01-04 2020-01-24 Airbus Operations Procede et systeme d'aide a la gestion de listes de commandes sur un aeronef.
US10992078B2 (en) 2018-01-29 2021-04-27 Bard Access Systems, Inc. Connection system for establishing an electrical connection through a drape and methods thereof
US10772696B2 (en) 2018-05-18 2020-09-15 Bard Access Systems, Inc. Connection systems and methods thereof for establishing an electrical connection through a drape
JP6429347B1 (ja) * 2018-05-18 2018-11-28 豊 川口 視界表示システムおよび移動体
US20190375514A1 (en) * 2018-06-12 2019-12-12 Sikorsky Aircraft Corporation Adjustable cockpit user interface to support single pilot or reduced pilot operations
CN109669536B (zh) * 2018-11-26 2021-11-02 中国航空工业集团公司洛阳电光设备研究所 一种驾驶舱人机视觉交互系统
IL267211A (en) 2019-06-10 2019-08-29 Elbit Systems Ltd System and method for video display
EP3996571A4 (en) 2019-07-12 2023-06-28 Bard Access Systems, Inc. Catheter tracking and placement system including light emitting diode array
US12029498B2 (en) 2019-08-08 2024-07-09 Bard Access Systems, Inc. Optical-fiber connector modules including shape-sensing systems and methods thereof

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3892051A (en) 1973-10-31 1975-07-01 Gen Electric Simulated collimation of computer generated images
CA2060406C (en) * 1991-04-22 1998-12-01 Bruce Edward Hamilton Helicopter virtual image display system incorporating structural outlines
DE4207284C2 (de) 1992-03-07 1996-08-22 Stefan Reich Räumliche Bilddarbietung
JP3052286B2 (ja) * 1997-08-28 2000-06-12 防衛庁技術研究本部長 飛行システムおよび航空機用擬似視界形成装置
EP1116211A4 (en) * 1998-09-22 2001-11-21 Vega Vista Inc INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN
WO2004034373A2 (en) * 2002-10-09 2004-04-22 Ohio University Multi-view head-up synthetic vision display system
US7148861B2 (en) * 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
US8179366B2 (en) 2004-12-06 2012-05-15 Naturalpoint, Inc. Systems and methods for using a movable object to control a computer
US7925391B2 (en) * 2005-06-02 2011-04-12 The Boeing Company Systems and methods for remote display of an enhanced image
US7307549B2 (en) * 2005-07-05 2007-12-11 Gulfstream Aerospace Corporation Standby display aircraft management system
US20080208468A1 (en) * 2006-03-09 2008-08-28 Martin Jose V Forward looking virtual imaging
US8164485B2 (en) * 2006-04-13 2012-04-24 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration System and method for aiding pilot preview, rehearsal, review, and real-time visual acquisition of flight mission progress
US20090112387A1 (en) 2007-10-30 2009-04-30 Kabalkin Darin G Unmanned Vehicle Control Station
US8026834B2 (en) * 2008-06-09 2011-09-27 Honeywell International Inc. Method and system for operating a display device
US8754786B2 (en) * 2011-06-30 2014-06-17 General Electric Company Method of operating a synthetic vision system in an aircraft

Also Published As

Publication number Publication date
EP2541210B1 (en) 2018-04-25
US20130002454A1 (en) 2013-01-03
EP2541210A1 (en) 2013-01-02
CA2781869C (en) 2019-09-17
US20140300496A1 (en) 2014-10-09
CA2781869A1 (en) 2012-12-30
CN102866710B (zh) 2018-10-16
CN102866710A (zh) 2013-01-09
US8754786B2 (en) 2014-06-17
US9399523B2 (en) 2016-07-26
JP2013014318A (ja) 2013-01-24

Similar Documents

Publication Publication Date Title
JP6081092B2 (ja) 航空機内の合成ビジョンシステムを動作させる方法
US10678238B2 (en) Modified-reality device and method for operating a modified-reality device
US7982767B2 (en) System and method for mounting sensors and cleaning sensor apertures for out-the-window displays
US8963742B1 (en) Head-up display/synthetic vision system predicted flight path depiction
US7486291B2 (en) Systems and methods using enhanced vision to provide out-the-window displays for a device
EP2101155B1 (en) Method and apparatus for displaying flight path information in rotorcraft
EP2182325B1 (en) Aircraft display system for display of flight path information
EP2148176B1 (en) Aircraft display system with obstacle warning envelope
EP3596588B1 (en) Gradual transitioning between two-dimensional and three-dimensional augmented reality images
US8188890B2 (en) Systems and methods for enhancing obstacles and terrain profile awareness
EP2461202A2 (en) Near-to-eye head display system and method
US10382746B1 (en) Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object
CN107010237B (zh) 用于在hud上显示fov边界的系统和方法
EP2204639A1 (en) Systems and methods for enhancing terrain elevation awareness
CN112987782A (zh) 飞行控制方法和装置
US20220269267A1 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller
WO2003096303A1 (en) Feature display
US20230215287A1 (en) Methods, systems, apparatuses, and devices for facilitating provisioning of a virtual experience
JP2024071414A (ja) 移動体用操縦支援方法及び移動体用操縦支援システム
WO2022175385A1 (en) Apparatus, method and software for assisting human operator in flying drone using remote controller
BR102012016248A2 (pt) Método de operação de uma aeronave

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170118

R150 Certificate of patent or registration of utility model

Ref document number: 6081092

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees