JP2024506749A - シミュレーション環境へのリモート可視性をもたらす方法及びシステム - Google Patents
シミュレーション環境へのリモート可視性をもたらす方法及びシステム Download PDFInfo
- Publication number
- JP2024506749A JP2024506749A JP2023568643A JP2023568643A JP2024506749A JP 2024506749 A JP2024506749 A JP 2024506749A JP 2023568643 A JP2023568643 A JP 2023568643A JP 2023568643 A JP2023568643 A JP 2023568643A JP 2024506749 A JP2024506749 A JP 2024506749A
- Authority
- JP
- Japan
- Prior art keywords
- computer
- simulator
- video conferencing
- camera
- conferencing client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000000007 visual effect Effects 0.000 claims abstract description 25
- 238000007405 data analysis Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 15
- 230000014759 maintenance of location Effects 0.000 claims description 5
- 230000006854 communication Effects 0.000 description 25
- 238000004891 communication Methods 0.000 description 25
- 238000013507 mapping Methods 0.000 description 18
- 238000012517 data analytics Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 235000021170 buffet Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
- G09B9/165—Condition of cabin, cockpit or pilot's accessories
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/30—Simulation of view from aircraft
- G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
- H04L65/1089—In-session procedures by adding media; by removing media
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1083—In-session procedures
- H04L65/1093—In-session procedures by adding participants; by removing participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/18—Commands or executable codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
- H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Selective Calling Equipment (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
シミュレーション環境へのリモート可視性をもたらす方法は、セキュア・パブリック・ネットワーク越しに、第1のコンピュータ上で稼働する第1のビデオ会議クライアントと第2のコンピュータ上で稼働する第2のビデオ会議クライアントとの間の接続を確立するステップと、セキュア・プライベート・ネットワーク越しに、第1のコンピュータにおいて、シミュレーション環境の第1の部分を包含する第1のライブ・カメラ・フィードを受信するステップであって、第2のコンピュータは、セキュア・プライベート・ネットワークの外側に位置する、ステップと、ビューワ内で、第1のライブ・カメラ・フィード及びシミュレーション制御インタフェース、シミュレーション環境の第2の部分の表現、並びに/又はシミュレーション環境の第3の部分を包含する第2のライブ・カメラ・フィードを表示するステップと、第1のビデオ会議クライアントを通じて、ビューワ・アプリケーションに対し、第2のビデオ会議クライアントの視覚アクセスを許可するステップと、を含む。
Description
本発明は、シミュレータの分野に関し、特に、シミュレータのリモート・アクセス及び/又は制御に関する。
パイロット及びコパイロットを訓練及び評価するために、エアクラフト・シミュレータが使用される。そのために、パイロット又はコパイロットの訓練及び評価を担当する人間は、シミュレータ内に物理的に存在する。
しかしながら、既存のクライアント、潜在的なクライアント、規制機関、及び飛行インストラクタなどの第三者にシミュレーション環境へのリモート視覚アクセスをもたらすことが望ましいことがあり得る。パンデミック中にこれが特に当てはまる。シミュレーション環境へのそのようなリモート視覚アクセスをもたらすいくつかのカスタム・ソリューションが存在する。しかしながら、それらの設計及び実装態様は通常、時間を要し及び/又は高価である。
したがって、シミュレーション環境へのリモート可視性を確実にもたらす改善された方法及びシステムに対する必要性が存在する。
第1の広範囲の態様によって、シミュレーション環境へのリモート可視性をもたらす、コンピュータにより実施される方法が提供され、方法は、プロセッサによって実行され、セキュア・パブリック・ネットワーク越しに、第1のコンピュータ上で稼働する第1のビデオ会議クライアントと第2のコンピュータ上で稼働する第2のビデオ会議クライアントとの間の接続を確立するステップと、セキュア・プライベート・ネットワーク越しに、第1のコンピュータにおいて第1のライブ・カメラ・フィードを受信するステップであって、ライブ・カメラ・フィードは、シミュレーション環境の第1の部分を包含し、第1のカメラによって捕捉され、第2のコンピュータは、セキュア・プライベート・ネットワークの外側に位置する、ステップと、第1のコンピュータ上で稼働するビューワ・アプリケーション内で、第1のライブ・カメラ・フィードと、シミュレーション制御インタフェース、シミュレーション環境の第2の部分の、コンピュータにより生成された表現、及び第2のカメラによって捕捉され、第1の部分とは異なる、シミュレーション環境の第3の部分を包含する第2のライブ・カメラ・フィード、のうちの少なくとも1つと、を表示するステップと、第1のビデオ会議クライアントを通じて、ビューワ・アプリケーションに対し、第2のビデオ会議クライアントの視覚アクセスを許可するステップと、を含む。
一実施例では、方法は更に、第1のコンピュータにおいて、シミュレーション環境内に存在するマイクロフォンからライブ音声フィードを受信するステップと、第2のコンピュータが、ライブ音声フィードを実質的にリアルタイムで再生することを可能にするように、セキュア・パブリック・ネットワーク越しに、第1のビデオ会議クライアントを通じて、第2のコンピュータにライブ音声フィードを送信するステップと、を含む。
一実施例では、方法は更に、第1のコンピュータにおいて、第1のビデオ会議クライアントを通じて、第2のコンピュータからライブ音声フィードを受信するステップと、シミュレーション環境内に搭載されたスピーカに、受信されたライブ音声フィードを送信するステップと、を含む。
一実施例では、シミュレーション環境は、飛行シミュレータを含み、シミュレーション環境の第1の部分は、飛行シミュレータの機器及び制御の部分を包含する。
一実施例では、少なくとも1つのビデオ・フィードは、少なくとも2つのビデオ・フィードを含む。
一実施例では、少なくとも2つのビデオ・フィードのうちの所与の1つは、飛行シミュレータの内部部分を包含し、飛行シミュレータの内部部分は、コンピュータにより生成された環境の画像が表示された飛行シミュレータのスクリーンを含む。
一実施例では、飛行シミュレータは、動きに基づく飛行シミュレータを含み、少なくとも2つのビデオ・フィードのうちの所与の1つは、動きに基づく飛行シミュレータの外部部分を包含する。
一実施例では、ビューワ・アプリケーションは更に、シミュレータのシミュレーション制御インタフェースのビューをもたらすために構成される。
一実施例では、シミュレーション制御インタフェースは、インストラクタ操作ステーションのインタフェースを含み、第2のライブ・カメラ・フィードは、インストラクタ操作ステーションを包含する。
一実施例では、方法は更に、シミュレーション・エンジンから、シミュレーション制御インタフェースのビューを受信するステップを含む。
一実施例では、ビューワ・アプリケーションは更に、データ分析プラットフォームのインタフェースのビューをもたらすために構成される。
一実施例では、データ分析プラットフォームのインタフェースのビューは、データ分析プラットフォームのインタフェースが表示されたディスプレイ・ユニットの画像に対応し、ディスプレイの画像は、プライベート・ネットワークに接続された更なるカメラによって捕捉される。
一実施例では、方法は更に、データ分析プラットフォームをホストするサーバから、データ分析プラットフォームのインタフェースのビューを受信するステップを含む。
一実施例では、方法は更に、ビューワ・アプリケーションに対する制御を第2のビデオ会議クライアントに許可するステップを含む。
一実施例では、方法は更に、オペレーティング・システムのインタフェースに対する制御を第2のビデオ会議クライアントに許可するステップを含む。
一実施例では、方法は更に、データ分析プラットフォームのインタフェースに対する制御を第2のビデオ会議クライアントに許可するステップを含む。
一実施例では、方法は更に、第1のビデオ会議クライアントから、環境内の視覚インジケーションを投影する命令を受信するステップと、視覚インジケーションを投影するように、シミュレータ内に据え付けられたプロジェクタを制御するステップと、を含む。
一実施例では、方法は更に、シミュレーション環境の少なくとも一部分の所与の画像内で選択された少なくとも1つのポイントの座標を受信するステップであって、所与の画像は、ディスプレイ・ユニット上で表示される、ステップと、少なくとも1つのポイントの受信された座標に基づいて、シミュレーション環境内の関心の領域を識別するステップと、シミュレーション環境内の関心の領域を視覚的に区別するように、プロジェクタに制御信号を提供することと、によって、シミュレーション環境内の関心の領域をリモートに指し示すステップを含む。
一実施例では、シミュレータ内の関心の領域を識別するステップは、受信された座標を、プロジェクタと関連付けられた座標系内のポインタ・エリアにマッピングするステップを含み、制御信号を提供するステップは、ポインタ・エリアに基づいてオーバレイ画像を生成するステップであって、オーバレイ画像は、関心の領域を包含する、ステップと、シミュレータ上でオーバレイ画像を投影するように、プロジェクタに制御信号を提供するステップと、を含む。
一実施例では、受信された座標をポインタ・エリアにマッピングするステップは、受信された座標を、シミュレーション環境の座標系内の少なくとも1つの所与のポイントにマッピングするステップと、少なくとも1つの所与のポイントを、プロジェクタと関連付けられた座標系内のポインタ・エリアにマッピングするステップと、を含む。
一実施例では、方法は更に、テレコミュニケーション・ネットワーク越しに、第1のコンピュータ上で稼働する第1のビデオ会議クライアントと第2のコンピュータ上で稼働する第2のビデオ会議クライアントとの間の接続を確立するステップと、第1のビデオ会議クライアントを通じて、第2のコンピュータに所与の画像を送信するステップと、を含み、第2のコンピュータは、リモート・ディスプレイ・ユニット上での表示のための所与の画像を提供し、座標を受信する該ステップは、セキュア・パブリック・ネットワーク越しに、第1のビデオ会議クライアントを通じて、第2のコンピュータから座標を受信するステップを含む。
一実施例では、テレコミュニケーション・ネットワークは、パブリック・ネットワーク、セキュア・パブリック・ネットワーク、プライベート・ネットワーク、及びセキュア・プライベート・ネットワークのうちの1つを含む。
一実施例では、制御信号を提供するステップは、受信された座標に基づいて、複数の利用可能なプロジェクタの中でプロジェクタを選択するステップと、選択されたプロジェクタに制御信号を提供するステップと、を含む。
一実施例では、制御信号を提供するステップは、プロジェクタについてのターゲット・ポジションを決定するステップであって、ターゲット・ポジションは、関心の領域がプロジェクタの視野内に含まれることを保証する、ステップと、ターゲット・ポジションを更に示す制御信号を提供するステップと、を含む。
一実施例では、方法は更に、シミュレーション環境内に位置するカメラから、シミュレーション環境の少なくとも一部分の所与の画像を受信するステップを含む。
一実施例では、方法は更に、シミュレーション環境の少なくとも一部分の所与の画像を生成するステップを含む。
一実施例では、所与の画像を生成するステップは、シミュレーション環境の3Dモデルを使用して実行される。
一実施例では、座標を受信するステップは、所与の画像内で選択された複数のポイントについての座標を受信するステップを含み、関心の領域を識別するステップは、複数のポイントについての受信された座標に基づいて、複数の関心の領域を識別するステップを含み、制御信号を提供するステップは、シミュレーション環境内の複数の関心の領域を視覚的且つ同時に区別するように、プロジェクタに制御信号を提供するステップを含む。
一実施例では、方法は更に、ポインタ・エリアについての少なくとも1つの特性を選択するステップを含み、制御信号は、少なくとも1つの特性を示す。
一実施例では、少なくとも1つの特性は、形状、強度、及び色のうちの少なくとも1つを含む。
別の広範囲の態様によって、シミュレーション環境へのリモート可視性をもたらすシステムが提供され、システムは、プロセッサと、プロセッサに動作可能に接続された非一時的記憶媒体であって、コンピュータ可読命令を含む、非一時的記憶媒体と、を含み、プロセッサは、コンピュータ可読命令を実行すると、セキュア・パブリック・ネットワーク越しに、第1のコンピュータ上で稼働する第1のビデオ会議クライアントと第2のコンピュータ上で稼働する第2のビデオ会議クライアントとの間の接続を確立し、セキュア・プライベート・ネットワーク越しに、第1のコンピュータにおいて第1のライブ・カメラ・フィードを受信し、ライブ・カメラ・フィードは、シミュレーション環境の第1の部分を包含し、第1のカメラによって捕捉され、第2のコンピュータは、セキュア・プライベート・ネットワークの外側に位置し、第1のコンピュータ上で稼働するビューワ・アプリケーション内で、第1のライブ・カメラ・フィードと、シミュレーション制御インタフェース、シミュレーション環境の第2の部分の、コンピュータにより生成された表現、及び第2のカメラによって捕捉され、第1の部分とは異なる、シミュレーション環境の第3の部分を包含する第2のライブ・カメラ・フィード、のうちの少なくとも1つと、を表示し、第1のビデオ会議クライアントを通じて、ビューワ・アプリケーションに対し、第2のビデオ会議クライアントの視覚アクセスを許可するために構成される。
一実施例では、プロセッサは更に、第1のコンピュータにおいて、シミュレーション環境内に存在するマイクロフォンからライブ音声フィードを受信し、第2のコンピュータが、ライブ音声フィードを実質的にリアルタイムで再生することを可能にするように、セキュア・パブリック・ネットワーク越しに、第1のビデオ会議クライアントを通じて、第2のコンピュータにライブ音声フィードを送信するために構成される。
一実施例では、プロセッサは更に、第1のコンピュータにおいて、第1のビデオ会議クライアントを通じて、第2のコンピュータからライブ音声フィードを受信し、シミュレーション環境内に搭載されたスピーカに、受信されたライブ音声フィードを送信するために構成される。
一実施例では、シミュレーション環境は、飛行シミュレータを含み、シミュレーション環境の第1の部分は、飛行シミュレータの機器及び制御の部分を包含する。
一実施例では、少なくとも1つのビデオ・フィードは、少なくとも2つのビデオ・フィードを含む。
一実施例では、少なくとも2つのビデオ・フィードのうちの所与の1つは、飛行シミュレータの内部部分を包含し、飛行シミュレータの内部部分は、コンピュータにより生成された環境の画像が表示された飛行シミュレータのスクリーンを含む。
一実施例では、飛行シミュレータは、動きに基づく飛行シミュレータを含み、少なくとも2つのビデオ・フィードのうちの所与の1つは、動きに基づく飛行シミュレータの外部部分を包含する。
一実施例では、ビューワ・アプリケーションは更に、シミュレータのシミュレーション制御インタフェースのビューをもたらすために構成される。
一実施例では、シミュレーション制御インタフェースは、インストラクタ操作ステーションのインタフェースを含み、第2のライブ・カメラ・フィードは、インストラクタ操作ステーションを包含する。
一実施例では、プロセッサは更に、シミュレーション・エンジンから、シミュレーション制御インタフェースのビューを受信するために構成される。
一実施例では、ビューワ・アプリケーションは更に、データ分析プラットフォームのインタフェースのビューをもたらすために構成される。
一実施例では、データ分析プラットフォームのインタフェースのビューは、データ分析プラットフォームのインタフェースが表示されたディスプレイ・ユニットの画像に対応し、ディスプレイの画像は、プライベート・ネットワークに接続された更なるカメラによって捕捉される。
一実施例では、プロセッサは更に、データ分析プラットフォームをホストするサーバから、データ分析プラットフォームのインタフェースのビューを受信するために構成される。
一実施例では、プロセッサは更に、ビューワ・アプリケーションに対する制御を第2のビデオ会議クライアントに許可するために構成される。
一実施例では、プロセッサは更に、オペレーティング・システムのインタフェースに対する制御を第2のビデオ会議クライアントに許可するために構成される。
一実施例では、プロセッサは更に、データ分析プラットフォームのインタフェースに対する制御を第2のビデオ会議クライアントに許可するために構成される。
一実施例では、プロセッサは更に、第1のビデオ会議クライアントから、環境内の視覚インジケーションを投影する命令を受信し、視覚インジケーションを投影するように、シミュレータ内に据え付けられたプロジェクタを制御するために構成される。
一実施例では、システムは更に、シミュレータ内の関心の領域をリモートに指し示すように適合され、プロセッサは更に、シミュレーション環境の少なくとも一部分の所与の画像内で選択された少なくとも1つのポイントの座標を受信し、所与の画像は、ディスプレイ・ユニット上で表示され、少なくとも1つのポイントの受信された座標に基づいて、シミュレーション環境内の関心の領域を識別し、シミュレーション環境内の関心の領域を視覚的に区別するように、プロジェクタに制御信号を提供するために構成される。
一実施例では、プロセッサは、受信された座標を、プロジェクタと関連付けられた座標系内のポインタ・エリアにマッピングし、ポインタ・エリアに基づいてオーバレイ画像を生成し、オーバレイ画像は、関心の領域を包含し、シミュレータ上でオーバレイ画像を投影するように、プロジェクタに制御信号を提供するために構成される。
一実施例では、プロセッサは、受信された座標を、シミュレーション環境の座標系内の少なくとも1つの所与のポイントにマッピングし、少なくとも1つの所与のポイントを、プロジェクタと関連付けられた座標系内のポインタ・エリアにマッピングする、ために構成される。
一実施例では、プロセッサは、テレコミュニケーション・ネットワーク越しに、第1のコンピュータ上で稼働する第1のビデオ会議クライアントと第2のコンピュータ上で稼働する第2のビデオ会議クライアントとの間の接続を確立し、第1のビデオ会議クライアントを通じて、第2のコンピュータに所与の画像を送信するために構成され、第2のコンピュータは、リモート・ディスプレイ・ユニット上での表示のための所与の画像を提供し、座標を該受信することは、セキュア・パブリック・ネットワーク越しに、第1のビデオ会議クライアントを通じて、第2のコンピュータから座標を受信することを含む。
一実施例では、テレコミュニケーション・ネットワークは、パブリック・ネットワーク、セキュア・パブリック・ネットワーク、プライベート・ネットワーク、及びセキュア・プライベート・ネットワークのうちの1つを含む。
一実施例では、プロセッサは更に、受信された座標に基づいて、複数の利用可能なプロジェクタの中でプロジェクタを選択し、選択されたプロジェクタに制御信号を提供するために構成される。
一実施例では、プロセッサは更に、プロジェクタについてのターゲット・ポジションを決定し、ターゲット・ポジションは、関心の領域がプロジェクタの視野内に含まれることを保証し、ターゲット・ポジションを更に示す制御信号を提供するために構成される。
一実施例では、プロセッサは更に、シミュレーション環境内に位置するカメラから、シミュレーション環境の少なくとも一部分の所与の画像を受信するために構成される。
一実施例では、プロセッサは更に、シミュレーション環境の少なくとも一部分の所与の画像を生成するために構成される。
一実施例では、プロセッサは、シミュレーション環境の3Dモデルを使用して所与の画像を生成するために構成される。
一実施例では、プロセッサは、所与の画像内で選択された複数のポイントについての座標を受信し、複数のポイントについての受信された座標に基づいて、複数の関心の領域を識別し、シミュレーション環境内の複数の関心の領域を視覚的且つ同時に区別するように、プロジェクタに制御信号を提供するために構成される。
一実施例では、プロセッサは更に、ポインタ・エリアについての少なくとも1つの特性を選択するために構成され、制御信号は、少なくとも1つの特性を示す。
一実施例では、少なくとも1つの特性は、形状、強度、及び色のうちの少なくとも1つを含む。
更なる広範囲の態様によって、シミュレーション環境へのリモート可視性をもたらすコンピュータ・プログラム製品が提供され、コンピュータ・プログラム製品は、コンピュータ実行可能命令をそこに記憶したコンピュータ可読メモリを含み、コンピュータ実行可能命令は、プロセッサによって実行されるとき、セキュア・パブリック・ネットワーク越しに、第1のコンピュータ上で稼働する第1のビデオ会議クライアントと第2のコンピュータ上で稼働する第2のビデオ会議クライアントとの間の接続を確立するステップと、セキュア・プライベート・ネットワーク越しに、第1のコンピュータにおいて第1のライブ・カメラ・フィードを受信するステップであって、ライブ・カメラ・フィードは、シミュレーション環境の第1の部分を包含し、第1のカメラによって捕捉され、第2のコンピュータは、セキュア・プライベート・ネットワークの外側に位置する、ステップと、第1のコンピュータ上で稼働するビューワ・アプリケーション内で、第1のライブ・カメラ・フィードと、シミュレーション制御インタフェース、シミュレーション環境の第2の部分の、コンピュータにより生成された表現、及び第2のカメラによって捕捉され、第1の部分とは異なる、シミュレーション環境の第3の部分を包含する第2のライブ・カメラ・フィード、のうちの少なくとも1つと、を表示するステップと、第1のビデオ会議クライアントを通じて、ビューワ・アプリケーションに対し、第2のビデオ会議クライアントの視覚アクセスを許可するステップと、の方法ステップを実行する。
一実施例では、コンピュータ・プログラム製品は更に、プロセッサによって実行されるとき、シミュレーション環境内の関心の領域をリモートに指し示すように適合され、コンピュータ可読メモリは、シミュレーション環境の少なくとも一部分の所与の画像内で選択された少なくとも1つのポイントの座標を受信するステップであって、所与の画像は、ディスプレイ・ユニット上で表示される、ステップと、少なくとも1つのポイントの受信された座標に基づいて、シミュレーション環境内の関心の領域を識別するステップと、シミュレーション環境内の関心の領域を視覚的に区別するように、プロジェクタに制御信号を提供するステップと、の方法ステップを実行する、更なるコンピュータ実行可能命令をそこに記憶する。
更なる別の広範囲の態様によって、シミュレーション環境へのリモート可視性をもたらすキットが提供され、キットは、上記コンピュータ・プログラム製品と、シミュレーション環境の内部に取り外し可能に確保可能なポールと、を含み、ポールは、調節可能な長さを有する伸長体と、カメラを保持するための少なくとも1つのカメラ保持デバイスと、を含み、カメラ保持デバイスは、伸長体に沿った所望のポジションにおいて確保可能であり、カメラがシミュレーション環境の所望の部分の画像を捕捉するように構成可能である。
一実施例では、伸長体は、伸縮式である。
一実施例では、カメラ保持デバイスは、伸長体に回転可能に確保可能である。
一実施例では、カメラ保持デバイスは、伸長体に確保可能なクランプと、クランプに回転可能に接続された第1の端とカメラに搭載可能な第2の端との間で伸びるアームと、を含む。
一実施例では、カメラ保持デバイスは更に、アームの第1の端とクランプとの間に搭載された第1のボール・ジョイントと、アームの第2の端において搭載され、カメラに確保可能である第2のボール・ジョイントと、を含む。
本発明の更なる特徴及び利点は、添付図面との組合せで採用される、以下の詳細な説明から明らかになるであろう。
添付図面の全体を通じて、同様の特徴が同様の参照符号によって識別されることに留意されよう。
一実施例では、以下で説明される方法及びシステムは、例えば、パイロット及び/又はコパイロットを訓練するエアクラフト・シミュレータのコンテキストにおいて使用され得る。エアクラフト・シミュレータは通常、エアクラフト・コクピットを模倣した訓練ルームを含む。訓練ルームは通常、シミュレートされたエアクラフトの移動をシミュレートするために移動可能である。訓練ルームには、エアクラフト内で発見された実物の機器及び制御に通常は対応する、又は模倣する機器及び制御が設けられる。訓練ルームにはまた通常、パイロット及びコパイロットのための2つのシートが設けられる。更に、訓練ルームには通常、パイロット及びコパイロットのシートの背後に位置するインストラクタ操作ステーションが設けられ、インストラクタ操作ステーションは、シミュレーション中に、インストラクタが、シミュレーションを制御すること並びに/又はパイロット及びコパイロットの遂行能力をモニタすることを可能にする。例えば、インストラクタは、インストラクタ操作ステーションを介して、シミュレーションのパラメータを設定し得、又は所与のシミュレーションをロードし得る。インストラクタ操作ステーションは、例えば、パイロット及び/又はコパイロットのサーティフィケーションを更新するためにパイロット及び/又はコパイロットを評価する米国連邦航空庁(Federal Aviation Administration(FAA))などの規制エージェンシのエージェントによっても使用され得る。
エアクラフト・シミュレータの通常のアーキテクチャは、インストラクタ又はエージェントが、シミュレーション中にパイロット及び/又はコパイロットを指示、ガイド、及び/又は評価するようにシミュレータの訓練ルーム内に物理的に存在することを必要とする。しかしながら、パンデミック中などのいくつかの特定の状況では、シミュレーション中にパイロット及び/又はコパイロットをリモートに指示、ガイド、及び/又は評価することが有利であり得る。そのために、本方法及びシステムは、インストラクタ又はエージェントなどの第三者の人間に、シミュレータ内に位置する機器及び制御を含むコクピット又は飛行デッキの少なくとも一部へのリモート可視性又はリモート視覚アクセスをもたらす。本方法及びシステムは更に、インストラクタ又はエージェントによるシミュレーション・エンジンのリモート制御を有効にし得る。本方法及びシステムはまた、パイロット及び/又はコパイロットと第三者との間の通信をもたらし得る。
一実施例では、本技術は、既製のビデオ会議プラットフォームを使用して実装され、既製のビデオ会議プラットフォームは、第三者によって使用される位置及びシステムに関わらず、迅速及び/又は安価な実装態様を可能にする。
図1は、シミュレーション環境へのリモート可視性をもたらす方法10の一実施例を例示する。方法10は、少なくとも1つのプロセッサによって実行されることが理解されるべきである。上記説明されたように、シミュレーション環境は、シミュレーション中に、パイロットなどのユーザの配置において少なくとも機器及び制御を含む。シミュレーション環境は更に、機器及び制御の少なくとも一部分など、シミュレータの少なくとも一部分を捕捉するように位置付けられ及び方位付けられた少なくとも1つのカメラが設けられる。カメラは、プライベート・ネットワークを介して第1のコンピュータ・マシンに接続される。第1のコンピュータ・マシンも、テレコミュニケーション・ネットワークを介してプライベート・ネットワークの外側に位置する第2のコンピュータ・マシンに接続される。第2のコンピュータ・マシンは、プライベート・ネットワークへのアクセスを有さない。第1の及び第2のコンピュータ・マシンは、テレコミュニケーション・ネットワークを使用して、ビデオ会議プラットフォームを介して通信する。
ステップ12において、第1のコンピュータ・マシンは、プライベート・ネットワーク越しに、カメラから第1のビデオ・フィードを受信する。第1のビデオ・フィードは、シミュレータの少なくとも第1の部分を包含し、すなわち、カメラは、シミュレータの内部空間の少なくとも一部分の画像を捕捉し、捕捉された画像は、第1のコンピュータ・マシンに送信される。例えば、カメラは、パイロット及びコパイロットのシートの背後に位置付けられ得、その結果、ビデオ・フィードは、パイロット、コパイロット、及びコクピットの部分を包含し得る。
ステップ14において、ビューワ・アプリケーション及び第1のビデオ会議クライアントは、第1のコンピュータ・マシン上で同時に稼働している。第1のコンピュータ・マシンは、第1のディスプレイ・ユニットを含み、ビューワ・アプリケーションは、第1のディスプレイ・ユニット上でステップ12において受信されたビデオ・フィードを表示するために構成される。例えば、ビューワ・アプリケーションは、少なくとも1つのビデオ・フィードをそこに表示するためのインタフェースを生成し、及び/又は、第1のコンピュータ・マシンに接続された第1のディスプレイ・ユニット上でそれらが表示され得るように、ビデオ・フィードをフォーマットするために構成され得る。第1のビデオ会議クライアントは、テレコミュニケーション・ネットワークを介して、第2のビデオ会議クライアントとデータを送信及び受信するために構成される。
一実施例では、第1のコンピュータ・マシンは更に、ステップ12において、シミュレーション制御インタフェース、シミュレータの第2の部分の、コンピュータにより生成された表現、及び/又は第2のカメラによって捕捉され、第1のビデオ・フィードによって包含されたシミュレータの部分とは異なるシミュレータの部分を包含する第2のライブ・カメラ・フィードを受信する。このケースでは、ステップ14において、シミュレーション制御インタフェース、シミュレータの第2の部分の、コンピュータにより生成された表現、及び/又は第2のライブ・カメラ・フィードは、第1のビデオ・フィードに加えて、ビューワ・アプリケーション内で表示される。
ビューワ・アプリケーションは、ビデオ・フィード又は任意の画像などの画像を表示するために構成されることが理解されるべきである。一実施例では、ビューワ・アプリケーションは、様々なグラフィック・ファイル・フォーマットを扱う能力を有する。一実施例では、ビューワ・アプリケーションは、色深度、表示解像度、及び色プロファイルなど、表示の特質に従って画像をレンダリングするために構成される。
ステップ16において、第2のコンピュータ・マシン上で稼働する第2のビデオ会議クライアントは、第1のコンピュータ・マシン上で稼働する第1のビデオ会議クライアントを通じて、ビューワ・アプリケーションへのアクセスを許可される。結果として、ビデオ・フィードは、テレコミュニケーション・ネットワークを介して、第1のビデオ会議クライアントによって第2のビデオ会議クライアントに送信される。結果として、第1のコンピュータ・マシンに接続された第1のディスプレイ・ユニット上で表示された同一の画像は、第2のコンピュータ・マシンに接続された第2のディスプレイ・ユニット上でリモートに表示され得、第三者は、ビデオ会議プラットフォームを使用する間、シミュレーション環境へのリモート可視性を有し得る。
一実施例では、方法10は更に、セキュア・パブリック・ネットワーク越しに、第1のコンピュータ上で稼働する第1のビデオ会議クライアントと第2のコンピュータ上で稼働する第2のビデオ会議クライアントとの間の接続を確立するステップを含む。
一実施例では、第1の及び第2のビデオ会議クライアントは、ビデオ会議セッションに参加するコンピュータ・マシンの間でビデオ・フィードを少なくとも送信するために構成された既製のビデオ会議プラットフォームの一部である。例えば、既製のビデオ会議プラットフォームは、Teams(登録商標)、Webex(登録商標)、又はGoogle Meet(登録商標)などであり得る。
シミュレータに対するカメラのポジション及び方位は、シミュレータの所望のビューに応じて選ばれることが理解されるべきである。上記説明されたように、カメラは、シミュレータ内に位置し得る。このケースでは、カメラのポジション及び方位は、少なくともパイロット及びコクピットの部分を捕捉するように選ばれ得る。別の実例では、カメラのポジション及び方位は、コクピットの所与の区域又は部分のみを捕捉するように選ばれ得る。更なる実施例では、カメラは、第三者がシミュレータの動きを見ることを可能にするために、シミュレータの外側を捕捉するようにシミュレータの外側に位置付けられ得る。
一実施例では、カメラのポジション及び方位は、適時に固定される。別の実施例では、カメラのポジション及び/又は方位は、シミュレータの異なるビューが捕捉され得るにつれて、シミュレータに対して変化し得る。このケースでは、カメラのポジション及び/又は方位は、第1のコンピュータ・マシンによって制御され得る。
上記説明は、シミュレータの画像を捕捉するための単一のカメラに言及しているが、シミュレータの画像の捕捉するために複数のカメラが使用され得ることが理解されるべきである。例えば、シミュレータの内部空間の異なるビューを捕捉するために、シミュレータ内に数個のカメラが据え付けられ得る。このケースでは、シミュレータ内に据え付けられた各々のカメラのポジション及び方位は、シミュレータの内部空間のそれぞれの所望のビューに応じて選ばれる。例えば、第1のカメラは、パイロット、コパイロット、及びコクピットの画像を捕捉するために位置付けられ及び方位付けられ得、第2のカメラは、コクピットの所与の部分の画像を捕捉するために位置付けられ及び方位付けられ得る。シミュレータの少なくとも外部部分の画像を捕捉するために、少なくとも1つの更なるカメラがシミュレータの外側に据え付けられ得る。
シミュレータの数個のビューが数個のカメラによって捕捉されるとき、ステップ12は、第1のコンピュータ・マシンにおいて、プライベート・ネットワーク越しにカメラからビデオ・フィードを受信することを含む。一実施例では、ビューワ・アプリケーションは、受信されたビデオ・フィードのうちの所与の1つを選択し、第1のコンピュータ・マシンに接続された第1のディスプレイ・ユニット上での表示のための選択されたビデオ・フィードを提供するために構成される。別の実施例では、ビューワ・アプリケーションは、受信されたビデオ・フィードの少なくとも2つを選択し、2つの選択されたビデオ・フィードを含む画像を生成し、第1のコンピュータ・マシンに接続された第1のディスプレイ・ユニット上での表示のための生成された画像を提供するために構成される。例えば、シミュレータの内部部分を包含する第1のビデオ・フィード及びシミュレータの外部部分を包含する第2のビデオ・フィードは、ステップ12において受信され得る。次いで、ステップ14において、ビューワ・アプリケーションは、第1のビデオ・フィードからの第1の画像及び第2のビデオ・フィードからの第2の画像を含む画像を生成する。例えば、生成された画像の半分は、第1のビデオ・フィードの画像に対応し得ると共に、生成された画像の他の半分は、第2のビデオ・フィードの画像に対応し得る。例えば、2つのビデオ・フィードからの画像は、生成された画像内で並んで位置付けられ得、又はその他の最上部上で1つが位置付けられ得る、などである。ビューワ・アプリケーションによって生成された画像は次いで、第1のディスプレイ・ユニットに送信されて、その上で表示されることになる。更に、第1のコンピュータ・マシンに接続された第1のディスプレイ・ユニット上での生成された画像の表示と同時に、生成された画像は、テレコミュニケーション・ネットワークを介して、第1のビデオ会議クライアントによって第2のビデオ会議クライアントに送信され、その結果、第1のコンピュータ・マシンに接続された第1のディスプレイ・ユニット上での生成された画像の表示及び第2のコンピュータ・マシンに接続された第2のディスプレイ・ユニット上での同一の生成された画像の表示は、実質的に同時に発生する。
例えば、ビューワ・アプリケーションによって3つのビデオ・フィードから生成された画像は、それぞれのビデオ・フィードが統合された3つの区域を含み得る。生成された画像の左上区域は、第1のカメラによって捕捉され、パイロット、コパイロット、及び機器、及び制御パネルを包含する第1のビデオ・フィードを表示するために使用され得る。生成された画像の右上区域は、第2のカメラによって捕捉され、機器の部分及び制御パネルを包含する第2のビデオ・フィードを表示するために使用され得る。生成された画像の左下区域は、第3のカメラによって捕捉され、シミュレーション画像、例えば、実のエアクラフトのウインドウを通じて見られるようにエアクラフトの外部環境の、コンピュータにより生成された画像を表示するために、シミュレータ内に存在するディスプレイ・ユニットを包含する第3のビデオ・フィードを表示するために使用され得る。
図2は、シミュレータのコクピット内で複数のカメラ51を取り外し可能に据え付けるために使用され得る例示的なポール50を例示する。ポール50は、コクピットのフロアに接するように適合された第1の端とコクピットのシーリングに接するように適合された第2の端との間で縦方向に延びる伸長体52を含む。伸長体52の長さは、異なる高さを有するコクピットを収容するように調節可能である。例えば、伸長体52は、伸縮式であり得る。一実施例では、コクピットへのポール50の確保を改善するために、伸長体52の第1の及び第2の端においてそれぞれのラバー・パッドが搭載される。伸長体52は、任意の適切な形状を有し得ることが理解されるべきである。例えば、伸長体52は、円形断面、正方形断面などを有し得る。
ポール50は更に、複数のカメラ保持デバイス54を含み、複数のカメラ保持デバイス54の各々は、伸長体52の長さに沿ったそれぞれのポジションにおいて搭載可能であり、それに確保されたカメラ51のそれぞれ1つを有するために構成される。各々のカメラ保持デバイス54は、ポール50に搭載可能なクランプ60と、クランプ60に回転可能に確保された第1の端64とカメラ51のそれぞれ1つに回転可能に確保可能な第2の端66との間で延びるアーム62と、を含む。アーム62の第2の端66に搭載されると、カメラ51のそれぞれ1つは次いで、アーム62に対して回転可能である。一実施例では、クランプ60は、伸長体52に摺動可能に搭載される。
一実施例では、クランプ60に対する3つの回転軸の周りでアーム62の回転をもたらすために、アーム62の第1の端64とクランプ62との間で第1のボール・ジョイントが接続される。同様に、アーム62にカメラを確保し、アーム62に対する3つの回転軸の周りでカメラの回転をもたらすために、アーム62の第2の端66に第2のボール・ジョイントが存在する。
コクピットにポール50を搭載するために、伸長体52の長さは、コクピットの高さに、すなわち、コクピットのシーリングとフロアとの間の距離に対応するように調節される。ポール50は次いで、フロア上の所望のポジションにおいてその第1の端がコクピットのフロアに接し、その第2の端がコクピットのシーリングに接するように位置付けられる。ポール50の長さがコクピットのフロアとシーリングとの間の距離に実質的に等しいので、ポール50とコクピットのフロア及びシーリングとの間に圧縮力が存在し、それによってポール50をコクピットに確保することが可能になる。ポール50は実質的に、コクピットに確保されるときに垂直に延びることが理解されるべきである。
ポール50がフロア上の所望のポジションにおいてコクピットに確保されると、カメラ保持デバイス54の各々は、伸長体52に沿ったそれぞれの所望の縦方向のポジションに位置付けられる。所望の縦方向ポジションにあると、伸長体52にカメラ保持デバイス54のそれぞれ1つを固定して確保するために、クランプ60が使用される。カメラ51のそれぞれ1つは次いで、各々のカメラ保持デバイス54に確保される。代わりに、カメラ51は、それらの所望の縦方向のポジションにカメラ保持デバイス54を位置付ける前に、カメラ保持デバイス54に確保され得る。
次いで、カメラ51の各々は、その対応するアーム62に対してそれぞれのカメラ51の各々を回転させ、及び/又はその対応するクランプ60に対してその対応するアーム62を回転させることによって、コクピットのそれぞれの所望のビューの画像を捕捉するように方位付けられる。
伸長体52が円筒形状を有する実施例では、クランプ60は更に、伸長体52の縦方向軸の周りで回転可能である。このケースでは、カメラ51のそれぞれ1つを適切に方位付けるために、伸長体にクランプを確保する前に、伸長体52の円周に沿った所望の径方向ポジションにクランプ60を位置付けることができる。
ポール50は、カメラ51によるコクピットの所望のビューの捕捉を可能にする、任意の適切なポジションにおいてコクピット内で取り外し可能に確保され得ることが理解されるべきである。一実施例では、ポール50は、パイロット及びコパイロットが、それらのそれぞれのシートにアクセスすること、及び/又は緊急のケースにおいてコクピットを容易に離れることを可能にする、コクピット内の適切なポジションにおいて確保される。
一実施例では、ポール50は、コクピットのシミュレートされたエリア内で確保される。例えば、ポール50は、パイロット及びコパイロットのシートの間など、コクピットの中央台座の前方に確保され得る。別の実例では、ポール50は、中央台座に対向しながら、パイロット及びコパイロットシートの後部に確保される。
一実施例では、ポール50は、コクピット内のポジションに搭載され、その結果、ポール50に搭載されたカメラ51の各々と撮像されることになるコクピットのそのそれぞれの部分との間の距離は、約121.92cm(4フィート)~約185.04cm(6フィート)から構成される。
カメラ保持デバイス54の数、したがって、カメラ51の数は、ポール50がカメラ保持デバイス54のうちの少なくとも1つを含む限り可変であり得ることが理解されるべきである。一実施例では、ポール50は、カメラ保持デバイス54のうちの少なくとも3つを含む。このケースでは、カメラ保持デバイス54の第1のものは、コクピットの中央台座を包含する第1のビデオ・フィードを提供するために、カメラ51のうちの1つがそれに搭載されるように構成され得る。カメラ保持デバイス54の第2のものは、オーバヘッド機器パネルを包含する第2のビデオ・フィードを提供するために、カメラ51のうちの1つがそれに搭載されるように構成され得る。カメラ保持デバイス54の第3のものは、パイロット機器パネルを包含する第3のビデオ・フィードを提供するために、カメラ51のうちの1つがそれに搭載されるように構成され得る。コパイロット機器パネル、パイロットのシートにいるときのパイロット、コパイロットのシートにいるときのコパイロット、ディスプレイ・ユニットなどを包含するビデオ・フィードなど、コクピットの他の部分のビデオ・フィードをカメラ51の追加の1つが提供するように、カメラ保持デバイス54の追加の1つが設けられ得る。
いくつかの実施例では、方法10は更に、インストラクタ操作ステーションのインタフェースなど、シミュレータのシミュレーション制御インタフェースへのリモート・アクセスをもたらす。オペレーティング・システムのシミュレーション制御インタフェースは、シミュレーションを生成する、シミュレーション・エンジンとデータを交換することをもたらす。例えば、シミュレーションのためのパラメータを設定及び表示するために、シミュレーション制御インタフェースが使用され得る。一実施例では、第1のコンピュータ・マシンは、プライベート・ネットワーク越しにシミュレーション・エンジンと通信しており、シミュレーション・エンジンは、ビューワ・アプリケーションにシミュレーション制御インタフェースを直接送信する。ビューワ・アプリケーションは、第1のディスプレイ・ユニット上でビデオ・フィード及びシミュレーション制御インタフェースの両方を含む画像を表示するように、シミュレーション制御インタフェースをカメラから受信されたビデオ・フィードと組み合わせる。例えば、シミュレーション制御インタフェース及びビデオ・フィードをそれぞれ表示するために、生成された画像の2つの並んだ区域が使用され得る。
上記説明されたように、オペレーティング・システムのインタフェースがビューワ・アプリケーションによってシミュレーション・エンジンから受信され得ると共に、他の実施例が可能である。例えば、シミュレーション制御インタフェースは、第1のディスプレイ・ユニットとは別個の更なるディスプレイ・ユニット上で、例えば、シミュレータ内のインストラクタ・ステーション上に備えられるディスプレイ・ユニット上で表示され得、カメラは、制御インタフェースを包含するビデオ・フィードを提供するように、更なるディスプレイ・ユニットの画像を捕捉する。シミュレーション制御インタフェースを包含するビデオ・フィードは次いで、ビューワ・アプリケーションに送信され、ビューワ・アプリケーションは、シミュレーション制御インタフェースを包含するビデオ・フィード及びシミュレータの部分を包含するビデオ・フィードを使用して画像を生成する。
一実施例では、シミュレーション・エンジンによって生成された画像も、第1のコンピュータ・マシンに送信され得、その結果、ビューワ・アプリケーションは、少なくとも1つのビデオ・フィードと、任意選択で、オペレーティング・システムのインタフェースとそれらを組み合わせる。
一実施例では、第1のコンピュータ・マシンは、プライベート・ネットワーク越しに、データ分析プラットフォームをホストするサーバに接続される。データ分析プラットフォームは、ユーザが所与のビューに対して費やした時間量、第2のディスプレイ・ユニット上で表示された画像に対するユーザ・クリックの位置など、第2のコンピュータ・マシンとのユーザの履歴的対話を記憶する。このケースでは、方法10は更に、データ分析プラットフォームのインタフェースへのリモート・アクセスをもたらす。
この実施例では、第1のコンピュータ・マシンは、ビューワ・アプリケーションに、データ分析プラットフォームのインタフェースを直接送信する。ビューワ・アプリケーションは、第1のディスプレイ・ユニット上でビデオ・フィード及びデータ分析プラットフォームのインタフェースの両方を含む画像を表示するように、データ分析プラットフォームのインタフェースを、カメラから受信されたビデオ・フィードと組み合わせる。
上記説明されたように、データ分析プラットフォームのインタフェースがビューワ・アプリケーションによって、データ分析プラットフォームをホストするサーバから直接受信され得ると共に、他の実施例が可能である。例えば、データ分析プラットフォームのインタフェースは、第1のディスプレイ・ユニットとは別個の更なるディスプレイ・ユニット上で表示され得、更なるカメラは、データ分析プラットフォームのインタフェースを包含するビデオ・フィードを提供するように、更なるディスプレイ・ユニットの画像を捕捉し得る。データ分析プラットフォームのインタフェースを包含するビデオ・フィードは次いで、ビューワ・アプリケーションに送信され、ビューワ・アプリケーションは、データ分析プラットフォームのインタフェースを包含するビデオ・フィード及びシミュレータの部分を包含するビデオ・フィードを使用して画像を生成する。
図3は、ビューワ・アプリケーションによって実行された6個の異なる画像又はビデオ・フィードの組合せから結果として生じる例示的な画像を例示する。例示される画像は、6個の対等の区域に分割され、各々の区域は、それぞれの画像又はビデオ・フィードをその上で表示するために使用される。右上で、インストラクタ・オペレーティング・システムのインタフェースの画像が表示される。真ん中上で、シミュレータの上部分を包含するビデオ・フィードが表示される。右上で、エアクラフトの外部環境のシミュレートされた画像が表示される。左下で、シミュレータの外部部分を包含するビデオ・フィードが表示される。真ん中下で、コクピットの第1の部分を包含するビデオ・フィードが表示される。右下で、コクピットの第2の部分を包含するビデオ・フィードが表示される。
図3に例示される画像は、テレコミュニケーション・ネットワーク越しに、第1のビデオ会議クライアントによって第2のビデオ会議クライアントに送信される。図4は、第2のコンピュータ・マシンの第2のディスプレイ・ユニット上で表示された第2のビデオ会議クライアントの例示的なインタフェースを例示する。例示されるインタフェースは、ビューワ・アプリケーションによって生成され、第2のビデオ会議クライアントに送信された画像を含み、更に、画像の下にあるビデオ会議セッションへのそれぞれの参加者に各々が対応するアイコンを含む。
例えば、ビューワ・アプリケーションによって生成された画像は、7個のビデオ・フィード及びシミュレートされた画像を組み合わせ得る。ビューワ・アプリケーションによって生成された画像は、4個の区域に分割され得る。シミュレータのそれぞれの部分を各々が包含する6個の異なるビデオ・フィードを表示するために、左上区域が使用され得る。コマンド及び制御のパネルの部分を包含するビデオ・フィードを表示するために、画像の右上区域が使用され得る。オーバレイされたエアクラフト・ポジションとのシミュレートされたマップを表示するために、画像の右下が使用され得る。左上に表示された6個の画像のうちの1つの拡大されたバージョンを表示するために、画像の左下が使用され得る。例えば、左上に表示された6個のビデオ・フィードのうちの1つに対してダブル・クリックすることによって、選択されたビデオ・フィードが左下区域上で拡大及び表示される。
一実施例では、方法10は更に、テレコミュニケーション・ネットワーク越しに、第1のビデオ会議クライアントと第2のビデオ会議クライアントとの間で音声信号を送信することを含む。一実施例では、少なくとも1つのマイクロフォン及び/又は少なくとも1つのスピーカは、音を捕捉し、及び/又は音声信号を放出するために、シミュレータ内に存在し得る。マイクロフォン及びスピーカは、第1のコンピュータ・マシンと通信している。例えば、マイクロフォン及びスピーカは、プライベート・ネットワーク越しに、第1のコンピュータ・マシンに接続され得る。別の実例では、第1のコンピュータ・マシンとマイクロフォン及び/又はスピーカとの間でBluetooth(登録商標)通信が使用され得る。
マイクロフォンがシミュレータ内に位置するとき、マイクロフォンは、シミュレータ内で放出された音を捕捉し、音声フィードは、マイクロフォンによって第1のコンピュータ・マシンに送信される。受信された音声フィードは次いで、ビデオ会議セッション中にテレコミュニケーション・ネットワーク越しに、第1のビデオ会議クライアントによって第2のビデオ会議クライアントに送信される。第三者がシミュレータ内で生成された音を聞くことができるように、受信された音声フィードを再生するために、第2のコンピュータ・マシンに少なくとも1つのスピーカが設けられることが理解されるべきである。
同様に、第2のコンピュータ・マシンには、音声を捕捉するためのマイクロフォンが設けられ得、対応する音声フィードは次いで、テレコミュニケーション・ネットワークを介して、第2のビデオ会議クライアントによって第1のビデオ会議クライアントに送信される。第1のコンピュータ・マシンは次いで、第2のコンピュータ・マシンから音声フィードを受信し、シミュレータに存在するスピーカに音声フィードを送信する。
したがって、シミュレータ内に存在するパイロット及び/又はコパイロットとビデオ会議セッションを介してリモートに位置する第三者との間で、音声通信が実質的にリアルタイムで確立され得る。第三者は、シミュレータ内で雑音を聞くことに加え、パイロットとコパイロットとの間のあらゆる議論を聞く間、パイロット及びコパイロットにボーカル命令又はコメントを送信し得る。
一実施例では、パイロット及びコパイロットには各々、第1のコンピュータ・マシンに接続されたそれぞれのヘッドセットが与えられる。別の実施例では、少なくとも1つのマイクロフォンは、シミュレータ内で音声を捕捉するように、パイロットとコパイロットとの間など、シミュレータの内部部分内で確保され得、少なくとも1つのスピーカは、シミュレータの内部部分内で確保され得る。
一実施例では、本方法10によって、第三者とパイロットとの間の視覚通信がもたらされ得る。例えば、第三者は、第2のコンピュータ・デバイスに、テキスト、画像、図など、コマンド/要求/命令を入力し得る。コマンドは、テレコミュニケーション・ネットワーク越しに、第2のビデオ会議クライアントによって第1のビデオ会議クライアントに送信される。コマンドを受信すると、第1のコンピュータ・マシンは、パイロット及び/又はコパイロットにコマンドを通知するように、シミュレータ内に位置するディスプレイ・ユニットに、受信されたコマンドを送信する。例えば、コマンドは、シミュレータの機器及び制御パネルに含まれるディスプレイ・ユニット上で表示され得る。別の実施例では、ディスプレイ・ユニットは、パイロット及び/又はコパイロットに通知するための、シミュレータ内でコマンドを投影するために構成されたプロジェクタを含み得る。
一実施例では、第1のコンピュータ・マシン上で稼働するビューワ・アプリケーションは、ビデオ会議プラットフォームを介して第2のコンピュータ・マシンによってリモートに制御され得る。このケースでは、方法10は更に、第1のビデオ会議クライアントを介して、ビューワ・アプリケーションに対する第2のビデオ会議クライアント制御を許可するステップを含む。このケースでは、第三者は、第2のビデオ会議クライアント内でコマンドを入れ得る。そのように行って、第三者は、例えば、シミュレータのインストラクタ・オペレータ・ステーションのインタフェースと対話し得る。入力が第2のコンピュータ・マシンの第2のビデオ会議クライアントに入れられるとき、入力は、テレコミュニケーション・ネットワーク越しに、第2のビデオ会議クライアントによって第1のビデオ会議クライアントに送信される。入力は次いで、コマンドを実行するために構成されたビューワ・アプリケーションによって受信される。例えば、それがマウス・クリックを検出するとき、第2のビデオ会議クライアントは、第2のビデオ会議クライアントによって表示された画像内でカーソルのポジションを決定し得る。第2のビデオ会議クライアントは次いで、第1のビデオ会議クライアントにカーソル・ポジションを送信し、第1のビデオ会議クライアントは、ビューワ・アプリケーションに、受信されたカーソル・ポジションを送信する。ビューワ・アプリケーションは、ビューワ・アプリケーションによって生成された画像内の同一のポジションにおけるマウス・クリックとして、受信されたカーソルを解釈する。例えば、カーソル・ポジションがインストラクタ・オペレータ・ステーションのインタフェース上のボタンに対応する場合、ビューワは、ボタンを活性化し、すなわち、それは、シミュレーション・エンジンに、識別されたボタンが活性化されるべきであることを示すコマンドを送信する。第三者は、データ分析プラットフォームのインタフェースと対話し得る。
第1の及び第2のビデオ会議クライアントが既製のビデオ会議プラットフォームの一部である一実施例では、ビューワ・アプリケーションに対する第2のビデオ会議クライアント制御を許可するために、「Give control」及び「Take control」などの既存の機能が使用され得る。次いで、第2のビデオ会議クライアントに、オペレーティング・システムのインタフェース及び/又はデータ分析プラットフォームのインタフェースの制御を許可することができる。
上記説明された方法10は、シミュレーション環境へのリモート可視性をもたらすシステムとして具現化され、システムは、少なくとも1つのプロセッサと、プロセッサに動作可能に接続された非一時的記憶媒体とを含み、非一時的記憶媒体は、コンピュータ可読命令を含み、プロセッサは、コンピュータ可読命令を実行すると、方法10のステップを実行するために構成されることが理解されるべきである。
上記説明された方法10は、シミュレーション環境へのリモート可視性をもたらすコンピュータ・プログラム製品として具現化され得、コンピュータ・プログラム製品は、プロセッサによって実行されるとき、方法10の方法ステップを実行する、コンピュータ実行可能命令をそこに記憶したコンピュータ可読メモリを含むことも理解されるべきである。
図5は、シミュレーション環境へのリモート可視性をもたらすシステム100の一実施例を例示する。システム100は、方法10を実行するために使用され得る。
システム100は、シミュレーション環境又はシミュレータ102、プライベート位置102、及びリモート位置104を含む。シミュレータ102は、シミュレータ102のユーザがシミュレーションを実行するように対話する少なくとも機器及び制御(図示せず)と、機器及び制御の少なくとも一部分など、シミュレータ102の少なくとも一部分の画像を捕捉するための少なくとも1つのカメラ110と、シミュレータ102内に位置付けられた少なくとも1つのスピーカ112と、シミュレータ102内に位置付けられた少なくとも1つのマイクロフォン104と、を含む。
プライベート位置104は、第1のコンピュータ・マシン120と、それに接続された第1のディスプレイ・ユニット122と、を含む。ビューワ・アプリケーション及び第1のビデオ会議クライアントは、第1のコンピュータ・マシン上で同時に稼働している。第1のコンピュータ・マシン120は、シミュレータ102のカメラ110、スピーカ112、及びマイクロフォン114と通信している。カメラ110は、プライベート・ネットワークを介してコンピュータ・マシン120に接続される。一実施例では、スピーカ112及びマイクロフォン114も、プライベート・ネットワークを介してコンピュータ・マシン120に接続される。別の実施例では、Bluetooth(登録商標)通信などの無線通信は、上記説明されたような第1のコンピュータ・マシン及びスピーカ112及びマイクロフォン114を接続するために使用され得る。このケースでは、プライベート位置122は、スピーカ112及びマイクロフォン114と第1のコンピュータ・マシン120との間の無線通信を可能にするように、シミュレータと近接近して位置することが理解されるべきである。
リモート位置は、第2のコンピュータ・マシン130、第2のディスプレイ・ユニット132、スピーカ134、及びマイクロフォン136を含む。第2のビデオ会議クライアントは、第2のコンピュータ・マシン130上で稼働している。データは、テレコミュニケーション・ネットワーク138を介して、第1のコンピュータ・マシン120上で稼働する第1のビデオ会議クライアントと第2のコンピュータ・マシン130上で稼働する第2のビデオ会議クライアントとの間で交換され得る。第2のコンピュータ・マシン130は、プライベート・ネットワーク124へのアクセスを有さないことが理解されるべきである。
上記説明されたように、第1のコンピュータ・マシン120上で稼働するビューワ・アプリケーションは、プライベート・ネットワーク124越しにカメラ110からビデオ・フィードを受信し、第1のディスプレイ・ユニット122上での表示のためのビデオ・フィードを提供する。更に、ビューワ・アプリケーションは、第1のビデオ会議クライアントにビデオ・フィードを送信し、第1のビデオ会議クライアントは、テレコミュニケーション・ネットワーク138越しに、第2のビデオ会議クライアントにビデオ・フィードを送信する。
第2のコンピュータ・マシン130上で稼働する第2のビデオ会議クライアントは、第1のビデオ会議クライアントからビデオ・フィードを受信し、第2のディスプレイ・ユニット132上での表示のために、受信されたビデオ・フィードを送信する。
スピーカ112及びマイクロフォン114、及びスピーカ134及びマイクロフォン136は、上記説明されたように、シミュレータ環境102とリモート位置106との間の音声通信を可能にする。マイクロフォン114によって捕捉された任意の音声信号は、第1の及び第2のビデオ会議クライアントを介して、テレコミュニケーション・ネットワーク138越しに、第1のコンピュータ・マシン1210に送信され、その後、第2のコンピュータ・マシン130に送信される。音声信号は次いで、スピーカ134によって再生される。同様に、マイクロフォン136によって捕捉された任意の音声信号は、テレコミュニケーション・ネットワーク138越しに、第1の及び第2のビデオ会議クライアントを介して、第1のコンピュータ・マシン120に送信される。第1のコンピュータ・マシン120は次いで、音声信号を再生するスピーカ112に、受信された音声信号を送信する。
一実施例では、システム100は更に、シミュレータ102のためのシミュレーションを生成するシミュレーション・エンジン140を含む。シミュレーション・エンジン140は、プライベート・ネットワーク124を介して第1のコンピュータ・マシン120と通信している。シミュレーション・エンジン140は、プライベート・ネットワーク124越しに、第1のコンピュータ・マシン120にオペレーティング・システムのインタフェースを送信するために構成される。第1のコンピュータ・マシン120上で稼働するビューワ・アプリケーションは、シミュレーション・エンジン140のインタフェースを受信し、カメラ110から受信されたビデオ・フィード及びオペレーティング・システムのインタフェースを含む画像を生成する。ビューワ・アプリケーションは次いで、第1のディスプレイ・ユニット122及び第1のビデオ会議クライアントに、その上で表示されることになる生成された画像を送信し、第1のビデオ会議クライアントは、上記説明されたように、第2のビデオ会議クライアントに画像を送信する。
一実施例では、システム100は更に、プライベート・ネットワークに接続されたサーバ142上でホストされたデータ分析プラットフォームを含む。サーバ142は、プライベート・ネットワーク124越しに、第1のコンピュータ・マシン120に、データ分析プラットフォームのインタフェースを送信するために構成される。第1のコンピュータ・マシン120上で稼働するビューワ・アプリケーションは、データ分析プラットフォームのインタフェースを受信し、カメラ110から受信されたビデオ・フィード及びデータ分析プラットフォームのインタフェースを含む画像を生成する。ビューワ・アプリケーションは次いで、第1のディスプレイ・ユニット122及び第1のビデオ会議クライアントに、その上で表示されることになる生成された画像を送信し、第1のビデオ会議クライアントは、上記説明されたように、第2のビデオ会議クライアントに画像を送信する。
上記説明されたように、コマンド/要求は、テレコミュニケーション・ネットワーク138越しに、第1の及び第2のビデオ会議クライアントを介して、第2のコンピュータ・マシン130から第1のコンピュータ・マシン120に送信され得る。例えば、第2のコンピュータ・マシン130に入力された予め定義された入力は、コマンドとして認識され得、第1のコンピュータ・マシン120のビュー・アプリケーションに送信され得る。例えば、第2のコンピュータ・マシン130に接続されたユーザ・インタフェースの所与のキーのマウス・クリック又は作動は、コマンドとして識別され得る。このケースでは、第2のビデオ会議クライアントは、第1のビデオ会議クライアントにコマンドを送信し、ビューワ・アプリケーションは、コマンドを実行する。
上記説明されたように、第1の及び第2のビデオ会議クライアントが既製のビデオ会議プラットフォームの一部である実施例では、ビューワ・アプリケーションの制御は、既製のビデオ会議プラットフォームの予め定義された機能を使用して、第2のコンピュータ・デバイスに対して許可され得る。
図6は、エアクラフト・シミュレータの例示的なコクピットを例示する。シミュレータは:
パイロット機器パネル及びコパイロット機器パネルを含むメイン機器パネルと、
パイロット及びコパイロットのシートの間に位置付けられた中央台座と、
オーバヘッド機器パネルと、
シミュレーション画像をその上で表示するための少なくとも1つのディスプレイ・ユニットと、
パイロット及びコパイロットの前方に位置付けられた2つのフロント・カメラと、
パイロット及びコパイロットの背後に位置付けられ、パイロット機器パネル、コパイロット機器パネル、及びコクピットの全ビューを撮像するようにその各々が方位付けられた3つのリア・カメラと、
オーバヘッド機器パネルを撮像するために位置付けられ及び方位付けられた上向きカメラと、
中央台座を撮像するために位置付けられ及び方位付けられた下向きカメラと、
シミュレータの外部部分を撮像するための外部カメラと、
コクピット内の画像を表示するための、パイロット及びコパイロットの背後に位置付けられた2つのプロジェクタと、
メイン機器パネルの反対側にその各々が位置付けられた2つのマイクロフォンと、
台座上に位置付けられた中央マイクロフォンと、
メイン機器パネルの反対側にその各々が位置付けられた2つのスピーカと、
台座上に位置付けられた中央スピーカとを含む。
パイロット機器パネル及びコパイロット機器パネルを含むメイン機器パネルと、
パイロット及びコパイロットのシートの間に位置付けられた中央台座と、
オーバヘッド機器パネルと、
シミュレーション画像をその上で表示するための少なくとも1つのディスプレイ・ユニットと、
パイロット及びコパイロットの前方に位置付けられた2つのフロント・カメラと、
パイロット及びコパイロットの背後に位置付けられ、パイロット機器パネル、コパイロット機器パネル、及びコクピットの全ビューを撮像するようにその各々が方位付けられた3つのリア・カメラと、
オーバヘッド機器パネルを撮像するために位置付けられ及び方位付けられた上向きカメラと、
中央台座を撮像するために位置付けられ及び方位付けられた下向きカメラと、
シミュレータの外部部分を撮像するための外部カメラと、
コクピット内の画像を表示するための、パイロット及びコパイロットの背後に位置付けられた2つのプロジェクタと、
メイン機器パネルの反対側にその各々が位置付けられた2つのマイクロフォンと、
台座上に位置付けられた中央マイクロフォンと、
メイン機器パネルの反対側にその各々が位置付けられた2つのスピーカと、
台座上に位置付けられた中央スピーカとを含む。
カメラ、マイクロフォン及びスピーカ、及びプロジェクタの全ては、第1のコンピュータ・マシンと通信している。カメラによって捕捉されたビデオ・フィードは、受信されたビデオ・フィードを組み合わせた画像を生成するビューワ・アプリケーションによって受信され、生成された画像は、第1のビデオ会議クライアントによって第2のビデオ会議クライアントに、及び第1のディスプレイ・ユニットに送信される。マイクロフォンから受信された音声フィードも、第1のビデオ会議クライアントによって第2のビデオ会議クライアントに送信される。第1のビデオ会議クライアントによって第2のビデオ会議クライアントから受信された任意の音声フィードは、スピーカに送信されて再生されることになる。第1のビデオ会議クライアントによって第2のビデオ会議クライアントから受信されたテキスト又は画像などの任意の視覚命令は、2つのプロジェクタのうちの少なくとも1つに送信されて、コクピット内で表示されることになる。以下で更に詳細に説明されるように、特定の機器を指し示すように、異なる機器パネル上で画像を表示するために、プロジェクタが使用され得る。
一実施例では、パイロット及びコパイロットには各々、第1のコンピュータ・マシンに接続されたヘッドセットが与えられ得る。このケースでは、上記説明されたスピーカ及びマイクロフォンが省略され得る。
図6に例示されたシミュレータの構成要素の一部が省略され得、又は他の構成要素が追加され得ることが理解されるべきである。同様に、構成要素のポジション及び方位は、例示的であるにすぎないことが理解されるべきである。
図7は、第2のビデオ会議クライアントによって生成された例示的な視覚インタフェースを例示する。このインタフェースを使用して、第2のコンピュータ・マシンのユーザは、ユーザが見ることを要望するインタフェースのビデオ・フィード及び画像を選択し得る。視覚インタフェースの左上において、ユーザは、表示された画像のレイアウトを選択し得る。例えば、ユーザは、単一のビデオ・フィード若しくはインタフェース画像、並んで位置する2つの異なるビデオ・フィード若しくはインタフェース画像、4個のビデオ・フィード若しくはインタフェース画像、又は6個のビデオ・フィード若しくはインタフェース画像を表示することを選択し得る。
最上部制御バーは、どのビデオ・フィード及びインタフェース画像が利用可能であるかを示すボックスを含む。本実例では、5個の異なるビデオ・フィード及び4個の異なるインタフェース画像が利用可能である。例示される実例では、レイアウトが4個のウインドウを含むので、ユーザは、それぞれのウインドウに各々が表示されることになる利用可能なビデオ・フィード及びインタフェース画像から4個のアイテムを選択し得る。
図8は、4個のディスプレイ・ユニットが第2のコンピュータ・マシンに接続されるときの例示的なセットアップを例示する。この実施例では、ディスプレイ・ユニットごとに、第2のビデオ会議クライアントによって同一の視覚インタフェースが設けられる。ユーザは、異なるディスプレイ・ユニットに対して異なるレイアウトを選択し得る。例示される実施例では、3つのディスプレイ・ユニットは、単一のビデオ・フィード又は単一のインタフェースを各々が表示する単一のウインドウを含むインタフェースを表示すると共に、第4のディスプレイ・ユニットは、4個の異なるビデオ・フィード又はインタフェースをそこに表示する4個のウインドウを含むインタフェースを表示する。
上記方法及びシステムは、飛行シミュレータ又はエアクラフト・シミュレータのコンテキストにおいて説明されると共に、他のタイプのシミュレータのために使用され得ることが理解されるべきである。
統合されたカメラ、マイクロフォン、及びスピーカがシミュレータに既に設けられている実施例では、既に存在するカメラ、マイクロフォン、及びスピーカは、本技術を実装するために使用され得る。
一実施例では、シミュレータの少なくとも一部分を撮像するために使用されるカメラは、捕捉された画像のストリーミングに適合するインターネット・プロトコル(IP)カメラである。一実施例では、カメラは、低光感受性を有するカラー・カメラである。一実施例では、カメラには、その視野を調節するためのズームが設けられる。このケースでは、視野は、第1のコンピュータ・マシン又は第2のコンピュータ・マシンから制御され得る。一実施例では、カメラは、それが3Gへのビュッフェ・アップと共に移動しないように、搭載できる。一実施例では、カメラは、1080ピクセル及び30フレーム毎秒の最小解像度をサポートし、並びに/又はRTSP(ストリーミング・プロトコル)及びH.264圧縮をサポートする。
一実施例では、カメラは、Panasonic(登録商標)WV-S1131である。別の実施例では、カメラは、Axisカメラなどのミニチュア・カメラである。例えば、カメラは、90デグリーよりも優れ、優良な低光特性などの広範囲の視野を有するペン・カメラ又はピンホール・カメラであり得る。そのようなミニチュア・カメラは、より大きなカメラが妨げになり、又は非常に侵入的である場合に使用され得る。
一実施例では、カメラは、ビューを最大化すると共に、侵入性のレベルを最小化するように、各々のコクピットに特有である、カスタムメード又はカスタムアセンブルされたブラケット上に搭載される。それがミニチュア・カメラであるとき、カメラは、メイン機器パネル(MIP)内、又はグレア・シールド制御パネル(GCP)内のいずれかに搭載され得る。
一実施例では、本システムの動作がシミュレータの全体動作に影響を与えることを防止するように、専用セグメントがプライベート・ネットワーク内で作成される。
一実施例では、ワイド・エリア・ネットワーク(WAN)越しにシミュレータと通信するために、仮想プライベート・ネットワーク(VPN)が使用される。VPNは、良好な性能を保証するために、様々なネットワーク・ファイアウォール/ルータ/スイッチを通じたトンネリングを可能にする。標準VPN工程を介して、パスワード保護がもたらされる。一実施例では、ローカル・エリア・ネットワーク(LAN)上でシステムを稼働させるとき、暗号化又はVPNが存在し得ない。
一実施例では、カメラは、シミュレータ・ネットワークの専用セグメントにアクセスするよう、オンボード・ルータに接続される。第1のコンピュータ・マシンは、カメラからビデオ・フィードを受信するように、セグメントに接続する。
一実施例では、第1のコンピュータ・マシンは、シミュレータと第2のコンピュータ・マシンとの間の双方向通信を管理するための、シミュレータ・ネットワーク及びインターネットへの同時アクセスを有する。第1のコンピュータ・マシンは、インターネットとシミュレータ・ネットワークとの間のブリッジとしての役割を果たし、ブリッジは、第2のコンピュータ・マシンが、シミュレータ・ネットワークへの直接アクセスを有することを防止する。第2のコンピュータ・マシンは、例えば、クライアント又は規制エンティティに属し得る。
一実施例では、ビューワ・アプリケーションなどのアプリケーションは、第1のコンピュータ・マシンのプロセッサ上でローカルに稼働すると共に、第1のビデオ会議クライアントは、クラウド内で少なくとも一部分的に稼働し得る。別の実施例では、アプリケーションは、クラウド内で主に稼働し得る。
一実施例では、第1のコンピュータ・マシンは、オンボードに位置し、それは、会議スピーカへの有線接続を有効にする。一実施例では、例えば、第1のコンピュータ・マシン及びシミュレータが同一の建物内に位置するときなど、第1のコンピュータ・マシンがシミュレータに隣接して位置するとき、又は第1のコンピュータ・マシン及びシミュレータが異なる建物内に位置するときなど、第1のコンピュータ・マシンがシミュレータからリモートに位置するとき、第1のコンピュータ・マシンをシミュレータと同一場所に設置することができる。
第1の及び第2のコンピュータ・マシンは、少なくとも1つのプロセッサ、メモリ、及び通信手段が設けられた任意のデバイスであり得る。例えば、第1又は第2のコンピュータ・マシンは、ラップトップ、デスクトップ、タブレット、スマートフォンなどであり得る。
一実施例では、上記説明されたシステム内での音声の管理は、3つの以下の態様:
1)エンジン音、外部の気流、空気力学ヒス、ギア及びフラップ展開などの機械音など、シミュレーションによって生じるコクピットの周囲音と、
2)例えば、航空交通制御と航空機乗組員との間の会話をシミュレートする無線通信と、
3)指導工程の当然ある部分である乗組員-インストラクタ通信と、を考慮に入れる。
1)エンジン音、外部の気流、空気力学ヒス、ギア及びフラップ展開などの機械音など、シミュレーションによって生じるコクピットの周囲音と、
2)例えば、航空交通制御と航空機乗組員との間の会話をシミュレートする無線通信と、
3)指導工程の当然ある部分である乗組員-インストラクタ通信と、を考慮に入れる。
パイロット及び/又はコパイロットにヘッドセットが与えられる実施例では、パイロット又はコパイロットは、ヘッドセットを通じて通信及び相互通信を聞き、シミュレータ・サウンド・システムによって周囲音が生成される。パイロットの声は、ヘッドセット・マイクロフォンによって捕捉される。
パイロット及び/又はコパイロットにヘッドセットが与えられる実施例では、エコー及び周囲雑音を取り除くために、デジタル信号処理システムに接続され得る追加のスピーカと共に、キー位置に特殊マイクロフォンが据え付けられる。シミュレートされたエアクラフト音は、シミュレータ・サウンド・システムによって生成される。
一実施例では、以下の6個のビュー:
パイロット側メイン機器パネルと、
コパイロット側メイン機器パネルと、
中央台座と、
オーバヘッド・パネルと、
一次飛行ディスプレイのうちの1つのクローズアップと、
インストラクタがそれらの背後から前かがみになっているビューと同様の、2人のパイロットの間の肩の奥のビューとのそれぞれ1つを各々が捕捉するために、少なくとも6個の異なるカメラが使用される。そのようなビューは、機器、ウインドウ外視覚、及びパイロットを包含する全体的な広角度をもたらす。
パイロット側メイン機器パネルと、
コパイロット側メイン機器パネルと、
中央台座と、
オーバヘッド・パネルと、
一次飛行ディスプレイのうちの1つのクローズアップと、
インストラクタがそれらの背後から前かがみになっているビューと同様の、2人のパイロットの間の肩の奥のビューとのそれぞれ1つを各々が捕捉するために、少なくとも6個の異なるカメラが使用される。そのようなビューは、機器、ウインドウ外視覚、及びパイロットを包含する全体的な広角度をもたらす。
一実施例では、背後に向かって対向するメイン機器パネル内に邪魔にならないで搭載されたカメラは、パイロットの顔/反応のビューをもたらす。
一実施例では、データ分析プラットフォームがクラウド内でホストされる。制限されたインターネット接続性によりインスタンス・シミュレータに適合させるようになど、視認するためのシミュレータに分析データをダウンロードすることができるか、又はクラウドから直接分析データを視認することができるかのいずれかである。
以下では、シミュレータ内の関心の領域を指し示すように、少なくとも1つのプロジェクタをリモートに操作する方法及びシステムが説明される。一実施例では、上記説明された第三者などのユーザが、ビデオ会議プラットフォームを介してシミュレータ内の関心の領域を指し示すようにプロジェクタをリモートに操作することを可能にするために、上記説明されたシステム100と共に、以下で説明される方法が使用され得る。
以下で説明される方法及びシステムは、インストラクタがパイロット/コパイロットと共にシミュレータ内に物理的に存在するとき、インストラクタとパイロット/コパイロットとの間に存在する対話の一部を再現することを試みる。そのような訓練中に、インストラクタがシミュレータ内に物理的に存在するとき、インストラクタは通常、1つ又は複数の多機能ディスプレイ上でエアクラフト・システム動作及び/又はコンテンツの特定の態様を指し示すことが必要とされる。
採用された慣習的な方法は、インストラクタが、動きシステムが備えられたエアクラフト・シミュレータのための安全性予防措置として締められたシート・ベルトにより座っているポジションからパイロット/コパイロット又はポイントに向かって、前に移動することを必要とする。しかしながら、パンデミック中など、何らかの事情下では、インストラクタが、例えば、汚染リスクを低減させるために、リモートに位置し、すなわち、シミュレータの外側に位置することが有利であり得る。
図9は、シミュレータ又はシミュレーション環境内の関心の領域をリモートに指し示す方法150の一実施例を例示する。方法150は、少なくとも1つのプロセッサ、少なくとも1つのメモリ、及び通信インタフェースが設けられたコンピュータ・マシンによって実行されることが理解されるべきである。方法150は、シミュレータ内に存在しないインストラクタなどのユーザが、シミュレータ内の所与の関心の領域をリモートに指し示すことによって、パイロット又はコパイロットなどのシミュレータ内に位置する人間と視覚的に対話することを可能にする。以下で説明されるように、方法150は、セキュア・パブリック・ネットワーク越しに、ビデオ会議プラットフォームを介して実行され得る。
ステップ152において、シミュレータの少なくとも一部分の画像は、リモートに位置するディスプレイ・ユニット上での表示のために、第1のコンピュータ・マシンによって提供される。画像は、コクピットの少なくとも一部分、機器及び制御の少なくとも一部分など、シミュレータの内部の少なくとも一部分を表す。
一実施例では、画像は、シミュレータ内に据え付けられた少なくとも1つのカメラによって捕捉される。例えば、シミュレータの内部のビューを捕捉するために、シミュレータ内で移動可能な単一のカメラが使用され得る。別の実例では、シミュレータの内部のビューを捕捉するために、固定されたポジション及び/又は方位を有する単一のカメラが使用され得る。更なる実例では、固定されたポジション及び方位を各々が有する複数のカメラは、シミュレータ内に据え付けられ得る。ステップ150において表示のために提供された画像は、所与のカメラによって捕捉された画像に対応し得る。別の実施例では、画像は、複数のカメラによって捕捉された複数の画像の組合せから結果として生じ得る。このケースでは、方法150は更に、単一の画像を取得するように、異なるカメラから共に受信された複数の画像を組み合わせるステップを含む。
別の実施例では、ステップ152において表示のために提供された画像は、シミュレータの内部の少なくとも一部分のシミュレートされた画像又はコンピュータにより生成された画像であり得る。一実施例では、画像は、シミュレータの少なくとも一部分の三次元(3D)画像であり得る。このケースでは、方法150は更に、シミュレータの内部の少なくとも一部分の画像を生成するステップを含む。
画像は、通信ネットワーク越しに、第1のコンピュータ・マシンによって、シミュレータの外側に位置する第2の又はリモート・コンピュータ・マシンに送信される。例えば、通信ネットワークは、セキュア・プライベート・ネットワークであり得る。別の実例では、通信ネットワークは、インターネットなどのパブリック・ネットワークであり得る。リモート・コンピュータ・マシンは、リモート・コンピュータ・マシンにコマンドを入力するためのユーザ・インタフェース及びシミュレータの受信された画像をその上で表示するためのディスプレイ・ユニットに接続される。
シミュレータの受信された画像が表示されると、リモート・コンピュータ・マシンのユーザは、ディスプレイ・ユニットがタッチスクリーンを含むときなど、マウス、キーボード、スタイラスなどの任意の適切なユーザ・インタフェースを使用して、表示された画像の少なくとも1つのポイントを選択し得る。
一実施例では、単一のポイントがシミュレータの表示された画像上で選択される。別の実施例では、複数のポイントがユーザによって選択される。複数のポイントは、離散的であり得、すなわち、選択されたポイントは、相互から間隔を空けられ得る。代わりに、ポイントは、線、円、正方形などの連続した幾何学的形状を形成するように隣接し得る。
画像上の少なくとも1つのポイントを選択する任意の適切な方法が使用され得ることが理解されるべきである。例えば、所望のポイントにわたってカーソルを移動させるためにマウスが使用され得、クリック・イベントを生じさせ、所望のポイントを選択するために、マウス上での右又は左クリックが使用され得、又は所望のポイントを選択するために、キーボードのキーが押下され得る。別の実例では、所望のポイントにわたってカーソルを移動させるために、マウスを移動させる間、マウス上での右又は左クリックによって複数のポイントが選択され得る。更なる実例では、リモート・コンピュータ・マシンのユーザは、1つのポイント又は複数のポイントを選択するために、表示された画像上を引き動かし得る。
表示された画像内の選択されたポイントの座標は、リモート・コンピュータ・マシンによって捕捉され、通信ネットワーク越しに第1のコンピュータ・マシンに送信される。
リモートに表示された画像が2D画像であるとき、捕捉された座標は、2D座標であり、リモートに表示された画像が3D画像であるとき、捕捉された座標は、3D座標であることが理解されるべきである。
ステップ154において、リモートに表示された画像内の選択されたポイントのポジションが受信され、すなわち、選択されたポイントの座標は、通信ネットワーク越しに、第1のコンピュータ・マシンによって受信される。
一実施例では、第1の及びリモート・コンピュータ・マシンは、パブリック・セキュア・ネットワークを介して接続され、第1のコンピュータ・マシンに第1のビデオ会議クライアントが設けられると共に、第2のコンピュータ・マシンに第2のビデオ会議クライアントが設けられる。このケースでは、選択されたポイントの座標は、第2のビデオ会議クライアントを通じて、第1のコンピュータ・マシンに送信され、第1のビデオ会議クライアントを通じて、第1のコンピュータ・マシンによって受信される。
ステップ156において、シミュレータ上に位置する関心の領域は、選択されたポイントの受信された座標に基づいて識別される。例えば、リモート・コンピュータ・マシンのユーザが画像上に表示された所与のボタン又はアクチュエータを選択した場合、ステップ156は、選択されたボタン又はアクチュエータが含まれる、シミュレータ上の関心の領域を識別することにある。
一実施例では、関心の領域の識別は、リモートに表示された画像の座標系とシミュレータの座標系との間のマッピングに基づいて実行される。
一実施例では、関心の領域は、予め定義された形状及び/又は寸法を有する。このケースでは、ステップ156は、受信された座標に基づいて、シミュレータ上の関心の領域のポジションを識別することを含む。例えば、単一のポイントの座標がステップ154において受信される場合、ステップ156は、単一の選択されたポイントの受信された座標に基づいて、シミュレータ上の関心の領域のポジションを識別することと、関心の領域に、予め定義された形状及び予め定義された寸法を割り当てることとを含む。例えば、関心の領域は、予め定義された辺長を有する正方形の形状を有し得る。
1つよりも多いポイントの座標が受信される実施例では、関心の領域の相対サイズは、選択されたポイントによって形成された幾何学的オブジェクトの相対サイズよりも大きくなり得る。例えば、選択されたポイントが所与の直径を有する円を形成する場合、関心の領域も、円形状を有し得、円形の関心の領域の直径は、選択されたポイントによって形成された円の直径よりも大きくなり得る。
1つよりも多い選択されたポイントの座標がステップ154において受信される実施例では、関心の領域についてのポジションは、選択されたポイントのうちの少なくとも1つの座標に基づいて識別され、関心の領域の形状及び寸法は、選択されたポイントの座標に基づいて決定され得る。例えば、第2のコンピュータ・マシンのユーザがポイントを選択するために図を描く場合、関心の領域は、図の形状と同一の形状がもたらされ、関心の領域の寸法は、図の寸法に基づいて選ばれ得ると共に、シミュレータ内の関心の領域のポジションは、表示された画像内の図のポジションに基づいて、すなわち、表示された画像内の図の少なくとも1つのポイントの座標に基づいて識別される。
一実施例では、第1の座標系は、シミュレータの内部に割り当てられ、第2の座標系は、表示された画像に割り当てられる。関心の領域のポジションは、受信された座標、及び第1の座標系と第2の座標系との間の伝達関数など、第1の座標系と第2の座標系との間のマッピングを使用して決定される。座標系の間のマッピングは、表示された画像内の所与のポイントをシミュレータ内のそれぞれのポイントにマッピングすること、すなわち、第2の座標系内の所与のポイントの座標に基づいて、第1の座標系内のそれぞれのポイントの座標を決定することを可能にする。
一実施例では、方法は更に、第1の座標系と第2の座標系との間のマッピングを決定する較正のステップを含む。
シミュレータ内の関心の領域のポジションがステップ156において識別されると、シミュレータの関心の領域は、ステップ158において視覚的に区別され、例えば、関心の領域が照射される。関心の領域を視覚的に区別する任意の適切な方法が使用され得ることが理解されるべきである。シミュレータには、光源を制御する第1のコンピュータ・マシンに接続された少なくとも1つの光源が設けられ得る。例えば、シミュレータには、単一の光源が設けられ得、単一の光源のポジション及び/又は方位は、シミュレータ上の関心の領域を照射するように調節される。別の実施例では、シミュレータには、複数の光源が設けられ得、方法は更に、関心の領域のポジションに基づいて、関心の領域を照射するように、操作されることになる所与の光源を選択するステップを含む。シミュレータに複数の光源が設けられる実施例では、光源のポジション及び/又は方位が固定され得る。代わりに、少なくとも1つの光源のポジション及び/又は方位は、調節可能であり得る。
方法150を使用する間、インストラクタなどのユーザは、シミュレータからリモートに位置し得ると共に、パイロット又はコパイロットなどのシミュレータのユーザと視覚的に対話する能力をなおも有する。例えば、シミュレータの表示された画像上の所与の位置においてカーソルを向けることによって、シミュレータ内の対応する位置が照射され、それによって、インストラクタが、シミュレーション中に活性化されることになる制御、コマンド、ボタンなど、シミュレータ内の位置を視覚的に示すことを可能にする。方法150が実質的にリアルタイムで実行され、その結果、表示された画像上で選択された任意の領域又はポイントが実質的にリアルタイムでシミュレータ内で照射されることが理解されるべきである。
一実施例では、方法150は更に、第2のコンピュータ・マシンのユーザが、シミュレータのユーザとトークすることを可能にする。このケースでは、第2のコンピュータ・マシンは、マイクロフォンに接続され、シミュレータには、少なくとも1つのスピーカが設けられる。代わりに、シミュレータのユーザには、ヘッドセットが与えられ得る。第2のコンピュータ・マシンのユーザは次いで、マイクロフォンにトークし得、生成されたライブ音声フィードは、第1のコンピュータ・マシンに送信される。第1の及び第2のコンピュータ・マシンがビデオ会議プラットフォームを介して接続される実施例では、ライブ音声フィードは、第2のビデオ会議クライアントを通じて、第2のコンピュータ・マシンによって送信され、第1のビデオ会議クライアントを通じて、第1のコンピュータ・マシンによって受信される。第1のコンピュータ・マシンは次いで、スピーカに、受信されたライブ音声フィードを送信し、スピーカは、実質的にリアルタイムで音声フィードを再生する。
図10は、シミュレータ内の関心の領域をリモートに指し示す方法200の更なる実施例を例示する。方法200は、シミュレータ内の関心の領域を照射するためにプロジェクタが使用される、方法150の特定の実装態様に対応する。
ステップ202において、ステップ152と同様に、上記説明されたように、シミュレータの少なくとも一部分の画像は、リモート表示のために、第1のコンピュータ・マシンによって第2のコンピュータ・マシンに提供される。
ステップ204において、ステップ154と同様に、上記説明されたように、表示された画像内で選択された少なくとも1つのポイントの座標は、第1のコンピュータ・マシンによって受信される。
ステップ206において、受信された座標は、プロジェクタの視野内のポインタ・エリアにマッピングされる。ポインタ・エリアは、プロジェクタの視野の部分に対応し、プロジェクタの視野内のポジション、形状、及びサイズによって定義される。ステップ206において、プロジェクタの視野内のポインタ・エリアのポジションは、受信された座標に基づいて決定される。
一実施例では、方法150に関して上記説明されたように、ポインタ・エリアは、予め定義された形状及び/又は寸法を有する。
ステップ204において、方法150に関して上記説明されたように、1つよりも多い選択されたポイントの座標が受信される実施例では、プロジェクタの視野内のポインタ・エリアのポジションは、選択されたポイントのうちの少なくとも1つの座標に基づいて識別され、関心の領域の形状及び寸法は、選択されたポイントの座標に基づいて決定され得る。
一実施例では、第1の座標系は、プロジェクタ又はプロジェクタの視野に割り当てられ、第2の座標系は、表示された画像に割り当てられる。第1の座標系内のポインタ・エリアのポジションは、第1の座標系と第2の座標系との間の伝達関数など、第1の座標系と第2の座標系との間のマッピングを使用して、受信された座標に基づいて決定される。座標系の間のマッピングは、第2の座標内の所与のポイントの座標に基づいて、第1の座標系内のそれぞれのポイントの座標を決定することを可能にする。プロジェクタの視野内のポインタ・エリアのポジションは次いで、選択されたポイントに対応する、第1の座標系内のポイントのポジションに基づいて選ばれる。
一実施例では、プロジェクタの座標系は、シミュレータの座標系にマッピングされ、その結果、表示された画像内の選択されたポイントに対応するシミュレータの座標系内の少なくとも1つの所与のポイントが、シミュレータの座標系と表示された画像との間のマッピングを使用して最初に決定される。プロジェクタの座標系内のポインタ・エリアの位置は次いで、シミュレータの座標系内の識別された所与のポイントをプロジェクタの座標系にマッピングすることによって識別される。
一実施例では、方法は更に、第1の座標系と第2の座標系との間のマッピングを決定する較正のステップを含む。
プロジェクタの視野によって包含されたシミュレータの部分に、表示された画像が対応する実施例では、プロジェクタの視野と関連付けられた座標系は、表示された画像の座標系に一致し得、その結果、表示された画像内の座標(x,y)を有するポイントも、プロジェクタの視野内の座標(x,y)を有する。表示された画像がシミュレータのシミュレートされた画像である実施例では、表示された画像は、プロジェクタの視野によって包含されたシミュレータの部分に一致し得る。
プロジェクタの視野と関連付けられた座標系が表示された画像の座標系と一致しないように、表示された画像とプロジェクタの視野によって包含されたシミュレータの部分との間に小さな差がある実施例では、プロジェクタの視野内のポイントの座標はなお、表示された画像内のその対応するポイントに一致すると見なされ得、ポインタ・エリアのサイズが増大し得る。このケースでは、照射された関心の領域は、選択されたポイントに対応するシミュレータのポイントが関心の領域内に含まれることを保証するようにより大きくなり得る。これは、表示された画像がシミュレータ内に位置するカメラによって捕捉された画像であるとき、カメラがプロジェクタに隣接して位置付けられ、カメラがプロジェクタのそれらと実質的に同一の方位及び同一の視野を有するケースであり得る。
ポインタ・エリアが識別されると、次のステップ208は、ポインタ・エリアに基づいたオーバレイ画像の生成を含む。
一実施例では、オーバレイ画像は、ポインタ・エリアに対応し、その結果、プロジェクタは、ポインタ・エリア内でのみ光を投影し、ポインタ・エリアの外側でプロジェクタの視野の部分内では光は投影されない。
別の実施例では、オーバレイ画像は、ポインタ・エリアよりも大きい。このケースでは、オーバレイ画像は、第1の及び第2の区域を含む。第1の区域は、ポインタ・エリアに対応し、第2の区域は、ポインタ・エリアの外側のオーバレイ画像の残りの部分に対応する。このケースでは、第1の及び第2の区域は、オーバレイ画像の残りからポインタ・エリアを視覚的に区別するために、少なくとも1つの異なる特徴を有する。例えば、ポインタ・エリア内で生成された光の色は、オーバレイ画像の残りに対して生成された光の色とは異なり得る。同一の又は別の実例では、光の強度が異なり得る。例えば、ポインタ・エリア内の光の強度は、ゼロに設定され得ると共に、オーバレイ画像の残りの強度は、ゼロよりも大きくなり得、その結果、関心の領域は、照射されないことによって、また、関心の領域を囲むエリアが照射されることによって、視覚的に区別される。別の実例では、ポインタ・エリア内の光の強度は、ゼロよりも大きくなり得ると共に、オーバレイ画像の残りの強度は、ゼロに設定され得、その結果、関心の領域は、照射されることによって、また、関心の領域を囲むエリアが照射されないことによって、視覚的に区別される。
ステップ210において、プロジェクタは、シミュレータ上のオーバレイ画像を投影するように制御され、すなわち、オーバレイ画像を示す制御信号は、プロジェクタに提供され、それによって、シミュレータの関心の領域を視覚的に区別する。一実施例では、プロジェクタの視野のポインタ・エリア内で投影された光によって照射されたシミュレータは、シミュレータの関心の領域を形成する。
オーバレイ画像がポインタ・エリアに対応する単一の区域を含む実施例では、プロジェクタは、その視野内で識別されたポインタ・エリア内でのみ光を投影する。図11及び12は、そのようなシナリオを例示する。図11は、コクピットの部分の例示的なリモートに表示された画像を例示する。正方形形状及びオレンジ色を有するカーソルは、コクピットの画像の上に表示される。第2のコンピュータ・マシンのユーザは、シミュレータのコクピット上でハイライトされることになる関心の領域を選択するように、正方形カーソルを移動させ得る。正方形カーソルのポジションは、第1のコンピュータ・マシンに送信され、第1のコンピュータ・マシンは、表示された画像内の正方形カーソルの受信されたポジションに基づいて、プロジェクタの視野内のポインタ・エリアについてのポジションを決定する。プロジェクタは次いで、ポインタ・エリアに対応するオーバレイ画像を投影する。オーバレイ画像には、正方形形状及びオレンジ色がもたらされる。図12は、オーバレイ画像がコクピットの上に投影されるときのコクピットを例示する。オレンジの正方形は次いで、表示された画像内で表されたコクピットの部分上の正方形カーソルのポジションと実質的に同一のコクピット上のポジションにおいて、コクピット上で投影される。
オーバレイ画像の所与の区域のみがポインタ・エリアに対応する別の実施例では、プロジェクタは、シミュレータ上で画像を投影し、関心の領域は、所与の区域によって照射されたシミュレータの部分に対応する。関心の領域を視覚的に区別するために、上記説明されたように、ポインタ・エリア内で放出された光は、オレンジなどの第1の色がもたらされ得ると共に、オーバレイ画像の第2の区域に対応する放出された光は、白などの第2の及び異なる色を有し得る。
オーバレイ画像のサイズは、それがプロジェクタの視野全体を占有し、次いで、ポインタ・エリアが視野の部分に対応するように選ばれ得る。
一実施例では、方法150、200は、プロセッサと、プロセッサに動作可能に接続された非一時的記憶媒体とを含むシステムとして具現化され、非一時的記憶媒体は、コンピュータ可読命令を含み、プロセッサは、コンピュータ可読命令を実行すると、方法150、200のステップを実行するために構成され、る。
別の実施例では、方法150、200は、プロセッサによって実行されるとき、方法150、200のステップを実行する、コンピュータ実行可能命令をそこに記憶したコンピュータ可読メモリを含むコンピュータ・プログラム製品として具現化される。
図13は、ユーザが、シミュレータ内の関心の領域をリモートに指し示すことを可能にするシステム250の一実施例を例示する。
システム250は、シミュレーション環境又はシミュレータ252、プライベート位置253、及びリモート位置254を含む。シミュレータ252は、シミュレータ152のユーザがシミュレーションを実行するように対話する少なくとも機器及び制御(図示せず)と、少なくとも1つのプロジェクタ260と、を含む。シミュレータには更に、機器及び制御の少なくとも一部分など、シミュレータ252の少なくとも一部分の画像を捕捉するための少なくとも1つのカメラ262と、シミュレータ252内に位置付けられた少なくとも1つのスピーカ266と、シミュレータ252内に位置付けられた少なくとも1つのマイクロフォン264と、が設けられ得る。
プライベート位置253は、方法200のステップを実行するために構成された第1のコンピュータ・マシン270を含む。第1のコンピュータ・マシン270にも、第1のビデオ会議クライアントが設けられる。第1のコンピュータ・マシン270は、プライベート・セキュア・ネットワーク274を介して、プロジェクタ260と通信している。第1のコンピュータ・マシン270はまた、シミュレータ252内に存在する場合、カメラ262、スピーカ266、及び/又はマイクロフォン264と通信し得る。
リモート位置254は、第2のコンピュータ・マシン280、第2のディスプレイ・ユニット282、及びユーザ・インタフェース284を含む。第2のディスプレイ・ユニット282が、例えば、タッチスクリーンを含む場合、ユーザ・インタフェース284が省略され得ることが理解されるべきである。リモート位置254は任意選択で、スピーカ288及びマイクロフォン286を含み得る。第2のビデオ会議クライアントは、第2のコンピュータ・マシン280上に設けられる。データは、パブリック・セキュア・ネットワーク290を介して、第1のコンピュータ・マシン270上で稼働する第1のビデオ会議クライアントと第2のコンピュータ・マシン280上で稼働する第2のビデオ会議クライアントとの間で交換され得る。第2のコンピュータ・マシン280は、プライベート・ネットワーク274へのアクセスを有さないことが理解されるべきである。
一実施例では、システム250は、コクピットの部分など、シミュレータ252の少なくとも一部分の画像を生成するための画像ジェネレータ292を含む。画像ジェネレータ292は、シミュレータ252の3Dモデルから画像を生成するために構成され得る。別の実施例では、シミュレータ252は、シミュレータ252の少なくとも一部分の画像のライブ画像を捕捉するためのカメラ262を含む。
画像は、セキュア・プライベート・ネットワーク274越しに、第1のコンピュータ・マシン270に送信される。第1のコンピュータ・マシン270は、セキュア・パブリック・ネットワーク290越しに、第1のビデオ会議クライアントを通じて、第2のコンピュータ・マシン280にシミュレータ252の画像を送信する。第2のコンピュータ・マシン280は、第2のビデオ会議クライアントを通じて、シミュレータ252の画像を受信し、その上で表示のために受信された画像をディスプレイ・ユニット282に提供する。インストラクタなど、第2のコンピュータ・マシン280のユーザは次いで、シミュレータ252の表示された画像内の少なくとも1つのポイントを選択し得る。例えば、ユーザ・インタフェース284がマウスを含む場合、ユーザは、シミュレータ252のユーザに、シミュレータ252内の所与のコマンドの位置の視覚インジケーションを提供するために、画像内で表示された所与のコマンド上で左クリックし得る。
第2のコンピュータ・マシン280は、選択されたポイントの座標を捕捉し、セキュア・パブリック・ネットワーク290越しに、第2のビデオ会議クライアントを通じて、第1のコンピュータ・マシン270に捕捉された座標を送信する。第1のコンピュータ・マシン270は次いで、第1のビデオ会議クライアントを通じて、選択されたポイントの座標を受信し、上記説明されたように、ポインタ・エリアに基づいてオーバレイ画像を生成する前に、受信された座標を、プロジェクタ260の視野内のポインタ・エリアにマッピングする。第1のコンピュータ・マシン270は、プロジェクタ260にオーバレイ画像を送信し、プロジェクタ260は、上記説明されたように、関心の領域を照射するように、シミュレータ252上でオーバレイ画像を投影する。
一実施例では、表示された画像は、静的である。別の実施例では、表示された画像は、動的であり、時間と共に可変であり得る。
一実施例では、スピーカ266及び288並びにマイクロフォン264及び286は、シミュレータ252とリモート位置との間の音声通信を可能にし、その結果、インストラクタ及びパイロットは、例えば、訓練シミュレーション中にトークし得る。このケースでは、マイクロフォン286によって捕捉されたライブ音声フィードは、セキュア・パブリック・ネットワーク290越しに、第2のビデオ会議クライアントを通じて、第1のコンピュータ・マシン270に送信される。第1のコンピュータ・マシン270は、第1のビデオ会議クライアントを通じて、ライブ音声フィードを受信し、スピーカ266に、シミュレータ252内で再生されることになるライブ音声フィードを送信する。同様に、マイクロフォン264は、シミュレータ252からライブ音声フィードを捕捉し、セキュア・プライベート・ネットワーク274越しに、第1のコンピュータ・マシン270に捕捉されたライブ音声フィードを送信する。第1のコンピュータ・マシン270は次いで、セキュア・パブリック・ネットワーク290越しに、第1のビデオ会議クライアントを通じて、第2のコンピュータ・マシン280にライブ音声フィードを送信する。第2のコンピュータ・マシン280は、第2のビデオ会議クライアントを通じて、ライブ音声フィードを受信し、スピーカ288に、再生されることになるライブ音声フィードを送信する。
シミュレータの表示された画像が、シミュレータ内に位置するカメラによって捕捉されたライブ・ビデオ・フィードである実施例では、カメラの方位、ポジション、及び/又はズームは、カメラがシミュレータの所望のビューを捕捉し得るように調節され得る。
シミュレータのそれぞれのビューを捕捉するためにその各々が位置付けられ及び方位付けられた複数のカメラがシミュレータに設けられた実施例では、シミュレータの所望のビューは、所与のカメラを選択することによって取得される。
一実施例では、ビューは、例えば、ビデオ会議プラットフォームを介して、カメラに対して制御を許可したとき、第2のコンピュータ・マシンからリモートに選択され得る。第2のコンピュータ・マシンのユーザは次いで、シミュレータ内に位置するカメラのポジション、方位、及び/又はズームをリモートに制御し得、及び/又はシミュレータの所望のビューを取得するように、所与のカメラを選択し得る。
上記説明は、プロジェクタ260などの1つのプロジェクタに言及するが、シミュレータには、複数のプロジェクタが設けられ得ることが理解されるべきである。複数のプロジェクタは各々、シミュレータの異なるエリアをカバーし得る。このケースでは、方法200は更に、区別されることになる関心の領域が所与のプロジェクタの視野の中に備えられるように、選択されたポイントの座標に基づいて、所与のプロジェクタを選択するステップを含む。
単一のプロジェクタが使用される実施例では、プロジェクタは、固定されたポジション及び方位を有する。別の実施例では、プロジェクタのポジション及び/又は方位は、調節可能である。このケースでは、方法200は更に、関心の領域がプロジェクタの視野内にないとき、プロジェクタにとって必要とされる並進又は必要とされる回転など、必要とされる移動を決定するステップと、決定された必要とされる移動に従ってプロジェクタを移動させるステップと、を含み得る。
一実施例では、関心の領域又はポインタ・エリアについての少なくとも1つの特徴は、第2のコンピュータ・マシンのユーザによって選択され得る。例えば、関心の領域又はポインタ・エリアについての形状、サイズ、及び/又は色が選択され得る。例えば、関心の領域又はポインタ・エリアは、円、矢印、「X」などの形状を有し得る。
プロジェクタが使用される実施例では、プロジェクタによって投影された画像は、アニメーション化され得る。
一実施例では、方法は更に、投影された画像とコクピット機器及び制御との間の位置合わせを保証するために、マッピングパラメータを決定するステップを含む。このケースでは、座標をマッピングするステップは、オーバレイ画像内のポインタ・エリアを決定するために、マッピングパラメータを座標に適用するステップを含む。
一実施例では、パラメータは、プロジェクタのポジション、プロジェクタの光学特性、及びコクピット構造の幾何学形状の関数として決定される。
一実施例では、パラメータは、一連の特徴を投影し、シミュレータ上の特徴の位置を識別することによって決定される。
一実施例では、特徴の位置の識別は、画像処理手段を通じて自動で実行される。
一実施例では、プロジェクタは、以下の特性のうちの少なくとも1つを含む:
(a)電力がコクピットのエリア内で容易にアクセス可能でない場合があるので、プロジェクタは、Power-Over-Ethernet(POE)機能を有し、
(b)プロジェクタは、クライアント・アプリケーションを稼働させるビルトイン能力を有し、
(c)プロジェクタは、低熱及び最小ファン雑音を生じさせる。
(a)電力がコクピットのエリア内で容易にアクセス可能でない場合があるので、プロジェクタは、Power-Over-Ethernet(POE)機能を有し、
(b)プロジェクタは、クライアント・アプリケーションを稼働させるビルトイン能力を有し、
(c)プロジェクタは、低熱及び最小ファン雑音を生じさせる。
一実施例では、プロジェクタは、必要なコクピット・カバレッジ、HD解像度、及び輝度をもたらすレンズを含む。
一実施例では、オフボードIOSにおいて、サーバ・アプリケーションを含むポインタ・システムのための専用モニタが存在する。サーバ・アプリケーションは、プロジェクタの各々上で稼働するクライアントの各々と直接インタフェースする。サーバ・アプリケーションは、UI管理;インストラクタとのインタフェースを含む。プロジェクタ/ビューは、IOS及び表示される対応する静的画像において選択される。カーソルが所望のポジションに移動するにつれて、位置付けるデータが、プロジェクタ/クライアント・アプリケーションに転送される。実際のカーソルは、コクピットから戻るカメラ・フィードを使用してインストラクタによって視認される。サーバ・アプリケーションは、カーソル・シンボル・タイプ、サイズ、及び色など、カーソルの少なくとも一部の特性についての異なる選択肢を含み得る。
一実施例では、サーバ・アプリケーションは、製品使用分析の目的のために、使用を証明する予め定義された関心のエリアを捕捉するように拡大される。
一実施例では、(3D)動的画像を配信する可動カメラの使用は、必要とされるプロジェクタの数を低減させることを可能にし得る。コクピット・エリアの3Dモデルは、インストラクタによって命令されるように、3D世界内で仮想的に移動すると共に、ポインタを表示するために、追加のロジックと共に必要とされる。これは、カメラ方位(方位角、仰角)とシミュレータ座標との間のマッピング・マトリックスを作成することによって達成され得る。これは、手動で又は半自動手順を通じて行われ得、半自動手順では、カメラは、各々の格子間隔において止まる、その範囲を通じてテスト・パターン・(例えば、格子)スイベルを表示する。ユーザは次いで、そのインタフェース表示上で格子位置を確認することを問われる。
一実施例では、リモート指示方法及びシステムは、関心のエリアを口頭で説明するよりも、迅速であり、直感的であり、且つ曖昧でない。
一実施例では、方法10は、第2のコンピュータ・マシンのユーザが、同一のビデオ会議プラットフォームを使用してシミュレータ内の関心の領域をリモートに指し示し得るように、方法200のステップを更に含むように適合され得る。
同様に、システム100は、第2のコンピュータ・マシン130のユーザが、シミュレータ102内の関心の領域を指し示すことを可能にするように構成され得る。このケースでは、第1のコンピュータ120は、セキュア・パブリック・ネットワーク138越しに、第1のビデオ会議クライアントを通じて、シミュレータ102の少なくとも一部分の画像を送信するために構成され、第2のコンピュータ・マシン130は、第2のビデオ会議クライアントを通じて、シミュレータ102の部分の画像を受信し、ディスプレイ・ユニット132上で受信された画像を表示するために構成される。第2のコンピュータ・マシンは更に、第2のコンピュータ・マシン130のユーザによって画像内で選択された少なくとも1つのポイントの座標を捕捉し、セキュア・パブリック・ネットワーク138越しに、第2のビデオ会議クライアントを通じて、第1のコンピュータ・マシン120に、捕捉された座標を送信するために構成される。座標を受信すると、第1のコンピュータ・マシン120は、関心の領域を視覚的に区別するために、受信された座標に基づいて、シミュレータ102内の対応する関心の領域を識別し、シミュレータ102内の関心の領域を照射するように、プロジェクタなど、シミュレータ102内に存在する光源を制御する。
上記説明された発明の実施例は、例示的であるにすぎないことが意図される。したがって、発明の範囲は、添付の特許請求の範囲によって唯一限定されることが意図される。
Claims (40)
- シミュレーション環境へのリモート可視性をもたらす、コンピュータにより実施される方法であって、前記方法は、プロセッサによって実行され、
セキュア・パブリック・ネットワーク越しに、第1のコンピュータ上で稼働する第1のビデオ会議クライアントと第2のコンピュータ上で稼働する第2のビデオ会議クライアントとの間の接続を確立するステップと、
セキュア・プライベート・ネットワーク越しに、前記第1のコンピュータにおいて第1のライブ・カメラ・フィードを受信するステップであって、前記ライブ・カメラ・フィードは、前記シミュレーション環境の第1の部分を包含し、第1のカメラによって捕捉され、前記第2のコンピュータは、前記セキュア・プライベート・ネットワークの外側に位置する、ステップと、
前記第1のコンピュータ上で稼働するビューワ・アプリケーション内で、前記第1のライブ・カメラ・フィードと、シミュレーション制御インタフェース、前記シミュレーション環境の第2の部分の、コンピュータにより生成された表現、及び第2のカメラによって捕捉され、前記第1の部分とは異なる、前記シミュレーション環境の第3の部分を包含する第2のライブ・カメラ・フィード、のうちの少なくとも1つと、を表示するステップと、
前記第1のビデオ会議クライアントを通じて、前記ビューワ・アプリケーションに対し、前記第2のビデオ会議クライアントの視覚アクセスを許可するステップと、
を含む、コンピュータにより実施される方法。 - 前記第1のコンピュータにおいて、前記シミュレーション環境内に存在するマイクロフォンからライブ音声フィードを受信するステップと、
前記第2のコンピュータが、前記ライブ音声フィードを実質的にリアルタイムで再生することを可能にするように、前記セキュア・パブリック・ネットワーク越しに、前記第1のビデオ会議クライアントを通じて、前記第2のコンピュータに前記ライブ音声フィードを送信するステップと、
を更に含む、請求項1に記載のコンピュータにより実施される方法。 - 前記第1のコンピュータにおいて、前記第1のビデオ会議クライアントを通じて、前記第2のコンピュータからライブ音声フィードを受信するステップと、
前記シミュレーション環境内に搭載されたスピーカに、前記受信されたライブ音声フィードを送信するステップと、
を更に含む、請求項1に記載のコンピュータにより実施される方法。 - 前記シミュレーション環境は、飛行シミュレータを含み、前記シミュレーション環境の前記第1の部分は、前記飛行シミュレータの機器及び制御の部分を包含する、請求項1から3までのいずれか一項に記載のコンピュータにより実施される方法。
- 前記少なくとも1つのビデオ・フィードは、少なくとも2つのビデオ・フィードを含む、請求項4に記載のコンピュータにより実施される方法。
- 前記少なくとも2つのビデオ・フィードのうちの所与の1つは、前記飛行シミュレータの内部部分を包含し、前記飛行シミュレータの前記内部部分は、コンピュータにより生成された環境の画像が表示された前記飛行シミュレータのスクリーンを含む、請求項4に記載のコンピュータにより実施される方法。
- 前記飛行シミュレータは、動きに基づく飛行シミュレータを含み、前記少なくとも2つのビデオ・フィードのうちの所与の1つは、前記動きに基づく飛行シミュレータの外部部分を包含する、請求項4に記載のコンピュータにより実施される方法。
- 前記ビューワ・アプリケーションは更に、前記シミュレータのシミュレーション制御インタフェースのビューをもたらすために構成される、請求項1から7までのいずれか一項に記載のコンピュータにより実施される方法。
- 前記シミュレーション制御インタフェースは、インストラクタ操作ステーションのインタフェースを含み、前記第2のライブ・カメラ・フィードは、前記インストラクタ操作ステーションを包含する、請求項8に記載のコンピュータにより実施される方法。
- シミュレーション・エンジンから、前記シミュレーション制御インタフェースの前記ビューを受信するステップを更に含む、請求項8に記載のコンピュータにより実施される方法。
- 前記ビューワ・アプリケーションは更に、データ分析プラットフォームのインタフェースのビューをもたらすために構成される、請求項1から7までのいずれか一項に記載のコンピュータにより実施される方法。
- 前記データ分析プラットフォームの前記インタフェースの前記ビューは、前記データ分析プラットフォームの前記インタフェースが表示されたディスプレイ・ユニットの画像に対応し、前記ディスプレイの前記画像は、前記プライベート・ネットワークに接続された更なるカメラによって捕捉される、請求項11に記載のコンピュータにより実施される方法。
- 前記データ分析プラットフォームをホストするサーバから、前記データ分析プラットフォームの前記インタフェースの前記ビューを受信するステップを更に含む、請求項11に記載のコンピュータにより実施される方法。
- 前記ビューワ・アプリケーションに対する制御を前記第2のビデオ会議クライアントに許可するステップを更に含む、請求項1から7までのいずれか一項に記載のコンピュータにより実施される方法。
- オペレーティング・システムのインタフェースに対する制御を前記第2のビデオ会議クライアントに許可するステップを更に含む、請求項14に記載のコンピュータにより実施される方法。
- データ分析プラットフォームのインタフェースに対する制御を前記第2のビデオ会議クライアントに許可するステップを更に含む、請求項11から14までのいずれか一項に記載のコンピュータにより実施される方法。
- 前記第1のビデオ会議クライアントから、前記環境内の視覚インジケーションを投影する命令を受信するステップと、
前記視覚インジケーションを投影するように、前記シミュレータ内に据え付けられたプロジェクタを制御するステップと、
を更に含む、請求項1から16までのいずれか一項に記載のコンピュータにより実施される方法。 - シミュレーション環境へのリモート可視性をもたらすシステムであって、
プロセッサと、
前記プロセッサに動作可能に接続された非一時的記憶媒体であって、コンピュータ可読命令を含む、非一時的記憶媒体と、を備え、
前記プロセッサは、前記コンピュータ可読命令を実行すると、
セキュア・パブリック・ネットワーク越しに、第1のコンピュータ上で稼働する第1のビデオ会議クライアントと第2のコンピュータ上で稼働する第2のビデオ会議クライアントとの間の接続を確立し、
セキュア・プライベート・ネットワーク越しに、前記第1のコンピュータにおいて第1のライブ・カメラ・フィードを受信し、前記ライブ・カメラ・フィードは、前記シミュレーション環境の第1の部分を包含し、第1のカメラによって捕捉され、前記第2のコンピュータは、前記セキュア・プライベート・ネットワークの外側に位置し、
前記第1のコンピュータ上で稼働するビューワ・アプリケーション内で、前記第1のライブ・カメラ・フィードと、シミュレーション制御インタフェース、前記シミュレーション環境の第2の部分の、コンピュータにより生成された表現、及び第2のカメラによって捕捉され、前記第1の部分とは異なる、前記シミュレーション環境の第3の部分を包含する第2のライブ・カメラ・フィード、のうちの少なくとも1つと、を表示し、
前記第1のビデオ会議クライアントを通じて、前記ビューワ・アプリケーションに対し、前記第2のビデオ会議クライアントの視覚アクセスを許可する、
ために構成される、システム。 - 前記プロセッサは更に、
前記第1のコンピュータにおいて、前記シミュレーション環境内に存在するマイクロフォンからライブ音声フィードを受信し、
前記第2のコンピュータが、前記ライブ音声フィードを実質的にリアルタイムで再生することを可能にするように、前記セキュア・パブリック・ネットワーク越しに、前記第1のビデオ会議クライアントを通じて、前記第2のコンピュータに前記ライブ音声フィードを送信する、
ために構成される、請求項18に記載のシステム。 - 前記プロセッサは更に、
前記第1のコンピュータにおいて、前記第1のビデオ会議クライアントを通じて、前記第2のコンピュータからライブ音声フィードを受信し、
前記シミュレーション環境内に搭載されたスピーカに、前記受信されたライブ音声フィードを送信する、
ために構成される、請求項18に記載のシステム。 - 前記シミュレーション環境は、飛行シミュレータを含み、前記シミュレーション環境の前記第1の部分は、前記飛行シミュレータの機器及び制御の部分を包含する、請求項18から20までのいずれか一項に記載のシステム。
- 前記少なくとも1つのビデオ・フィードは、少なくとも2つのビデオ・フィードを含む、請求項18から21までのいずれか一項に記載のシステム。
- 前記少なくとも2つのビデオ・フィードのうちの所与の1つは、前記飛行シミュレータの内部部分を包含し、前記飛行シミュレータの前記内部部分は、コンピュータにより生成された環境の画像が表示された前記飛行シミュレータのスクリーンを含む、請求項22に記載のシステム。
- 前記飛行シミュレータは、動きに基づく飛行シミュレータを含み、前記少なくとも2つのビデオ・フィードのうちの所与の1つは、前記動きに基づく飛行シミュレータの外部部分を包含する、請求項22に記載のシステム。
- 前記ビューワ・アプリケーションは更に、前記シミュレータのシミュレーション制御インタフェースのビューをもたらすために構成される、請求項18から24までのいずれか一項に記載のシステム。
- 前記シミュレーション制御インタフェースは、インストラクタ操作ステーションのインタフェースを含み、前記第2のライブ・カメラ・フィードは、前記インストラクタ操作ステーションを包含する、請求項25に記載のシステム。
- 前記プロセッサは更に、シミュレーション・エンジンから、前記シミュレーション制御インタフェースの前記ビューを受信するために構成される、請求項25に記載のシステム。
- 前記ビューワ・アプリケーションは更に、データ分析プラットフォームのインタフェースのビューをもたらすために構成される、請求項18から24までのいずれか一項に記載のシステム。
- 前記データ分析プラットフォームの前記インタフェースの前記ビューは、前記データ分析プラットフォームの前記インタフェースが表示されたディスプレイ・ユニットの画像に対応し、前記ディスプレイの前記画像は、前記プライベート・ネットワークに接続された更なるカメラによって捕捉される、請求項28に記載のシステム。
- 前記プロセッサは更に、前記データ分析プラットフォームをホストするサーバから、前記データ分析プラットフォームの前記インタフェースの前記ビューを受信するために構成される、請求項28に記載のシステム。
- 前記プロセッサは更に、前記ビューワ・アプリケーションに対する制御を前記第2のビデオ会議クライアントに許可するために構成される、請求項18から24までのいずれか一項に記載のシステム。
- 前記プロセッサは更に、オペレーティング・システムのインタフェースに対する制御を前記第2のビデオ会議クライアントに許可するために構成される、請求項31に記載のシステム。
- 前記プロセッサは更に、データ分析プラットフォームのインタフェースに対する制御を前記第2のビデオ会議クライアントに許可するために構成される、請求項28から31までのいずれか一項に記載のシステム。
- 前記プロセッサは更に、
前記第1のビデオ会議クライアントから、前記環境内の視覚インジケーションを投影する命令を受信し、
前記視覚インジケーションを投影するように、前記シミュレータ内に据え付けられたプロジェクタを制御する、
ために構成可能である、請求項18から33までのいずれか一項に記載のシステム。 - シミュレーション環境へのリモート可視性をもたらすコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品は、コンピュータ実行可能命令をそこに記憶したコンピュータ可読メモリを含み、前記コンピュータ実行可能命令は、プロセッサによって実行されるとき、
セキュア・パブリック・ネットワーク越しに、第1のコンピュータ上で稼働する第1のビデオ会議クライアントと第2のコンピュータ上で稼働する第2のビデオ会議クライアントとの間の接続を確立するステップと、
セキュア・プライベート・ネットワーク越しに、前記第1のコンピュータにおいて第1のライブ・カメラ・フィードを受信するステップであって、前記ライブ・カメラ・フィードは、前記シミュレーション環境の第1の部分を包含し、第1のカメラによって捕捉され、前記第2のコンピュータは、前記セキュア・プライベート・ネットワークの外側に位置する、ステップと、
前記第1のコンピュータ上で稼働するビューワ・アプリケーション内で、前記第1のライブ・カメラ・フィードと、シミュレーション制御インタフェース、前記シミュレーション環境の第2の部分の、コンピュータにより生成された表現、及び第2のカメラによって捕捉され、前記第1の部分とは異なる、前記シミュレーション環境の第3の部分を包含する第2のライブ・カメラ・フィード、のうちの少なくとも1つと、を表示するステップと、
前記第1のビデオ会議クライアントを通じて、前記ビューワ・アプリケーションに対し、前記第2のビデオ会議クライアントの視覚アクセスを許可するステップと、
の方法ステップを実行する、コンピュータ・プログラム製品。 - シミュレーション環境へのリモート可視性をもたらすキットであって、
請求項35に記載のコンピュータ・プログラム製品と、
前記シミュレーション環境の内部に取り外し可能に確保可能なポールと、を備え、前記ポールは、調節可能な長さを有する伸長体と、カメラを保持するための少なくとも1つのカメラ保持デバイスと、を含み、前記カメラ保持デバイスは、前記伸長体に沿った所望のポジションにおいて確保可能であり、前記カメラが前記シミュレーション環境の所望の部分の画像を捕捉するように構成される、
キット。 - 前記伸長体は、伸縮式である、請求項36に記載のキット。
- 前記カメラ保持デバイスは、前記伸長体に回転可能に確保される、請求項36又は37に記載のキット。
- 前記カメラ保持デバイスは、前記伸長体に確保可能なクランプと、前記クランプに回転可能に接続された第1の端と前記カメラに搭載可能な第2の端との間で延びるアームと、を含む、請求項38に記載のキット。
- 前記カメラ保持デバイスは更に、前記アームの前記第1の端と前記クランプとの間に搭載された第1のボール・ジョイントと、前記アームの前記第2の端において搭載され、前記カメラに確保可能である第2のボール・ジョイントと、を含む、請求項39に記載のキット。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163141787P | 2021-01-26 | 2021-01-26 | |
US63/141,787 | 2021-01-26 | ||
PCT/IB2022/050689 WO2022162562A1 (en) | 2021-01-26 | 2022-01-26 | Method and system for providing remote visibility into a simulation environment |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024506749A true JP2024506749A (ja) | 2024-02-14 |
Family
ID=82653052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023568643A Pending JP2024506749A (ja) | 2021-01-26 | 2022-01-26 | シミュレーション環境へのリモート可視性をもたらす方法及びシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230410434A1 (ja) |
EP (1) | EP4066486A4 (ja) |
JP (1) | JP2024506749A (ja) |
CN (1) | CN117099364A (ja) |
AU (1) | AU2022213551B2 (ja) |
CA (1) | CA3161088C (ja) |
WO (1) | WO2022162562A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014123883A1 (en) * | 2013-02-05 | 2014-08-14 | One-G, Llc | Aircraft simulator |
EP3129110A4 (en) * | 2014-04-10 | 2017-11-22 | Muszka, Mihály | Remote controlled simulator system by computer acting experience with devices moving on external site |
US20190139436A1 (en) * | 2017-11-09 | 2019-05-09 | Defcon 5 Studios, LLC | Virtual Reality Driving Simulator Rig |
-
2022
- 2022-01-26 CN CN202280022378.4A patent/CN117099364A/zh active Pending
- 2022-01-26 US US17/758,666 patent/US20230410434A1/en active Pending
- 2022-01-26 EP EP22732377.1A patent/EP4066486A4/en active Pending
- 2022-01-26 JP JP2023568643A patent/JP2024506749A/ja active Pending
- 2022-01-26 CA CA3161088A patent/CA3161088C/en active Active
- 2022-01-26 WO PCT/IB2022/050689 patent/WO2022162562A1/en active Application Filing
- 2022-01-26 AU AU2022213551A patent/AU2022213551B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP4066486A4 (en) | 2023-06-14 |
AU2022213551A1 (en) | 2023-08-17 |
AU2022213551B2 (en) | 2023-10-26 |
CA3161088A1 (en) | 2022-07-26 |
CA3161088C (en) | 2023-09-26 |
EP4066486A1 (en) | 2022-10-05 |
US20230410434A1 (en) | 2023-12-21 |
CN117099364A (zh) | 2023-11-21 |
WO2022162562A1 (en) | 2022-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11127217B2 (en) | Shared environment for a remote user and vehicle occupants | |
KR101918262B1 (ko) | 혼합 현실 서비스 제공 방법 및 시스템 | |
US10602121B2 (en) | Method, system and apparatus for capture-based immersive telepresence in virtual environment | |
US20220317830A1 (en) | Methods and Systems for Providing a Communication Interface to Operate in 2D and 3D Modes | |
CN109640070A (zh) | 一种立体显示方法、装置、设备及存储介质 | |
CN111986334A (zh) | Hololens和CAVE结合的虚拟体验系统及方法 | |
US20110169605A1 (en) | System and method for providing remote indication | |
CA3161088C (en) | Method and system for providing remote visibility into a simulation environment | |
AU2022212918B2 (en) | Remote pointer for simulators | |
US11902773B1 (en) | Method and system for spatial audio metering using extended reality devices | |
WO2022047768A1 (zh) | Hololens和CAVE结合的虚拟体验系统及方法 | |
Schoor et al. | Elbe Dom: 360 Degree Full Immersive Laser Projection System. | |
JP5656809B2 (ja) | 会話映像表示システム | |
US20200359007A1 (en) | Information processing apparatus and information processing method | |
US11979448B1 (en) | Systems and methods for creating interactive shared playgrounds | |
Zhang et al. | Think Fast: Rapid Localization of Teleoperator Gaze in 360° Hosted Telepresence | |
JP2023173584A (ja) | コミュニケーション支援システム及びオフィス | |
JP2021111374A (ja) | 車両デザイン支援システム | |
KR20240072286A (ko) | 가상 창 | |
CN114201039A (zh) | 一种实现虚拟现实的显示设备 | |
Martin et al. | Experiences Using Large Scale Video Walls for Distance Education | |
Wada et al. | Implementation of advanced t-Room | |
Lucke | Authentic online classes beyond traditional lecture streaming | |
Lee et al. | Real-Time 3D Video Avatar for Immersive Telecommunication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230904 |