JP7367922B2 - 操縦支援システム - Google Patents
操縦支援システム Download PDFInfo
- Publication number
- JP7367922B2 JP7367922B2 JP2019151023A JP2019151023A JP7367922B2 JP 7367922 B2 JP7367922 B2 JP 7367922B2 JP 2019151023 A JP2019151023 A JP 2019151023A JP 2019151023 A JP2019151023 A JP 2019151023A JP 7367922 B2 JP7367922 B2 JP 7367922B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- unit
- visual field
- pilot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
Description
なお、航空機に限らず、自動車等の車両を操縦(運転)する場合や、船舶を操縦する場合においても、同様の問題が生じることがある。
移動体中の利用者が視認している視野範囲を特定する視野範囲特定部と、
前記移動体から見える外界の実画像を取得する実画像取得部と、
前記移動体の現在位置付近における3次元地図情報に基づいて、前記移動体から見えると想定される外界の仮想画像を作成する3次元地図画像作成部と、
前記実画像と前記仮想画像とにおいて少なくとも前記視野範囲に対応する部分をマッチングさせた状態で、そのマッチング後の画像を前記利用者の視界に重畳して表示する表示処理部と、
を備えるものである。
図1は、本実施形態の操縦支援システムの概略ブロック構成図である。
この操縦支援システムは、制御・処理部1と、二つの頭部装着型表示装置2A、2Bと、センサポッド3と、飛行情報収集部4と、GNSS/INS装置5と、を含む。また、操縦支援システムは、本システムには含まれない外部のデジタル地図データベース6に接続可能であるか、或いは、該デジタル地図データベース6に収録されている地図データの一部が格納された記憶装置を含む。前者の場合、本システムは、外部のデジタル地図データベース6にアクセスして必要なデータのみを受信する送受信部を含む。
センサポッド3は、マルチセンサ部30とセンサポッド制御部35とを含む。マルチセンサ部30は、赤外線カメラ31、可視カメラ32、測距センサ33、及び照明部34を含む。
頭部装着型表示装置2A、2Bは例えば、主操縦士及び副操縦士が頭部に装着するヘルメットと一体化された装置であり、コネクタ9を介して制御・処理部1と電気的に接続されている。頭部装着型表示装置2A、2Bは、頭部角度/位置/角速度及び視線方向検出部20と、高感度センサ部21と、表示部22と、画像選択/合成部23と、バッテリ24と、を含む。
図2は、本実施形態のシステムにおける制御・処理部1の詳細なブロック構成図である。
図2に示すように、制御・処理部1は、シンボル画像作成部10、3D(3次元)地図画像作成部11、画像マッチング部12、視野範囲特定処理部13、特徴部位抽出部14、視認性指標算出部15、視差補正部16、スケーリング部17、及び、表示画像作成処理部18、を含む。表示画像作成処理部18は、画像選択部180、画像補完部181、視野範囲画像抽出部182、画像重畳部183などの機能ブロックを含む。
飛行時における制御・処理部1でのデータ処理動作を説明する。
シンボル画像作成部10は、上記飛行情報データ、主操縦士の頭部角度/位置/角速度及び視線方向データA、及び副操縦士の頭部角度/位置/角速度及び視線方向データBを用い、主操縦士用のシンボル画像Aと、副操縦士用のシンボル画像Bとを作成する。シンボル画像は、例えば飛行速度などの数値や文字などのテキスト情報、図形、記号などが中心の画像であり、他の画像と重畳された状態でも高い視認性が確保されるように、標準的に例えば緑色で表示され、特に操縦者の注目を引く必要がある場合(緊急を要する場合等)には赤色などで表示される。
図3は、主操縦士用の表示画像の作成処理の信号の流れの一例を示す図である。これは、主操縦士の頭部の方向にセンサポッド3が追従している場合である。
上述したように、3D地図画像作成部11はGNSS/INSデータによる航空機の位置情報等に基づいて3D地図画像を作成するが、GNSS/INSデータの精度や遅延、機体の機動、速度等によって、生成された3D地図画像と実外界間とでずれが生じる可能性がある。そこで、画像マッチング部12は、高感度センサ画像A、赤外画像、可視画像、又は距離画像のいずれか一つ又は複数から得られた特徴情報を用い、その時点での外界の実画像とマッチングしている3D地図画像を生成する。外界の実画像と3D地図画像とのマッチングの具体例については後述する。
この場合、図3に示したように実画像に対してマッチングされた3D地図画像が得られているので、表示画像作成処理部18は、可視画像、赤外画像、距離画像、高感度センサ画像Bの中で視認性指標値が最も高い画像を選択するとともに、その画像の中の不明瞭部分を副操縦士の視野範囲に対応する3D地図画像Bで補完する。或いは、画像全体の視認性が低い場合には、該画像に代えて3D地図画像Bを選択する。その補完後の又は選択後の画像にシンボル画像Bを重畳して表示画像Bとして出力する。
図5は、3D地図画像と実外界とのマッチング方法の一具体例を示す概念図である。
いま、図5(a)に示すように、センサポッド3のマルチセンサ部30に含まれるカメラで所定の範囲の実画像が取得されているものとする。この画像から抽出した物体の輪郭や特徴部位等を利用して、3D地図画像と実外界とのマッチングを行う。ここでは、実画像に現れている山の稜線の形状(図中に太線で示している部分)などの複数の特徴部位を抽出することができる。
上述した例示的な実施形態が以下の態様の具体例であることは、当業者には明らかである。
移動体中の利用者が視認している視野範囲を特定する視野範囲特定部と、
前記移動体から見える外界の実画像を取得する実画像取得部と、
前記移動体の現在位置付近における3次元地図情報に基づいて、前記移動体から見えると想定される外界の仮想画像を作成する3次元地図画像作成部と、
前記実画像と前記仮想画像とにおいて少なくとも前記視野範囲に対応する部分をマッチングさせた状態で、そのマッチング後の画像を前記利用者の視界に重畳して表示する表示処理部と、
を備えるものである。
第2項に記載の操縦支援システムによれば、利用者の頭部の位置や傾き角度、方向、角速度などを正確に且つ遅滞なく把握することができ、その頭部の動きに応じた適切な画像を利用者の眼前に表示することができる。
10…シンボル画像作成部
11…3D地図画像作成部
12…画像マッチング部
13…視野範囲特定処理部
14…特徴部位抽出部
15…視認性指標算出部
16…視差補正部
17…スケーリング部
18…表示画像作成処理部
180…画像選択部
181…画像補完部
182…視野範囲画像抽出部
183…画像重畳部
2A、2B…頭部装着型表示装置
20…頭部角度/位置/角速度及び視線方向検出部
21…高感度センサ部
22…表示部
23…画像選択/合成部
24…バッテリ
3…センサポッド
30…マルチセンサ部
31…赤外線カメラ
32…可視カメラ
33…測距センサ
34…照明部
35…センサポッド制御部
4…飛行情報収集部
5…GNSS/INS装置
6…デジタル地図データベース
9…コネクタ
100…ヘリコプタ
Claims (5)
- 移動体中の利用者が視認している視野範囲を特定する視野範囲特定部と、
前記移動体から見える外界の実画像を取得する実画像取得部と、
前記移動体の現在位置付近における3次元地図情報に基づいて、前記移動体から見えると想定される外界の仮想画像を作成する3次元地図画像作成部と、
前記実画像と前記仮想画像とにおいて少なくとも前記視野範囲に対応する部分を、前記実画像と前記仮想画像に含まれる共通の特徴部位が対応する位置にくるようにマッチングさせた状態で、そのマッチング後の画像を前記利用者の視界に重畳して表示する表示処理部と、
を備える操縦支援システム。 - 前記視野範囲特定部は、前記利用者が頭部に装着する装着物又は該利用者が居る移動体内空間に設けられ、該利用者の頭部の静的な及び/又は動的な状態を検知する状態検知部を含み、該状態検知部により得られた情報に基づいて前記利用者の視野範囲を特定する、請求項1に記載の操縦支援システム。
- 前記視野範囲特定部は、利用者の視線を計測する視線計測部を含み、該視線計測部により得られた情報に基づいて前記利用者の視野範囲を特定する、請求項1に記載の操縦支援システム。
- 前記視野範囲特定部は、前記利用者が装着している表示装置の表示可能範囲に基づいて該利用者の視野範囲を決定する、請求項1~3のいずれか1項に記載の操縦支援システム。
- 前記利用者が頭部に装着する装着物に設けられた撮像部を前記実画像取得部を構成する構成部品として使用し、該撮像部による画像情報をマッチング処理に優先的に使用して処理の高速化を実現する、請求項1~4のいずれか1項に記載の操縦支援システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019151023A JP7367922B2 (ja) | 2019-08-21 | 2019-08-21 | 操縦支援システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019151023A JP7367922B2 (ja) | 2019-08-21 | 2019-08-21 | 操縦支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021030806A JP2021030806A (ja) | 2021-03-01 |
JP7367922B2 true JP7367922B2 (ja) | 2023-10-24 |
Family
ID=74674857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019151023A Active JP7367922B2 (ja) | 2019-08-21 | 2019-08-21 | 操縦支援システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7367922B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023032292A1 (ja) * | 2021-09-02 | 2023-03-09 | ソニーグループ株式会社 | 情報処理方法、情報処理プログラム、及び情報処理装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001039398A (ja) | 1999-07-30 | 2001-02-13 | Kawasaki Heavy Ind Ltd | ヘリコプタの操縦支援装置 |
JP2001344597A (ja) | 2000-05-30 | 2001-12-14 | Fuji Heavy Ind Ltd | 融合視界装置 |
WO2016152572A1 (ja) | 2015-03-20 | 2016-09-29 | 日産自動車株式会社 | 間接視界提示装置 |
-
2019
- 2019-08-21 JP JP2019151023A patent/JP7367922B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001039398A (ja) | 1999-07-30 | 2001-02-13 | Kawasaki Heavy Ind Ltd | ヘリコプタの操縦支援装置 |
JP2001344597A (ja) | 2000-05-30 | 2001-12-14 | Fuji Heavy Ind Ltd | 融合視界装置 |
WO2016152572A1 (ja) | 2015-03-20 | 2016-09-29 | 日産自動車株式会社 | 間接視界提示装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021030806A (ja) | 2021-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1160541B1 (en) | Integrated vision system | |
CA2691375C (en) | Aircraft landing assistance | |
US4805015A (en) | Airborne stereoscopic imaging system | |
US8218006B2 (en) | Near-to-eye head display system and method | |
US9830713B1 (en) | Surveillance imaging system and method | |
US20210019942A1 (en) | Gradual transitioning between two-dimensional and three-dimensional augmented reality images | |
US20090284552A1 (en) | Methods and systems for operating avionic systems based on user gestures | |
EP2856454B1 (en) | Airport surface collision-avoidance system (ascas) | |
EP3173847B1 (en) | System for displaying fov boundaries on huds | |
US10382746B1 (en) | Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object | |
JP6831949B2 (ja) | 表示制御システム、表示制御装置及び表示制御方法 | |
JPH02145914A (ja) | 航空機の表示装置 | |
JP7367922B2 (ja) | 操縦支援システム | |
JP3252129B2 (ja) | ヘリコプタの操縦支援装置 | |
KR102173476B1 (ko) | 비행 안전 시야 확보를 위한 항공기용 신호처리 시스템 | |
JP6890759B2 (ja) | 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法 | |
US10777013B1 (en) | System and method for enhancing approach light display | |
US20220301441A1 (en) | Method and system for displaying and managing a situation in the environment of an aircraft | |
WO2020110293A1 (ja) | 表示制御システム、表示制御装置及び表示制御方法 | |
JP7367930B2 (ja) | 移動体用画像表示システム | |
Knabl et al. | Designing an obstacle display for helicopter operations in degraded visual environment | |
US11912429B2 (en) | System and methodology to provide an augmented view of an environment below an obstructing structure of an aircraft | |
JP2024071414A (ja) | 移動体用操縦支援方法及び移動体用操縦支援システム | |
EP3835726A1 (en) | Landing aid system and landing aid method | |
Hebel et al. | Imaging sensor fusion and enhanced vision for helicopter landing operations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191016 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20191016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20191016 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231003 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7367922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |