JP6429347B1 - Visibility display system and moving body - Google Patents
Visibility display system and moving body Download PDFInfo
- Publication number
- JP6429347B1 JP6429347B1 JP2018096358A JP2018096358A JP6429347B1 JP 6429347 B1 JP6429347 B1 JP 6429347B1 JP 2018096358 A JP2018096358 A JP 2018096358A JP 2018096358 A JP2018096358 A JP 2018096358A JP 6429347 B1 JP6429347 B1 JP 6429347B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- image
- display system
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000003384 imaging method Methods 0.000 claims abstract description 24
- 230000010365 information processing Effects 0.000 claims abstract description 20
- 230000003190 augmentative effect Effects 0.000 claims abstract description 5
- 238000013473 artificial intelligence Methods 0.000 claims description 31
- 230000004438 eyesight Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000010257 thawing Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】視界の視認性を向上できる視界表示システムを提供する。
【解決手段】視界表示システム1は、運転席を有する航空機等の移動体に設けられるものである。この視界表示システム1は、航空機の諸元を検知する飛行諸元検知部11と、飛行中において少なくとも運転席からの視界に相当する視界画像を撮影する視界撮影装置15を有する撮影部12とを備える。また、これら飛行諸元検知部11からの諸元情報および撮影部12からの画像情報を関連付けて飛行情報として構成する情報処理部14と、情報処理部14で構成した飛行情報を記憶する記憶部3とを備える。そして、飛行中には、制御部5の制御によって、リアルタイムの画像と過去の画像とこれらリアルタイムの画像および過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも1つを表示部4に表示する。
【選択図】図1A view display system capable of improving visibility of a view is provided.
A visual field display system 1 is provided in a moving body such as an aircraft having a driver's seat. The visual field display system 1 includes a flight specification detection unit 11 that detects the specifications of an aircraft, and an imaging unit 12 that includes a visual field imaging device 15 that captures a visual field image corresponding to the visual field from at least the driver's seat during flight. Prepare. An information processing unit 14 configured as flight information by associating the specification information from the flight specification detection unit 11 and the image information from the imaging unit 12, and a storage unit for storing the flight information configured by the information processing unit 14 3. During the flight, the control unit 5 controls the display unit 4 to display at least one of the real-time image, the past image, and the augmented reality image created based on the real-time image and the past image. To display.
[Selection] Figure 1
Description
本発明は、運転席からの視界を画像として表示する視界表示システムおよび移動体に関する。 The present invention relates to a field of view display system and a moving body that display a field of view from a driver's seat as an image.
従来、例えば航空機等の移動体の運転席からの視界の悪化を防止するには、特許文献1のように、窓を加熱することによって霜取りや曇り取りを行って視認性を向上する技術が知られている。
Conventionally, in order to prevent the visibility of a moving body such as an aircraft from the driver's seat from deteriorating, a technique for improving visibility by defrosting or defrosting by heating a window as in
しかしながら、上述の特許文献1の構成では、窓が曇ることを防止するだけであるため、濃霧や天候不良等により視界不良となった状況では、視認性を向上できない。
However, in the configuration of
そこで、濃霧や天候不良等によって視界不良となった状況においても、視界の視認性を向上できる技術が求められていた。 Therefore, a technology that can improve visibility of the field of view even in a situation where the field of vision is poor due to dense fog or bad weather has been demanded.
本発明はこのような点に鑑みなされたもので、視界の視認性を向上できる視界表示システムおよび移動体を提供することを目的とする。 This invention is made | formed in view of such a point, and it aims at providing the visual field display system and moving body which can improve the visibility of a visual field.
請求項1に記載された視界表示システムは、運転席を有し所定ルートを移動する移動体の視界表示システムであって、移動体の諸元を検知する移動諸元検知部と、移動中において少なくとも前記運転席からの視界に相当する視界画像を撮影する視界撮影装置を有する撮影部と、前記移動諸元検知部にて検知した諸元情報と前記撮影部にて撮影した画像情報を関連付けて移動情報を構成する情報処理部と、前記移動情報を記憶する記憶部と、画像を表示可能な表示部と、移動中の移動情報に基づくリアルタイムの画像、前記記憶部に記憶された移動情報に基づく過去の画像、および、これらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも1つを表示部に表示させる制御部とを備え、前記制御部は、学習能力を有し取得された移動情報に応じて前記表示部に表示させる画像を判断する人工知能を有し、前記人工知能は、操縦を補助する補助情報および自動操縦の状態を示す操縦情報の少なくともいずれかを前記表示部に表示可能であるものである。
The visual field display system according to
請求項2に記載された視界表示システムは、請求項1記載の視界表示システムにおいて、移動体の位置に関する気象情報および移動ルートに関する気象情報の少なくともいずれかを取得する気象情報取得部を備え、情報処理部は、前記気象情報取得部からの前記気象情報も移動情報として関連付けるものである。
The visual field display system according to
請求項3に記載された視界表示システムは、請求項1または2記載の視界表示システムにおいて、撮影部は、移動体の所定箇所を撮影する機体撮影装置を有するものである。 The visual field display system according to a third aspect is the visual field display system according to the first or second aspect, wherein the photographing unit includes a body photographing device that photographs a predetermined portion of the moving body.
請求項4に記載された視界表示システムは、請求項1ないし3いずれか一記載の視界表示システムにおいて、撮影部は、移動体の周囲を撮影する周囲撮影装置を有するものである。 According to a fourth aspect of the present invention, in the visual field display system according to any one of the first to third aspects, the photographing unit includes a surrounding photographing device that photographs the periphery of the moving body.
請求項5に記載された視界表示システムは、請求項1ないし4いずれか一記載の視界表示システムにおいて、所定ルートの移動毎に移動情報が記憶部に蓄積されるものである。 A visual field display system according to a fifth aspect is the visual field display system according to any one of the first to fourth aspects, wherein movement information is accumulated in a storage unit every time a predetermined route is moved.
請求項6に記載された視界表示システムは、請求項1ないし5いずれか一記載の視界表示システムにおいて、外部の移動情報供給部から移動情報を取得する移動情報取得部を備えるものである。
View display system of claim 6, in
請求項7に記載された移動体は、運転席を有する機体と、請求項1ないし6いずれか一記載の視界表示システムとを備えるものである。 According to a seventh aspect of the present invention, there is provided a moving body including an airframe having a driver's seat and a visual field display system according to any one of the first to sixth aspects.
請求項8に記載された移動体は、請求項7記載の移動体において、運転席には少なくとも前方視界を確保するための窓が設けられておらず、表示部に表示される画像によって運転席からの視界が確保されているものである。 The moving body described in claim 8 is the moving body according to claim 7 , wherein the driver's seat is not provided with a window for securing at least a front view, and the driver's seat is displayed according to an image displayed on the display unit. Visibility from is secured.
本発明によれば、移動中の移動情報に基づくリアルタイムの画像、記憶部に記憶された移動情報に基づく過去の画像およびこれらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも1つが表示されるため、視界の視認性を向上できる。また、人工知能が操縦を補助する補助情報および自動操縦の状態を示す操縦情報の少なくともいずれかを表示部に表示可能であるため、その表示に基づいて操縦する半自動的な操縦や操縦者無しの完全自動操縦へ繋げることができる。 According to the present invention, real-time images based on movement information during movement, past images based on movement information stored in the storage unit, and augmented reality images created based on these real-time images and past images Since at least one of them is displayed, visibility of the field of view can be improved. In addition, since the artificial intelligence can display at least one of auxiliary information for assisting maneuvering and maneuvering information indicating the state of autopilot on the display unit, semi-automatic maneuvering based on the display or no pilot It can be connected to fully automatic piloting.
以下、本発明の一実施の形態の構成について図面を参照しながら詳細に説明する。 Hereinafter, the configuration of an embodiment of the present invention will be described in detail with reference to the drawings.
本発明に係る移動体としての航空機は、運転席であるコックピットを有する機体を備え、例えば人員や貨物の輸送等を目的として所定ルートを飛行して移動するものである。 An aircraft as a moving body according to the present invention includes a fuselage having a cockpit as a driver's seat, and travels on a predetermined route for the purpose of transportation of personnel and cargo, for example.
この航空機は、コックピットからの視界を各種デジタル処理した画像として表示する視界表示システム1を備えている。
This aircraft includes a
視界表示システム1は、移動情報としての飛行情報を構成する情報構成部2と、この情報構成部2によって構成された飛行情報を記憶する記憶部3と、操縦者が視認可能で飛行情報に基づく画像を表示する表示部4と、飛行中において表示部4に所定の画像を選択的に表示させる制御部5とを備えている。
The field-of-
航空機のコックピットは、窓が設けられておらず、通常窓が設けられている箇所には表示部4が設けられている。すなわち、操縦者は、表示部4に表示されている画像に基づいて航空機を操縦する。
An aircraft cockpit is not provided with a window, and a
情報構成部2は、各種のセンサによって移動中(飛行中)の航空機の諸元を取得する移動諸元検知部としての飛行諸元検知部11と、飛行中において所定の画像を撮影する撮影部12と、航空機の位置に関する気象情報や移動(飛行)ルートに関する気象情報を取得する気象情報取得部13と、これら飛行諸元検知部11、撮影部12および気象情報取得部13からの情報を適宜関連付ける情報処理部14とを有している。
The
飛行諸元検知部11は、位置を検知する位置検知部11aと、機体の速度を検知する対気速度検知部11bと、機体の高度を検知する高度検知部11cと、機体の方位角度を検知する方位角度検知部11dと、機体の抑え角度を検知する抑え角度検知部11eと、機体のバンク角度を検知するバンク角度検知部11f等を有している。
The flight
なお、位置検知部11aは、例えばGPS(Global Positioning System)等の測位システムや高度計等を有し、飛行中の航空機の飛行位置を随時検知する。
The
撮影部12は、飛行中にコックピットから肉眼で視認できる視界に相当する視界画像を撮影する視界撮影装置15と、飛行中の航空機の機体における所定箇所を撮影する機体撮影装置16と、飛行中にコックピットからの視界以外の周囲を撮影する周囲撮影装置17とを有している。
The
視界撮影装置15は、例えばデジタルカメラ等の可視光カメラであり、機体の前方を中心にコックピットからの視界に相当する視界画像を撮影できるように、コックピットの前側部において上下に離間してそれぞれ複数(例えば2つ)設置される。
The field-of-
なお、視界撮影装置15における可視光カメラだけでなく、LIDAR11g(Light Detection and Ranging)や、RADAR11h(Radio Detecting and Ranging)のように電波等の不可視光線を利用した検出手段等を組み合わせて用いることが好ましい。
It should be noted that not only the visible light camera in the field-of-
機体撮影装置16は、例えば前脚、主脚、エンジン、主翼、補助翼、垂直尾翼、水平尾翼、客室や貨物室の外周面等のように、視界撮影装置15では視認できない機体における所定の構成要素に関する機体画像を撮影できるように、構成要素それぞれに向けて設置されたデジタルカメラを有している。
The
周囲撮影装置17は、例えば機体からの側方画像や後方画像のように、視界画像とは異なる方向の周囲画像を撮影できるように、機体側部や機体後部に設置されたデジタルカメラを有している。
The
気象情報取得部13は、例えば各種計測器による計測や管制塔等の地上の管理施設からの情報等により、飛行位置や飛行ルートに関して、天候、風向、風速、気温、気圧および季節変化等の飛行する際に必要な気象情報を適宜取得する。
The meteorological
情報処理部14は、例えば電子計算機等のコンピュータを有し、飛行諸元検知部11からの諸元情報、撮影部12からの画像情報、および、気象情報取得部13からの気象情報を随時関連付けることでその飛行中における飛行情報を構成する。
The
なお、情報構成部2は、上記各構成要素の他に各種センサ等の検知装置が設けられ、一般的な飛行に必要な情報を適宜取得する。
The
記憶部3は、情報処理部14によって構成された飛行情報を記憶し、飛行毎に飛行情報を蓄積して、飛行諸元に関するいわゆるビッグデータを構築する。なお、ビッグデータは外部のサーバに集積する構成にしてもよい。
The
表示部4は、例えば4K解像度や8K解像度の有機エレクトロルミネッセンス(有機EL)ディスプレイ等の表示装置で構成され、通常のコックピットにおける窓に該当する箇所に設けられている。そして、表示部4には、制御部5による制御によって、飛行中の飛行位置に対応した視界画像、機体画像、周囲画像および気象情報等が表示される。
The
なお、表示部4は、コックピットだけでなく管理施設等に設置することもでき、コックピットと管理施設とで同じ視界画像等の画像を共有可能である。
Note that the
制御部5は、モノのインターネット(IoT)システム等のネットワークシステムや人工知能(AI)18を有している。そして、情報処理部14や、記憶部3や、航空交通管制からの情報を取得するATC取得部19からの情報(例えば飛行中のリアルタイムの飛行情報や蓄積されている過去の飛行情報(ビッグデータ)やLIDAR11gおよびRADAR11hからの情報に基づいて機体操作信号を作成できるとともに、必要に応じて機体操作システム20を介して航空機の操縦の際に操作対象となる各構成要素(例えば、機首や各種ギアやブレーキ等)を制御可能である。
The
また、制御部5は、人工知能18の作用によって、操縦に際してより適切な画像が表示されるように表示部4を制御する。すなわち、制御部5によって、情報処理部14から送信される飛行中の飛行情報に基づくリアルタイムの画像と、記憶部3に記憶された過去の飛行情報に基づく最適な過去の画像(視界良好時の画像等)のうちの少なくとも一方を表示部4に表示させる。
Further, the
より具体的には、制御部5における人工知能18の判断によって、表示部4には、リアルタイムの画像、記憶部3に記憶された最適な過去の画像、リアルタイムの画像と最適な過去の画像の両方の画像、および、リアルタイムの画像に過去の画像や過去の画像の一部分が重ねられた拡張現実(AR)画像のうち最適な画像が適宜表示される。なお、これら画像とともに、気象情報等の補助情報が表示部4の一部に表示される構成にしてもよい。
More specifically, according to the judgment of the
そして、操縦者は、表示部4に表示された画像に基づいて機体周囲の状況を確認可能である。また、人工知能18およびIoTシステムを介すことで、操縦者は音声入力による操縦も可能であるとともに、表示部4が地上の管理施設にも設けられている場合には管理施設でも同じ画像を見ることができるため、必要に応じて管理施設からの操縦や操縦の補助が可能である。
Then, the pilot can check the situation around the aircraft based on the image displayed on the
また、飛行毎に飛行情報が蓄積されてビッグデータを構成することで、その飛行情報に基づいて人工知能18が学習し、制御部5によって表示部4だけでなく各構成要素がより適切に制御される。
In addition, flight information is accumulated for each flight and big data is constructed so that the
次に、上記一実施の形態の作用および効果を説明する。 Next, the operation and effect of the one embodiment will be described.
上記航空機を飛行させる際には、まず、滑走路ではリアルタイムの画像が表示部4に表示され、操縦者は、滑走路離脱までそのリアルタイムの画像を視認しながら機体操作を行う。
When flying the aircraft, first, a real-time image is displayed on the
離陸後、所定の高度や飛行位置に達したら自動操縦に切り替えられる。自動操縦時は、リアルタイムの画像やAR画像が表示部4に表示され、操縦者が表示部4の視界画像によってリアルタイムの外部状況を確認可能である。また、操縦者は、視界の確認の他に、通常のチェック動作と同様に各種確認作業を行う。
After take-off, when it reaches a predetermined altitude or flight position, it can be switched to autopilot. At the time of automatic steering, a real-time image and an AR image are displayed on the
なお、操縦者が操縦に関与していない状態の場合には、視界不良時に限らず、検出手段からの入力が人工知能18の判断材料として活用される構成等にしてもよい。
In the case where the operator is not involved in the maneuvering, the configuration may be such that the input from the detection means is used as a judgment material for the
着陸する際には、計器着陸装置(Instrument Landing System:ILS)レンジ以降、視界良好の通常時にはリアルタイムの画像やAR画像が表示部4に表示され、視界不良の場合には過去の画像やAR画像が表示部4に表示される。また、いわゆる視界ゼロの場合には、ILSレンジ以降にビッグデータの中から人工知能18によって最適な画像が選択されて表示部4に表示され、滑走路やその他の空港施設や他の移動体を含めた視界をAR画像で構築して表示可能である。具体的には、表示部4には、建物等の静止物は過去の画像に基づいてAR画像として表示されるとともに、移動中の他の航空機や地上機材等の移動物をLIDAR11gやRADAR11hからの入力によって人工知能18が捕捉して表示する構成等にしてもよい。
When landing, after the instrument landing system (Instrument Landing System: ILS) range, a real-time image and an AR image are displayed on the
そして、操縦者は、表示部4の画像を視認しながら機体操作を行う。
Then, the operator operates the aircraft while visually recognizing the image on the
このように離陸から着陸までの間、随時、撮影部12で撮影された画像情報、飛行諸元検知部11で検知した諸元情報、および、気象情報取得部13で取得した気象情報が情報処理部14に送信されて各情報が関連付けられて飛行情報が構成され、その飛行情報が記憶部3に記憶される。
Thus, from take-off to landing, the image information captured by the
また、このように離陸から着陸までの飛行緒元が飛行毎にその飛行情報として記憶部3に記憶され、ビッグデータとして蓄積される。
In addition, the flight specifications from takeoff to landing are stored in the
そして、上記航空機によれば、視界表示システム1を備え、離陸から着陸までの間、視界状況等の飛行条件に応じて、リアルタイムの画像、過去の画像およびAR画像が表示部4に適宜選択的に表示されるため、例えば濃霧等のような視界不良の場合であっても操縦するための視認性を向上できる。そのため、通常では気象条件等によって生じる視界のばらつきを低減できるとともに、天候不良や視界不良による飛行制限を低減できる。
According to the aircraft, the
また、表示部4に表示された画像によってコックピットからの視界を確保できるため、コックピットを無窓化でき、例えば従来の航空機における窓のメンテナンスや窓に設けられるワイパ等の装置のメンテナンスが不要になる。
Further, since the field of view from the cockpit can be secured by the image displayed on the
視界表示システム1は、飛行毎に飛行情報が記憶部3に蓄積されるため、その蓄積された飛行情報に関するビッグデータに基づいて、より適切な画像を表示部4に表示できる。
Since the visibility information is accumulated in the
制御部5は、人工知能18を有するため、蓄積されたビッグデータに基づく人工知能18の学習能力によって、より適切な画像を適切なタイミングで表示部4に表示できる。
Since the
また、蓄積された飛行情報を活かして人工知能18を他の操作可能な構成要素の制御にも利用できるため、より安定した航行を実現できる。
Further, since the
さらに、人工知能18に操縦者の操縦等を学習させることで、人工知能18が表示部4に操縦を補助する補助情報を表示して、その表示に基づいて操縦する半自動的な操縦が可能になるとともに、最終的には、人工知能18とネットワークとによって操縦者無しの完全自動操縦(自動運航)へ繋げることができる。すなわち、視界表示システム1を利用することで、段階的に完全自動操縦へ切り替えることができ、人員不足(パイロット不足)問題等の解消にも貢献できる。
Furthermore, by making the
視界表示システム1は、表示部4を管制塔等の地上の管理施設にも設置できるため、管理施設とコックピットとで視界を中心とした飛行情報をリアルタイムで正確に共有でき、より適切な運行が可能になるとともに、例えば緊急時等に管理施設にて遠隔操縦することも可能である。
The
また、視界表示システム1は、新規の機体だけでなく、在来の機体にも設置可能であるため、汎用性が良好である。
Moreover, since the
このように、視界表示システム1の導入によって、事実上、ターミナルから地上走行、離陸、上昇、巡航、着陸および着陸後の地上走行の全ての工程において所定の役割を担うことができる。
As described above, the introduction of the visual
また、人工知能18を有する視界表示システム1は、上述のように無人での全自動運航が当局で認可され全自動運航が実現されるまで、視界表示システム1の表示による操縦補助に基づく半自動操縦、視界表示システム1の画像に基づいて操縦プロセスを監視することによる乗員養成機能、全自動運航の当局の認可を得るまでの実証機能、全自動運航の当局認可後に視界表示システム1により自動運行をいわゆる見える化することによる監視機能、地上施設での操作の監視機能、および、ATC交信のAI化に至るまで、様々な役割を担うことができる。
Further, the
なお、上記一実施の形態では、視界表示システム1は、運転席が無窓化された移動体に適用された構成としたが、このような構成には限定されず、窓が設けられた運転席において窓とは別個に表示部4が設置された構成や、窓が表示部4として作用し窓に視界画像を表示する構成等にしてもよい。また、管制塔等の管理施設にて移動体を運転可能な場合には、その管理施設に表示部4を設置してもよい。
In the above embodiment, the field-of-
制御部5は、人工知能18によって表示部4に表示される画像が判断される構成としたが、このような構成には限定されず、人工知能18による判断とは別に操縦者が任意に所望の画像を選択的に表示できる構成にしてもよい。
The
また、制御部5は、人工知能18を有する構成に限定されず、人工知能18が設けられていない構成にしてもよい。
Further, the
制御部5は、飛行中の飛行情報に基づくリアルタイムの画像が情報処理部14から送信され、過去の画像が記憶部3から送信される構成としたが、このような構成には限定されず、リアルタイムの画像、過去の画像およびこれらリアルタイムの画像と過去の画像とに基づいて作成されたAR画像の少なくとも1つを表示部4に表示できる構成であれば、例えば、リアルタイムの画像も記憶部3を介して供給される構成にしてもよい。
The
また、移動諸元検知部11、撮影部12および気象情報取得部13からの情報が情報処理部14へ供給され、ATC取得部19、LIDAR11gおよびRADAR11hからの情報が制御部5(人工知能18)へ供給される構成としたが、このような構成には限定されず、移動諸元検知部11において検知した諸元情報のうちの位置検知部11aによる位置情報と、撮影部12において撮影した画像情報のうちの視界撮影装置15による視界画像情報とが情報処理部14で関連付けられて飛行情報が構成される構成であれば、情報処理部14で飛行情報として関連付ける情報、および、制御部5(人工知能18)に直接入力される情報は、それぞれ適宜変更できる。すなわち、視界画像情報と位置情報とが情報処理部14で関連付けられる構成であれば、移動諸元検知部11、撮影部12、気象情報取得部13、ATC取得部19、LIDAR11gおよびRADAR11hからの各情報は、少なくとも情報処理部14および制御部5のいずれかに入力され、最終的には制御部5にて、表示部4での表示や各種操作に利用される。
Information from the movement
人工知能18は、情報処理部14や記憶部3からの情報に基づいて制御を行う構成としたがこのような構成には限定されない。すなわち、図2に示す変形例のように、人工知能18が、外部の情報供給部21から飛行情報を取得する移動情報取得部としての機能を備える構成としてもよい。
The
情報供給部21は、ネットワークを介して情報等のサービスを集約的に記憶可能でかつ提供可能なクラウドと、ネットワークを介してクラウドに接続されたEDGEサーバとを有している。
The
そして、人工知能18は、例えば各空港や管制塔等のように各地の施設に設置されたEDGEサーバを介してクラウドから各種情報を取得可能である。
The
このように外部の情報供給部21から飛行情報を取得可能な構成にすることで、記憶部3自体が予め所定の移動情報を記憶していなくても、出発の際に情報供給部21から通信によって移動情報を取得することができる。また、その航空機自体だけでなく、他の航空機からも集約された飛行情報も利用できるため、人工知能18によってより適切な制御が可能となる。なお、このように外部の情報供給部21から移動情報を取得する構成の場合には、通信障害等を考慮して、USB等の記憶装置を介して所定の移動情報を取得できる構成等にしてもよい。
By adopting a configuration in which flight information can be acquired from the external
上記一実施の形態では、移動体を航空機として説明したが、移動体は、所定ルートを移動するものであればよく、旅客機や貨物機等の航空機の他には、例えば電車や新幹線やリニアモーターカー(LMC)等の鉄道、路線バス、および船舶等にも適用できる。 In the above embodiment, the mobile body is described as an aircraft. However, the mobile body only needs to move on a predetermined route. In addition to aircraft such as passenger planes and cargo planes, for example, trains, bullet trains, and linear motors. It can also be applied to railways such as cars (LMC), route buses, and ships.
なお、リニアモーターカーの場合は、時速約500km(秒速約140m)での走行となる。すなわち、制動に約150秒を要し、操作が実行されるまでに約2.5km先に達してしまい、車両に取り付けられた視界撮影装置15の画像だけでは、適切に制動できない可能性がある。そこで、線路上に所定間隔毎例えば1km毎にデジタルカメラや暗視カメラを設置し、表示部4にて常に5km程度先の画像が表示されている構成が好ましい。
In the case of a linear motor car, the vehicle runs at a speed of about 500 km / h (about 140 m / s). That is, about 150 seconds are required for braking, and about 2.5 km is reached before the operation is executed, and there is a possibility that the braking cannot be performed properly only with the image of the field of
また、鉄道や路線バスに視界表示システム1を適用した場合には、情報処理部14では移動情報としての走行情報が構成され、船舶に視界表示システム1を適用した場合には情報処理部14では移動情報として航行情報が構成される。
Further, when the
さらに、本発明における機体とは移動体の本体部分を意味し、鉄道や路線バス等においては車両を意味し、船舶においては船体を意味する。 Furthermore, the airframe in the present invention means a main body part of a moving body, means a vehicle in a railway or a route bus, and means a hull in a ship.
また、本発明における運転とは、移動体の移動を操作することを意味し、操縦も含まれる。 Moreover, the driving | operation in this invention means operating the movement of a moving body, and steering is also included.
1 視界表示システム
3 記憶部
4 表示部
5 制御部
11 移動諸元検知部としての飛行諸元検知部
12 撮影部
13 気象情報取得部
14 情報処理部
15 視界撮影装置
16 機体撮影装置
17 周囲撮影装置
18 人工知能
21 情報供給部
1
11 Flight specification detection unit as a movement specification detection unit
12 Shooting section
13 Weather Information Acquisition Department
14 Information processing department
15 Field of view photographing device
16 Airframe imaging device
17 Ambient photography device
18 Artificial intelligence
21 Information Supply Department
Claims (8)
移動体の諸元を検知する移動諸元検知部と、
移動中において少なくとも前記運転席からの視界に相当する視界画像を撮影する視界撮影装置を有する撮影部と、
前記移動諸元検知部にて検知した諸元情報と前記撮影部にて撮影した画像情報を関連付けて移動情報を構成する情報処理部と、
前記移動情報を記憶する記憶部と、
画像を表示可能な表示部と、
移動中の移動情報に基づくリアルタイムの画像、前記記憶部に記憶された移動情報に基づく過去の画像、および、これらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも1つを表示部に表示させる制御部とを備え、
前記制御部は、学習能力を有し取得された移動情報に応じて前記表示部に表示させる画像を判断する人工知能を有し、
前記人工知能は、操縦を補助する補助情報および自動操縦の状態を示す操縦情報の少なくともいずれかを前記表示部に表示可能である
ことを特徴とする視界表示システム。 A visual field display system for a moving body that has a driver's seat and moves along a predetermined route,
A movement specification detector for detecting the specifications of the moving object;
An imaging unit having a field of view imaging device that captures at least a field of view image corresponding to the field of view from the driver's seat during movement;
An information processing unit that configures the movement information by associating the specification information detected by the movement specification detection unit and the image information captured by the imaging unit;
A storage unit for storing the movement information;
A display unit capable of displaying an image;
At least of a real-time image based on movement information being moved, a past image based on the movement information stored in the storage unit, and an augmented reality image created based on the real-time image and the past image A control unit for displaying one on the display unit ,
The control unit has an artificial intelligence to determine an image to be displayed on the display unit according to the acquired movement information having a learning capability,
The visual display system characterized in that the artificial intelligence can display at least one of auxiliary information for assisting maneuvering and maneuvering information indicating a state of automatic maneuvering on the display unit .
情報処理部は、前記気象情報取得部からの前記気象情報も移動情報として関連付ける
ことを特徴とする請求項1記載の視界表示システム。 A weather information acquisition unit that acquires at least one of weather information related to the position of the moving object and weather information related to the movement route;
The field information display system according to claim 1, wherein the information processing unit associates the weather information from the weather information acquisition unit as movement information.
ことを特徴とする請求項1または2記載の視界表示システム。 The field-of-view display system according to claim 1, wherein the photographing unit includes a body photographing device that photographs a predetermined portion of the moving body.
ことを特徴とする請求項1ないし3いずれか一記載の視界表示システム。 The field-of-view display system according to any one of claims 1 to 3, wherein the photographing unit includes a surrounding photographing device that photographs the periphery of the moving body.
ことを特徴とする請求項1ないし4いずれか一記載の視界表示システム。 5. The visual field display system according to claim 1, wherein movement information is accumulated in the storage unit for each movement of the predetermined route.
ことを特徴とする請求項1ないし5いずれか一記載の視界表示システム。 The visual field display system according to claim 1, further comprising a movement information acquisition unit that acquires movement information from an external information supply unit.
請求項1ないし6いずれか一記載の視界表示システムとを備える
ことを特徴とする移動体。 A fuselage with a driver seat;
It claims 1 moving body; and a 6 vision display system of any one described.
表示部に表示される画像によって運転席からの視界が確保されている
ことを特徴とする請求項7記載の移動体。 The driver ’s seat is not equipped with at least a window to ensure forward visibility,
The moving body according to claim 7, wherein a field of view from a driver's seat is secured by an image displayed on the display unit.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018096358A JP6429347B1 (en) | 2018-05-18 | 2018-05-18 | Visibility display system and moving body |
CN201910384150.XA CN110502200A (en) | 2018-05-18 | 2019-05-09 | Visual field display system and moving body |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018096358A JP6429347B1 (en) | 2018-05-18 | 2018-05-18 | Visibility display system and moving body |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6429347B1 true JP6429347B1 (en) | 2018-11-28 |
JP2019200712A JP2019200712A (en) | 2019-11-21 |
Family
ID=64480496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018096358A Expired - Fee Related JP6429347B1 (en) | 2018-05-18 | 2018-05-18 | Visibility display system and moving body |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6429347B1 (en) |
CN (1) | CN110502200A (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113892070B (en) * | 2020-04-30 | 2024-04-26 | 乐天集团股份有限公司 | Learning device, information processing device, and control model for completing learning |
WO2021220467A1 (en) * | 2020-04-30 | 2021-11-04 | 楽天株式会社 | Learning device, information processing device, and learned control model |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1172350A (en) * | 1997-08-28 | 1999-03-16 | Tech Res & Dev Inst Of Japan Def Agency | Flight system and pseudo sight-forming device for aircraft |
JPH11237582A (en) * | 1998-02-19 | 1999-08-31 | Mitsubishi Precision Co Ltd | Simulated field-of-view device to be loaded on aircraft |
JP2001088797A (en) * | 1999-09-20 | 2001-04-03 | Nippon Signal Co Ltd:The | Aircraft maneuvering supporting device |
JP2001344597A (en) * | 2000-05-30 | 2001-12-14 | Fuji Heavy Ind Ltd | Fused visual field device |
JP2002240798A (en) * | 2001-02-19 | 2002-08-28 | Nippon Signal Co Ltd:The | Monitoring device |
JP2003279375A (en) * | 2002-03-25 | 2003-10-02 | Kawasaki Heavy Ind Ltd | Pseudo eyesight forming device |
JP2008056046A (en) * | 2006-08-30 | 2008-03-13 | Masao Imai | Aircraft landing assistant device at poor visual field |
JP2013014318A (en) * | 2011-06-30 | 2013-01-24 | General Electric Co <Ge> | Method of operating synthetic vision system in aircraft |
US20130249712A1 (en) * | 2012-03-20 | 2013-09-26 | Airbus Operations (Sas) | Method and device for displaying meteorological data on an aircraft screen |
JP2014025931A (en) * | 2012-07-26 | 2014-02-06 | Ge Aviation Systems Llc | Method of displaying flight plan |
US20150169273A1 (en) * | 2013-12-16 | 2015-06-18 | Lockheed Martin Corporation | Peripheral vision hover drift cueing |
US20150261379A1 (en) * | 2014-03-11 | 2015-09-17 | Cessna Aircraft Company | Touch Screen Instrument Panel |
JP2016166794A (en) * | 2015-03-10 | 2016-09-15 | パイオニア株式会社 | Image creating apparatus, image creating method, program for image creating apparatus, and image creating system |
WO2016152572A1 (en) * | 2015-03-20 | 2016-09-29 | 日産自動車株式会社 | Indirect-view presentation device |
JP2017224190A (en) * | 2016-06-16 | 2017-12-21 | 株式会社オルツ | Artificial intelligence system for supporting communication |
US9858823B1 (en) * | 2015-06-09 | 2018-01-02 | Rockwell Collins, Inc. | Interactive flight plan |
JP2018036993A (en) * | 2016-09-02 | 2018-03-08 | オリンパス株式会社 | Display system, portable information device, wearable terminal, information display method, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521897A (en) * | 2007-09-28 | 2012-06-27 | 富士通天株式会社 | Method for displaying vehicle driving conditions |
EP2851864B1 (en) * | 2012-05-18 | 2016-09-07 | Nissan Motor Co., Ltd. | Vehicular display apparatus, vehicular display method, and vehicular display program |
KR101670847B1 (en) * | 2014-04-04 | 2016-11-09 | 주식회사 와이즈오토모티브 | Apparatus and method for peripheral image generation of vehicle |
KR101744724B1 (en) * | 2015-03-19 | 2017-06-08 | 현대자동차주식회사 | Audio navigation device, vehicle having the same, user device, and method for controlling vehicle |
-
2018
- 2018-05-18 JP JP2018096358A patent/JP6429347B1/en not_active Expired - Fee Related
-
2019
- 2019-05-09 CN CN201910384150.XA patent/CN110502200A/en active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1172350A (en) * | 1997-08-28 | 1999-03-16 | Tech Res & Dev Inst Of Japan Def Agency | Flight system and pseudo sight-forming device for aircraft |
JPH11237582A (en) * | 1998-02-19 | 1999-08-31 | Mitsubishi Precision Co Ltd | Simulated field-of-view device to be loaded on aircraft |
JP2001088797A (en) * | 1999-09-20 | 2001-04-03 | Nippon Signal Co Ltd:The | Aircraft maneuvering supporting device |
JP2001344597A (en) * | 2000-05-30 | 2001-12-14 | Fuji Heavy Ind Ltd | Fused visual field device |
JP2002240798A (en) * | 2001-02-19 | 2002-08-28 | Nippon Signal Co Ltd:The | Monitoring device |
JP2003279375A (en) * | 2002-03-25 | 2003-10-02 | Kawasaki Heavy Ind Ltd | Pseudo eyesight forming device |
JP2008056046A (en) * | 2006-08-30 | 2008-03-13 | Masao Imai | Aircraft landing assistant device at poor visual field |
JP2013014318A (en) * | 2011-06-30 | 2013-01-24 | General Electric Co <Ge> | Method of operating synthetic vision system in aircraft |
US20130249712A1 (en) * | 2012-03-20 | 2013-09-26 | Airbus Operations (Sas) | Method and device for displaying meteorological data on an aircraft screen |
JP2014025931A (en) * | 2012-07-26 | 2014-02-06 | Ge Aviation Systems Llc | Method of displaying flight plan |
US20150169273A1 (en) * | 2013-12-16 | 2015-06-18 | Lockheed Martin Corporation | Peripheral vision hover drift cueing |
US20150261379A1 (en) * | 2014-03-11 | 2015-09-17 | Cessna Aircraft Company | Touch Screen Instrument Panel |
JP2016166794A (en) * | 2015-03-10 | 2016-09-15 | パイオニア株式会社 | Image creating apparatus, image creating method, program for image creating apparatus, and image creating system |
WO2016152572A1 (en) * | 2015-03-20 | 2016-09-29 | 日産自動車株式会社 | Indirect-view presentation device |
US9858823B1 (en) * | 2015-06-09 | 2018-01-02 | Rockwell Collins, Inc. | Interactive flight plan |
JP2017224190A (en) * | 2016-06-16 | 2017-12-21 | 株式会社オルツ | Artificial intelligence system for supporting communication |
JP2018036993A (en) * | 2016-09-02 | 2018-03-08 | オリンパス株式会社 | Display system, portable information device, wearable terminal, information display method, and program |
Also Published As
Publication number | Publication date |
---|---|
CN110502200A (en) | 2019-11-26 |
JP2019200712A (en) | 2019-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10119833B2 (en) | Projected synthetic vision | |
RU2550887C2 (en) | On-board integrated crew support information system and cognitive format of presenting flight information at take-off phase of multi-engine aircraft | |
US10935987B2 (en) | Landing site localization for dynamic control of an aircraft toward a landing site | |
CN102343980B (en) | For strengthening the method and system of the discrimination of the posture in visual pattern | |
US11749126B2 (en) | Landing site localization for dynamic control of an aircraft toward a landing site | |
CN106292684B (en) | Vehicle carrying aircraft | |
US9165414B2 (en) | Method and system for predicting performance of an aircraft | |
US10392124B2 (en) | Tactile and peripheral vision combined modality hover drift cueing | |
CA2907873C (en) | Taxiing aircraft vicinity visualization system and method | |
JP2010250478A (en) | Driving support device | |
US20230359197A1 (en) | Landing Site Localization for Dynamic Control of an Aircraft Toward a Landing Site | |
EP3084751B1 (en) | Peripheral vision hover drift cueing | |
CN106415422B (en) | Advanced aircraft vision system using multi-sensor gain scheduling | |
CN113640825A (en) | Unmanned aerial vehicle composite three-dimensional surveying and mapping system and method | |
CN113295164B (en) | Unmanned aerial vehicle visual positioning method and device based on airport runway | |
JP6429347B1 (en) | Visibility display system and moving body | |
US20170148333A1 (en) | Method for automatically piloting an aircraft on the ground and device for its implementation | |
CN112114593A (en) | Control system | |
DE10120537A1 (en) | Procedure with an interferometric ROSAR device | |
CN107466414A (en) | The equipment, system and method slided for assisting in flying device | |
EP3748303A1 (en) | Aircraft, enhanced flight vision system, and method for displaying an approaching runway area | |
CN107782308A (en) | A kind of vehicular automatically controls UAS, localization method and control method | |
CN116259198A (en) | EVTOL flight supervision system | |
CN113534849A (en) | Flight combination guidance system, method and medium integrating machine vision | |
CN103879559A (en) | Aircraft take-off and landing monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180518 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180518 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6429347 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |