JP6429347B1 - Visibility display system and moving body - Google Patents

Visibility display system and moving body Download PDF

Info

Publication number
JP6429347B1
JP6429347B1 JP2018096358A JP2018096358A JP6429347B1 JP 6429347 B1 JP6429347 B1 JP 6429347B1 JP 2018096358 A JP2018096358 A JP 2018096358A JP 2018096358 A JP2018096358 A JP 2018096358A JP 6429347 B1 JP6429347 B1 JP 6429347B1
Authority
JP
Japan
Prior art keywords
information
unit
image
display system
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018096358A
Other languages
Japanese (ja)
Other versions
JP2019200712A (en
Inventor
豊 川口
豊 川口
功 渡邊
功 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2018096358A priority Critical patent/JP6429347B1/en
Application granted granted Critical
Publication of JP6429347B1 publication Critical patent/JP6429347B1/en
Priority to CN201910384150.XA priority patent/CN110502200A/en
Publication of JP2019200712A publication Critical patent/JP2019200712A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】視界の視認性を向上できる視界表示システムを提供する。
【解決手段】視界表示システム１は、運転席を有する航空機等の移動体に設けられるものである。この視界表示システム１は、航空機の諸元を検知する飛行諸元検知部11と、飛行中において少なくとも運転席からの視界に相当する視界画像を撮影する視界撮影装置15を有する撮影部12とを備える。また、これら飛行諸元検知部11からの諸元情報および撮影部12からの画像情報を関連付けて飛行情報として構成する情報処理部14と、情報処理部14で構成した飛行情報を記憶する記憶部３とを備える。そして、飛行中には、制御部５の制御によって、リアルタイムの画像と過去の画像とこれらリアルタイムの画像および過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも１つを表示部４に表示する。
【選択図】図１A view display system capable of improving visibility of a view is provided.
A visual field display system 1 is provided in a moving body such as an aircraft having a driver's seat. The visual field display system 1 includes a flight specification detection unit 11 that detects the specifications of an aircraft, and an imaging unit 12 that includes a visual field imaging device 15 that captures a visual field image corresponding to the visual field from at least the driver's seat during flight. Prepare. An information processing unit 14 configured as flight information by associating the specification information from the flight specification detection unit 11 and the image information from the imaging unit 12, and a storage unit for storing the flight information configured by the information processing unit 14 3. During the flight, the control unit 5 controls the display unit 4 to display at least one of the real-time image, the past image, and the augmented reality image created based on the real-time image and the past image. To display.
[Selection] Figure 1

Description

本発明は、運転席からの視界を画像として表示する視界表示システムおよび移動体に関する。   The present invention relates to a field of view display system and a moving body that display a field of view from a driver's seat as an image.

従来、例えば航空機等の移動体の運転席からの視界の悪化を防止するには、特許文献１のように、窓を加熱することによって霜取りや曇り取りを行って視認性を向上する技術が知られている。   Conventionally, in order to prevent the visibility of a moving body such as an aircraft from the driver's seat from deteriorating, a technique for improving visibility by defrosting or defrosting by heating a window as in Patent Document 1 is known. It has been.

特開２０１２−１６６６５６号公報JP 2012-166656 A

しかしながら、上述の特許文献１の構成では、窓が曇ることを防止するだけであるため、濃霧や天候不良等により視界不良となった状況では、視認性を向上できない。   However, in the configuration of Patent Document 1 described above, the window is only prevented from being fogged, and therefore visibility cannot be improved in a situation where visibility has become poor due to dense fog or bad weather.

そこで、濃霧や天候不良等によって視界不良となった状況においても、視界の視認性を向上できる技術が求められていた。   Therefore, a technology that can improve visibility of the field of view even in a situation where the field of vision is poor due to dense fog or bad weather has been demanded.

本発明はこのような点に鑑みなされたもので、視界の視認性を向上できる視界表示システムおよび移動体を提供することを目的とする。   This invention is made | formed in view of such a point, and it aims at providing the visual field display system and moving body which can improve the visibility of a visual field.

請求項１に記載された視界表示システムは、運転席を有し所定ルートを移動する移動体の視界表示システムであって、移動体の諸元を検知する移動諸元検知部と、移動中において少なくとも前記運転席からの視界に相当する視界画像を撮影する視界撮影装置を有する撮影部と、前記移動諸元検知部にて検知した諸元情報と前記撮影部にて撮影した画像情報を関連付けて移動情報を構成する情報処理部と、前記移動情報を記憶する記憶部と、画像を表示可能な表示部と、移動中の移動情報に基づくリアルタイムの画像、前記記憶部に記憶された移動情報に基づく過去の画像、および、これらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも１つを表示部に表示させる制御部とを備え、前記制御部は、学習能力を有し取得された移動情報に応じて前記表示部に表示させる画像を判断する人工知能を有し、前記人工知能は、操縦を補助する補助情報および自動操縦の状態を示す操縦情報の少なくともいずれかを前記表示部に表示可能であるものである。 The visual field display system according to claim 1 is a visual field display system for a moving body that has a driver's seat and moves along a predetermined route, and includes a movement specification detection unit that detects specifications of the moving body, An imaging unit having a field-of-view imaging device that captures at least a field-of-view image corresponding to the field of view from the driver's seat, specification information detected by the movement specification detection unit, and image information captured by the imaging unit are associated with each other An information processing unit that constitutes movement information, a storage unit that stores the movement information, a display unit that can display an image, a real-time image based on movement information during movement, and movement information stored in the storage unit based past image, and a control unit for displaying on the display unit at least one of has been augmented reality image created based on the these real-time image and the past image, the control unit, Manabu Having artificial ability to determine an image to be displayed on the display unit in accordance with the acquired movement information, and the artificial intelligence includes at least auxiliary information for assisting maneuvering and maneuvering information indicating a state of autopilot Either of them can be displayed on the display unit .

請求項２に記載された視界表示システムは、請求項１記載の視界表示システムにおいて、移動体の位置に関する気象情報および移動ルートに関する気象情報の少なくともいずれかを取得する気象情報取得部を備え、情報処理部は、前記気象情報取得部からの前記気象情報も移動情報として関連付けるものである。   The visual field display system according to claim 2, further comprising a weather information acquisition unit that acquires at least one of weather information related to a position of a moving body and weather information related to a moving route in the visual field display system according to claim 1. The processing unit associates the weather information from the weather information acquisition unit as movement information.

請求項３に記載された視界表示システムは、請求項１または２記載の視界表示システムにおいて、撮影部は、移動体の所定箇所を撮影する機体撮影装置を有するものである。   The visual field display system according to a third aspect is the visual field display system according to the first or second aspect, wherein the photographing unit includes a body photographing device that photographs a predetermined portion of the moving body.

請求項４に記載された視界表示システムは、請求項１ないし３いずれか一記載の視界表示システムにおいて、撮影部は、移動体の周囲を撮影する周囲撮影装置を有するものである。   According to a fourth aspect of the present invention, in the visual field display system according to any one of the first to third aspects, the photographing unit includes a surrounding photographing device that photographs the periphery of the moving body.

請求項５に記載された視界表示システムは、請求項１ないし４いずれか一記載の視界表示システムにおいて、所定ルートの移動毎に移動情報が記憶部に蓄積されるものである。   A visual field display system according to a fifth aspect is the visual field display system according to any one of the first to fourth aspects, wherein movement information is accumulated in a storage unit every time a predetermined route is moved.

請求項６に記載された視界表示システムは、請求項１ないし５いずれか一記載の視界表示システムにおいて、外部の移動情報供給部から移動情報を取得する移動情報取得部を備えるものである。 View display system of claim 6, in claims 1 to 5 visual display system of any one described, Ru der those comprising a movement information acquisition section for acquiring movement information from outside the mobile information supply unit.

請求項７に記載された移動体は、運転席を有する機体と、請求項１ないし６いずれか一記載の視界表示システムとを備えるものである。 According to a seventh aspect of the present invention, there is provided a moving body including an airframe having a driver's seat and a visual field display system according to any one of the first to sixth aspects.

請求項８に記載された移動体は、請求項７記載の移動体において、運転席には少なくとも前方視界を確保するための窓が設けられておらず、表示部に表示される画像によって運転席からの視界が確保されているものである。 The moving body described in claim 8 is the moving body according to claim 7 , wherein the driver's seat is not provided with a window for securing at least a front view, and the driver's seat is displayed according to an image displayed on the display unit. Visibility from is secured.

本発明によれば、移動中の移動情報に基づくリアルタイムの画像、記憶部に記憶された移動情報に基づく過去の画像およびこれらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも１つが表示されるため、視界の視認性を向上できる。また、人工知能が操縦を補助する補助情報および自動操縦の状態を示す操縦情報の少なくともいずれかを表示部に表示可能であるため、その表示に基づいて操縦する半自動的な操縦や操縦者無しの完全自動操縦へ繋げることができる。 According to the present invention, real-time images based on movement information during movement, past images based on movement information stored in the storage unit, and augmented reality images created based on these real-time images and past images Since at least one of them is displayed, visibility of the field of view can be improved. In addition, since the artificial intelligence can display at least one of auxiliary information for assisting maneuvering and maneuvering information indicating the state of autopilot on the display unit, semi-automatic maneuvering based on the display or no pilot It can be connected to fully automatic piloting.

本発明の一実施の形態に係る航空機の視界表示システムの構成を示すブロック図である。It is a block diagram which shows the structure of the visual field display system of the aircraft which concerns on one embodiment of this invention. 本発明の一実施の形態に係る航空機の視界表示システムの変形例の構成を示すブロック図である。It is a block diagram which shows the structure of the modification of the visual field display system of the aircraft which concerns on one embodiment of this invention.

以下、本発明の一実施の形態の構成について図面を参照しながら詳細に説明する。   Hereinafter, the configuration of an embodiment of the present invention will be described in detail with reference to the drawings.

本発明に係る移動体としての航空機は、運転席であるコックピットを有する機体を備え、例えば人員や貨物の輸送等を目的として所定ルートを飛行して移動するものである。   An aircraft as a moving body according to the present invention includes a fuselage having a cockpit as a driver's seat, and travels on a predetermined route for the purpose of transportation of personnel and cargo, for example.

この航空機は、コックピットからの視界を各種デジタル処理した画像として表示する視界表示システム１を備えている。   This aircraft includes a view display system 1 that displays the view from the cockpit as various digitally processed images.

視界表示システム１は、移動情報としての飛行情報を構成する情報構成部２と、この情報構成部２によって構成された飛行情報を記憶する記憶部３と、操縦者が視認可能で飛行情報に基づく画像を表示する表示部４と、飛行中において表示部４に所定の画像を選択的に表示させる制御部５とを備えている。   The field-of-view display system 1 includes an information configuration unit 2 that configures flight information as movement information, a storage unit 3 that stores flight information configured by the information configuration unit 2, and a driver that is visible and based on flight information. A display unit 4 for displaying an image and a control unit 5 for selectively displaying a predetermined image on the display unit 4 during flight are provided.

航空機のコックピットは、窓が設けられておらず、通常窓が設けられている箇所には表示部４が設けられている。すなわち、操縦者は、表示部４に表示されている画像に基づいて航空機を操縦する。   An aircraft cockpit is not provided with a window, and a display unit 4 is provided at a place where a normal window is provided. That is, the pilot controls the aircraft based on the image displayed on the display unit 4.

情報構成部２は、各種のセンサによって移動中（飛行中）の航空機の諸元を取得する移動諸元検知部としての飛行諸元検知部11と、飛行中において所定の画像を撮影する撮影部12と、航空機の位置に関する気象情報や移動（飛行）ルートに関する気象情報を取得する気象情報取得部13と、これら飛行諸元検知部11、撮影部12および気象情報取得部13からの情報を適宜関連付ける情報処理部14とを有している。   The information configuration unit 2 includes a flight specification detection unit 11 as a movement specification detection unit that acquires specifications of an aircraft that is moving (in flight) by various sensors, and an imaging unit that captures a predetermined image during the flight. 12, the weather information acquisition unit 13 that acquires weather information about the position of the aircraft and the weather information about the movement (flight) route, and information from the flight specification detection unit 11, the imaging unit 12 and the weather information acquisition unit 13 as appropriate And an information processing unit 14 to be associated.

飛行諸元検知部11は、位置を検知する位置検知部11aと、機体の速度を検知する対気速度検知部11bと、機体の高度を検知する高度検知部11cと、機体の方位角度を検知する方位角度検知部11dと、機体の抑え角度を検知する抑え角度検知部11eと、機体のバンク角度を検知するバンク角度検知部11f等を有している。   The flight specification detection unit 11 detects a position, a position detection unit 11a that detects the position, an airspeed detection unit 11b that detects the speed of the aircraft, an altitude detection unit 11c that detects the altitude of the aircraft, and an orientation angle of the aircraft An azimuth angle detection unit 11d for detecting the aircraft, a suppression angle detection unit 11e for detecting the suppression angle of the aircraft, a bank angle detection unit 11f for detecting the bank angle of the aircraft, and the like.

なお、位置検知部11aは、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の測位システムや高度計等を有し、飛行中の航空機の飛行位置を随時検知する。   The position detector 11a has a positioning system such as GPS (Global Positioning System), an altimeter, and the like, and detects the flight position of the aircraft in flight as needed.

撮影部12は、飛行中にコックピットから肉眼で視認できる視界に相当する視界画像を撮影する視界撮影装置15と、飛行中の航空機の機体における所定箇所を撮影する機体撮影装置16と、飛行中にコックピットからの視界以外の周囲を撮影する周囲撮影装置17とを有している。   The imaging unit 12 includes a field-of-view imaging device 15 that captures a field-of-view image corresponding to a field of view that can be visually recognized from the cockpit during flight, a body imaging device 16 that captures a predetermined portion of the aircraft body during flight, And a surrounding photographing device 17 for photographing the surroundings other than the view from the cockpit.

視界撮影装置15は、例えばデジタルカメラ等の可視光カメラであり、機体の前方を中心にコックピットからの視界に相当する視界画像を撮影できるように、コックピットの前側部において上下に離間してそれぞれ複数（例えば２つ）設置される。   The field-of-view photographing device 15 is a visible light camera such as a digital camera, for example, and a plurality of each of them are separated from each other at the front side of the cockpit so as to photograph a field image corresponding to the field of view from the cockpit around the front of the aircraft. (For example, two) are installed.

なお、視界撮影装置15における可視光カメラだけでなく、ＬＩＤＡＲ11g（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）や、ＲＡＤＡＲ11h（Ｒａｄｉｏ Ｄｅｔｅｃｔｉｎｇ ａｎｄ Ｒａｎｇｉｎｇ）のように電波等の不可視光線を利用した検出手段等を組み合わせて用いることが好ましい。   It should be noted that not only the visible light camera in the field-of-view photographing apparatus 15 but also a combination of detection means using invisible light such as radio waves such as LIDAR 11g (Light Detection and Ranging) and RADAR 11h (Radio Detection and Ranging) is used. preferable.

機体撮影装置16は、例えば前脚、主脚、エンジン、主翼、補助翼、垂直尾翼、水平尾翼、客室や貨物室の外周面等のように、視界撮影装置15では視認できない機体における所定の構成要素に関する機体画像を撮影できるように、構成要素それぞれに向けて設置されたデジタルカメラを有している。   The airframe imaging device 16 is a predetermined component in the airframe that cannot be visually recognized by the field-of-view imaging device 15, such as the front leg, main landing gear, engine, main wing, auxiliary wing, vertical tail, horizontal tail, outer surface of the cabin or cargo compartment, etc. It has a digital camera installed for each component so that it can take a picture of the aircraft.

周囲撮影装置17は、例えば機体からの側方画像や後方画像のように、視界画像とは異なる方向の周囲画像を撮影できるように、機体側部や機体後部に設置されたデジタルカメラを有している。   The ambient imaging device 17 has a digital camera installed on the side of the aircraft or on the rear of the aircraft so that it can capture ambient images in a direction different from the view image, such as a side image and a rear image from the aircraft. ing.

気象情報取得部13は、例えば各種計測器による計測や管制塔等の地上の管理施設からの情報等により、飛行位置や飛行ルートに関して、天候、風向、風速、気温、気圧および季節変化等の飛行する際に必要な気象情報を適宜取得する。   The meteorological information acquisition unit 13 performs flight such as weather, wind direction, wind speed, temperature, atmospheric pressure, and seasonal changes with respect to the flight position and flight route, for example, by measurement with various measuring instruments and information from control facilities on the ground such as control towers. The weather information necessary for this is acquired as appropriate.

情報処理部14は、例えば電子計算機等のコンピュータを有し、飛行諸元検知部11からの諸元情報、撮影部12からの画像情報、および、気象情報取得部13からの気象情報を随時関連付けることでその飛行中における飛行情報を構成する。   The information processing unit 14 includes, for example, a computer such as an electronic computer, and associates the specification information from the flight specification detection unit 11, the image information from the imaging unit 12, and the weather information from the weather information acquisition unit 13 as needed. This constitutes flight information during the flight.

なお、情報構成部２は、上記各構成要素の他に各種センサ等の検知装置が設けられ、一般的な飛行に必要な情報を適宜取得する。   The information component 2 is provided with detection devices such as various sensors in addition to the above components, and appropriately acquires information necessary for general flight.

記憶部３は、情報処理部14によって構成された飛行情報を記憶し、飛行毎に飛行情報を蓄積して、飛行諸元に関するいわゆるビッグデータを構築する。なお、ビッグデータは外部のサーバに集積する構成にしてもよい。   The storage unit 3 stores the flight information configured by the information processing unit 14, accumulates the flight information for each flight, and constructs so-called big data regarding the flight specifications. Big data may be accumulated in an external server.

表示部４は、例えば４Ｋ解像度や８Ｋ解像度の有機エレクトロルミネッセンス（有機ＥＬ）ディスプレイ等の表示装置で構成され、通常のコックピットにおける窓に該当する箇所に設けられている。そして、表示部４には、制御部５による制御によって、飛行中の飛行位置に対応した視界画像、機体画像、周囲画像および気象情報等が表示される。   The display unit 4 is composed of a display device such as a 4K resolution or 8K resolution organic electroluminescence (organic EL) display, and is provided at a location corresponding to a window in a normal cockpit. The display unit 4 displays a field-of-view image, a fuselage image, a surrounding image, weather information, and the like corresponding to the flight position during the flight under the control of the control unit 5.

なお、表示部４は、コックピットだけでなく管理施設等に設置することもでき、コックピットと管理施設とで同じ視界画像等の画像を共有可能である。   Note that the display unit 4 can be installed not only in the cockpit but also in a management facility or the like, and the cockpit and the management facility can share an image such as the same field of view image.

制御部５は、モノのインターネット（ＩｏＴ）システム等のネットワークシステムや人工知能（ＡＩ）18を有している。そして、情報処理部14や、記憶部３や、航空交通管制からの情報を取得するＡＴＣ取得部19からの情報（例えば飛行中のリアルタイムの飛行情報や蓄積されている過去の飛行情報（ビッグデータ）やＬＩＤＡＲ11gおよびＲＡＤＡＲ11hからの情報に基づいて機体操作信号を作成できるとともに、必要に応じて機体操作システム20を介して航空機の操縦の際に操作対象となる各構成要素（例えば、機首や各種ギアやブレーキ等）を制御可能である。   The control unit 5 has a network system such as the Internet of Things (IoT) system and an artificial intelligence (AI) 18. Information from the information processing unit 14, the storage unit 3, and the ATC acquisition unit 19 that acquires information from the air traffic control (for example, real-time flight information during flight and accumulated past flight information (big data ) And LIDAR 11g and RADAR 11h based on information from the airframe operation signal, as well as each component (for example, the nose and various types) to be operated when operating the aircraft via the airframe operation system 20 as necessary Gears, brakes, etc.) can be controlled.

また、制御部５は、人工知能18の作用によって、操縦に際してより適切な画像が表示されるように表示部４を制御する。すなわち、制御部５によって、情報処理部14から送信される飛行中の飛行情報に基づくリアルタイムの画像と、記憶部３に記憶された過去の飛行情報に基づく最適な過去の画像（視界良好時の画像等）のうちの少なくとも一方を表示部４に表示させる。   Further, the control unit 5 controls the display unit 4 so that a more appropriate image is displayed by the operation of the artificial intelligence 18 at the time of steering. That is, the control unit 5 provides a real-time image based on the flight information in flight transmitted from the information processing unit 14 and an optimal past image based on the past flight information stored in the storage unit 3 (when visibility is good). At least one of the images and the like is displayed on the display unit 4.

より具体的には、制御部５における人工知能18の判断によって、表示部４には、リアルタイムの画像、記憶部３に記憶された最適な過去の画像、リアルタイムの画像と最適な過去の画像の両方の画像、および、リアルタイムの画像に過去の画像や過去の画像の一部分が重ねられた拡張現実（ＡＲ）画像のうち最適な画像が適宜表示される。なお、これら画像とともに、気象情報等の補助情報が表示部４の一部に表示される構成にしてもよい。   More specifically, according to the judgment of the artificial intelligence 18 in the control unit 5, the display unit 4 displays real-time images, optimal past images stored in the storage unit 3, real-time images and optimal past images. An optimal image of both images and an augmented reality (AR) image in which a past image or a part of the past image is superimposed on a real-time image is appropriately displayed. Along with these images, auxiliary information such as weather information may be displayed on a part of the display unit 4.

そして、操縦者は、表示部４に表示された画像に基づいて機体周囲の状況を確認可能である。また、人工知能18およびＩｏＴシステムを介すことで、操縦者は音声入力による操縦も可能であるとともに、表示部４が地上の管理施設にも設けられている場合には管理施設でも同じ画像を見ることができるため、必要に応じて管理施設からの操縦や操縦の補助が可能である。   Then, the pilot can check the situation around the aircraft based on the image displayed on the display unit 4. In addition, by using the artificial intelligence 18 and the IoT system, the operator can control by voice input. When the display unit 4 is also provided in the ground management facility, the same image is displayed in the management facility. Since it can be seen, it is possible to control from the management facility and assist the operation as necessary.

また、飛行毎に飛行情報が蓄積されてビッグデータを構成することで、その飛行情報に基づいて人工知能18が学習し、制御部５によって表示部４だけでなく各構成要素がより適切に制御される。   In addition, flight information is accumulated for each flight and big data is constructed so that the artificial intelligence 18 learns based on the flight information, and the control unit 5 controls not only the display unit 4 but also each component more appropriately. Is done.

次に、上記一実施の形態の作用および効果を説明する。   Next, the operation and effect of the one embodiment will be described.

上記航空機を飛行させる際には、まず、滑走路ではリアルタイムの画像が表示部４に表示され、操縦者は、滑走路離脱までそのリアルタイムの画像を視認しながら機体操作を行う。   When flying the aircraft, first, a real-time image is displayed on the display unit 4 on the runway, and the pilot operates the aircraft while visually recognizing the real-time image until the runway leaves.

離陸後、所定の高度や飛行位置に達したら自動操縦に切り替えられる。自動操縦時は、リアルタイムの画像やＡＲ画像が表示部４に表示され、操縦者が表示部４の視界画像によってリアルタイムの外部状況を確認可能である。また、操縦者は、視界の確認の他に、通常のチェック動作と同様に各種確認作業を行う。   After take-off, when it reaches a predetermined altitude or flight position, it can be switched to autopilot. At the time of automatic steering, a real-time image and an AR image are displayed on the display unit 4, and the operator can check a real-time external situation by a view field image on the display unit 4. In addition to confirming the field of view, the operator performs various confirmation operations in the same manner as a normal check operation.

なお、操縦者が操縦に関与していない状態の場合には、視界不良時に限らず、検出手段からの入力が人工知能18の判断材料として活用される構成等にしてもよい。   In the case where the operator is not involved in the maneuvering, the configuration may be such that the input from the detection means is used as a judgment material for the artificial intelligence 18 without being limited to the poor visibility.

着陸する際には、計器着陸装置（Ｉｎｓｔｒｕｍｅｎｔ Ｌａｎｄｉｎｇ Ｓｙｓｔｅｍ：ＩＬＳ）レンジ以降、視界良好の通常時にはリアルタイムの画像やＡＲ画像が表示部４に表示され、視界不良の場合には過去の画像やＡＲ画像が表示部４に表示される。また、いわゆる視界ゼロの場合には、ＩＬＳレンジ以降にビッグデータの中から人工知能18によって最適な画像が選択されて表示部４に表示され、滑走路やその他の空港施設や他の移動体を含めた視界をＡＲ画像で構築して表示可能である。具体的には、表示部４には、建物等の静止物は過去の画像に基づいてＡＲ画像として表示されるとともに、移動中の他の航空機や地上機材等の移動物をＬＩＤＡＲ11gやＲＡＤＡＲ11hからの入力によって人工知能18が捕捉して表示する構成等にしてもよい。   When landing, after the instrument landing system (Instrument Landing System: ILS) range, a real-time image and an AR image are displayed on the display unit 4 when the field of view is good, and a past image and an AR image are displayed when the field of view is poor. Is displayed on the display unit 4. In the case of so-called zero field of view, an optimal image is selected by the artificial intelligence 18 from the big data after the ILS range and displayed on the display unit 4, and the runway and other airport facilities and other moving objects are displayed. The included field of view can be constructed and displayed with an AR image. Specifically, a stationary object such as a building is displayed on the display unit 4 as an AR image based on past images, and other moving objects such as other aircraft and ground equipment moving from the LIDAR 11g and the RADAR 11h are displayed. A configuration in which the artificial intelligence 18 captures and displays by input may be used.

そして、操縦者は、表示部４の画像を視認しながら機体操作を行う。   Then, the operator operates the aircraft while visually recognizing the image on the display unit 4.

このように離陸から着陸までの間、随時、撮影部12で撮影された画像情報、飛行諸元検知部11で検知した諸元情報、および、気象情報取得部13で取得した気象情報が情報処理部14に送信されて各情報が関連付けられて飛行情報が構成され、その飛行情報が記憶部３に記憶される。   Thus, from take-off to landing, the image information captured by the imaging unit 12, the specification information detected by the flight specification detection unit 11, and the weather information acquired by the weather information acquisition unit 13 are processed as needed. The information is transmitted to the unit 14 and associated with each other to form flight information, and the flight information is stored in the storage unit 3.

また、このように離陸から着陸までの飛行緒元が飛行毎にその飛行情報として記憶部３に記憶され、ビッグデータとして蓄積される。   In addition, the flight specifications from takeoff to landing are stored in the storage unit 3 as flight information for each flight and accumulated as big data.

そして、上記航空機によれば、視界表示システム１を備え、離陸から着陸までの間、視界状況等の飛行条件に応じて、リアルタイムの画像、過去の画像およびＡＲ画像が表示部４に適宜選択的に表示されるため、例えば濃霧等のような視界不良の場合であっても操縦するための視認性を向上できる。そのため、通常では気象条件等によって生じる視界のばらつきを低減できるとともに、天候不良や視界不良による飛行制限を低減できる。   According to the aircraft, the visual display system 1 is provided, and a real-time image, a past image, and an AR image are selectively displayed on the display unit 4 depending on the flight conditions such as the visual field situation from take-off to landing. Therefore, the visibility for maneuvering can be improved even in the case of poor visibility such as dense fog. For this reason, it is possible to reduce the variation in visibility that normally occurs due to weather conditions and the like, and to reduce flight restrictions due to bad weather and poor visibility.

また、表示部４に表示された画像によってコックピットからの視界を確保できるため、コックピットを無窓化でき、例えば従来の航空機における窓のメンテナンスや窓に設けられるワイパ等の装置のメンテナンスが不要になる。   Further, since the field of view from the cockpit can be secured by the image displayed on the display unit 4, the cockpit can be made windowless. For example, maintenance of a window in a conventional aircraft or maintenance of a device such as a wiper provided in the window becomes unnecessary.

視界表示システム１は、飛行毎に飛行情報が記憶部３に蓄積されるため、その蓄積された飛行情報に関するビッグデータに基づいて、より適切な画像を表示部４に表示できる。   Since the visibility information is accumulated in the storage unit 3 for each flight, the visibility display system 1 can display a more appropriate image on the display unit 4 on the basis of the big data related to the accumulated flight information.

制御部５は、人工知能18を有するため、蓄積されたビッグデータに基づく人工知能18の学習能力によって、より適切な画像を適切なタイミングで表示部４に表示できる。   Since the control unit 5 has the artificial intelligence 18, a more appropriate image can be displayed on the display unit 4 at an appropriate timing by the learning ability of the artificial intelligence 18 based on the accumulated big data.

また、蓄積された飛行情報を活かして人工知能18を他の操作可能な構成要素の制御にも利用できるため、より安定した航行を実現できる。   Further, since the artificial intelligence 18 can be used to control other operable components using the accumulated flight information, more stable navigation can be realized.

さらに、人工知能18に操縦者の操縦等を学習させることで、人工知能18が表示部４に操縦を補助する補助情報を表示して、その表示に基づいて操縦する半自動的な操縦が可能になるとともに、最終的には、人工知能18とネットワークとによって操縦者無しの完全自動操縦（自動運航）へ繋げることができる。すなわち、視界表示システム１を利用することで、段階的に完全自動操縦へ切り替えることができ、人員不足（パイロット不足）問題等の解消にも貢献できる。   Furthermore, by making the artificial intelligence 18 learn the pilot's maneuvering and the like, the artificial intelligence 18 displays auxiliary information for assisting maneuvering on the display unit 4, and semi-automatic maneuvering maneuvering based on the display becomes possible. At the same time, the artificial intelligence 18 and the network can ultimately lead to a fully automatic operation (automatic operation) without an operator. That is, by using the visual field display system 1, it is possible to switch to the fully automatic steering step by step, and it is possible to contribute to the solution of the shortage of personnel (pilot shortage) problem and the like.

視界表示システム１は、表示部４を管制塔等の地上の管理施設にも設置できるため、管理施設とコックピットとで視界を中心とした飛行情報をリアルタイムで正確に共有でき、より適切な運行が可能になるとともに、例えば緊急時等に管理施設にて遠隔操縦することも可能である。   The visibility display system 1 can also install the display unit 4 in a ground management facility such as a control tower, so that the flight information centered on the field of view can be accurately shared in real time between the management facility and the cockpit, and more appropriate operation can be performed. In addition, it is possible to perform remote control at a management facility in an emergency, for example.

また、視界表示システム１は、新規の機体だけでなく、在来の機体にも設置可能であるため、汎用性が良好である。   Moreover, since the visibility display system 1 can be installed not only on a new airframe but also on a conventional airframe, versatility is good.

このように、視界表示システム１の導入によって、事実上、ターミナルから地上走行、離陸、上昇、巡航、着陸および着陸後の地上走行の全ての工程において所定の役割を担うことができる。   As described above, the introduction of the visual field display system 1 can effectively play a predetermined role in all processes of ground travel, takeoff, climb, cruise, landing, and ground travel after landing from the terminal.

また、人工知能18を有する視界表示システム１は、上述のように無人での全自動運航が当局で認可され全自動運航が実現されるまで、視界表示システム１の表示による操縦補助に基づく半自動操縦、視界表示システム１の画像に基づいて操縦プロセスを監視することによる乗員養成機能、全自動運航の当局の認可を得るまでの実証機能、全自動運航の当局認可後に視界表示システム１により自動運行をいわゆる見える化することによる監視機能、地上施設での操作の監視機能、および、ＡＴＣ交信のＡＩ化に至るまで、様々な役割を担うことができる。   Further, the visual display system 1 having the artificial intelligence 18 is a semi-automatic control based on the steering assistance by the display of the visual display system 1 until the unmanned full automatic operation is approved by the authorities and the full automatic operation is realized as described above. , Crew training function by monitoring the maneuvering process based on the image of the visibility display system 1, Demonstration function until obtaining the authorization of the fully automatic operation authority, Automatic operation by the visibility display system 1 after the authorization of the fully automatic operation It can play various roles from so-called visualizing monitoring function, ground facility operation monitoring function, and ATC communication AI.

なお、上記一実施の形態では、視界表示システム１は、運転席が無窓化された移動体に適用された構成としたが、このような構成には限定されず、窓が設けられた運転席において窓とは別個に表示部４が設置された構成や、窓が表示部４として作用し窓に視界画像を表示する構成等にしてもよい。また、管制塔等の管理施設にて移動体を運転可能な場合には、その管理施設に表示部４を設置してもよい。   In the above embodiment, the field-of-view display system 1 is configured to be applied to a moving body in which the driver's seat is made windowless. However, the present invention is not limited to such a configuration, and the driver's seat provided with windows. In the configuration, the display unit 4 may be installed separately from the window, or the window may act as the display unit 4 to display the view field image on the window. In addition, when the mobile body can be operated in a management facility such as a control tower, the display unit 4 may be installed in the management facility.

制御部５は、人工知能18によって表示部４に表示される画像が判断される構成としたが、このような構成には限定されず、人工知能18による判断とは別に操縦者が任意に所望の画像を選択的に表示できる構成にしてもよい。   The control unit 5 has a configuration in which an image displayed on the display unit 4 is determined by the artificial intelligence 18, but is not limited to such a configuration, and can be arbitrarily selected by the operator separately from the determination by the artificial intelligence 18. The image may be configured to be selectively displayed.

また、制御部５は、人工知能18を有する構成に限定されず、人工知能18が設けられていない構成にしてもよい。   Further, the control unit 5 is not limited to the configuration having the artificial intelligence 18, and may have a configuration in which the artificial intelligence 18 is not provided.

制御部５は、飛行中の飛行情報に基づくリアルタイムの画像が情報処理部14から送信され、過去の画像が記憶部３から送信される構成としたが、このような構成には限定されず、リアルタイムの画像、過去の画像およびこれらリアルタイムの画像と過去の画像とに基づいて作成されたＡＲ画像の少なくとも１つを表示部４に表示できる構成であれば、例えば、リアルタイムの画像も記憶部３を介して供給される構成にしてもよい。   The control unit 5 has a configuration in which a real-time image based on flight information in flight is transmitted from the information processing unit 14 and a past image is transmitted from the storage unit 3, but is not limited to such a configuration. If the display unit 4 can display at least one of the real-time image, the past image, and the AR image created based on the real-time image and the past image, for example, the real-time image is also stored in the storage unit 3. You may make it the structure supplied via this.

また、移動諸元検知部11、撮影部12および気象情報取得部13からの情報が情報処理部14へ供給され、ＡＴＣ取得部19、ＬＩＤＡＲ11gおよびＲＡＤＡＲ11hからの情報が制御部５（人工知能18）へ供給される構成としたが、このような構成には限定されず、移動諸元検知部11において検知した諸元情報のうちの位置検知部11aによる位置情報と、撮影部12において撮影した画像情報のうちの視界撮影装置15による視界画像情報とが情報処理部14で関連付けられて飛行情報が構成される構成であれば、情報処理部14で飛行情報として関連付ける情報、および、制御部５（人工知能18）に直接入力される情報は、それぞれ適宜変更できる。すなわち、視界画像情報と位置情報とが情報処理部14で関連付けられる構成であれば、移動諸元検知部11、撮影部12、気象情報取得部13、ＡＴＣ取得部19、ＬＩＤＡＲ11gおよびＲＡＤＡＲ11hからの各情報は、少なくとも情報処理部14および制御部５のいずれかに入力され、最終的には制御部５にて、表示部４での表示や各種操作に利用される。   Information from the movement specification detection unit 11, the imaging unit 12 and the weather information acquisition unit 13 is supplied to the information processing unit 14, and information from the ATC acquisition unit 19, LIDAR 11g and RADAR 11h is supplied to the control unit 5 (artificial intelligence 18). However, the present invention is not limited to such a configuration, and the position information by the position detection unit 11a out of the specification information detected by the movement specification detection unit 11 and the image captured by the imaging unit 12 Of the information, if the information on the field-of-view imaging device 15 is associated with the field-of-view image information in the information processing unit 14 and the flight information is configured, information associated with the information processing unit 14 as flight information and the control unit 5 ( Information directly input to the artificial intelligence 18) can be changed as appropriate. That is, if the view image information and the position information are associated with each other in the information processing unit 14, each of the movement specification detection unit 11, the imaging unit 12, the weather information acquisition unit 13, the ATC acquisition unit 19, the LIDAR 11g, and the RADAR 11h Information is input to at least one of the information processing unit 14 and the control unit 5 and finally used by the control unit 5 for display on the display unit 4 and various operations.

人工知能18は、情報処理部14や記憶部３からの情報に基づいて制御を行う構成としたがこのような構成には限定されない。すなわち、図２に示す変形例のように、人工知能18が、外部の情報供給部21から飛行情報を取得する移動情報取得部としての機能を備える構成としてもよい。   The artificial intelligence 18 is configured to perform control based on information from the information processing unit 14 and the storage unit 3, but is not limited to such a configuration. That is, as in the modification shown in FIG. 2, the artificial intelligence 18 may have a function as a movement information acquisition unit that acquires flight information from the external information supply unit 21.

情報供給部21は、ネットワークを介して情報等のサービスを集約的に記憶可能でかつ提供可能なクラウドと、ネットワークを介してクラウドに接続されたＥＤＧＥサーバとを有している。   The information supply unit 21 includes a cloud capable of collectively storing and providing services such as information via a network, and an EDGE server connected to the cloud via the network.

そして、人工知能18は、例えば各空港や管制塔等のように各地の施設に設置されたＥＤＧＥサーバを介してクラウドから各種情報を取得可能である。   The artificial intelligence 18 can acquire various types of information from the cloud via EDGE servers installed at various facilities such as airports and control towers.

このように外部の情報供給部21から飛行情報を取得可能な構成にすることで、記憶部３自体が予め所定の移動情報を記憶していなくても、出発の際に情報供給部21から通信によって移動情報を取得することができる。また、その航空機自体だけでなく、他の航空機からも集約された飛行情報も利用できるため、人工知能18によってより適切な制御が可能となる。なお、このように外部の情報供給部21から移動情報を取得する構成の場合には、通信障害等を考慮して、ＵＳＢ等の記憶装置を介して所定の移動情報を取得できる構成等にしてもよい。   By adopting a configuration in which flight information can be acquired from the external information supply unit 21 in this way, even if the storage unit 3 itself does not store predetermined movement information in advance, communication can be performed from the information supply unit 21 at the time of departure. The movement information can be acquired by. Further, since the flight information aggregated not only from the aircraft itself but also from other aircraft can be used, the artificial intelligence 18 enables more appropriate control. In addition, in the case of the configuration in which the movement information is acquired from the external information supply unit 21 as described above, a configuration in which predetermined movement information can be acquired via a storage device such as a USB in consideration of a communication failure or the like. Also good.

上記一実施の形態では、移動体を航空機として説明したが、移動体は、所定ルートを移動するものであればよく、旅客機や貨物機等の航空機の他には、例えば電車や新幹線やリニアモーターカー（ＬＭＣ）等の鉄道、路線バス、および船舶等にも適用できる。   In the above embodiment, the mobile body is described as an aircraft. However, the mobile body only needs to move on a predetermined route. In addition to aircraft such as passenger planes and cargo planes, for example, trains, bullet trains, and linear motors. It can also be applied to railways such as cars (LMC), route buses, and ships.

なお、リニアモーターカーの場合は、時速約５００ｋｍ（秒速約１４０ｍ）での走行となる。すなわち、制動に約１５０秒を要し、操作が実行されるまでに約２．５ｋｍ先に達してしまい、車両に取り付けられた視界撮影装置15の画像だけでは、適切に制動できない可能性がある。そこで、線路上に所定間隔毎例えば１ｋｍ毎にデジタルカメラや暗視カメラを設置し、表示部４にて常に５ｋｍ程度先の画像が表示されている構成が好ましい。   In the case of a linear motor car, the vehicle runs at a speed of about 500 km / h (about 140 m / s). That is, about 150 seconds are required for braking, and about 2.5 km is reached before the operation is executed, and there is a possibility that the braking cannot be performed properly only with the image of the field of view photographing device 15 attached to the vehicle. . Therefore, it is preferable that a digital camera or a night vision camera is installed on the track at predetermined intervals, for example, every 1 km, and an image about 5 km ahead is always displayed on the display unit 4.

また、鉄道や路線バスに視界表示システム１を適用した場合には、情報処理部14では移動情報としての走行情報が構成され、船舶に視界表示システム１を適用した場合には情報処理部14では移動情報として航行情報が構成される。   Further, when the visibility display system 1 is applied to a railway or a route bus, the information processing unit 14 forms travel information as movement information, and when the visibility display system 1 is applied to a ship, the information processing unit 14 Navigation information is configured as movement information.

さらに、本発明における機体とは移動体の本体部分を意味し、鉄道や路線バス等においては車両を意味し、船舶においては船体を意味する。   Furthermore, the airframe in the present invention means a main body part of a moving body, means a vehicle in a railway or a route bus, and means a hull in a ship.

また、本発明における運転とは、移動体の移動を操作することを意味し、操縦も含まれる。   Moreover, the driving | operation in this invention means operating the movement of a moving body, and steering is also included.

１ 視界表示システム
３ 記憶部
４ 表示部
５ 制御部
11 移動諸元検知部としての飛行諸元検知部
12 撮影部
13 気象情報取得部
14 情報処理部
15 視界撮影装置
16 機体撮影装置
17 周囲撮影装置
18 人工知能
21 情報供給部 1 Visibility Display System 3 Storage Unit 4 Display Unit 5 Control Unit
11 Flight specification detection unit as a movement specification detection unit
12 Shooting section
13 Weather Information Acquisition Department
14 Information processing department
15 Field of view photographing device
16 Airframe imaging device
17 Ambient photography device
18 Artificial intelligence
21 Information Supply Department

Claims (8)

運転席を有し所定ルートを移動する移動体の視界表示システムであって、
移動体の諸元を検知する移動諸元検知部と、
移動中において少なくとも前記運転席からの視界に相当する視界画像を撮影する視界撮影装置を有する撮影部と、
前記移動諸元検知部にて検知した諸元情報と前記撮影部にて撮影した画像情報を関連付けて移動情報を構成する情報処理部と、
前記移動情報を記憶する記憶部と、
画像を表示可能な表示部と、
移動中の移動情報に基づくリアルタイムの画像、前記記憶部に記憶された移動情報に基づく過去の画像、および、これらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも１つを表示部に表示させる制御部とを備え、
前記制御部は、学習能力を有し取得された移動情報に応じて前記表示部に表示させる画像を判断する人工知能を有し、
前記人工知能は、操縦を補助する補助情報および自動操縦の状態を示す操縦情報の少なくともいずれかを前記表示部に表示可能である
ことを特徴とする視界表示システム。 A visual field display system for a moving body that has a driver's seat and moves along a predetermined route,
A movement specification detector for detecting the specifications of the moving object;
An imaging unit having a field of view imaging device that captures at least a field of view image corresponding to the field of view from the driver's seat during movement;
An information processing unit that configures the movement information by associating the specification information detected by the movement specification detection unit and the image information captured by the imaging unit;
A storage unit for storing the movement information;
A display unit capable of displaying an image;
At least of a real-time image based on movement information being moved, a past image based on the movement information stored in the storage unit, and an augmented reality image created based on the real-time image and the past image A control unit for displaying one on the display unit ,
The control unit has an artificial intelligence to determine an image to be displayed on the display unit according to the acquired movement information having a learning capability,
The visual display system characterized in that the artificial intelligence can display at least one of auxiliary information for assisting maneuvering and maneuvering information indicating a state of automatic maneuvering on the display unit . 移動体の位置に関する気象情報および移動ルートに関する気象情報の少なくともいずれかを取得する気象情報取得部を備え、
情報処理部は、前記気象情報取得部からの前記気象情報も移動情報として関連付ける
ことを特徴とする請求項１記載の視界表示システム。 A weather information acquisition unit that acquires at least one of weather information related to the position of the moving object and weather information related to the movement route;
The field information display system according to claim 1, wherein the information processing unit associates the weather information from the weather information acquisition unit as movement information. 撮影部は、移動体の所定箇所を撮影する機体撮影装置を有する
ことを特徴とする請求項１または２記載の視界表示システム。 The field-of-view display system according to claim 1, wherein the photographing unit includes a body photographing device that photographs a predetermined portion of the moving body. 撮影部は、移動体の周囲を撮影する周囲撮影装置を有する
ことを特徴とする請求項１ないし３いずれか一記載の視界表示システム。 The field-of-view display system according to any one of claims 1 to 3, wherein the photographing unit includes a surrounding photographing device that photographs the periphery of the moving body. 所定ルートの移動毎に移動情報が記憶部に蓄積される
ことを特徴とする請求項１ないし４いずれか一記載の視界表示システム。 5. The visual field display system according to claim 1, wherein movement information is accumulated in the storage unit for each movement of the predetermined route. 外部の情報供給部から移動情報を取得する移動情報取得部を備える
ことを特徴とする請求項１ないし５いずれか一記載の視界表示システム。 The visual field display system according to claim 1, further comprising a movement information acquisition unit that acquires movement information from an external information supply unit. 運転席を有する機体と、
請求項１ないし６いずれか一記載の視界表示システムとを備える
ことを特徴とする移動体。 A fuselage with a driver seat;
It claims 1 moving body; and a 6 vision display system of any one described. 運転席には少なくとも前方視界を確保するための窓が設けられておらず、
表示部に表示される画像によって運転席からの視界が確保されている
ことを特徴とする請求項７記載の移動体。 The driver ’s seat is not equipped with at least a window to ensure forward visibility,
The moving body according to claim 7, wherein a field of view from a driver's seat is secured by an image displayed on the display unit.
JP2018096358A 2018-05-18 2018-05-18 Visibility display system and moving body Expired - Fee Related JP6429347B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018096358A JP6429347B1 (en) 2018-05-18 2018-05-18 Visibility display system and moving body
CN201910384150.XA CN110502200A (en) 2018-05-18 2019-05-09 Visual field display system and moving body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018096358A JP6429347B1 (en) 2018-05-18 2018-05-18 Visibility display system and moving body

Publications (2)

Publication Number Publication Date
JP6429347B1 true JP6429347B1 (en) 2018-11-28
JP2019200712A JP2019200712A (en) 2019-11-21

Family

ID=64480496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018096358A Expired - Fee Related JP6429347B1 (en) 2018-05-18 2018-05-18 Visibility display system and moving body

Country Status (2)

Country Link
JP (1) JP6429347B1 (en)
CN (1) CN110502200A (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6950117B1 (en) * 2020-04-30 2021-10-13 楽天グループ株式会社 Learning device, information processing device, and trained control model
WO2021220467A1 (en) * 2020-04-30 2021-11-04 楽天株式会社 Learning device, information processing device, and learned control model

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1172350A (en) * 1997-08-28 1999-03-16 Tech Res & Dev Inst Of Japan Def Agency Flight system and pseudo sight-forming device for aircraft
JPH11237582A (en) * 1998-02-19 1999-08-31 Mitsubishi Precision Co Ltd Simulated field-of-view device to be loaded on aircraft
JP2001088797A (en) * 1999-09-20 2001-04-03 Nippon Signal Co Ltd:The Aircraft maneuvering supporting device
JP2001344597A (en) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd Fused visual field device
JP2002240798A (en) * 2001-02-19 2002-08-28 Nippon Signal Co Ltd:The Monitoring device
JP2003279375A (en) * 2002-03-25 2003-10-02 Kawasaki Heavy Ind Ltd Pseudo eyesight forming device
JP2008056046A (en) * 2006-08-30 2008-03-13 Masao Imai Aircraft landing assistant device at poor visual field
JP2013014318A (en) * 2011-06-30 2013-01-24 General Electric Co <Ge> Method of operating synthetic vision system in aircraft
US20130249712A1 (en) * 2012-03-20 2013-09-26 Airbus Operations (Sas) Method and device for displaying meteorological data on an aircraft screen
JP2014025931A (en) * 2012-07-26 2014-02-06 Ge Aviation Systems Llc Method of displaying flight plan
US20150169273A1 (en) * 2013-12-16 2015-06-18 Lockheed Martin Corporation Peripheral vision hover drift cueing
US20150261379A1 (en) * 2014-03-11 2015-09-17 Cessna Aircraft Company Touch Screen Instrument Panel
JP2016166794A (en) * 2015-03-10 2016-09-15 パイオニア株式会社 Image creating apparatus, image creating method, program for image creating apparatus, and image creating system
WO2016152572A1 (en) * 2015-03-20 2016-09-29 日産自動車株式会社 Indirect-view presentation device
JP2017224190A (en) * 2016-06-16 2017-12-21 株式会社オルツ Artificial intelligence system for supporting communication
US9858823B1 (en) * 2015-06-09 2018-01-02 Rockwell Collins, Inc. Interactive flight plan
JP2018036993A (en) * 2016-09-02 2018-03-08 オリンパス株式会社 Display system, portable information device, wearable terminal, information display method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009041737A1 (en) * 2007-09-28 2009-04-02 Fujitsu Ten Limited Travel state display method
JP5817927B2 (en) * 2012-05-18 2015-11-18 日産自動車株式会社 VEHICLE DISPLAY DEVICE, VEHICLE DISPLAY METHOD, AND VEHICLE DISPLAY PROGRAM
KR101670847B1 (en) * 2014-04-04 2016-11-09 주식회사 와이즈오토모티브 Apparatus and method for peripheral image generation of vehicle
KR101744724B1 (en) * 2015-03-19 2017-06-08 현대자동차주식회사 Audio navigation device, vehicle having the same, user device, and method for controlling vehicle

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1172350A (en) * 1997-08-28 1999-03-16 Tech Res & Dev Inst Of Japan Def Agency Flight system and pseudo sight-forming device for aircraft
JPH11237582A (en) * 1998-02-19 1999-08-31 Mitsubishi Precision Co Ltd Simulated field-of-view device to be loaded on aircraft
JP2001088797A (en) * 1999-09-20 2001-04-03 Nippon Signal Co Ltd:The Aircraft maneuvering supporting device
JP2001344597A (en) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd Fused visual field device
JP2002240798A (en) * 2001-02-19 2002-08-28 Nippon Signal Co Ltd:The Monitoring device
JP2003279375A (en) * 2002-03-25 2003-10-02 Kawasaki Heavy Ind Ltd Pseudo eyesight forming device
JP2008056046A (en) * 2006-08-30 2008-03-13 Masao Imai Aircraft landing assistant device at poor visual field
JP2013014318A (en) * 2011-06-30 2013-01-24 General Electric Co <Ge> Method of operating synthetic vision system in aircraft
US20130249712A1 (en) * 2012-03-20 2013-09-26 Airbus Operations (Sas) Method and device for displaying meteorological data on an aircraft screen
JP2014025931A (en) * 2012-07-26 2014-02-06 Ge Aviation Systems Llc Method of displaying flight plan
US20150169273A1 (en) * 2013-12-16 2015-06-18 Lockheed Martin Corporation Peripheral vision hover drift cueing
US20150261379A1 (en) * 2014-03-11 2015-09-17 Cessna Aircraft Company Touch Screen Instrument Panel
JP2016166794A (en) * 2015-03-10 2016-09-15 パイオニア株式会社 Image creating apparatus, image creating method, program for image creating apparatus, and image creating system
WO2016152572A1 (en) * 2015-03-20 2016-09-29 日産自動車株式会社 Indirect-view presentation device
US9858823B1 (en) * 2015-06-09 2018-01-02 Rockwell Collins, Inc. Interactive flight plan
JP2017224190A (en) * 2016-06-16 2017-12-21 株式会社オルツ Artificial intelligence system for supporting communication
JP2018036993A (en) * 2016-09-02 2018-03-08 オリンパス株式会社 Display system, portable information device, wearable terminal, information display method, and program

Also Published As

Publication number Publication date
CN110502200A (en) 2019-11-26
JP2019200712A (en) 2019-11-21

Similar Documents

Publication Publication Date Title
US10119833B2 (en) Projected synthetic vision
RU2550887C2 (en) On-board integrated crew support information system and cognitive format of presenting flight information at take-off phase of multi-engine aircraft
US10935987B2 (en) Landing site localization for dynamic control of an aircraft toward a landing site
CN102343980B (en) For strengthening the method and system of the discrimination of the posture in visual pattern
US11749126B2 (en) Landing site localization for dynamic control of an aircraft toward a landing site
CN106292684B (en) Vehicle carrying aircraft
US9165414B2 (en) Method and system for predicting performance of an aircraft
US10392124B2 (en) Tactile and peripheral vision combined modality hover drift cueing
CA2907873C (en) Taxiing aircraft vicinity visualization system and method
JP2010250478A (en) Driving support device
US20230359197A1 (en) Landing Site Localization for Dynamic Control of an Aircraft Toward a Landing Site
EP3084751B1 (en) Peripheral vision hover drift cueing
CN106415422B (en) Advanced aircraft vision system using multi-sensor gain scheduling
CN113640825A (en) Unmanned aerial vehicle composite three-dimensional surveying and mapping system and method
CN113295164B (en) Unmanned aerial vehicle visual positioning method and device based on airport runway
JP6429347B1 (en) Visibility display system and moving body
US20170148333A1 (en) Method for automatically piloting an aircraft on the ground and device for its implementation
CN112114593A (en) Control system
DE10120537A1 (en) Procedure with an interferometric ROSAR device
CN107466414A (en) The equipment, system and method slided for assisting in flying device
EP3748303A1 (en) Aircraft, enhanced flight vision system, and method for displaying an approaching runway area
CN107782308A (en) A kind of vehicular automatically controls UAS, localization method and control method
CN116259198A (en) EVTOL flight supervision system
CN113534849A (en) Flight combination guidance system, method and medium integrating machine vision
CN103879559A (en) Aircraft take-off and landing monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180518

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180518

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181026

R150 Certificate of patent or registration of utility model

Ref document number: 6429347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees