JP7153820B2 - 画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置 - Google Patents

画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置 Download PDF

Info

Publication number
JP7153820B2
JP7153820B2 JP2022091137A JP2022091137A JP7153820B2 JP 7153820 B2 JP7153820 B2 JP 7153820B2 JP 2022091137 A JP2022091137 A JP 2022091137A JP 2022091137 A JP2022091137 A JP 2022091137A JP 7153820 B2 JP7153820 B2 JP 7153820B2
Authority
JP
Japan
Prior art keywords
landing
image
grid
terrain
score value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022091137A
Other languages
English (en)
Other versions
JP2022119973A (ja
Inventor
曾鈿
呉林
劉小東
葉宗華
戴慧林
翁沛炎
Original Assignee
珠海翔翼航空技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 珠海翔翼航空技術有限公司 filed Critical 珠海翔翼航空技術有限公司
Publication of JP2022119973A publication Critical patent/JP2022119973A/ja
Application granted granted Critical
Publication of JP7153820B2 publication Critical patent/JP7153820B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/105—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for unpowered flight, e.g. glider, parachuting, forced landing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0688—Emergency descent
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G05D1/1062—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones specially adapted for avoiding bad weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像識別の分野に属し、具体的に、画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置に関する。
技術の発展に伴い、飛行体は、主な交通および輸送手段の１つとなっている。しかし、各々の飛行体のサービス時間が十数年に達することができるが、サービス時間の経過に従って、飛行体は、不可避に様々な故障が発生し、悪天候条件に遭遇する場合に、飛行体に様々な損傷をもたらして、飛行体が安全に目的地に到達できない恐れがある。
飛行体が安全に目的地に到達できない状況に対して、パイロットは、現在の飛行体の状況に対して強制着陸を行う必要がある。現在、故障が発生すると、パイロットが管制塔からの遠隔命令を受信することによってしか強制着陸タスクを行うことができない。パイロットによる全部の操作がいずれも視覚識別に基づいて反応するので、視程が不足であるか、または雲霧に遮蔽された場合に、装置の補助がなく、視覚識別だけで正確に反応することが困難である。強制着陸タスクは、通常、やむを得ず行われることであり、且つ反応時間が極めて短く、リアルタイム性の要求が高いため、成功確率を向上させるように、できるだけ補助を提供することは、重要な意義を持つことになっている。
従来技術における、視程が不足であるか、または雲霧に遮蔽された場合に、装置の補助がなく正確に反応することが困難であるという問題を解決するために、本発明は、
航路における過去の衛星画像、気象情報および等高線画像を取得することと、
等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得することと、
飛行体に配置されたセンサーに基づき、センサーデータを取得することと、
センサーデータおよび気象情報に基づき、飛行体の航続距離を計算することと、
飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得することと、
候補着陸領域の現在の衛星画像を取得して、着陸領域を選定することと、
前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成することと、を含む画像識別に基づく飛行体強制着陸経路計画方法を提供する。
一部の好適な実施形態において、前記候補着陸領域の取得方法には、
等高線情報を含む衛星画像に基づき、高度差が予め設定された穏やかな閾値よりも小さい連続領域を平坦領域として選択することと、
地形画像識別モデルによって、各平坦領域の地形分析結果を識別することと、
地形分析結果に従って、対応する接地滑走矩形枠の長さおよび幅を計算することと、
前記接地滑走矩形枠を含むことに十分である平坦領域を候補着陸領域として選択するとともに、地形分析結果に従って候補着陸領域に対して着陸スコア値を計算することと、が含まれる。
一部の好適な実施形態において、前記地形画像識別モデルには、
過去の衛星画像に従って、平坦領域の地形タイプを識別するための地形タイプ識別モデルと、
過去の衛星画像に従って、平坦領域の画像均一性スコア値を識別するための地形均一性識別モデルと、
過去の衛星画像を異なるグリッドに区画し、各グリッドと他のすべてのグリッドとの整合性スコア値を計算するための区画整合性識別モデルと、が含まれ、
地形タイプ、画像均一性スコア値および整合性スコア値に従って、重み付け加算して地形分析結果を得る。
本発明の他の態様としては、航路における過去の衛星画像、気象情報および等高線画像を取得するように構成される飛行情報取得モジュールと、
等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得するように構成される画像情報結合モジュールと、
飛行体に配置されたセンサーに基づき、センサーデータを取得するように構成されるセンサーデータ取得モジュールと、
センサーデータおよび気象情報に基づき、飛行体の航続距離を計算するように構成される航続距離取得モジュールと、
飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルに基づき、候補着陸領域を取得するように構成される候補着陸領域取得モジュールと、
候補着陸領域の現在の衛星画像を取得して、着陸領域を選定するように構成される着陸領域選択モジュールと、
前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成するように構成される経路生成モジュールと、を含む、画像識別に基づく飛行体強制着陸経路計画システムを提供する。
本発明の第３態様としては、少なくとも１つのプロセッサと、少なくとも１つの前記プロセッサに通信接続されるメモリーと、を含む電子装置であって、前記メモリーには、前記プロセッサにより実行可能な命令が記憶され、前記命令は、前記プロセッサにより実行されて上述した画像識別に基づく飛行体強制着陸経路計画方法を実現するために用いられる電子装置を提供する。
本発明の第４態様としては、コンピュータにより実行されて上述した画像識別に基づく飛行体強制着陸経路計画方法を実現するために用いられるコンピュータ命令が記憶されている、コンピュータ読み取り可能な記憶媒体を提供する。
本発明の有益な効果は、以下の通りである。
（１）本発明は、画像情報に基づき、最適な着陸点を自動識別し、選択し、強制着陸経路を生成して、パイロットが強制着陸タスクを実行することに対して補助することにより、パイロットが強制着陸タスクを実行する成功率を極めて大きく向上させ、安全性を向上させ、損失を低減させることができる。
（２）本発明により選択される着陸点は、地形タイプ、均一性および整合性の綜合情況を考慮し、強制着陸タスクにより引き起こされ得る損失を低減させることができる。
以下の図面を参照して行われる非限定的な実施例に対する詳細な説明を閲読することにより、本発明の他の特徴、目的及び利点は、より明らかになる。
本発明の実施例における画像識別に基づく飛行体強制着陸経路計画方法のフローチャートである。
以下、図面および実施例を結び付けて、本発明についてさらに詳しく説明する。ここで記載される具体的な実施例は、関連発明を解釈するためのものに過ぎず、本発明を限定するものではないことを理解すべきである。なお、説明を容易にするために、図面に、本発明に関連する部分のみを示している。
なお、衝突しない限り、本発明における実施例および実施例における特徴は、互いに組み合わせることができる。以下、図面を参照しながら実施例を結び付けて、本発明について詳細に説明する。
本発明は、画像識別に基づく飛行体強制着陸経路計画方法を提供し、画像情報を自動識別し、最適な着陸点を選択して強制着陸経路を生成して、パイロットが強制着陸タスクを実行することに対して補助することにより、パイロットが強制着陸タスクを実行する成功率を極めて大きく向上させ、安全性を向上させ、損失を低減させることができる。
本発明に係る画像識別に基づく飛行体強制着陸経路計画方法は、以下を含む。
Ｓ１００：航路における過去の衛星画像、気象情報および等高線画像を取得する。
Ｓ２００：等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得する。
Ｓ３００：飛行体に配置されたセンサーに基づき、センサーデータを取得する。
Ｓ４００：センサーデータおよび気象情報に基づき、飛行体の航続距離を計算する。
Ｓ５００：飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得する。
Ｓ６００：候補着陸領域の現在の衛星画像を取得して、着陸領域を選定する。
Ｓ７００：前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成する。
本発明に係るシステムについてよりはっきりに説明するために、以下、図１を参照して本発明の実施例における各ステップについて詳しく説明する。
本発明の第１実施例における画像識別に基づく飛行体強制着陸経路計画方法は、以下を含む。
Ｓ１００：航路における過去の衛星画像、気象情報および等高線画像を取得する。
Ｓ２００：等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得する。本実施例において、等高線情報を含む衛星画像は、地形タイプ情報と地勢情報を結合したものである。
Ｓ３００：飛行体に配置されたセンサーに基づき、センサーデータを取得する。
Ｓ４００：センサーデータおよび気象情報に基づき、飛行体の航続距離を計算する。
Ｓ５００：飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得する。
本実施例において、前記候補着陸領域の取得方法は、以下を含む。
等高線情報を含む衛星画像に基づき、高度差が予め設定された穏やかな閾値よりも小さい連続領域を平坦領域として選択する。
地形画像識別モデルによって、各平坦領域の地形分析結果を識別する。
本実施例において、前記地形画像識別モデルは、地形タイプ識別モデル、地形均一性識別モデルおよび区画整合性識別モデルを含む。
地形タイプを均一性および区画整合性と結合する目的は、着陸領域を選択する際に、ある領域に複数種の地形タイプがあるか、或いは不規則な凹凸などが存在する可能性があることにある。均一性および区画整合性を同様に参照要素として分析することにより、地面タイプが適合であるとともに、地面上の雑物の分布が均一で平坦な領域を着陸領域として選択することができる。
前記地形タイプ識別モデルは、過去の衛星画像に従って平坦領域の地形タイプを識別するために用いられる。地形タイプは、空港、水面、芝生、植生、道路および空地を含む。航続距離内に空港が存在する場合、空港を着陸領域として選択することが好ましい。
本実施例において、前記地形タイプ識別モデルは、ＬＢＰアルゴリズムおよびＫクラスタリングアルゴリズムに基づいて構築された分類モデルであり、具体的に、以下の通りである。
平坦領域の過去の衛星画像に基づいて二値画像に変換して、各画素ポイントに対して近傍ウィンドウを設定する。
各画素ポイントの近傍ウィンドウにおける画素の平均画素値を計算する。
平均画素値と、対応する画素ポイントの画素値のサイズを比較し、平均画素値が画素ポイントの画素値以上の画素ポイントを１とし、そうでなければ０として、ＬＢＰ二値化画像を得る。
畳み込みレイヤ（convolutional layer）によって前記ＬＢＰ二値化画像に対して特徴抽出してＬＢＰ特徴画像を得る。
ｃｏｎｃａｔレイヤによって前記ＬＢＰ特徴画像および衛星画像を結合して、特徴結合画像を得る。
前記特徴結合画像に基づき、ＫＮＮクラシファイヤによって特徴結合画像と予め設定された地形タイプデータベースにおける各地形画像との類似度を計算して、平坦領域の地形タイプを出力する。
前記地形均一性識別モデルは、過去の衛星画像に従って、平坦領域の画像均一性スコア値を識別するために用いられる。
本実施例において、前記地形均一性識別モデルは、具体的に、
各画素ポイントと、所在する平坦領域との画素均一性
Figure 0007153820000001
を計算する。
Figure 0007153820000002
 （ただし、
Figure 0007153820000003
は、座標が
Figure 0007153820000004
の画素値、ｉおよびｊは、画素番号、
Figure 0007153820000005
は、ｘ軸方向における画素期待値、
Figure 0007153820000006
は、ｙ軸方向における画素期待値、
Figure 0007153820000007
は、ｘ軸方向における画素標準偏差、
Figure 0007153820000008
は、ｙ軸方向における画素標準偏差を表す。）
平坦領域の画素ポイントの相関度平均値は、該平坦領域の画像均一性スコア値を表す。
前記区画整合性識別モデルは、過去の衛星画像を異なるグリッドに区画し、各グリッドと、他のすべてのグリッドとの整合性スコア値（一致性分値）を計算するために用いられる。
本実施例において、前記区画整合性識別モデルは、具体的に以下の通りである。
Figure 0007153820000009
 （ただし、
Figure 0007153820000010
は、整合性スコア値、
Figure 0007153820000011
は、グリッドのスケール、
Figure 0007153820000012
は、色整合性スコア値、
Figure 0007153820000013
は、相対高度整合性スコア値、
Figure 0007153820000014
は、色整合性スコア値の重み、
Figure 0007153820000015
は、相対高度整合性スコア値の重みを表し、
前記色整合性スコア値
Figure 0007153820000016
は、下記式で表され、
Figure 0007153820000017
 ただし、
Figure 0007153820000018
は、グリッドｐ～グリッドｑの色類似度、
Figure 0007153820000019
は、グリッドｑ～グリッドｐの色類似度を表し、
Figure 0007153820000020
 ただし、
Figure 0007153820000021
および
Figure 0007153820000022
は、それぞれ、グリッド
Figure 0007153820000023
～グリッド
Figure 0007153820000024
の類似度の計算、およびグリッド
Figure 0007153820000025
～グリッド
Figure 0007153820000026
の類似度の計算、
Figure 0007153820000027
および
Figure 0007153820000028
は、それぞれグリッドの平均色値、
Figure 0007153820000029
は、予め設定された定数、
Figure 0007153820000030
は、グリッド数を表し、
前記相対高度整合性スコア値
Figure 0007153820000031
は、下記式で表され、
Figure 0007153820000032
 ただし、
Figure 0007153820000033
は、グリッドｐ～グリッドｑの画像相対高度整合性、
Figure 0007153820000034
は、グリッドｑ～グリッドｐの画像相対高度整合性を表し、
Figure 0007153820000035
 ただし、
Figure 0007153820000036
は、グリッドｐの平均高度、
Figure 0007153820000037
は、グリッドｑの平均高度を表し、好ましくは、
Figure 0007153820000038
を０．８５とする。）
地形タイプ、画像均一性スコア値および整合性スコア値に従って、重み付け加算して地形分析結果を得る。
地形分析結果に従って、対応する接地滑走矩形枠の長さおよび幅を計算する。
前記接地滑走矩形枠を含むことに十分である平坦領域を候補着陸領域として選択するとともに、地形分析結果に従って候補着陸領域に対して着陸スコア値を計算する。接地滑走矩形枠の幅は、飛行体の翼幅に予め設定された許容範囲（Ｆａｕｌｔ ｔｏｌｅｒａｎｃｅ ｗｉｄｔｈ）を加算したものであり、接地滑走矩形枠の長さは、地面タイプのブレーキ係数および正常飛行中の飛行速度に従って算出したものである。
Ｓ６００：候補着陸領域の現在の衛星画像を取得して、着陸領域を選定する。
本実施例において、前記候補着陸領域の現在の衛星画像を取得し、着陸領域を選定することは、具体的に、以下の通りである。
候補着陸領域の現在の衛星画像を取得する。
着陸スコア値が最も高い候補着陸領域の現在の衛星画像と過去の衛星画像との類似度を計算し、類似度が予め設定された信頼閾値以上である場合、前記着陸スコア値が最も高い候補着陸領域を着陸領域として選定する。現在の衛星画像と過去の衛星画像との類似度を計算する目的は、着陸領域において一時的な活動または地形変化、たとえば、群衆の集まりや斜面崩壊などの情況があるか否かを確認することにある。強制着陸タスクが突発的なイベントであるので、航路のうちすべての地域の現在の衛星画像を再取得して分析することを待つ時間がない。そのため、選択された着陸スコア値が最も高い候補着陸領域の現在の衛星画像だけを分析し、且つ過去の衛星画像との類似度だけを分析することにより、着陸スコア値が最も高い候補着陸領域が信頼的であるか否かを快速に判断することに有利である。群衆の集まりや地形変化がない場合に、スコア値が最も高い候補着陸領域が信頼的であると判断し、着陸領域として選択することができる。
類似度が前記予め設定された信頼閾値を下回る場合、着陸スコア値が次に高い候補着陸領域を選択し、類似度が予め設定された信頼閾値以上になるまで、現在の衛星画像と過去の衛星画像との類似度を計算し、着陸領域を選定する。
Ｓ７００：前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成する。
本実施例において、前記着陸点の選択方法は、以下の通りである。
飛行体座標に基づき、飛行体座標から前記着陸領域までの進行方向を計算する。
着陸領域において、進行方向を軸線として、軸線方向において接地滑走矩形枠を含む空間が存在すれば、軸線方向において接地滑走矩形枠の長さが最も長いことを満たす開始側の中点を着陸点として選択する。
軸線方向において接地滑走矩形枠を含む空間が存在しなければ、軸線方向において偏角が最も小さい方向における、接地滑走矩形枠の長さが最も長い開始側の中点を着陸点として選択する。
本実施例において、補強リアリティデバイス（Augmented Reality device）を介してパイロットに対して前記強制着陸経路を表示することができ、すべての候補着陸領域をパイロットに表示し、パイロットにより着陸領域を選択し、指揮管制塔に着陸領域の位置情報を送信することができる。
本発明の第２実施例として、本発明に係る画像識別に基づく飛行体強制着陸経路計画方法は、フルフライトシミュレーター（ｆｕｌｌ ｆｌｉｇｈｔ ｓｉｍｕｌａｔｏｒ）によってパイロットに対して飛行トレーニングを実施するために用いられることができ、具体的に以下の通りである。
航路における過去の衛星画像、気象情報および等高線画像を取得する。
正常飛行中の画像を取得する。
等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得する。
正常飛行中に飛行体に配置されたセンサーにより取得したセンサーデータを記録する。
正常飛行中の画像およびセンサーデータに対して、フルフライトシミュレーター（Full-motion simulator）でシーン復元を行う。
故障タイプデータベースを確立し、オイル量、機器パラメータ、音声、振幅および周波数を含む、様々の故障タイプおよび故障程度に対応するセンサーデータを記憶する。
故障タイプおよび故障程度をランダムで選択するか、主操作者がトレーニングされて故障タイプおよび故障程度を選択し、フルフライトシミュレーターで正常飛行中における突発的な故障を模倣し、故障程度に対応するセンサーデータを設定して、パイロットがトレーニングされて強制着陸タスクを実行するために用いられる。フルフライトシミュレーターのキャビンで真実なキャビン視角画像を復元し、センサーデータを表示する。さらに、ニーズに応じて熱雷（雷暴）、ウインド・シャー（Ｗｉｎｄ Ｓｈｅａｒ）、揺れ及び特殊な状況を設定し、異なる視程を設定する。朝、昼間、夕暮れ、夜の飛行時間を設定する。故障が発生する際に、特殊な天候、揺れ、振動または落下を模倣する。
センサーデータおよび気象情報に基づき、飛行体の航続距離を計算する。
飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得する。
候補着陸領域の現在の衛星画像を取得して、着陸領域を選定する。
前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成する。
本実施例において、強制着陸が完了した後、実際的な着陸点、実際的な接地滑走距離および実際的な接地滑走方向を記録し、実際的な着陸点と、システムにより推薦された着陸点との相対距離を計算しながら、実際的な接地滑走距離および実際的な接地滑走方向と、システムにより推薦された接地滑走距離および接地滑走角度との偏差を計算することができる。
タスク完成時間、前記相対距離、接地滑走距離および接地滑走角度との偏差に従って、タスク完成スコア値を計算し、誤操作ステップを捜索する。
本発明の第３実施例における画像識別に基づく飛行体強制着陸経路計画システムは、飛行情報取得モジュール、画像情報結合モジュール、センサーデータ取得モジュール、航続距離取得モジュール、候補着陸領域取得モジュール、着陸領域選択モジュールおよび経路生成モジュールを含む。
前記飛行情報取得モジュールは、航路における過去の衛星画像、気象情報および等高線画像を取得するように構成される。
前記画像情報結合モジュールは、等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得するように構成される。
前記センサーデータ取得モジュールは、飛行体に配置されたセンサーに基づき、センサーデータを取得するように構成される。
前記航続距離取得モジュールは、センサーデータおよび気象情報に基づき、飛行体の航続距離を計算するように構成される。
前記候補着陸領域取得モジュールは、飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得するように構成される。
前記着陸領域選択モジュールは、候補着陸領域の現在の衛星画像を取得して、着陸領域を選定する。
前記経路生成モジュールは、前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成するように構成される。
本発明の第４実施例における電子装置は、少なくとも１つのプロセッサ、および少なくとも１つの前記プロセッサに通信接続されるメモリーを含む。そのうち、前記メモリーには、前記プロセッサにより実行可能な命令が記憶され、前記命令は、前記プロセッサにより実行されて上述した画像識別に基づく飛行体強制着陸経路計画方法を実現するために用いられる。
本発明の第５実施例におけるコンピュータ読み取り可能な記憶媒体は、前記コンピュータにより実行されて上述した画像識別に基づく飛行体強制着陸経路計画方法を実現するためのコンピュータ命令が記憶されている。
当業者であれば、説明を容易および簡素にするために、上述した記憶装置、処理装置の具体的な作動過程および関連説明は、上述した方法実施例に対応する過程を参照できることを明確に理解することができ、ここで繰り返し説明しない。
特に、本発明の実施例によれば、以上のフローチャートを参照して説明した過程は、コンピュータソフトウェアプログラムとして実現されることができる。たとえば、本発明の実施例は、コンピュータ読み取り可能な媒体に載せられた、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含む、コンピュータプログラム製品を含む。このような実施例において、該コンピュータプログラムは、通信によって部分的にネットワークからダウンロードしてインストールされ、および／またはリムーバブル媒体からインストールされてもよい。該コンピュータプログラムは、中央処理装置（ＣＰＵ）により実行される場合、本発明の方法において限定された上記機能を実行する。なお、本発明に係るコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体または上記両者の任意の組合せであってもよい。コンピュータ読み取り可能な記憶媒体は、たとえば、電気、磁気、光、電磁気、赤外線、または半導体のシステム、装置またはデバイス、または任意の以上の組合せを含んでもよいがこれらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体例は、１つまたは複数のワイヤを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリー（ＲＡＭ）、読み取り専用メモリー（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリー（ＥＰＲＯＭまたはフラッシュメモリー）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリー（ＣＤ－ＲＯＭ）、光ストレージコンポーネント、磁気ストレージデバイス、または上記任意の接的な組合せを含んでもよいがこれらに限定されない。本発明において、コンピュータ読み取り可能な記憶媒体は、いずれのプログラムを含むまたは記憶する有形媒体であってもよく、該プログラムは、命令実行システム、装置またはデバイスで使用されるか、またはそれと組み合わせて使用させてもよい。本発明において、コンピュータ読み取り可能な信号媒体は、ベースバンドに含まれてもよいか、またはキャリアウェーブの一部として伝送する、コンピュータ読み取り可能なプログラムコードが載せられたデータ信号であってもよい。このような伝送するデータ信号は、複数種の形態を利用することができ、電磁信号、光信号または上記の任意の適当な組合せを含むが、これらに限定されない。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外のいずれのコンピュータ読み取り可能な媒体であってもよく、該コンピュータ読み取り可能な媒体は、命令実行システム、装置またはデバイスで使用されるか、またはそれと組み合わせて使用するプログラムを送信、伝送または輸送することができる。コンピュータ読み取り可能な媒体に含まれるプログラムコードは、任意の適当な媒体で輸送されることができ、無線、ワイヤ、光ケーブル、ＲＦ（無線周波数）など、または上記の任意の適合な組合せを含むが、これらに限定されない。
１種または複数種のプログラムデザイン言語またはその組合せで本発明の操作を実行するためのコンピュータプログラムコードを書き、上記プログラムデザイン言語は、オブジェクト指向プログラミング言語、たとえば、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、従来の手続型プログラムデザイン言語、たとえば「Ｃ」言語または類似のプログラムデザイン言語をさらに含む。プログラムコードは、完全にユーザコンピュータで実行され、部分的にユーザコンピュータで実行され、１つの独立なソフトウェアパッケージとして実行され、部分的にユーザコンピュータで部分的にリモートコンピュータで実行され、または完全にリモートコンピュータまたはサーバで実行されてもよい。リモートコンピュータに関する状況において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークによってユーザコンピュータに接続されることができ、或いは、外部コンピュータに接続される（たとえば、インターネットサービスプロバイダを用いてインターネットによって接続される）ことができる。
図面におけるフローチャートとブロック図は、本発明の各種の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点では、フローチャートまたはブロック図における各ボックスは１つのモジュール、プログラムセグメント、またはコードの一部を代表することができ、該モジュール、プログラムセグメント、またはコードの一部が１つまたは複数の所定のロジック機能を実現するための実行可能な命令を含む。注意すべきものとして、幾つかの切り替え可能な実現において、ボックスに表記した機能も図面に表記した順序と異なるもので発生することができる。例えば、２つの連続して示すボックスは実際に基本的に並行して実行でき、それらは関連する機能によれば、逆の順序で実行される場合がある。また、注意する必要があるものとして、ブロック図及び／またはフローチャートにおける各ボックス、及びブロック図及び／またはフローチャートにおけるボックスの組み合わせは、所定の機能または操作を実行する専用のハードウェアに基づくシステムで実現されることができるか、または専用のハードウェアとコンピュータ命令との組み合わせで実現されることができる。
また、用語「第１」「第２」などは、類似する対象を区分するためのものに過ぎず、特定の順序または時間的順序を説明又は表示するためのものではない。
用語「含む」または何れの他の類似用語は、非排他的に含むことを意味する。したがって、一連の要素を含む過程、方法、物または装置／デバイスには、それらの要素に加え、その他の明示しない要素を含み、或いは、これらの過程、方法、物、または装置／デバイスに固有する要素をさらに含むことができる。
ここに至って、図面に示す好適な実施形態を結び付けて本発明の技術案について説明したが、当業者であれば、本発明の保護範囲は、これらの具体的な実施形態に限定されないことを理解すべきである。本発明の原理から逸脱しない限り、当業者が関連技術特徴に対して均等な変更または置換を行うことができ、これらの変更または置換された技術案は、本発明の保護範囲に含まれるべきである。

Claims (8)

  1. 航路における過去の衛星画像、気象情報および等高線画像を取得することと、
    等高線画像および前記航路における衛星画像に基づき、等高線情報を含む衛星画像を取得することと、
    飛行体に配置されたセンサーに基づき、センサーデータを取得することと、
    センサーデータおよび気象情報に基づき、飛行体の航続距離を計算することと、
    飛行体座標および前記航続距離に基づき、等高線情報を含む衛星画像および地形画像識別モデルによって候補着陸領域を取得することと、
    候補着陸領域の現在の衛星画像を取得して、着陸領域を選定することと、
    前記着陸領域に基づき、着陸点決定モデルによって着陸点を選択し、強制着陸経路を生成して、飛行体が前記強制着陸経路に従って強制着陸タスクを完成することと、を含み、
    前記候補着陸領域の取得方法には、
    等高線情報を含む衛星画像に基づき、高度差が予め設定された穏やかな閾値よりも小さい連続領域を平坦領域として選択することと、
    地形画像識別モデルによって、各平坦領域の地形分析結果を識別することと、
    地形分析結果に従って、対応する接地滑走矩形枠の長さおよび幅を計算することと、
    前記接地滑走矩形枠を含むことに十分である平坦領域を候補着陸領域として選択するとともに、地形分析結果に従って候補着陸領域に対して着陸スコア値を計算することと、が含まれ、
    前記地形画像識別モデルには、
    過去の衛星画像に従って、平坦領域の地形タイプを識別するための地形タイプ識別モデルと、
    過去の衛星画像に従って、平坦領域の画像均一性スコア値を識別するための地形均一性識別モデルと、
    過去の衛星画像を異なるグリッドに区画し、各グリッドと他のすべてのグリッドとの整合性スコア値を計算するための区画整合性識別モデルと、が含まれ、
    地形タイプ、画像均一性スコア値および整合性スコア値に従って、重み付け加算して地形分析結果を得、
    前記地形タイプ識別モデルは、ＬＢＰアルゴリズムおよびＫクラスタリングアルゴリズムに基づいて構築された分類モデルであり、具体的に、
    平坦領域の過去の衛星画像に基づいて二値画像に変換して、各画素ポイントに対して近傍ウィンドウを設定し、
    各画素ポイントの近傍ウィンドウにおける画素の平均画素値を計算し、
    平均画素値と、対応する画素ポイントの画素値のサイズを比較し、平均画素値が画素ポイントの画素値以上の画素ポイントを１とし、そうでなければ０として、ＬＢＰ二値化画像を得、
    畳み込みレイヤによって前記ＬＢＰ二値化画像に対して特徴抽出してＬＢＰ特徴画像を得、
    ｃｏｎｃａｔレイヤによって前記ＬＢＰ特徴画像および衛星画像を結合して、特徴結合画像を得、
    前記特徴結合画像に基づき、ＫＮＮクラシファイヤによって特徴結合画像と予め設定された地形タイプデータベースにおける各地形画像との類似度を計算して、平坦領域の地形タイプを出力することを特徴とする、飛行体強制着陸経路計画方法。
  2. 前記地形均一性識別モデルは、
    各画素ポイントと、所在する平坦領域との画素均一性
    Figure 0007153820000039
    を計算することを特徴とする、
    請求項１に記載の画像識別に基づく飛行体強制着陸経路計画方法。
    Figure 0007153820000040
     （ただし、
    Figure 0007153820000041
    は、座標が
    Figure 0007153820000042
    の画素値、ｉおよびｊは、画素番号、
    Figure 0007153820000043
    は、ｘ軸方向における画素期待値、
    Figure 0007153820000044
    は、ｙ軸方向における画素期待値、
    Figure 0007153820000045
    は、ｘ軸方向における画素標準偏差、
    Figure 0007153820000046
    は、ｙ軸方向における画素標準偏差を表し、
    平坦領域の画素ポイントの相関度平均値は、該平坦領域の画像均一性スコア値を表す。）
  3. 前記区画整合性識別モデルは、具体的に以下の通りであることを特徴とする、
    請求項２に記載の画像識別に基づく飛行体強制着陸経路計画方法。
    Figure 0007153820000047
     （ただし、
    Figure 0007153820000048
    は、整合性スコア値、
    Figure 0007153820000049
    は、グリッドのスケール、
    Figure 0007153820000050
    は、色整合性スコア値、
    Figure 0007153820000051
    は、相対高度整合性スコア値、
    Figure 0007153820000052
    は、色整合性スコア値の重み、
    Figure 0007153820000053
    は、相対高度整合性スコア値の重みを表し、
    前記色整合性スコア値
    Figure 0007153820000054
    は、下記式で表され、
    Figure 0007153820000055
     ただし、
    Figure 0007153820000056
    は、グリッドｐ～グリッドｑの色類似度、
    Figure 0007153820000057
    は、グリッドｑ～グリッドｐの色類似度を表し、
    Figure 0007153820000058
     ただし、
    Figure 0007153820000059
    および
    Figure 0007153820000060
    は、それぞれ、グリッド
    Figure 0007153820000061
    ～グリッド
    Figure 0007153820000062
    の類似度の計算、およびグリッド
    Figure 0007153820000063
    ～グリッド
    Figure 0007153820000064
    の類似度の計算、
    Figure 0007153820000065
    および
    Figure 0007153820000066
    は、それぞれグリッドの平均色値、
    Figure 0007153820000067
    は、予め設定された定数、
    Figure 0007153820000068
    は、グリッド数を表し、
    前記相対高度整合性スコア値
    Figure 0007153820000069
    は、下記式で表され、
    Figure 0007153820000070
     ただし、
    Figure 0007153820000071
    は、グリッドｐ～グリッドｑの画像相対高度整合性、
    Figure 0007153820000072
    は、グリッドｑ～グリッドｐの画像相対高度整合性を表し、
    Figure 0007153820000073
     ただし、
    Figure 0007153820000074
    は、グリッドｐの平均高度、
    Figure 0007153820000075
    は、グリッドｑの平均高度を表す。）
  4. 前記候補着陸領域の現在の衛星画像を取得し、着陸領域を選定することは、具体的に、
    候補着陸領域の現在の衛星画像を取得し、
    着陸スコア値が最も高い候補着陸領域の現在の衛星画像と過去の衛星画像との類似度を計算し、類似度が予め設定された信頼閾値以上である場合、前記着陸スコア値が最も高い候補着陸領域を着陸領域として選定し、
    類似度が前記予め設定された信頼閾値を下回る場合、着陸スコア値が次に高い候補着陸領域を選択し、類似度が予め設定された信頼閾値以上になるまで、現在の衛星画像と過去の衛星画像との類似度を計算し、着陸領域を選定する、ことを特徴とする、
    請求項１に記載の画像識別に基づく飛行体強制着陸経路計画方法。
  5. 前記着陸点の選択方法は、
    飛行体座標に基づき、飛行体座標から前記着陸領域までの進行方向を計算し、
    着陸領域において、進行方向を軸線として、軸線方向において接地滑走矩形枠を含む空間が存在すれば、軸線方向において接地滑走矩形枠の長さが最も長いことを満たす開始側の中点を着陸点として選択し、
    軸線方向において接地滑走矩形枠を含む空間が存在しなければ、軸線方向において偏角が最も小さい方向における、接地滑走矩形枠の長さが最も長い開始側の中点を着陸点として選択することを特徴とする、
    請求項１に記載の画像識別に基づく飛行体強制着陸経路計画方法。
  6. 前記計画方法は、救援難易度を評価するステップをさらに含み、具体的に、
    すべての候補着陸領域の過去の衛星画像に対して、すべての候補着陸領域から幹線道路までの経路および経路距離を計算し、
    前記経路は、等高線情報を含む衛星画像の中で、予め設定された水平距離内の高度差が予め設定された勾配閾値を下回ることを満たし、
    経路距離に従って救援難易度スコア値を設定し、
    救援難易度スコア値を前記地形タイプ、画像均一性ブランチおよび整合性スコア値と重み付け加算して地形分析結果を得ることを特徴とする、
    請求項１に記載の画像識別に基づく飛行体強制着陸経路計画方法。
  7. 少なくとも１つのプロセッサと、少なくとも１つの前記プロセッサに通信接続されるメモリーと、を含む電子装置であって、
    前記メモリーには、前記プロセッサにより実行可能な命令が記憶され、前記命令は、前記プロセッサにより実行されて、請求項１～６のいずれか一項に記載の画像識別に基づく飛行体強制着陸経路計画方法を実現するために用いられる、電子装置。
  8. コンピュータにより実行されて、請求項１～６のいずれか一項に記載の画像識別に基づく飛行体強制着陸経路計画方法を実現するために用いられるコンピュータ命令が記憶されている、コンピュータ読み取り可能な記憶媒体。
JP2022091137A 2022-05-23 2022-06-03 画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置 Active JP7153820B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210559442.4A CN114636417B (zh) 2022-05-23 2022-05-23 基于图像识别的飞行器迫降路径规划方法、系统和设备
CN202210559442.4 2022-05-23

Publications (2)

Publication Number Publication Date
JP2022119973A JP2022119973A (ja) 2022-08-17
JP7153820B2 true JP7153820B2 (ja) 2022-10-14

Family

ID=81953210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022091137A Active JP7153820B2 (ja) 2022-05-23 2022-06-03 画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置

Country Status (3)

Country Link
US (1) US11573579B1 (ja)
JP (1) JP7153820B2 (ja)
CN (1) CN114636417B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114895713B (zh) * 2022-07-15 2022-11-25 沃飞长空科技(成都)有限公司 飞行器着陆方法、系统、飞行器及存储介质
CN117437813A (zh) * 2022-12-26 2024-01-23 广东汇天航空航天科技有限公司 迫降区域推荐方法、装置、飞行器及可读存储介质
CN116778350A (zh) * 2023-06-19 2023-09-19 成都国星宇航科技股份有限公司 基于卫星遥感影像的应急救援撤离点的寻找方法及设备
CN117201565B (zh) * 2023-10-11 2024-08-20 合肥耀安科技有限公司 一种基于5g传输的网联无人机管理云平台

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019044244A1 (ja) 2017-09-01 2019-03-07 コニカミノルタ株式会社 作物栽培支援装置
JP6890749B1 (ja) 2019-08-20 2021-06-18 楽天グループ株式会社 情報処理システム、情報処理装置、及び情報処理方法
KR102379303B1 (ko) 2021-09-03 2022-03-30 대한민국 무인비행체가 탑재된 특수차량을 이용한 재난원인 현장조사 방법 및 그 시스템

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2752934B1 (fr) * 1996-08-30 1998-11-13 Sextant Avionique Procede d'assistance au pilotage d'un aerodyne
US6038498A (en) * 1997-10-15 2000-03-14 Dassault Aviation Apparatus and mehod for aircraft monitoring and control including electronic check-list management
US6112141A (en) * 1997-10-15 2000-08-29 Dassault Aviation Apparatus and method for graphically oriented aircraft display and control
US6199008B1 (en) * 1998-09-17 2001-03-06 Noegenesis, Inc. Aviation, terrain and weather display system
US6707394B2 (en) * 1999-02-01 2004-03-16 Honeywell, Inc. Apparatus, method, and computer program product for generating terrain clearance floor envelopes about a selected runway
US7356390B2 (en) * 1999-06-29 2008-04-08 Space Data Corporation Systems and applications of lighter-than-air (LTA) platforms
US6889124B2 (en) * 2000-10-10 2005-05-03 Gerald J. Block Method and apparatus for reducing false taws warnings and navigating landing approaches
WO2003077224A1 (en) * 2001-10-11 2003-09-18 Sandel Avionics, Llc Method and apparatus for reducing false taws warnings
US6965816B2 (en) * 2001-10-01 2005-11-15 Kline & Walker, Llc PFN/TRAC system FAA upgrades for accountable remote and robotics control to stop the unauthorized use of aircraft and to improve equipment management and public safety in transportation
FR2864269B1 (fr) * 2003-12-19 2006-04-07 Thales Sa Procede d'aide a la navigation a basse altitude d'un aeronef
FR2867559B1 (fr) * 2004-03-12 2006-05-26 Thales Sa Dispositif d'affichage de carte topographique pour aeronef
FR2869106B1 (fr) * 2004-04-20 2006-06-23 Thales Sa Procede d'estimation de distance pour aeronef avec prise en compte de contraintes de navigation aerienne
FR2872316B1 (fr) * 2004-06-29 2006-10-06 Thales Sa Procede de changement de procedure d'approche d'un aeronef
FR2875004B1 (fr) * 2004-09-07 2007-02-16 Thales Sa Dispositif de signalisation de risques
FR2892192B1 (fr) * 2005-10-14 2008-01-25 Thales Sa Procede d'aide a la navigation pour aeronef en situation d'urgence
FR2894367B1 (fr) * 2005-12-07 2008-02-29 Thales Sa Procede de determination du profil horizontal d'un plan de vol respectant un profil de vol vertical impose
FR2894368B1 (fr) * 2005-12-07 2008-01-25 Thales Sa Dispositif et procede de construction automatisee de trajectoire d'urgence pour aeronefs
FR2898672B1 (fr) * 2006-03-14 2009-07-03 Thales Sa Procede d'aide a la navigation d'un aeronef avec une mise a jour du plan de vol
FR2898686B1 (fr) * 2006-03-14 2008-05-23 Thales Sa Equipement pour aeronef de prevention des risques d'abordage
FR2898675B1 (fr) * 2006-03-14 2008-05-30 Thales Sa Procede d'amelioration de la securite aeronautique relative aux communications air/sol et a l'environnement des aeronefs
FR2898673B1 (fr) * 2006-03-14 2009-04-17 Thales Sa Procede d'aide a la navigation d'un aeronef avec une mise a jour du plan de vol
US8032267B1 (en) * 2006-04-03 2011-10-04 Honeywell International Inc. Aviation navigational and flight management systems and methods with emergency landing guidance and radar vectoring
US8164485B2 (en) * 2006-04-13 2012-04-24 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration System and method for aiding pilot preview, rehearsal, review, and real-time visual acquisition of flight mission progress
FR2902537B1 (fr) * 2006-06-20 2016-04-29 Eurocopter France Systeme de detection d'obstacles au voisinage d'un point de poser
FR2906622B1 (fr) * 2006-10-03 2008-11-28 Thales Sa Susteme de gestion du vol tolerant aux sautes de distances.
FR2906921B1 (fr) * 2006-10-10 2010-08-13 Thales Sa Procede de formation d'une trajectoire d'urgence en 3d pour aeronef et dispositif de mise en oeuvre
WO2008091422A2 (en) * 2006-10-19 2008-07-31 Rocket Racing, Inc. Rocket-powered vehicle racing reality system
BRPI0817039A2 (pt) * 2007-08-24 2015-07-21 Stratech Systems Ltd Sistema e método de vigilância de pista de pouso e decolagem
US20090171560A1 (en) * 2008-01-02 2009-07-02 Mcferran Nancy L Prioritizing alternative landing facilities in flight planning
US8332083B1 (en) * 2008-07-03 2012-12-11 Rockwell Collins, Inc. System and method for generating a missed approach path
US8718915B1 (en) * 2008-09-08 2014-05-06 Rockwell Collins, Inc. System, module, and method for generating an image of a flight route corridor on a display unit
US20100070110A1 (en) * 2008-09-10 2010-03-18 Honeywell International Inc. Methods and systems for indicating fuel required to reach a location
FR2937453B1 (fr) * 2008-10-17 2010-10-22 Thales Sa Dispositif pour le calcul d'un plan de vol d'un aeronef
US8234068B1 (en) * 2009-01-15 2012-07-31 Rockwell Collins, Inc. System, module, and method of constructing a flight path used by an avionics system
US20100240988A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360 degree heads up display of safety/mission critical data
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US8193948B1 (en) * 2009-09-30 2012-06-05 Rockwell Collins, Inc. System, module, and method for presenting runway advisory information to a pilot
US8565944B1 (en) * 2009-10-13 2013-10-22 The Boeing Company Alternate diversion airport planner
US20110196598A1 (en) * 2010-02-09 2011-08-11 Honeywell International Inc. System and methods for rendering taxiway and runway signage in a synthetic display of an airport field
US9520066B2 (en) * 2010-04-21 2016-12-13 The Boeing Company Determining landing sites for aircraft
US9257048B1 (en) * 2010-04-21 2016-02-09 The Boeing Company Aircraft emergency landing route system
US8897932B2 (en) * 2010-06-07 2014-11-25 Toyota Jidosha Kabushiki Kaisha Flight control support device
FR2963120B1 (fr) * 2010-07-20 2013-08-30 Airbus Operations Sas Procede et dispositif de gestion automatique d'une trajectoire laterale pour une descente d'urgence d'un aeronef
US8766819B2 (en) * 2011-06-17 2014-07-01 The Boeing Company Crew allertness monitoring of biowaves
US8666649B2 (en) * 2012-01-05 2014-03-04 The Boeing Company Systems and methods for use in identifying at least one alternate airport
US20130179011A1 (en) * 2012-01-10 2013-07-11 Lockheed Martin Corporation Emergency landing zone recognition
DE102012001268A1 (de) * 2012-01-23 2013-07-25 Airbus Operations Gmbh Verfahren zur Planung eines Landeanflugs eines Flugzeugs, Computerprogrammprodukt, Medium mit einem darauf gespeicherten Landeanflugplan sowie Vorrichtung zur Planung eines Landeanflugs
IL218327A (en) * 2012-02-26 2013-05-30 Elbit Systems Ltd Safe emergency landing of unmanned aerial vehicles
CA2872957C (en) * 2012-07-31 2017-07-18 Jgc Corporation Weather predicting method, weather predicting apparatus, and air utililzing apparatus
US20140343765A1 (en) * 2012-12-28 2014-11-20 Sean Patrick Suiter Flight Assistant with Automatic Configuration and Landing Site Selection
US9310222B1 (en) * 2014-06-16 2016-04-12 Sean Patrick Suiter Flight assistant with automatic configuration and landing site selection method and apparatus
WO2014115139A1 (en) * 2013-01-23 2014-07-31 Iatas (Automatic Air Traffic Control) Ltd System and methods for automated airport air traffic control services
US9199724B2 (en) * 2013-05-15 2015-12-01 Honeywell International Inc. System and method for performing an aircraft automatic emergency descent
US9423799B1 (en) * 2013-08-12 2016-08-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) Optimum strategies for selecting descent flight-path angles
US9147132B2 (en) * 2013-09-11 2015-09-29 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
US10665114B2 (en) * 2014-03-28 2020-05-26 The Boeing Company Aircraft fuel optimization analytics
FR3022625B1 (fr) * 2014-06-19 2018-01-12 Airbus Operations Procede et dispositif de determination et de presentation d'impacts de couts generes par des ecarts lateraux de route d'un aeronef.
US10339816B2 (en) * 2014-06-27 2019-07-02 The Boeing Company Automatic aircraft monitoring and operator preferred rerouting system and method
FR3023911B1 (fr) * 2014-07-18 2018-07-13 Thales Traitement des donnees d'un plan de vol
FR3026177B1 (fr) * 2014-09-22 2019-11-01 Thales Procede d'adaptation d'un segment de trajectoire d'aeronef a pente sol constante selon au moins un critere de performance
US10676213B2 (en) * 2014-10-20 2020-06-09 Sikorsky Aircraft Corporation Optimal safe landing area determination
FR3027722B1 (fr) * 2014-10-24 2020-12-25 Thales Sa Gestion de l'energie en trajectoire d'approche
US9646503B2 (en) * 2015-02-11 2017-05-09 Honeywell International Inc. Cockpit display systems and methods for generating navigation displays including landing diversion symbology
US9858823B1 (en) * 2015-06-09 2018-01-02 Rockwell Collins, Inc. Interactive flight plan
WO2016205415A1 (en) * 2015-06-15 2016-12-22 ImageKeeper LLC Unmanned aerial vehicle management
US20170084183A1 (en) * 2015-09-18 2017-03-23 Robert M. Knox Automatic aircraft separation assurance
US10002471B2 (en) * 2015-09-30 2018-06-19 Ants Technology (Hk) Limited Systems and methods for autonomous vehicle navigation
CN105405165B (zh) * 2015-10-21 2018-07-27 北京航空航天大学 一种通用型无人机飞行中地貌分析及迫降区域提取仿真系统
US10096253B2 (en) * 2015-11-30 2018-10-09 Honeywell International Inc. Methods and systems for presenting diversion destinations
US10152195B2 (en) * 2015-12-14 2018-12-11 Honeywell International Inc. Aircraft display system pertaining to energy management
CN114612877A (zh) * 2016-01-05 2022-06-10 御眼视觉技术有限公司 用于估计未来路径的系统和方法
US10304344B2 (en) * 2016-02-09 2019-05-28 Honeywell International Inc. Methods and systems for safe landing at a diversion airport
US10203700B2 (en) * 2016-02-29 2019-02-12 Garmin International, Inc. Emergency autoland system
US10082803B2 (en) * 2016-02-29 2018-09-25 Thinkware Corporation Method and system for providing route of unmanned air vehicle
US9884690B2 (en) * 2016-05-03 2018-02-06 Honeywell International Inc. Methods and systems for conveying destination viability
US10192450B2 (en) * 2016-08-24 2019-01-29 The Boeing Company Aircraft traffic spacing and timing control with dynamic flight path variation
US20200026309A1 (en) * 2016-09-06 2020-01-23 Tao Ma Method and system for controlling safe takeoff and landing of pilotless vertical takeoff and landing (vtol) aircraft
US10109203B2 (en) * 2016-09-07 2018-10-23 Honeywell International Inc. Methods and systems for presenting en route diversion destinations
US10339817B1 (en) * 2016-09-07 2019-07-02 Rockwell Collins, Inc. Flight management system and flight plan alert integration systems and methods
US10540899B2 (en) * 2016-11-21 2020-01-21 Honeywell International Inc. Flight plan segmentation for en route diversion destinations
CN107655457B (zh) * 2016-12-23 2018-09-25 航天星图科技（北京）有限公司 一种基于遥感卫星图像的泥石流地质灾害识别方法
US10775498B2 (en) * 2017-03-13 2020-09-15 Honeywell International Inc. Methods for a multi-function electronically steered weather radar
US10043405B1 (en) * 2017-03-14 2018-08-07 Architecture Technology Corporation Advisor system and method
WO2018183994A1 (en) * 2017-03-31 2018-10-04 Area 2601, LLC Computer-based systems and methods for facilitating aircraft approach
WO2018209319A1 (en) * 2017-05-12 2018-11-15 Gencore Candeo, Ltd. Systems and methods for response to emergency situations using unmanned airborne vehicles with improved functionalities
US10816970B2 (en) * 2017-06-15 2020-10-27 Aurora Flight Sciences Corporation System and method for performing an emergency descent and landing
US20190041233A1 (en) * 2017-08-01 2019-02-07 Garmin International, Inc. Optimized flight plan ensuring an available landing location within glide range
US11587310B2 (en) * 2017-09-13 2023-02-21 Project Concern International System and method for identifying and assessing topographical features using satellite data
US10290217B1 (en) * 2018-06-14 2019-05-14 Honeywell International Inc. Systems and methods for evaluation of runway changes
CN112306084B (zh) * 2019-07-30 2022-12-27 广州极飞科技股份有限公司 一种无人机迫降方法、装置、无人机和存储介质
CN112306082A (zh) * 2019-07-30 2021-02-02 广州极飞科技有限公司 无人机降落区域的确定方法、装置、无人机和存储介质
US11587449B2 (en) * 2020-02-21 2023-02-21 Honeywell International Inc. Systems and methods for guiding a vertical takeoff and landing vehicle to an emergency landing zone
CN112506227B (zh) * 2020-12-28 2021-12-24 北京航空航天大学 一种用于民机全发失效迫降的辅助驾驶系统和方法
CN113821058B (zh) * 2021-11-22 2022-05-27 西安羚控电子科技有限公司 一种固定翼无人机的迫降方法及系统
CN114442660A (zh) * 2021-12-31 2022-05-06 北京理工大学重庆创新中心 一种基于gps和图像的无人机搜索方法
CN114415701A (zh) * 2022-01-20 2022-04-29 安胜（天津）飞行模拟系统有限公司 一种紧急自动着陆方法、装置、设备以及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019044244A1 (ja) 2017-09-01 2019-03-07 コニカミノルタ株式会社 作物栽培支援装置
JP6890749B1 (ja) 2019-08-20 2021-06-18 楽天グループ株式会社 情報処理システム、情報処理装置、及び情報処理方法
KR102379303B1 (ko) 2021-09-03 2022-03-30 대한민국 무인비행체가 탑재된 특수차량을 이용한 재난원인 현장조사 방법 및 그 시스템

Also Published As

Publication number Publication date
JP2022119973A (ja) 2022-08-17
CN114636417A (zh) 2022-06-17
CN114636417B (zh) 2022-09-02
US11573579B1 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
JP7153820B2 (ja) 画像識別に基づく飛行体強制着陸経路計画方法、システムおよび装置
RU2669656C2 (ru) Обнаружение состояния с использованием обработки изображений
RU2694016C1 (ru) Обнаружение состояния объектов с использованием системы обработки изображения, соответствующий способ и постоянный машиночитаемый носитель
EP3581890B1 (en) Method and device for positioning
US11378718B2 (en) Unmanned aerial vehicle system and methods
US11270111B2 (en) Automated management of potentially hazardous objects near power lines
CN105158762A (zh) 识别和跟踪对流天气单体
US20210158157A1 (en) Artificial neural network learning method and device for aircraft landing assistance
US20230286556A1 (en) Autonomous drone for railroad track inspection
CN117576652A (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN117274375A (zh) 基于迁移学习网络模型与图像匹配的目标定位方法及系统
Vygolov et al. Enhanced, synthetic and combined vision technologies for civil aviation
Comert et al. Rapid mapping of forested landslide from ultra-high resolution unmanned aerial vehicle data
CN112346481A (zh) 一种无人机电力巡检作业的方法及系统
US20230069829A1 (en) Method and device for determining altitude obstacles
KR20220071822A (ko) 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량번호 식별 시스템
Dhulipudi et al. Multiclass geospatial object detection using machine learning-aviation case study
Liu et al. Runway detection during approach and landing based on image fusion
Ellis Inspection of power transmission lines using UAVs
Harris et al. Use of Machine Learning to Create a Database of Wires for Helicopter Wire Strike Prevention
Papić et al. Person Mobility Algorithm and Geographic Information System for Search and Rescue Missions Planning
Bharti et al. VLS-FWA: Real-time end-to-end neural network pipeline of vision-based landing system for fixed-wing aircraft
CN118397601A (zh) 基于视觉与地图联合检测的无人机紧急降落点检测方法
CN118918465A (zh) 无人机乡村道路检判装置与系统
CN118500422A (zh) 基于交通场景三维重建的驾驶辅助方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220603

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R150 Certificate of patent or registration of utility model

Ref document number: 7153820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150