JPWO2019176058A1 - 学習用データ生成方法、学習用データ生成装置及び学習用データ生成プログラム - Google Patents

学習用データ生成方法、学習用データ生成装置及び学習用データ生成プログラム Download PDF

Info

Publication number
JPWO2019176058A1
JPWO2019176058A1 JP2020506058A JP2020506058A JPWO2019176058A1 JP WO2019176058 A1 JPWO2019176058 A1 JP WO2019176058A1 JP 2020506058 A JP2020506058 A JP 2020506058A JP 2020506058 A JP2020506058 A JP 2020506058A JP WO2019176058 A1 JPWO2019176058 A1 JP WO2019176058A1
Authority
JP
Japan
Prior art keywords
aircraft
data
model
identification
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020506058A
Other languages
English (en)
Other versions
JP7007459B2 (ja
Inventor
修 小橋
修 小橋
大橋 心耳
心耳 大橋
好生 忠平
好生 忠平
幸大 加藤
幸大 加藤
貴宏 水野
貴宏 水野
法正 河越
法正 河越
真 竹下
真 竹下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIHON ONKYO ENGINEERING CO., LTD.
Original Assignee
NIHON ONKYO ENGINEERING CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIHON ONKYO ENGINEERING CO., LTD. filed Critical NIHON ONKYO ENGINEERING CO., LTD.
Publication of JPWO2019176058A1 publication Critical patent/JPWO2019176058A1/ja
Application granted granted Critical
Publication of JP7007459B2 publication Critical patent/JP7007459B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00Aircraft indicators or protectors not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/36Other airport installations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0082Surveillance aids for monitoring traffic from a ground station

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

航空機の識別に用いられる人工知能の学習済みモデルにさらなる学習をさせる場合に必要な学習用データを効率的に生成することができる。一態様に係る学習用データ生成方法は、特定の経路を撮像した画像上の航空機の外観データと、前記経路上の航空機から発信される電波の信号データと、前記経路上の航空機からの騒音を示す騒音データとのうちの2つのデータを取得する取得ステップS10と、取得された前記2つのデータのうちの一方を、航空機の属性を識別するための第1識別モデルに入力することにより、前記経路上の航空機の属性を識別する識別ステップS20と、前記2つのデータのうちの他方と、前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、航空機の属性を識別するための第2識別モデルの学習に用いられる学習用データを生成する生成ステップS30とを含む。

Description

本発明は、学習用データ生成方法、学習用データ生成装置及び学習用データ生成プログラムに関する。
都道府県等の自治体、防衛省、空港管理団体等は、特定の航路を通過する航空機(例えば、飛行機、ヘリコプタ、セスナ等)を監視して、航路を通過する航空機の運航実績情報を収集することがある。しかしながら、自治体、防衛省、空港管理団体等(以下、「航空機監視団体」という)において航空機運航実績情報を収集するためには、様々な航空機の機種(例えば、A380、B747、F−35、V−22等の機種)を識別するための知識等を有する専門人員が必要となり、かつ多くの労力が必要となる。そのため、航空機運航実績情報を収集することは航空機監視団体にとって負担となっている。
そこで、このような負担を軽減するため、航空機の機種を効率的に識別する技術(以下、「航空機識別技術」という)が種々提案されている。航空機識別技術の一例としては、航空機から発信されるトランスポンダ応答信号電波等の識別電波を傍受して、傍受した識別電波に基づいて航空機の機種を識別するものが挙げられる。(例えば、特許文献1及び2を参照。)
航空機識別技術の別の一例としては、航空機等の飛行物体が発生する音波を検知した場合に、レーザレーダによって飛行物体の画像を取得し、得られた飛行物体の画像に基づいてその飛行物体を識別することも提案されている。(例えば、特許文献3を参照。)さらに、航空機識別技術のさらなる別の一例としては、監視カメラ等の撮像装置によって移動体の画像を撮像し、撮像した画像から移動体の輪郭線に基づいて動体情報を生成し、動体情報に基づいて航空機、鳥等の検出対象の有無、種類、及び姿勢を推定することが提案されている。(例えば、特許文献4を参照。)
特開昭63−308523号公報 国際公開第02/052526号 特開2017−72557号公報 国際公開第2015/170776号
航空機の識別を行うにあたり、人工知能の学習済みモデルを用いる場合がある。この学習済みモデルによる識別の精度を上げるためにはさらなる学習をさせる必要があるが、その学習に用いられる大量の学習用データを用意することは容易ではない。
上記実情を鑑みて、航空機の識別に用いられる人工知能の学習済みモデルにさらなる学習をさせる場合に必要な学習用データを効率的に生成することが望まれている。
上記課題を解決すべく、一態様に係る学習用データ生成方法は、特定の経路を撮像した画像上の航空機の外観データと、前記経路上の航空機から発信される電波の信号データと、前記経路上の航空機からの騒音を示す騒音データとのうちの2つのデータを取得する取得ステップと、前記取得ステップにおいて取得された前記2つのデータのうちの一方を、航空機の属性を識別するための第1識別モデルに入力することにより、前記経路上の航空機の属性を識別する識別ステップと、前記取得ステップにおいて取得された前記2つのデータのうちの他方と、前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、航空機の属性を識別するための第2識別モデルの学習に用いられる学習用データを生成する生成ステップとを含む。
別の態様に係る学習用データ生成方法は、特定の経路を撮像した画像上の航空機の外観データと、前記経路上の航空機から発信される電波の信号データと、前記経路上の航空機からの騒音を示す騒音データとを取得する取得ステップと、前記取得ステップにおいて取得された3つのデータのうち、1つのデータを除く他の2つのデータと、航空機の属性を識別するための第1識別モデル及び第2識別モデルとを用いて、前記経路上の航空機の属性を識別する識別ステップと、前記取得ステップにおいて取得された前記1つのデータと、前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、航空機の属性を識別するための第3識別モデルの学習に用いられる学習用データを生成する生成ステップとを含む。
上記各態様に係る学習用データ生成方法によれば、航空機の識別に用いられる人工知能の学習済みモデルにさらなる学習をさせる場合に必要な学習用データを効率的に生成することができる。
図1は、第1及び第2実施形態に係る航空機運航実績情報の収集システムを設置した状態の一例を模式的に示す平面図である。 図2は、第1実施形態に係る航空機運航実績情報の収集システムの構成図である。 図3は、第1実施形態に係る収集システムを用いて離陸時の航空機の運航実績を収集することを説明するための図である。 図4は、第1実施形態に係る収集システムを用いて着陸時の航空機の運航実績を収集することを説明するための図である。 図5は、第1実施形態に係る収集装置にて用いられる画像の一例を示す模式図である。 図6は、第1実施形態に係る航空機運航実績情報の収集装置における画像式情報識別部の構成図である。 図7は、第1実施形態に係る収集装置における電波式情報識別部の構成図である。 図8は、第1実施形態に係る収集装置における音響式情報識別部の構成図である。 図9は、第1実施形態に係る航空機運航実績情報の収集方法の主な一例を示すフローチャートである。 画像式識別モデルの一例を示す説明図である。 電波式識別モデルの一例を示す説明図である。 音響式識別モデルの一例を示す説明図である。 学習用データ生成方法の一例を示すフローチャートである。 学習用データ生成装置の機能構成例を示す説明図である。 学習用データ生成装置のハードウェア構成例を示す説明図である。
第1及び第2実施形態に係る航空機運航実績情報の収集システム(以下、必要に応じて、単に「収集システム」という)について説明する。なお、第1及び第2実施形態に係る収集システムにおいて、運航実績情報を収集する対象となる航空機は、例えば、飛行機、ヘリコプタ、セスナ、飛行船、ドローン等であるとよい。しかしながら、かかる航空機は、飛行性能を有する機械であれば、これに限定されない。
また、本願明細書において、航空機の機種は、航空機の製造メーカ等に応じて定められた型番であるとよい。例えば、航空機の機種は、A380、B747、F−35、V−22等とすることができる。しかしながら、航空機の機種は、これに限定されず、特定の経路を通過可能であるか否かを識別できる程度の区分であればよい。
本願明細書において、航空機の所属は、航空機を管理又は運用する団体であるとよい。例えば、航空機の所属は、航空会社、軍用基地等とすることができる。また、航空機の所属は、民間及び軍用の別とすることもできる。
本願明細書において、航空機の変形モードは、航空機の運航状況に応じた種々の変形状態であるとよい。例えば、航空機が飛行機である場合、変形モードは、航空機のタイヤが航空機の外部に飛び出した状態である離着陸モード、又は航空機のタイヤが航空機の内部に格納した状態である飛行モードとすることができる。例えば、航空機がオスプレイである場合、具体的には、航空機の機種がV−22である場合、変形モードは、エンジンナセルが略水平な状態である固定翼モード、エンジンナセルが略垂直な状態である垂直離着陸モード、又はエンジンナセルが傾いた状態である転換モードとすることができる。
[第1実施形態]
第1実施形態に係る収集システムについて説明する。
[収集システムについて]
図1〜図4を参照して、第1実施形態に係る収集システム1について説明する。なお、図3及び図4においては、1台の航空機Pが経路Rに沿って移動する軌跡を示す。図1〜図4に示すように、収集システム1は、経路Rを通過する種々の航空機Pの運航実績情報を収集できるように構成される航空機運航実績情報の収集装置(以下、必要に応じて、単に「収集装置」という)2を有する。
収集システム1は、撮像装置3と、騒音検出装置4と、電波受信装置5と、音源探査装置6とをさらに有する。撮像装置3は、経路Rの画像Gを撮像可能とするように構成される。騒音検出装置4は、経路R及びその周辺の騒音レベルを検出可能とするように構成される。電波受信装置5は、経路Rを通過する航空機Pの電波を受信可能とするように構成される。音源探査装置6は、経路R及びその周辺にて、全方位に渡る音源からの音の到来方向を特定でき、かつ音源の音の強さを推定できるように構成される。このような撮像装置3、騒音検出装置4、電波受信装置5、及び音源探査装置6は収集装置2と電気的に接続される。
図1、図3、及び図4に示すように、収集システム1は、空中の経路R、すなわち、航路Rを通過する航空機Pの運航実績情報を収集可能とするように設置される。例えば、収集システム1は、略直線状に延びる滑走路A1の近傍に設置されるとよく、より詳細には、収集システム1は、滑走路A1に対して滑走路A1の延在方向の一方側に離れた位置に設置されるとよい。なお、収集システムにおいては、収集装置を、撮像装置、騒音検出装置、電波受信装置、及び音源探査装置の設置位置から離して設置することもできる。例えば、収集装置を、撮像装置、騒音検出装置、電波受信装置、及び音源探査装置の設置位置から離れた遠隔地に設置することもできる。この場合、収集装置は、撮像装置、騒音検出装置、電波受信装置、及び音源探査装置と無線又は有線通信によって接続されるとよい。
[撮像装置、騒音検出装置、電波受信装置、及び音源探査装置の詳細について]
最初に、撮像装置3、騒音検出装置4、電波受信装置5、及び音源探査装置6の詳細について説明する。図3及び図4に示すように、撮像装置3は、その撮像方向3aを航路Rに向けるように設置される。特に、撮像方向3aは、航路Rに加えて滑走路A1に向けられるとよい。さらに、撮像装置3は、撮像方向3aを一定とするように固定されるとよい。
図5に示すように、撮像装置3は、所定の撮像時間間隔にて、所定の撮影範囲Zを撮像可能とし、かつ撮像範囲Zを撮像した画像Gを得ることができるように構成されている。この撮像装置が撮像時間間隔にて複数回撮像を行う場合において、撮像時間間隔の下限値は、撮像装置3の連続撮像可能速度に応じて定められ、撮像時間間隔の上限値は、撮影範囲Zにて所定の経路を通過中の同一の航空機Pを撮像した2フレーム以上の画像Gを得ることができるように定められる。一例として、撮像時間間隔は約1秒とすることができる。
このような撮像装置3は、静止画を取得可能に構成されるデジタルカメラであるとよい。さらに、撮像装置3は、静止画に加えて、動画を取得可能に構成されてもよい。特に、撮像装置3は低照度カメラであるとよく、この場合、夜間飛行する航空機Pを正確に撮像することができる。なお、収集システムは複数の撮像装置を有することもできる。この場合、それぞれ複数の撮像装置により取得される複数の画像を用いることによって、収集システムにて航空機運航実績情報を収集する精度を向上させることができる。
騒音検出装置4は、音圧を測定可能に構成される少なくとも1つのマイクロホンを有するとよい。例えば、マイクロホンは、無指向性マイクロホンとすることができる。さらに、騒音検出装置4は、音響インテンシティを算出可能に構成されるとよい。電波受信装置5は、トランスポンダ応答信号電波等の電波を受信可能に構成されるアンテナを有するとよい。音源探査装置6は、指向性フィルタ機能によって、全方位に渡る音源からの音の到来方向を特定することと、音源の音の強さを推定することとを一度に行うことができるように構成されるとよい。音源探査装置6は、球バッフルマイクロホンを含むとよい。
[収集装置の詳細について]
ここで、本実施形態に係る収集装置2の詳細について説明する。特に明確に図示はしないが、収集装置2は、CPU(Central Processing Unit)等の演算部品、制御部品、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の記憶部品、無線又は有線型の入力接続部品、出力接続部品、及び入出力接続部品のような構成部品を有する。例えば、撮像装置3、騒音検出装置4、電波受信装置5、及び音源探査装置6のそれぞれが、入力接続部品又は入出力接続部品を介して収集装置2と電気的に接続されるとよい。
収集装置2はまた、これら構成部品と電気的に接続された回路を有する。収集装置2は、マウス、キーボード等の入力機器、及びディスプレイ、プリンタ等の出力機器を有する。収集装置2は、タッチパネル等の入出力機器を有してもよい。収集装置2は、入力機器又は入出力機器によって操作可能である。収集装置2は、その出力結果等を出力機器に表示可能である。
収集装置2は、演算部品、制御部品等を用いて、データの取得機能、判定機能、算出機能、識別機能、推定機能、補正機能、設定機能、記憶機能等のための演算又は制御を行うように構成される。収集装置2は、演算又は制御に用いられるデータ、演算結果等を、記憶部品に記憶又は記録できるように構成される。収集装置2は、その設定等を入力機器又は入出力機器によって変更可能に構成される。収集装置2は、それに記録又は記録された情報を出力機器又は入出力機器に表示できるように構成される。
図2に示すように、このような収集装置2が、撮像装置3と電気的に接続される画像取得部11を有する。画像取得部11は、撮像装置3により撮像された画像Gを取得する。特に、画像取得部11は、撮像装置3により撮像された複数フレームの画像Gを取得するとよい。図5に示すように、かかる画像取得部11は、航空機Pが航路R上を通過するときに、航空機Qを含む画像Gを取得することができる。
収集装置2は、画像取得部11により取得された画像G上における航空機Qの存在を認識可能とするように構成される航空機認識部12を有する。航空機認識部12は、画像取得部11により取得された複数の画像G間にて、特に、2つの画像G間にて位置を変化させた物体が認識された場合に、航空機Qの存在を認識するように構成されるとよい。
収集装置2は、騒音検出装置4と電気的に接続される騒音取得部13を有する。騒音取得部13は、騒音検出装置4にて検出された騒音レベル検出値を取得可能に構成される。そのため、騒音取得部13は、航路R上の航空機Pからの騒音レベル検出値を取得することができる。
収集装置2は、騒音取得部13により取得された騒音レベル検出値(騒音レベル取得値)が騒音レベル閾値を超えた騒音卓越状態が発生したか否かを判定する騒音卓越判定部14を有する。騒音卓越判定部14は、人工知能の学習済みモデルを用いて構成することができる。この場合、人工知能の学習済みモデルは、それぞれ複数の機種に応じて規定された複数の騒音レベル取得値サンプル等のような供試サンプルを学習用データとして入力することによって構築することができる。さらに、騒音卓越判定部14においては、飛行騒音の規制レベル、収集システム1の設置状況等に応じて、騒音レベル閾値は手動又は自動に変更可能である。特に、人工知能の学習済みモデルを用いる場合、追加の供試サンプルを人工知能の学習済みモデルに入力し、これによって、騒音レベル閾値が自動に変更されてもよい。
収集装置2は、騒音卓越判定部14の判定において騒音卓越状態が発生した場合に、騒音卓越状態の継続時間を算出する騒音継続時間算出部15を有する。収集装置2はまた、騒音継続時間算出部15により算出された継続時間算出値が継続時間閾値を超えたか否かを判定する騒音継続時間判定部16を有する。騒音継続時間判定部16は、人工知能の学習済みモデルを用いて構成することができる。この場合、人工知能の学習済みモデルは、複数の機種サンプル、それぞれ複数の機種に応じて規定された複数の騒音卓越状態の継続時間サンプル等のような供試サンプルを学習用データとして入力することによって構築することができる。さらに、騒音継続時間判定部16においては、継続時間閾値は手動又は自動に変更可能である。特に、人工知能の学習済みモデルを用いる場合、追加の供試サンプルを人工知能の学習済みモデルに入力し、これによって、継続時間閾値が自動に変更されてもよい。
収集装置2は、騒音測定機4により算出された音響インテンシティ算出値を取得可能に構成される音響インテンシティ取得部17を有する。収集装置2は、電波受信装置5と電気的に接続される電波取得部18を有する。電波取得部18は、電波受信装置5により受信された電波の信号(以下、必要に応じて「受信電波信号」という)を取得できるように構成される。そのため、電波取得部18は、航路R上の航空機Pが電波を発信した場合に、この電波の信号を取得することができる。さらに、収集装置2は、音源探査装置6と電気的に接続される音源方向取得部19を有する。音源方向取得部19は、音源探査装置6により特定された、音源からの音の到来方向情報(以下、「音源方向情報」という)を取得可能に構成される。
図2及び図6に示すように、収集装置2は、画像取得部11により取得された画像Gに基づいて各種情報を識別するように構成される画像式情報識別部20を有する。図5及び図6に示すように、画像式情報識別部20は、画像取得部11により取得された画像G上の航空機Qの外観データと、予め機種に応じて規定された航空機の外観サンプルとに基づいて、航路R上の航空機Pの機種を識別する画像式機種識別部21を有する。画像式機種識別部21においては、複数の機種を識別可能とすべく、予め複数の機種に応じて規定された複数の航空機の外観サンプルが用いられるとよい。
ここで、外観データは、画像G上における航空機Qの輪郭データq1、航空機Qの表面の模様データ(パターンデータ)、航空機Qの表面の色データ等を含むとよい。外観サンプルは、予め機種に応じて規定された航空機の輪郭サンプル、航空機の表面の模様サンプル(パターンサンプル)、航空機の表面の色サンプル等を含むとよい。例えば、画像式機種識別部21は、画像G上の航空機Qの輪郭データq1を複数の輪郭サンプルに対して照合し、この照合において、輪郭データq1との適合率が最も高い輪郭サンプルに応じた機種を、航路R上の航空機Pの機種として識別するとよい。
また、予め機種に応じて、輪郭サンプルと、模様サンプル及び色サンプルの少なくとも1つとの組み合わせを規定してもよい。この場合、画像式機種識別部は、輪郭データと、模様データ及び色データの少なくとも1つとを組み合わせた外観データを、輪郭サンプルと、模様サンプル及び色サンプルの少なくとも1つとを組み合わせた複数の外観サンプルに照合し、この照合において、外観データとの適合率が最も高い外観サンプルに応じた機種を、航路上の航空機の機種として識別するとよい。
ここで、予め機種に応じて規定された航空機の外観サンプルが、航空機Qの外観データに適合するものを有していないか、又は航空機Qの外観データとの適合率が極めて低いものしか有さない場合、画像式機種識別部21は、航路R上の航空機Pの機種を「未確認飛行物体」として識別するとよい。なお、画像式機種識別部は、画像取得部により取得された複数の画像上の航空機の外観データと、予め機種に応じて規定された航空機の外観サンプルとに基づいて、航路上の航空機の機種を識別してもよい。この場合、複数の画像のうち、外観データと外観サンプルとの適合率が最も高い画像に基づいて、航路上の航空機の機種が識別されるとよい。かかる画像式機種識別部21は、外観データを外観サンプルと照合する外観照合部21aと、この外観照合部21aの照合結果に基づいて航路R上の航空機Pの機種を推定する機種推定部21bとを有するとよい。
このような画像式機種識別部21は、人工知能の学習済みモデルを用いて構成することができる。この場合、人工知能の学習済みモデルは、それぞれ複数の機種に応じて規定された複数の外観サンプル等のような供試サンプルを学習用データとして入力することによって構築することができる。なお、人工知能の学習済みモデルを用いる場合、追加の供試サンプルを人工知能の学習済みモデルに入力し、これによって、外観データと外観サンプルとの適合条件、例えば、輪郭適合条件が補正されてもよい。
さらに、画像式機種識別部21は、航空機認識部12が画像G上における航空機Qの存在を認識した場合に、経路R上の航空機Pの機種を識別する。画像式機種識別部21は、航空機認識部12が画像G上における航空機Qの存在を認識しない場合であっても、騒音継続時間判定部16の判定にて騒音継続時間算出部15により算出された継続時間算出値が継続時間閾値を超えた場合には、経路R上の航空機Pの機種を識別する。この場合、画像式機種識別部21は、騒音レベル取得値が最大である時点から所定の時間の間に取得される画像Gを用いて、経路R上の航空機Pの機種を識別するとよい。
図5及び図6に示すように、画像式情報識別部20は、画像取得部11により取得された画像Gにおける航空機Qの機首q2の向きに基づいて、航路R上の航空機Pの移動方向Dを識別する画像式方向識別部22を有する。画像式方向識別部22は、画像Gにおける航空機Qの機首q2を抽出する機首抽出部22aと、この機首抽出部22aにより抽出された機首q2に基づいて航路R上における航空機Pの機首の向きを推定する方向推定部22bとを有するとよい。特に、かかる画像式方向識別部22は、航路R上の航空機Pが離陸した滑走路A1から離れる方向を向く離陸方向D1、及び航路R上の航空機Pが着陸予定の滑走路A1に接近する方向を向く着陸方向D2のいずれかを識別するように構成されるとよい。
なお、画像式方向識別部は、画像取得部により取得された複数の画像における航空機の機首の向きに基づいて、航路上の航空機の移動方向を識別してもよい。この場合、複数の画像のうち、画像式機種識別部21の識別にて外観データと外観サンプルとの適合率が最も高かった画像に基づいて、航路上の航空機の移動方向が識別されるとよい。
さらに、画像式方向識別部は、画像取得部により取得された複数の画像、特に、2つの画像における航空機の位置の差に基づいて、航路上の航空機の移動方向を識別するように構成することもできる。この場合、画像式方向識別部は、複数の画像における航空機の位置差を算出する位置差算出部と、この位置差算出部により算出された位置差の算出結果に基づいて航路上の航空機の移動方向を推定する方向推定部とを有するとよい。
画像式方向識別部22は、人工知能の学習済みモデルを用いて構成することができる。この場合、人工知能の学習済みモデルは、それぞれ複数の機種に応じて規定された複数の外観サンプル等のような供試サンプルを学習用データとして入力することによって構築することができる。なお、人工知能の学習済みモデルを用いる場合、追加の供試サンプルを人工知能の学習済みモデルに入力し、これによって、移動方向の識別条件が補正されてもよい。
さらに、画像式方向識別部22は、航空機認識部12が画像G上における航空機Qの存在を認識した場合に、航路R上の航空機Pの移動方向Dを識別する。画像式方向識別部22は、航空機認識部12が画像G上における航空機Qの存在を認識しない場合であっても、騒音継続時間判定部16の判定にて騒音継続時間算出部15により算出された継続時間算出値が継続時間閾値を超えた場合には、航路R上の航空機Pの移動方向Dを識別する。この場合、画像式方向識別部22は、騒音レベル取得値が最大である時点から所定の時間の間に取得される画像Gを用いて、航路R上の航空機Pの移動方向Dを識別するとよい。
図5及び図6に示すように、画像式情報識別部20は、画像取得部11により取得された画像G上の航空機Qの表面に表れる模様データq3と、予め航空機の所属に応じて規定された航空機の表面の模様サンプルとに基づいて、航路R上の航空機Pの所属を識別するように構成される画像式所属識別部23を有する。画像式所属識別部23においては、複数の所属を識別可能とすべく、予め複数の所属に応じて規定された複数の模様サンプルが用いられるとよい。具体的には、画像式所属識別部23は、画像G上の航空機Qの模様データq3を複数の模様サンプルに対して照合し、この照合において、模様データq3との適合率が最も高い模様サンプルに応じた所属を、航路R上の航空機Pの所属として識別するとよい。
ここで、予め所属に応じて規定された模様サンプルが、航空機Qの模様データq3に適合するものを有していないか、又は航空機Qの模様データq3との適合率が極めて低いものしか有さない場合、画像式所属識別部23は、航路R上の航空機Pの機種を「所属不明機」として識別するとよい。なお、画像式所属識別部は、画像取得部により取得された複数の画像上の航空機の模様データと、予め所属に応じて規定された航空機の模様サンプルとに基づいて、航路上の航空機の所属を識別してもよい。この場合、複数の画像のうち、模様データと模様サンプルとの適合率が最も高い画像に基づいて、航路上の航空機の所属が識別されるとよい。かかる画像式所属識別部23は、模様データq3と模様サンプルと照合する模様照合部23aと、この模様照合部23aの照合結果に基づいて航路R上の航空機Pの所属を推定する所属推定部23bとを有するとよい。
このような画像式所属識別部23は、人工知能の学習済みモデルを用いて構成することができる。この場合、人工知能の学習済みモデルは、それぞれ複数の所属に応じて規定された複数の模様サンプル等のような供試サンプルを学習用データとして入力することによって構築することができる。なお、人工知能の学習済みモデルを用いる場合、追加の供試サンプルを人工知能の学習済みモデルに入力し、これによって、模様データと模様サンプルとの適合条件が補正されてもよい。
さらに、画像式所属識別部23は、航空機認識部12が画像G上における航空機Qの存在を認識した場合に、航路R上の航空機Pの所属を識別する。画像式所属識別部23は、航空機認識部12が画像G上における航空機Qの存在を認識しない場合であっても、騒音継続時間判定部16の判定にて騒音継続時間算出部15により算出された継続時間算出値が継続時間閾値を超えた場合には、航路R上の航空機Pの所属を識別する。この場合、画像式所属識別部23は、騒音レベル取得値が最大である時点から所定の時間の間に取得される画像Gを用いて、航路R上の航空機Pの所属を識別するとよい。
図5及び図6に示すように、画像式情報識別部20は、画像取得部11により取得された画像G上の航空機Qの輪郭データq1と、予め変形モードに応じて規定された航空機の輪郭サンプルとに基づいて、航路R上の航空機Pの変形モードを識別するように構成される画像式変形モード識別部24を有する。画像式変形モード識別部24においては、複数の変形モードを識別可能とすべく、予め複数の変形モードに応じて規定された複数の輪郭サンプルが用いられるとよい。具体的には、画像式変形モード識別部24は、画像G上の航空機Qの輪郭データq1を複数の輪郭サンプルに対して照合し、この照合において、輪郭データq1との適合率が最も高い輪郭サンプルに応じた変形モードを、航路R上の航空機Pの変形モードとして識別するとよい。
なお、画像式変形モード識別部は、画像取得部により取得された複数の画像上の航空機の輪郭データと、予め変形モードに応じて規定された航空機の輪郭サンプルとに基づいて、航路上の航空機の変形モードを識別してもよい。この場合、複数の画像のうち、輪郭データと輪郭サンプルとの適合率が最も高いものに基づいて、航路上の航空機の変形モードが識別されるとよい。かかる画像式変形モード識別部24は、輪郭データq1と輪郭サンプルと照合する輪郭照合部24aと、この輪郭照合部24aの照合結果に基づいて航路R上の航空機Pの変形モードを推定する変形モード推定部24bとを有するとよい。
このような画像式変形モード識別部24は、人工知能の学習済みモデルを用いて構成することができる。この場合、人工知能の学習済みモデルは、それぞれ複数の変形モードに応じて規定された複数の輪郭サンプル等のような供試サンプルを学習用データとして入力することによって構築することができる。なお、人工知能の学習済みモデルを用いる場合、追加の供試サンプルを人工知能の学習済みモデルに入力し、これによって、輪郭データと輪郭サンプルとの適合条件が補正されてもよい。
さらに、画像式変形モード識別部24は、航空機認識部12が画像G上における航空機Qの存在を認識した場合に、航路R上の航空機Pの変形モードを識別する。画像式変形モード識別部24は、航空機認識部12が画像G上における航空機Qの存在を認識しない場合であっても、騒音継続時間判定部16の判定にて騒音継続時間算出部15により算出された継続時間算出値が継続時間閾値を超えた場合には、航路R上の航空機Pの変形モードを識別する。この場合、画像式変形モード識別部24は、騒音レベル取得値が最大である時点から所定の時間の間に取得される画像Gを用いて、航路R上の航空機Pの変形モードを識別するとよい。
図6に示すように、画像式情報識別部20は、航空機認識部12が画像G上における航空機Qの機数を識別可能に構成される機数識別部25を有する。機数識別部25は、航空機認識部12が画像G上における航空機Qの存在を認識した場合に、航路R上の航空機Pの機数を識別する。機数識別部25は、航空機認識部12が画像G上における航空機Qの存在を認識しない場合であっても、騒音継続時間判定部16の判定にて騒音継続時間算出部15により算出された継続時間算出値が継続時間閾値を超えた場合には、航路R上の航空機Pの機数を識別する。この場合、機数識別部25は、騒音レベル取得値が最大である時点から所定の時間の間に取得される画像Gを用いて、航路R上の航空機Pの機数を識別するとよい。
図2及び図7に示すように、収集装置2は、受信電波信号に基づいて各種情報を識別するように構成される電波式情報識別部26を有する。図7に示すように、電波式情報識別部26は、受信電波信号に基づいて、航路R上の航空機Pの機種を識別するように構成される電波式機種識別部27を有する。受信電波信号に含まれる機種識別情報は、航路R上の航空機P固有の機体番号情報であるとよい。この場合、電波式機種識別部27は、この機体番号情報に基づいて、航路R上の航空機Pの機種及び機体番号を識別するとよい。
電波式情報識別部26は、受信電波信号に基づいて、航路R上の航空機Pの移動方向Dを識別するように構成される電波式方向識別部28を有する。特に、電波式方向識別部28は、離陸方向D1及び着陸方向D2のいずれかを識別するように構成されるとよい。電波式情報識別部26は、受信電波信号に基づいて、航路R上の航空機Pの所属を識別するように構成される電波式所属識別部29を有する。電波式情報識別部26はまた、受信電波信号に基づいて、航路R上の航空機Pの変形モードを識別するように構成される電波式変形モード識別部30を有する。
電波式情報識別部26は、受信電波信号に基づいて、航路R上の航空機Pの飛行高度を識別するように構成される高度識別部31を有する。電波式情報識別部26は、受信電波信号に基づいて、航路R上の航空機Pの離陸時刻及び着陸時刻を識別するように構成される離着陸時刻識別部32を有する。電波式情報識別部26は、受信電波信号に基づいて、航路R上の航空機Pの使用滑走路を識別するように構成される滑走路識別部33を有する。特に、収集装置が、使用する滑走路を異なるものとする複数の航空機の運航実績情報を収集する場合に、滑走路識別部によって使用滑走路を識別することが有効となる。電波式情報識別部26は、受信電波信号に基づいて、航空機Pの運航経路を識別するように構成される運航経路識別部34を有する。
図2及び図8に示すように、収集装置2は、騒音取得部13により取得された騒音レベル取得値又は音響インテンシティ取得部17により取得された音響インテンシティ算出値(音響インテンシティ取得値)に基づいて、各種情報を識別するように構成される音響式情報識別部35を有する。図8に示すように、音響式情報識別部35は、騒音取得部13により取得された騒音レベルの取得値を周波数変換することによって騒音解析データを算出する騒音解析データ算出部36を有する。
音響式情報識別部35はまた、騒音解析データ算出部36により算出された騒音解析データと、予め機種に応じて規定された航空機の騒音解析サンプルとに基づいて、経路R上の航空機Pの機種を識別するように構成される音響式機種識別部37を有する。具体的には、音響式機種識別部37は、騒音解析データを複数の騒音解析サンプルに対して照合し、この照合において、騒音解析データとの適合率が最も高い騒音解析サンプルに応じた機種を、航路R上の航空機Pの機種として識別するとよい。かかる音響式機種識別部37は、騒音解析データと騒音解析サンプルと照合する騒音照合部37aと、この騒音照合部37aの照合結果に基づいて航路R上の航空機Pの機種を推定する機種推定部37bとを有するとよい。
このような音響式機種識別部37は、人工知能の学習済みモデルを用いて構成することができる。この場合、人工知能の学習済みモデルは、それぞれ複数の機種に応じて規定された複数の騒音解析サンプル等のような供試サンプルを学習用データとして入力することによって構築することができる。なお、人工知能の学習済みモデルを用いる場合、追加の供試サンプルを人工知能の学習済みモデルに入力し、これによって、騒音解析データと騒音解析サンプルとの適合条件が補正されてもよい。
さらに、音響式機種識別部37は、騒音継続時間判定部16の判定にて騒音継続時間算出部15により算出された継続時間算出値が継続時間閾値を超えた場合に、航路R上の航空機Pの機種を識別するとよい。
音響式情報識別部35は、音響インテンシティ取得部17により取得された音響インテンシティ取得値に基づいて、航路R上の航空機Pの移動方向Dを識別するように構成される音響式方向識別部38を有する。特に、音響式方向識別部38は、離陸方向D1及び着陸方向D2のいずれかを識別するように構成されるとよい。
図2に示すように、収集装置2は、音源方向取得部19により取得された音源方向情報に基づいて、航路R上の航空機Pの移動方向Dを識別するように構成される音源探査式方向識別部39を有する。特に、音源探査式方向識別部39は、離陸方向D1及び着陸方向D2のいずれかを識別するように構成されるとよい。
図2及び図6〜図8を参照すると、収集装置2は、画像式機種識別部21により識別される画像機種情報と、電波式機種識別部27により識別される電波機種情報及び音響式機種識別部37により識別される音響機種情報のうち少なくとも1つとから機種情報を選定するように構成される機種選定部40を有するとよい。例えば、機種選定部40は、電波取得部18が受信電波信号を取得した場合に、画像機種情報と、電波機種情報と、任意選択的に、音響機種情報とから電波機種情報を選定することができる。この場合、画像式機種識別部及び音響式機種識別部が、航路上の航空機の機種を識別しなくてもよい。
機種選定部40は、画像機種情報における外観データと外観サンプルとの適合率と、音響機種情報における騒音解析データと騒音解析サンプルとの適合率とのうち最も高いものに基づいて、画像機種情報及び音響機種情報から機種情報を選定することができる。特に、このような機種選定部40の機種選定は、電波取得部18が受信電波信号を取得しない場合に行われるとよい。
図2及び図6〜図8を参照すると、収集装置2は、画像式方向識別部22により識別される画像方向情報Eと、電波式方向識別部28により識別される電波方向情報、音響式方向識別部38により識別される音響方向情報、及び音源探査式方向識別部39により識別される音源探査方向情報のうち少なくとも1つとから、方向情報を選定する移動方向選定部41を有するとよい。特に、移動方向選定部41は、画像式方向識別部22により識別される画像離陸及び着陸方向情報E1,E2の別と、電波式方向識別部28により識別される電波離陸及び着陸方向情報の別、音響式方向識別部38により識別される音響離陸及び着陸方向情報の別、並びに音源探査式方向識別部39により識別される音源探査離陸及び着陸方向情報の別のうち少なくとも1つとから、離陸及び着陸方向情報の別を選定するとよい。
例えば、移動方向選定部41は、電波取得部18が受信電波信号を取得した場合に、画像方向情報Eと、電波方向情報と、任意選択的に、音響方向情報と、音源探査方向情報とから電波方向情報を選定することができる。また、移動方向選定部41は、画像式方向識別部22と、音響式方向識別部38及び音源探査式方向識別部39のうち少なくとも1つとの識別条件に応じて、画像方向情報と、音響方向情報及び音源探査方向情報のうち少なくとも1つとから方向情報を選定することもできる。このような移動方向選定部41の方向選定は、電波取得部18が受信電波信号を取得しない場合に行われるとよい。
図2及び図6及び図7を参照すると、収集装置2は、画像式所属識別部23により識別された画像所属情報と、電波式所属識別部29により識別された電波所属情報とから、所属情報を選定するように構成される所属選定部42を有するとよい。所属選定部42は、電波取得部18が受信電波信号を取得しない場合に画像所属情報を選定し、かつ電波取得部18が受信電波信号を取得する場合に電波所属情報を選定するとよい。
収集装置2は、画像式変形モード識別部24により識別された画像変形モード情報と、電波式変形モード識別部30により識別された電波変形モード情報とから、変形モード情報を選定するように構成される変形モード選定部43を有するとよい。変形モード選定部43は、電波取得部18が受信電波信号を取得しない場合に画像変形モード情報を選定し、かつ電波取得部18が受信電波信号を取得する場合に電波変形モード情報を選定するとよい。
図2及び図6〜図8を参照すると、収集装置2は、航路R上の航空機Pの通過時刻を識別する通過時刻識別部44を有する。通過時刻識別部44は、航空機認識部12が画像G上における航空機Qの存在を認識した場合に、その時刻を識別する。通過時刻識別部44は、航空機認識部12が画像G上における航空機Qの存在を認識しない場合であっても、騒音継続時間判定部16の判定にて騒音継続時間算出部15により算出された継続時間算出値が継続時間閾値を超えた場合には、その時刻を識別するとよい。また、通過時刻識別部44は、電波取得部18が受信電波信号を取得した場合には、優先的にその時刻を識別するとよい。
収集装置2は、画像機種情報を記憶するように構成される運航実績記憶部45を有する。運航実績記憶部45は、画像機種情報の代わりに、機種選定部40により選定された選定機種情報を記憶することもできる。この場合、運航実績記憶部45に記憶される後述の情報は、画像機種情報の代わりに、選定機種情報に関連付けられることとなる。
運航実績記憶部45は、画像方向情報Eを画像機種情報と関連付けた状態で記憶する。なお、運航実績記憶部45は、画像方向情報Eの代わりに、移動方向選定部41により選定された選定方向情報を画像機種情報と関連付けた状態で記憶することもできる。
特に、運航実績記憶部45は、画像離陸及び着陸方向情報E1,E2の別を画像機種情報と関連付けた状態で記憶するとよい。なお、運航実績記憶部45は、移動方向選定部41により選定された選定離陸及び着陸方向情報の別を画像機種情報と関連付けた状態で記憶することもできる。
運航実績記憶部45は、画像所属情報を画像機種情報と関連付けた状態で記憶することができる。なお、運航実績記憶部45は、画像所属情報の代わりに、所属選定部42により選定された選定所属情報を画像機種情報と関連付けた状態で記憶することもできる。
運航実績記憶部45は、画像変形モード情報を画像機種情報と関連付けた状態で記憶することができる。なお、運航実績記憶部45は、画像変形モード情報の代わりに、変形モード選定部43により選定された選定変形モード情報を画像機種情報と関連付けた状態で記憶することもできる。
運航実績記憶部45は、画像取得部11により取得された画像Gを画像機種情報と関連付けた状態で記憶することができる。運航実績記憶部45は、機数識別部25により識別された機数情報を画像機種情報と関連付けた状態で記憶することができる。
運航実績記憶部45は、高度識別部31により識別された飛行高度情報を画像機種情報と関連付けた状態で記憶することができる。運航実績記憶部45は、離着陸時刻識別部32により識別された離陸時刻情報又は着陸時刻情報を画像機種情報と関連付けた状態で記憶することができる。運航実績記憶部45は、滑走路識別部33により識別された使用滑走路情報を画像機種情報と関連付けた状態で記憶することができる。運航実績記憶部45は、運航経路識別部34により推定された運航経路を画像機種情報と関連付けた状態で記憶することができる。
このように運航実績記憶部45に記憶された各種情報は、例えば、表等にまとめられた状態で、ディスプレイ、プリンタ等の出力機器、タッチパネル等の入出力機器等に出力されるとよい。
図2及び図6を参照すると、収集装置2は、画像式機種識別部21が機種を識別したときに、その画像機種情報と、運航実績記憶部45にて既に記憶された同一の機種情報、すなわち、同一の画像機種情報及び/又は選定機種情報とに基づいて、航路R上の航空機Pの通過回数を算出する通過回数算出部46を有する。なお、通過回数算出部46は、機種選定部40が選定機種情報を選定したときに、その選定機種情報と、運航実績記憶部45にて既に記憶された同一の機種情報、すなわち、同一の画像機種情報及び/又は選定機種情報とに基づいて、航路R上の航空機Pの通過回数を算出してもよい。運航実績記憶部45は、通過回数算出部46により算出された通過回数算出値を画像機種情報と関連付けた状態で記憶することができる。
収集装置2は、予め設定された収集対象期間と、この収集対象期間内の通過回数算出値とに基づいて、同一機種の飛来頻度を算出する飛来頻度算出部47を有する。具体的には、飛来頻度算出部47は、収集対象期間に対する同収集対象期間内の通過回数算出値の割合である飛来頻度を算出する。かかる収集対象期間は、予め設定された開始時刻から予め設定された終了時刻までの期間であり、このような開始時刻及び終了時刻を設定することによって定義される。例えば、収集対象期間の長さは、所定の開始時刻から1時間、1日、1週間、1月、1年等とすることができる。運航実績記憶部45は、飛来頻度算出部47により算出された飛来頻度算出値を画像機種情報と関連付けた状態で記憶することができる。
[航空機の運航実績情報の収集方法について]
図9を参照して、本実施形態に係る収集装置2において、航空機Pの運航実績情報を収集する方法の主な一例について説明する。航路R上の航空機Pを撮像した画像Gを取得する(ステップS1)。画像G上の航空機Qの外観データと、予め機種に応じて規定された航空機の外観サンプルとに基づいて、航路R上の航空機Pの機種を識別する(ステップS2)。画像識別機種を記憶する(ステップS3)。
以上、本実施形態に係る収集装置2は、航路Rを撮像した画像Gを取得するように構成される画像取得部11と、この画像取得部11により取得された画像G上の航空機Qの外観データと、予め機種に応じて規定された航空機の外観サンプルとに基づいて、航路R上の航空機Pの機種を識別するように構成される画像式機種識別部21と、この画像式機種識別部21により識別された画像機種情報を記憶するように構成される運航実績記憶部45とを備える。そのため、トランスポンダ応答信号電波等の電波を発しない航空機Pが航路Rを通過する場合であっても、継続的に、例えば、24時間続けて機種情報を収集できる。よって、あらゆる航空機Pの運航実績情報を収集することができ、航空機Pの運航実績情報の収集を効率化することができる。
本実施形態に係る収集装置2は、画像取得部11により取得された画像G上における航空機Qの機首q2の向き又は複数の画像上における航空機の位置の差に基づいて、航路R上の航空機の移動方向Dを識別するように構成される画像式方向識別部22をさらに備え、運航実績記憶部45が、画像式方向識別部22により識別された画像方向情報を画像機種情報と関連付けた状態でさらに記憶する。そのため、トランスポンダ応答信号電波等の電波を発しない航空機Pが航路Rを通過する場合であっても、航空機Pの機種情報に加えて、航空機Pの移動方向情報を効率的に収集することができる。
本実施形態に係る収集装置2は、画像取得部11により取得された画像G上の航空機Qの表面に表れる模様データq3と、予め航空機の所属に応じて規定された航空機の表面の模様サンプルとに基づいて、航路R上の航空機Pの所属を識別するように構成される画像式所属識別部23をさらに備え、運航実績記憶部45が、画像式所属識別部23により識別された画像所属情報を画像機種情報に関連付けた状態でさらに記憶する。そのため、トランスポンダ応答信号電波等の電波を発しない航空機Pが航路Rを通過する場合であっても、航空機Pの機種情報に加えて、航空機Pの所属情報を効率的に収集することができる。
本実施形態に係る収集装置2は、画像取得部11により取得された画像G上の航空機Qの輪郭データq1と、予め変形モードに応じて規定された航空機の輪郭サンプルとに基づいて、航路R上の航空機Pの変形モードを識別するように構成される画像式変形モード識別部24をさらに備え、運航実績記憶部45が、画像式変形モード識別部24により識別された画像変形モード情報を画像機種情報に関連付けた状態でさらに記憶する。そのため、トランスポンダ応答信号電波等の電波を発しない航空機Pが航路Rを通過する場合であっても、航空機Pの機種情報に加えて、航空機Pの変形モード情報を効率的に収集することができる。
本実施形態に係る収集装置2は、画像式機種識別部21により識別された画像機種情報と、運航実績記憶部45にて既に記憶された画像機種情報とに基づいて、航路R上の航空機Pの通過回数を算出するように構成される通過回数算出部46をさらに備え、運航実績記憶部45が、通過回数算出部46により算出された通過回数情報を画像機種情報に関連付けた状態でさらに記憶する。そのため、トランスポンダ応答信号電波等の電波を発しない航空機Pが航路Rを通過する場合であっても、航空機Pの機種情報に加えて、航空機Pの通過回数情報を効率的に収集することができる。
本実施形態に係る収集装置2は、画像取得部11により取得された画像G上における航空機Qの存在を認識可能とするように構成される航空機認識部12をさらに備え、航空機認識部12が画像G上における航空機Qの存在を認識した場合に、画像式方向識別部22が航路R上の航空機Qの機種を識別する。そのため、トランスポンダ応答信号電波等の電波を発しない航空機Pが航路Rを通過する場合であっても、航空機Pの機種情報を確実に収集することができる。
本実施形態に係る収集装置2は、航路R上の航空機Pから発信される電波の信号を取得可能に構成される電波取得部18と、この電波取得部18が航路R上の航空機Pの電波を取得した場合に、その電波の信号に基づいて、航路R上の航空機Pの機種を識別するように構成される電波式機種識別部27とをさらに備え、運航実績記憶部45は、電波取得部18が航路R上の航空機Pの電波を取得した場合に、画像機種情報の代わりに、電波式機種識別部27により識別された電波機種情報を記憶する。そのため、トランスポンダ応答信号電波等の電波を発する航空機Pが航路Rを通過する場合には、精度の高い電波機種情報を収集するので、航空機Pの機種情報を効率的に収集することができる。
本実施形態に係る収集装置2は、航路R上の航空機Pからの騒音レベルを取得するように構成される騒音取得部13と、この騒音取得部13により取得された騒音レベルの取得値を周波数変換することによって騒音解析データを算出する騒音解析データ算出部36と、この騒音解析データ算出部36により算出された騒音解析データと、予め機種に応じて規定された航空機の騒音解析サンプルとに基づいて、航路R上の航空機Pの機種を識別するように構成される音響式機種識別部37とをさらに備え、運航実績記憶部45は、画像機種情報の代わりに、音響式機種識別部37により識別された音響機種情報を記憶できるよ。そのため、例えば、音響機種情報の識別精度が画像機種情報の識別精度よりも高い場合に、画像機種情報の代わりに音響機種情報を記憶すれば、航空機Pの機種情報をより効率的に収集することができる。
本実施形態に係る収集装置2は、航路R上の航空機Pからの騒音レベルを取得するように構成される騒音取得部13と、この騒音取得部13により取得された騒音レベルの取得値が騒音レベル閾値を超える騒音卓越状態が発生した場合に、騒音卓越状態の継続時間を算出するように構成される騒音卓越時間算出部14とをさらに備え、航空機認識部12が画像G上における航空機Qの存在を認識しない場合であっても、騒音卓越時間算出部14により算出された継続時間の算出値が継続時間閾値を超えた場合には、画像式機種識別部21が航路R上の航空機Pの機種を識別するように構成されている。そのため、画像G上で航空機Qの存在を見逃した場合であっても、航空機Pの機種情報を確実に収集することができる。
本実施形態に係る収集装置2においては、画像式方向識別部22が、航路R上の航空機Pが離陸した滑走路A1から離れる方向である離陸方向D1、及び航路R上の航空機Pが着陸予定の滑走路A1に接近する方向である着陸方向D2のいずれかを識別するように構成されている。そのため、トランスポンダ応答信号電波等の電波を発しない航空機Pが航路Rを通過する場合であっても、航空機Pの機種情報に加えて、航空機Pが離陸状態にあるか又は着陸状態にあるかの情報を効率的に収集することができる。
[第2実施形態]
第2実施形態に係る収集システムについて説明する。本実施形態に係る収集システムは、以下に説明する点を除いて、第1実施形態に係る収集システムと同様である。なお、本実施形態に係る航空機の運航実績情報の収集方法は、第1実施形態に係る航空機の運航実績情報の収集方法と同様であるので、その説明を省略する。
図1に示すように、本実施形態に係る収集システム51は、第1実施形態と同様の収集装置2、騒音検出装置4、及び電波受信装置5を有する。収集システム51は、撮像方向3aを除いて第1実施形態と同様の撮像装置3を有する。
収集システム51は、地上の誘導路A2を通過する航空機Pの運航情報を収集可能とするように設置される。例えば、収集システム51は、滑走路A1に対して略平行に略直線状に延びる誘導路A2の近傍に設置されるとよく、より詳細には、収集システム51は、誘導路A2に対してその幅方向の一方側の離れた位置に設置されている。特に、収集システム51は、誘導路A2に対してその幅方向にて滑走路A1とは反対側の離れた位置に設置されるとよい。撮像装置3の撮像方向3aは、地上に対して略平行であり、かつ誘導路A2に向けられるとよい。
以上、本実施形態に係る収集システム51においては、航路Rの代わりに誘導路A2を通過する航空機Pの運航情報を収集することに基づく効果を除いて、第1実施形態に係る収集システム1と同様の効果を得ることができる。さらに、本実施形態に係る収集システム51においては、空港、基地等のような地上施設内の誘導路A2において、当該地上施設に配備された航空機Pの配備情報を収集することができる。特に、誘導路A2を見通せる地点の画像Gを利用するので、地上における航空機Pの運用情報、例えば、機種別の駐機場所,タクシーイング移動経路等の情報を収集することができる。
[第3実施形態]
本実施形態は、航空機識別に用いられる人工知能の学習済みモデルに関する。このような学習済みモデルを識別モデルとも呼ぶ。識別モデルの例として、後述するように、画像式識別モデルと電波式識別モデルと音響式識別モデルとがある。
本実施形態における「識別モデル」とは、航空機に関するデータ(後述する外観データ、信号データ、騒音データなど)が入力されると、そのデータから当該航空機の属性を識別し、その属性を出力する系を意味する。識別モデルにおいては、航空機に関するデータと航空機の属性とが関係づけられている。識別モデルは、データベースとして具現化されていてもよいし、ニューラルネットワークなどの数学モデルとして具現化されていてもよく、又はロジスティック回帰などの統計モデルによって具現化されていてもよい。あるいは、識別モデルは、データベースと数学モデルと統計モデルのうちの2つ以上の組み合わせとして具現化することも可能である。
識別モデルの学習とは、人工知能における機械学習のみならず、広い意味で、航空機に関するデータと航空機の属性との関係を表す情報をその識別モデルに追加することを意味する。
図10に示すように、画像式識別モデルM1は、外観データDT1を入力とし、入力された外観データから航空機の属性AT1を識別し、該属性を出力する識別モデルである。外観データは、航路R、誘導路A2などの特定の経路を撮像した画像上の航空機の外観を表すデータである。この画像は、例えば、画像取得部11により取得することができる。外観データは、先に述べたように、画像G上における航空機Qの輪郭データq1、航空機Qの表面の模様データ(パターンデータ)、航空機Qの表面の色データ等を含むとよい。画像式識別モデルM1は、ニューラルネットワークとして構成することができるが、これに限定されない。
図11に示すように、電波式識別モデルM2は、信号データDT2を入力とし、入力された信号データから航空機の属性AT2を識別し、該属性を出力する識別モデルである。信号データは、上記経路上の航空機から発信される電波の信号データである。この電波は、例えば、電波受信装置5により受信することができる。電波の信号データの具体例として、その電波を発信した航空機固有の機体番号情報がある。電波式識別モデルM2は、データベースとして構成することができるが、これに限定されない。
図12に示すように、音響式識別モデルM3は、騒音データDT3を入力とし、入力された騒音データから航空機の属性AT3を識別し、該属性を出力する識別モデルである。この騒音データは、上記経路上の航空機からの騒音を示すデータである。例えば、騒音解析データ算出部36により算出される騒音解析データを騒音データDT3とすることができる。音響式識別モデルM3は、統計モデルとして構成することができるが、これに限定されない。
画像式識別モデルM1と、電波式識別モデルM2と、音響式識別モデルM3とはいずれも、既に一定程度の学習がなされているものとする。これを前提として、各識別モデルによる識別の精度を向上させるべく、各識別モデルにさらなる学習をさせる場合がある。このさらなる学習に用いられる学習用データの生成方法について以下に説明する。
図13に、学習用データ生成方法のフローを示す。本方法は、ステップS10の取得ステップと、ステップS20の識別ステップと、ステップS30の生成ステップとを含む。各ステップの詳細は後述する。そして、図14に、図13の学習用データ生成方法を実行する学習用データ生成装置100を示す。学習用データ生成装置100は、取得部110と、識別部120と、生成部130とを備えている。これら取得部、識別部及び生成部による処理の詳細は後述する。
図15に、学習用データ生成装置100のコンピュータハードウェア構成例を示す。学習用データ生成装置100は、CPU151と、インタフェース装置152と、表示装置153と、入力装置154と、ドライブ装置155と、補助記憶装置156と、メモリ装置157とを備えており、これらがバス158により相互に接続されている。
学習用データ生成装置100の機能を実現するプログラムは、CD−ROM等の記録媒体159によって提供される。プログラムを記録した記録媒体159がドライブ装置155にセットされると、プログラムが記録媒体159からドライブ装置155を介して補助記憶装置156にインストールされる。あるいは、プログラムのインストールは必ずしも記録媒体159により行う必要はなく、ネットワークを介して他のコンピュータからダウンロードすることもできる。補助記憶装置156は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置157は、プログラムの起動指示があった場合に、補助記憶装置156からプログラムを読み出して格納する。CPU151は、メモリ装置157に格納されたプログラムにしたがって学習用データ生成装置100の機能を実現する。インタフェース装置152は、ネットワークを通して収集装置2等の他のコンピュータに接続するためのインタフェースとして用いられる。表示装置153はプログラムによるGUI(Graphical User Interface)等を表示する。入力装置154はキーボード及びマウス等である。
以下、図13及び図14を参照して、学習用データ生成装置100により行われる学習用データ生成方法の詳細を説明する。まず、図13のステップS10において、取得部110は、外観データDT1と信号データDT2と騒音データDT3とのうちの2つのデータを取得する。
例えば、取得部110は、画像取得部11により取得された画像から外観データDT1を取得することができる。また、取得部110は、電波受信装置5により受信された電波から信号データDT2を取得することができる。さらに、取得部110は、騒音解析データ算出部36により算出された騒音解析データを騒音データDT3として取得することができる。
このステップS10において、外観データDT1及び信号データDT2が取得されたとして、後続のステップを説明する。
ステップS20において、識別部120は、取得部110により取得された外観データDT1を画像式識別モデルM1に入力することにより、上記経路上の航空機の属性AT1を得る。例えば、属性AT1として、オスプレイの機種である「V−22」が得られる。画像式識別モデルM1から属性候補とその属性候補の信頼度とのペアが複数出力された場合は、信頼度が最大である属性候補を属性AT1とすることができる。
ステップS30において、生成部130は、ステップS10において取得部110により取得された信号データDT2と、ステップS20において識別部120により識別された属性AT1とを関連付ける。この関連付けにより、信号データDT2及び属性AT1を有する学習用データが生成される。
以上が、学習用データ生成装置100により行われる学習用データ生成方法の一例である。ステップS30において生成された学習用データは、後に、電波式識別モデルM2の学習に用いられる。
[第3実施形態の変形例1]
上記と同様に、ステップS10において、外観データDT1及び信号データDT2が取得されたとする。この場合、ステップS20において、識別部120は、取得部110により取得された信号データDT2を電波式識別モデルM2に入力することにより、上記経路上の航空機の属性AT2を得ることができる。
そして、ステップS30において、生成部130は、ステップS10において取得部110により取得された外観データDT1と、ステップS20において識別部120により識別された属性AT2とを関連付けることができる。この関連付けにより、信号データDT1及び属性AT2を有する学習用データが生成される。本ステップにおいて生成された学習用データは、後に、画像式識別モデルM1の学習に用いられる。
[第3実施形態の変形例2]
ステップS10において、外観データDT1及び騒音データDT3が取得されたとする。ステップS20において、識別部120は、取得部110により取得された外観データDT1を画像式識別モデルM1に入力することにより、上記経路上の航空機の属性AT1を得ることができる。
ステップS30において、生成部130は、ステップS10において取得部110により取得された騒音データDT3と、ステップS20において識別部120により識別された属性AT1とを関連付けることができる。この関連付けにより、騒音データDT3及び属性AT1を有する学習用データが生成される。本ステップにおいて生成された学習用データは、後に、音響式識別モデルM3の学習に用いられる。
[第3実施形態の変形例3]
上記と同様に、ステップS10において、外観データDT1及び騒音データDT3が取得されたとする。ステップS20において、識別部120は、取得部110により取得された騒音データDT3を音響式識別モデルM3に入力することにより、上記経路上の航空機の属性AT3を得ることができる。
ステップS30において、生成部130は、ステップS10において取得部110により取得された外観データDT1と、ステップS20において識別部120により識別された属性AT3とを関連付けることができる。この関連付けにより、外観データDT1及び属性AT3を有する学習用データが生成される。本ステップにおいて生成された学習用データは、後に、画像式識別モデルM1の学習に用いられる。
[第3実施形態の変形例4]
ステップS10において、信号データDT2及び騒音データDT3とが取得されたとする。ステップS20において、識別部120は、取得部110により取得された信号データDT2を電波式識別モデルM2に入力することにより、上記経路上の航空機の属性AT2を得ることができる。
ステップS30において、生成部130は、ステップS10において取得部110により取得された騒音データDT3と、ステップS20において識別部120により識別された属性AT2とを関連付けることができる。この関連付けにより、騒音データDT3及び属性AT2を有する学習用データが生成される。本ステップにおいて生成された学習用データは、後に、音響式識別モデルM3の学習に用いられる。
[第3実施形態の変形例5]
上記と同様に、ステップS10において、信号データDT2及び騒音データDT3とが取得されたとする。ステップS20において、識別部120は、取得部110により取得された騒音データDT3を音響式識別モデルM3に入力することにより、上記経路上の航空機の属性AT3を得ることができる。
ステップS30において、生成部130は、ステップS10において取得部110により取得された信号データDT2と、ステップS20において識別部120により識別された属性AT3とを関連付けることができる。この関連付けにより、信号データDT2及び属性AT3を有する学習用データが生成される。本ステップにおいて生成された学習用データは、後に、電波式識別モデルM2の学習に用いられる。
[効果]
識別モデルの学習用データが多ければ多いほど学習後の識別の精度は上がるが、大量の学習用データを専門人員の手作業により準備することは容易ではない。これに対し、上記実施形態によれば、一定程度の学習がなされている1つの識別モデルを用いて、別の識別モデルの学習に用いられる学習用データを効率的に生成することができる。
[第4実施形態]
ステップS10において、取得部110は、3つのデータすなわち外観データDT1と信号データDT2と騒音データDT3とを取得することもできる。この場合、ステップS20は、以下の第1サブステップと第2サブステップとを含む。
第1サブステップにおいて、識別部120は、取得部110により取得された外観データDT1を画像式識別モデルM1に入力することにより、上記経路上の航空機の属性AT1を得る。同サブステップにおいて、識別部120はさらに、取得部110により取得された信号データDT2を電波式識別モデルM2に入力することにより、上記経路上の航空機の属性AT2を得る。
第2サブステップにおいて、識別部120は、第1サブステップにおいて得られた属性AT1と属性AT2とを組み合わせて単一の属性AT12(不図示)を得る。単一の属性AT12は、その信頼度が属性AT1及びAT2の各々の信頼度よりも高くなるように両属性が組み合わせられることにより得られる。
例えば、天候不良等により撮像条件が良くない場合は、外観データDT1の信頼度が比較的低くなる。すると、外観データDT1から得られる属性AT1の信頼度も比較的低くなる。同様に、電波の受信条件が良くない場合は、信号データDT2の信頼度が比較的低くなって、この信号データDT2から得られる属性AT2の信頼度も低くなる。また、騒音の検出条件によっては、騒音データDT3の信頼度が比較的低くなって、この騒音データDT3から得られる属性AT3の信頼度も低くなる。
そこで、各々が信頼度を有する属性AT1と属性AT2とをそれぞれ別個に扱うのではなく、両属性を組み合わせることで、属性AT1単独の信頼度及び属性AT2単独の信頼度のいずれよりも高い信頼度を有する単一の属性AT12を得ることが上記第2サブステップの趣旨である。本サブステップは、組み合わせられる両属性が互いに補完し合うことで、より高い信頼度を有する単一の属性が得られるという知見に基づいている。なお、本実施形態は、信頼度をどのように数値化するかという点に着目するものではない。
ステップS20の具体例を以下に説明する。まず、電波式識別モデルM2がデータベースとして構成されているものとする。このデータベースは、機体番号情報と航空機の所属との対応関係を管理する第1テーブルと、航空機の所属と航空機の機種との対応関係を管理する第2テーブルとを有する。
そして、例えば、第1サブステップにおいて、ボーイング747を表す「B747」、エアバスA380を表す「A380」、及びエアバスA340を表す「A340」という3つの属性候補(機種候補)を含む属性候補群が画像式識別モデルM1から得られる。これら3つの属性候補の信頼度はいずれも比較的低い。そのため、この段階では機種の特定が難しい。
同サブステップにおいて、信号データに含まれる機体番号情報から上記第1テーブルを用いて、シンガポール航空を表す「SIA」という属性候補(航空機の所属の候補)が得られ、この属性候補「SIA」から上記第2テーブルを用いて、属性候補(航空機の機種の候補)「A380」が得られるとする。
続く第2サブステップにおいては、第1サブステップにおいて画像式識別モデルM1から得られた3つの属性候補、すなわち「B747」、「A380」及び「A340」と、電波式識別モデルM2から得られた属性候補「A380」とが組み合わせられる。その結果、前者の属性候補群と後者の属性候補とに共通する属性候補「A380」が、単一の属性AT12として得られる。
続いてステップS30において、生成部130は、ステップS10において取得部110により取得された騒音データDT3と、第1サブステップ及び第2サブステップを含むステップS20において識別部120により識別された単一の属性AT12とを関連付ける。この関連付けにより、騒音データDT3及び単一の属性AT12を有する学習用データが生成される。本ステップにおいて生成された学習用データは、後に、音響式識別モデルM3の学習に用いられる。
[第4実施形態の変形例1]
ステップS20の第1サブステップにおいて、識別部120は、取得部110により取得された外観データDT1を画像式識別モデルM1に入力することにより、上記経路上の航空機の属性AT1を得る。同サブステップにおいて、識別部120はさらに、取得部110により取得された騒音データDT3を音響式識別モデルM3に入力することにより、上記経路上の航空機の属性AT3を得る。
続いて、第2サブステップにおいて、識別部120は、第1サブステップにおいて得られた属性AT1と属性AT3とを組み合わせて単一の属性AT13を得る。単一の属性AT13は、その信頼度が属性AT1及びAT3のいずれの信頼度よりも高くなるように、得られる。
このステップS20の具体例を以下に説明する。例えば、第1サブステップにおいて、画像式識別モデルM1から3つの属性候補(機種候補)として、「AH−1」(信頼度45%)と、「UH−1」(信頼度40%)と、「CH−53」(信頼度35%)とが得られる。なお、これら3つの属性候補はいずれもヘリコプタの機種である。
同サブステップにおいてさらに、音響式識別モデルM3から3つの属性候補(機種候補)として、「AH−1」(信頼度45%)と、「UH−1」(信頼度45%)と、「HH−60」(信頼度35%)とが得られる。なお、「HH−60」もヘリコプタの機種である。
続く第2サブステップにおいては、第1サブステップにおいて画像式識別モデルM1から得られた3つの属性候補と、音響式識別モデルM3から得られた3つの属性候補とが組み合わせられる。具体的には、前者の属性候補群及び後者の属性候補群の両群に属する属性候補については、信頼度が足し合わされる。足し合わされた信頼度をポイントと呼ぶ。つまり、両群に属する属性候補「AH−1」については45+45=90というポイントが得られ、同様に属性候補「UH−1」については40+45=85というポイントが得られる。前者の属性候補群にのみ属する属性候補「CH−53」については35+0=35というポイントが得られる。後者の属性候補群にのみ属する属性候補「HH−60」については0+35=35というポイントが得られる。そして、これら4つの属性候補のうち、最大のポイントを有する属性候補「AH−1」が、単一の属性AT13として得られる。
ステップS30において、生成部130は、ステップS10において取得部110により取得された信号データDT2と、第1サブステップ及び第2サブステップを含むステップS20において識別部120により識別された単一の属性AT13とを関連付ける。この関連付けにより、信号データDT2及び単一の属性AT13を有する学習用データが生成される。本ステップにおいて生成された学習用データは、後に、電波式識別モデルM2の学習に用いられる。
[第4実施形態の変形例2]
ステップS20の第1サブステップにおいて、識別部120は、取得部110により取得された信号データDT2を電波式識別モデルM2に入力することにより、上記経路上の航空機の属性AT2を得る。同サブステップにおいて、識別部120はさらに、取得部110により取得された騒音データDT3を音響式識別モデルM3に入力することにより、上記経路上の航空機の属性AT3を得る。
続いて、第2サブステップにおいて、識別部120は、第1サブステップにおいて得られた属性AT2と属性AT3とを組み合わせて単一の属性AT23を得る。単一の属性AT23は、その信頼度が属性AT2及びAT3のいずれの信頼度よりも高くなるように、得られる。
続いてステップS30において、生成部130は、ステップS10において取得部110により取得された外観データDT1と、第1サブステップ及び第2サブステップを含むステップS20において識別部120により識別された単一の属性AT23とを関連付ける。この関連付けにより、外観データDT1及び単一の属性AT23を有する学習用データが生成される。本ステップにおいて生成された学習用データは、後に、画像式識別モデルM1の学習に用いられる。
[効果]
本実施形態によれば、学習用データを効率的に生成することができることに加えて、学習用データに含まれる属性の信頼度を高めることができる。
なお、航空機の属性には、航空機の機種及び所属の他、上述の変形モード及び離陸・着陸の別(離陸中であるのか、又は着陸中であるのか)も含まれる。そして、画像式識別モデルM1、電波式識別モデルM2及び音響式識別モデルM3と、学習させる属性との関係は、以下の表に示すように定めることができる。
Figure 2019176058
この表に示すように、機種は3つのモデル全ての学習対象であることを示している。所属は、画像式識別モデルM1及び電波式識別モデルM2の学習対象であるが、音響式識別モデルM3の学習対象ではない。変形モードは、画像式識別モデルM1及び音響式識別モデルM3の学習対象であるが、電波式識別モデルM2の学習対象ではない。離陸・着陸の別は、画像式識別モデルM1及び電波式識別モデルM2の学習対象ではないものの、音響式識別モデルM3の学習対象とすることができる。
なお、離陸・着陸の別は、画像取得部11による画像から、機首方向と撮像装置3の位置とに基づいて判定することもできる。また、この離陸・着陸の別は、時間的に連続した複数の信号データの各々に含まれる航空機の高度データの変化から判定することもできる。このようにして得られた属性である離陸・着陸の別と騒音データとを学習用データとして、音響式識別モデルM3に学習させることができる。
ここまで本発明の実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、本発明は、その技術的思想に基づいて変形及び変更可能である。
1,51 収集システム
2 収集装置
11 画像取得部、12 航空機認識部、13 騒音取得部、14 騒音卓越判定部、15 騒音継続時間算出部、18 電波取得部
21 画像式機種識別部、22 画像式方向識別部、23 画像式所属識別部、24 画像式変形モード識別部、27 電波式機種識別部、36 騒音解析データ算出部、37 音響式機種識別部、45 運航実績記憶部、46 通過回数算出部
G 画像、Q 航空機、q1 輪郭データ、q2 機首、q3 模様データ、E 画像方向情報、E1 画像離陸方向情報、E2 画像着陸方向情報
A1 滑走路、A2 誘導路(経路)、P 航空機、R 航路(経路)、D 移動方向、D1 離陸方向、D2 着陸方向、M1 画像式識別モデル、M2 電波式識別モデル、M3 音響式識別モデル、100 学習用データ生成装置、110 取得部、120 識別部、130 生成部

Claims (16)

  1. 特定の経路を撮像した画像上の航空機の外観データと、前記経路上の航空機から発信される電波の信号データと、前記経路上の航空機からの騒音を示す騒音データとのうちの2つのデータを取得する取得ステップと、
    前記取得ステップにおいて取得された前記2つのデータのうちの一方を、航空機の属性を識別するための第1識別モデルに入力することにより、前記経路上の航空機の属性を識別する識別ステップと、
    前記取得ステップにおいて取得された前記2つのデータのうちの他方と、前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、航空機の属性を識別するための第2識別モデルの学習に用いられる学習用データを生成する生成ステップと
    を含む学習用データ生成方法。
  2. 前記取得ステップにおいて、前記外観データと前記信号データとが取得され、
    前記第1識別モデルが、外観データから航空機の属性を識別する画像式識別モデルであり、前記識別ステップにおいて、前記取得ステップにより取得された外観データを前記第1識別モデルに入力することにより、前記経路上の航空機の属性が識別され、
    前記第2識別モデルが、信号データから航空機の属性を識別する電波式識別モデルであり、前記生成ステップにおいて、前記取得ステップにより取得された信号データと前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、前記第2識別モデルの学習に用いられる学習用データが生成される、請求項1に記載の学習用データ生成方法。
  3. 前記取得ステップにおいて、前記信号データと前記外観データとが取得され、
    前記第1識別モデルが、信号データから航空機の属性を識別する電波式識別モデルであり、前記識別ステップにおいて、前記取得ステップにより取得された信号データを前記第1識別モデルに入力することにより、前記経路上の航空機の属性が識別され、
    前記第2識別モデルが、外観データから航空機の属性を識別する画像式識別モデルであり、前記生成ステップにおいて、前記取得ステップにより取得された外観データと前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、前記第2識別モデルの学習に用いられる学習用データが生成される、請求項1に記載の学習用データ生成方法。
  4. 前記取得ステップにおいて、前記外観データと前記騒音データとが取得され、
    前記第1識別モデルが、外観データから航空機の属性を識別する画像式識別モデルであり、前記識別ステップにおいて、前記取得ステップにより取得された外観データを前記第1識別モデルに入力することにより、前記経路上の航空機の属性が識別され、
    前記第2識別モデルが、騒音データから航空機の属性を識別する音響式識別モデルであり、前記生成ステップにおいて、前記取得ステップにより取得された騒音データと前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、前記第2識別モデルの学習に用いられる学習用データが生成される、請求項1に記載の学習用データ生成方法。
  5. 前記取得ステップにおいて、前記騒音データと前記外観データとが取得され、
    前記第1識別モデルが、騒音データから航空機の属性を識別する音響式識別モデルであり、前記識別ステップにおいて、前記取得ステップにより取得された騒音データを前記第1識別モデルに入力することにより、前記経路上の航空機の属性が識別され、
    前記第2識別モデルが、外観データから航空機の属性を識別する画像式識別モデルであり、前記生成ステップにおいて、前記取得ステップにより取得された外観データと前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、前記第2識別モデルの学習に用いられる学習用データが生成される、請求項1に記載の学習用データ生成方法。
  6. 前記取得ステップにおいて、前記信号データと前記騒音データとが取得され、
    前記第1識別モデルが、信号データから航空機の属性を識別する電波式識別モデルであり、前記識別ステップにおいて、前記取得ステップにより取得された信号データを前記第1識別モデルに入力することにより、前記経路上の航空機の属性が識別され、
    前記第2識別モデルが、騒音データから航空機の属性を識別する音響式識別モデルであり、前記生成ステップにおいて、前記取得ステップにより取得された騒音データと前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、前記第2識別モデルの学習に用いられる学習用データが生成される、請求項1に記載の学習用データ生成方法。
  7. 前記取得ステップにおいて、前記騒音データと前記信号データとが取得され、
    前記第1識別モデルが、騒音データから航空機の属性を識別する音響式識別モデルであり、前記識別ステップにおいて、前記取得ステップにより取得された騒音データを前記第1識別モデルに入力することにより、前記経路上の航空機の属性が識別され、
    前記第2識別モデルが、信号データから航空機の属性を識別する電波式識別モデルであり、前記生成ステップにおいて、前記取得ステップにより取得された信号データと前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、前記第2識別モデルの学習に用いられる学習用データが生成される、請求項1に記載の学習用データ生成方法。
  8. 特定の経路を撮像した画像上の航空機の外観データと、前記経路上の航空機から発信される電波の信号データと、前記経路上の航空機からの騒音を示す騒音データとを取得する取得ステップと、
    前記取得ステップにおいて取得された3つのデータのうち、1つのデータを除く他の2つのデータと、航空機の属性を識別するための第1識別モデル及び第2識別モデルとを用いて、前記経路上の航空機の属性を識別する識別ステップと、
    前記取得ステップにおいて取得された前記1つのデータと、前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、航空機の属性を識別するための第3識別モデルの学習に用いられる学習用データを生成する生成ステップと
    を含む学習用データ生成方法。
  9. 前記第1識別モデルが、外観データから航空機の属性を識別する画像式識別モデルであり、前記第2識別モデルが、信号データから航空機の属性を識別する電波式識別モデルであり、前記第3識別モデルが、騒音データから航空機の属性を識別する音響式識別モデルであり
    前記識別ステップにおいて、前記取得ステップにより取得された外観データ及び信号データを前記第1識別モデル及び前記第2識別モデルにそれぞれ入力することにより、前記第1識別モデルから第1属性候補群が得られ、前記第2識別モデルから第2属性候補群が得られ、前記第1属性候補群と前記第2属性候補群とを組み合わせることにより、前記経路上の航空機の属性である単一の属性が得られ、
    前記生成ステップにおいて、前記取得ステップにより取得された騒音データと前記識別ステップにより識別された前記単一の属性とを関連付けることにより、前記第3識別モデルの学習に用いられる学習用データが生成される、請求項8に記載の学習用データ生成方法。
  10. 前記第1識別モデルが、外観データから航空機の属性を識別する画像式識別モデルであり、前記第2識別モデルが、信号データから航空機の属性を識別する電波式識別モデルであり、前記第3識別モデルが、騒音データから航空機の属性を識別する音響式識別モデルであり
    前記識別ステップにおいて、前記取得ステップにより取得された外観データ及び騒音データを前記第1識別モデル及び前記第3識別モデルにそれぞれ入力することにより、前記第1識別モデルから第1属性候補群が得られ、前記第3識別モデルから第2属性候補群が得られ、前記第1属性候補群と前記第2属性候補群とを組み合わせることにより、前記経路上の航空機の属性である単一の属性が得られ、
    前記生成ステップにおいて、前記取得ステップにより取得された信号データと前記識別ステップにより識別された前記単一の属性とを関連付けることにより、前記第2識別モデルの学習に用いられる学習用データが生成される、請求項8に記載の学習用データ生成方法。
  11. 前記第1識別モデルが、外観データから航空機の属性を識別する画像式識別モデルであり、前記第2識別モデルが、信号データから航空機の属性を識別する電波式識別モデルであり、前記第3識別モデルが、騒音データから航空機の属性を識別する音響式識別モデルであり
    前記識別ステップにおいて、前記取得ステップにより取得された信号データ及び騒音データを前記第2識別モデル及び前記第3識別モデルにそれぞれ入力することにより、前記第2識別モデルから第1属性候補群が得られ、前記第3識別モデルから第2属性候補群が得られ、前記第1属性候補群と前記第2属性候補群とを組み合わせることにより、前記経路上の航空機の属性である単一の属性が得られ、
    前記生成ステップにおいて、前記取得ステップにより取得された外観データと前記識別ステップにより識別された前記単一の属性とを関連付けることにより、前記第1識別モデルの学習に用いられる学習用データが生成される、請求項8に記載の学習用データ生成方法。
  12. 前記航空機の属性が前記航空機の機種を含む、請求項1〜11のいずれか一項に記載の学習用データ生成方法。
  13. 特定の経路を撮像した画像上の航空機の外観データと、前記経路上の航空機から発信される電波の信号データと、前記経路上の航空機からの騒音を示す騒音データとのうちの2つのデータを取得する取得部と、
    前記取得部において取得された前記2つのデータのうちの一方を、航空機の属性を識別するための第1識別モデルに入力することにより、前記経路上の航空機の属性を識別する識別部と、
    前記取得部において取得された前記2つのデータのうちの他方と、前記識別部により識別された前記経路上の航空機の属性とを関連付けることにより、航空機の属性を識別するための第2識別モデルの学習に用いられる学習用データを生成する生成部と
    を備える学習用データ生成装置。
  14. 特定の経路を撮像した画像上の航空機の外観データと、前記経路上の航空機から発信される電波の信号データと、前記経路上の航空機からの騒音を示す騒音データとを取得する取得部と、
    前記取得部において取得された3つのデータのうち、1つのデータを除く他の2つのデータと、航空機の属性を識別するための第1識別モデル及び第2識別モデルとを用いて、前記経路上の航空機の属性を識別する識別部と、
    前記取得部において取得された前記1つのデータと、前記識別部により識別された前記経路上の航空機の属性とを関連付けることにより、航空機の属性を識別するための第3識別モデルの学習に用いられる学習用データを生成する生成部と
    を備えた学習用データ生成装置。
  15. 特定の経路を撮像した画像上の航空機の外観データと、前記経路上の航空機から発信される電波の信号データと、前記経路上の航空機からの騒音を示す騒音データとのうちの2つのデータを取得する取得ステップと、
    前記取得ステップにおいて取得された前記2つのデータのうちの一方を、航空機の属性を識別するための第1識別モデルに入力することにより、前記経路上の航空機の属性を識別する識別ステップと、
    前記取得ステップにおいて取得された前記2つのデータのうちの他方と、前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、航空機の属性を識別するための第2識別モデルの学習に用いられる学習用データを生成する生成ステップと
    をコンピュータに実行させる学習用データ生成プログラム。
  16. 特定の経路を撮像した画像上の航空機の外観データと、前記経路上の航空機から発信される電波の信号データと、前記経路上の航空機からの騒音を示す騒音データとを取得する取得ステップと、
    前記取得ステップにおいて取得された3つのデータのうち、1つのデータを除く他の2つのデータと、航空機の属性を識別するための第1識別モデル及び第2識別モデルとを用いて、前記経路上の航空機の属性を識別する識別ステップと、
    前記取得ステップにおいて取得された前記1つのデータと、前記識別ステップにより識別された前記経路上の航空機の属性とを関連付けることにより、航空機の属性を識別するための第3識別モデルの学習に用いられる学習用データを生成する生成ステップと
    をコンピュータに実行させる学習用データ生成プログラム。
JP2020506058A 2018-03-15 2018-03-15 学習用データ生成方法、学習用データ生成装置及び学習用データ生成プログラム Active JP7007459B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/010253 WO2019176058A1 (ja) 2018-03-15 2018-03-15 学習用データ生成方法、学習用データ生成装置及び学習用データ生成プログラム

Publications (2)

Publication Number Publication Date
JPWO2019176058A1 true JPWO2019176058A1 (ja) 2021-02-25
JP7007459B2 JP7007459B2 (ja) 2022-01-24

Family

ID=67907001

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020506058A Active JP7007459B2 (ja) 2018-03-15 2018-03-15 学習用データ生成方法、学習用データ生成装置及び学習用データ生成プログラム

Country Status (7)

Country Link
US (1) US20210118310A1 (ja)
JP (1) JP7007459B2 (ja)
KR (1) KR102475554B1 (ja)
CN (1) CN111902851B (ja)
AU (1) AU2018412712A1 (ja)
DE (1) DE112018007285T5 (ja)
WO (1) WO2019176058A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102483080B1 (ko) * 2022-01-07 2022-12-30 주식회사 이너턴스 인공지능을 활용한 항공기 소음 분류 및 추출 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329510A (ja) * 2002-05-08 2003-11-19 Nittobo Acoustic Engineering Co Ltd 航空機の多チャンネル方向推定装置
JP2013061155A (ja) * 2011-09-12 2013-04-04 Rion Co Ltd 航空機騒音監視方法及び航空機騒音監視装置
JP2016192007A (ja) * 2015-03-31 2016-11-10 日本電気株式会社 機械学習装置、機械学習方法、および機械学習プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63308523A (ja) 1987-06-11 1988-12-15 Nitsutoubou Onkyo Eng Kk 航空機騒音測定方法
JPH0966900A (ja) * 1995-09-01 1997-03-11 Hitachi Ltd 飛行状態監視方法とその装置
JPH09304065A (ja) * 1996-05-14 1997-11-28 Toshiba Corp 航空機位置検出装置
DE60112809T2 (de) 2000-12-25 2006-06-22 Nittobo Acoustic Engineering Co. Ltd. Verfahren zur messung der point-blank-kontrollpunktzeit eines flugzeugs
JP4355833B2 (ja) * 2006-10-13 2009-11-04 独立行政法人電子航法研究所 航空管制業務支援システム、航空機の位置を予測する方法及びコンピュータプログラム
US20110051952A1 (en) * 2008-01-18 2011-03-03 Shinji Ohashi Sound source identifying and measuring apparatus, system and method
JP2010044031A (ja) * 2008-07-15 2010-02-25 Nittobo Acoustic Engineering Co Ltd 航空機の識別方法、並びにそれを用いた航空機騒音の測定方法及び信号判定方法
CN101598795B (zh) * 2009-06-18 2011-09-28 中国人民解放军国防科学技术大学 基于遗传算法的光学相关目标识别与跟踪系统
DE102010020298B4 (de) * 2010-05-12 2012-05-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Erfassung von Verkehrsdaten aus digitalen Luftbildsequenzen
CN102820034B (zh) * 2012-07-16 2014-05-21 中国民航大学 一种民用航空器噪声感知与识别装置及其方法
CN102853835B (zh) * 2012-08-15 2014-12-31 西北工业大学 基于尺度不变特征变换的无人飞行器景象匹配定位方法
KR20140072442A (ko) * 2012-12-04 2014-06-13 한국전자통신연구원 차량 검지 장치 및 방법
WO2015170776A1 (ja) 2014-05-07 2015-11-12 日本電気株式会社 物体検出装置、物体検出方法および物体検出システム
CN103984936A (zh) * 2014-05-29 2014-08-13 中国航空无线电电子研究所 用于三维动态目标识别的多传感器多特征融合识别方法
JP2017072557A (ja) 2015-10-09 2017-04-13 三菱重工業株式会社 飛行物体探知システム及び飛行物体探知方法
US11593610B2 (en) * 2018-04-25 2023-02-28 Metropolitan Airports Commission Airport noise classification method and system
US11181903B1 (en) * 2019-05-20 2021-11-23 Architecture Technology Corporation Systems and methods of detecting and controlling unmanned aircraft systems
FR3103047B1 (fr) * 2019-11-07 2021-11-26 Thales Sa Procede et dispositif d'apprentissage par reseau de neurones artificiels pour l'aide a l'atterrissage d'aeronef
US20210158540A1 (en) * 2019-11-21 2021-05-27 Sony Corporation Neural network based identification of moving object
US20210383706A1 (en) * 2020-06-05 2021-12-09 Apijet Llc System and methods for improving aircraft flight planning
US11538349B2 (en) * 2020-08-03 2022-12-27 Honeywell International Inc. Multi-sensor data fusion-based aircraft detection, tracking, and docking
US20220366167A1 (en) * 2021-05-14 2022-11-17 Orbital Insight, Inc. Aircraft classification from aerial imagery
CN117296086A (zh) * 2021-06-09 2023-12-26 霍尼韦尔国际公司 飞行器识别
US20230108038A1 (en) * 2021-10-06 2023-04-06 Hura Co., Ltd. Unmanned aerial vehicle detection method and apparatus with radio wave measurement
EP4235627A1 (en) * 2022-02-24 2023-08-30 Honeywell International Inc. Learning based system and method for visual docking guidance to detect new approaching aircraft types

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003329510A (ja) * 2002-05-08 2003-11-19 Nittobo Acoustic Engineering Co Ltd 航空機の多チャンネル方向推定装置
JP2013061155A (ja) * 2011-09-12 2013-04-04 Rion Co Ltd 航空機騒音監視方法及び航空機騒音監視装置
JP2016192007A (ja) * 2015-03-31 2016-11-10 日本電気株式会社 機械学習装置、機械学習方法、および機械学習プログラム

Also Published As

Publication number Publication date
AU2018412712A1 (en) 2020-09-24
CN111902851A (zh) 2020-11-06
US20210118310A1 (en) 2021-04-22
WO2019176058A1 (ja) 2019-09-19
DE112018007285T5 (de) 2021-04-01
KR102475554B1 (ko) 2022-12-08
CN111902851B (zh) 2023-01-17
KR20200130854A (ko) 2020-11-20
JP7007459B2 (ja) 2022-01-24

Similar Documents

Publication Publication Date Title
US11733042B2 (en) Information processing apparatus, information processing method, program, and ground marker system
US11827352B2 (en) Visual observer for unmanned aerial vehicles
GB201219194D0 (en) Identification and analysis of aircraft landing sites
CN108121350B (zh) 一种控制飞行器降落的方法以及相关装置
US20210225182A1 (en) Acoustic based detection and avoidance for aircraft
Zarandy et al. A novel algorithm for distant aircraft detection
JP7007459B2 (ja) 学習用データ生成方法、学習用データ生成装置及び学習用データ生成プログラム
CN110211159A (zh) 一种基于图像视频处理技术的飞机位置检测系统及方法
JP6949138B2 (ja) 航空機運航実績情報の収集装置
US20220011786A1 (en) Correlated motion and detection for aircraft
KR101410135B1 (ko) 항공관제 데이터를 이용한 관제오류 분석장치
JP2023135607A (ja) マルチスケールオブジェクト探知装置及び方法
Wilson et al. Flight test and evaluation of a prototype sense and avoid system onboard a scaneagle unmanned aircraft
US11721092B2 (en) Event analysis system and event analysis method
US20210157338A1 (en) Flying body control apparatus, flying body control method, and flying body control program
CN218332660U (zh) 一种飞行数据智能采集记录设备
Niture et al. AI Based Airplane Air Pollution Identification Architecture Using Satellite Imagery
US20180197301A1 (en) System and method for detecting and analyzing airport activity
CN118306570A (en) System, method and storage medium for operating an aircraft during a climb phase of flight
CN113534849A (zh) 集成机器视觉的飞行组合导引系统、方法和介质
PL431020A1 (pl) Sposób namierzania i śledzenia obiektów w czasie rzeczywistym i układ do realizacji tego sposobu
Kumar et al. Machine-Learning Groundwork and Cluster Analysis for Vortex Detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220106

R150 Certificate of patent or registration of utility model

Ref document number: 7007459

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150