JP7127361B2 - 情報処理プログラム、情報処理方法、および情報処理装置 - Google Patents

情報処理プログラム、情報処理方法、および情報処理装置 Download PDF

Info

Publication number
JP7127361B2
JP7127361B2 JP2018096534A JP2018096534A JP7127361B2 JP 7127361 B2 JP7127361 B2 JP 7127361B2 JP 2018096534 A JP2018096534 A JP 2018096534A JP 2018096534 A JP2018096534 A JP 2018096534A JP 7127361 B2 JP7127361 B2 JP 7127361B2
Authority
JP
Japan
Prior art keywords
aerial vehicle
unmanned aerial
predetermined object
information processing
prohibited
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018096534A
Other languages
English (en)
Other versions
JP2019200734A (ja
Inventor
美里 小竹
聡一 酒井
一智 吉竹
匡宏 田村
八重子 山下
大明 横山
勇人 對馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018096534A priority Critical patent/JP7127361B2/ja
Publication of JP2019200734A publication Critical patent/JP2019200734A/ja
Application granted granted Critical
Publication of JP7127361B2 publication Critical patent/JP7127361B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。
従来、人が搭乗しなくても飛行することができる無人航空機がある。無人航空機は、例えば、人の無線操縦にしたがって飛行したり、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）座標に基づいて飛行したりする。無人航空機は、具体的には、ドローン（Ｄｒｏｎｅ）と呼ばれるマルチコプターである。
先行技術としては、例えば、撮影したライブ画像と、特定画像とを比較して、ライブ画像から抽出したい対象を認識した際に、検知した現在位置を出力するものがある。また、例えば、無線通信装置から基地局を介して受信される移動体の位置情報に基づいて、移動体が移動体の規制に関連するエリアに存在するかを判定する技術がある。また、例えば、監視対象の移動が検出され、空中移動機により移動しようとしたときに、監視対象が予め設定された侵入禁止領域に移動した場合、水平移動をせずに上昇させる技術がある。
特開２０１７－１６２７１号公報 特開２０１７－１３５５０７号公報 特開２０１５－２５２２号公報
しかしながら、従来技術では、無人航空機の進入が好ましくないエリアがあっても、無人航空機の進入が好ましくないエリアへの無人航空機の進入を抑制することが難しい。例えば、人が地図情報を基に無人航空機の進入が好ましくないエリアを無人航空機に設定し、無人航空機がＧＰＳ座標を基に設定されたエリアへの進入を回避することが考えられるが、設定するエリアの数が増加するほど人の作業負担が増加してしまう。
１つの側面では、本発明は、無人航空機の進入が禁止された領域への無人航空機の進入を抑制することを目的とする。
１つの実施態様によれば、無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する情報処理プログラム、情報処理方法、および情報処理装置が提案される。
一態様によれば、無人航空機の進入が禁止された領域への無人航空機の進入を抑制することが可能になる。
図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。 図２は、無人航空機管理システム２００の一例を示す説明図である。 図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。 図４は、無人航空機１１０のハードウェア構成例を示すブロック図である。 図５は、情報処理装置１００の機能的構成例を示すブロック図である。 図６は、無人航空機管理システム２００の具体的な機能的構成例を示すブロック図である。 図７は、ＤＬエンジン部６０２の具体的な機能的構成例を示すブロック図（その１）である。 図８は、ＤＬエンジン部６０２の具体的な機能的構成例を示すブロック図（その２）である。 図９は、進入不可エリアの一例を示す説明図である。 図１０は、学習モデルを学習する一例を示す説明図（その１）である。 図１１は、学習モデルを学習する一例を示す説明図（その２）である。 図１２は、学習モデルを学習する一例を示す説明図（その３）である。 図１３は、確信度を算出する一例を示す説明図である。 図１４は、進入不可エリアデータを取得する一例を示す説明図である。 図１５は、進入するか否かを判定する一例を示す説明図である。 図１６は、ドローン６００を制御する一例を示す説明図である。 図１７は、データセット用意処理手順の一例を示すフローチャートである。 図１８は、学習処理手順の一例を示すフローチャートである。 図１９は、撮像処理手順の一例を示すフローチャートである。 図２０は、飛行制御処理手順の一例を示すフローチャートである。 図２１は、全体処理手順の一例を示すフローチャートである。 図２２は、ＤＬエンジン処理手順の一例を示すフローチャートである。 図２３は、進入不可エリアデータ取得処理手順の一例を示すフローチャートである。 図２４は、方角計算処理手順の一例を示すフローチャートである。
以下に、図面を参照して、本発明にかかる情報処理プログラム、情報処理方法、および情報処理装置の実施の形態を詳細に説明する。
（実施の形態にかかる情報処理方法の一実施例）
図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。図１において、情報処理装置１００は、無人航空機１１０に関する無人航空機管理システムを制御するコンピュータである。無人航空機１１０は、例えば、ドローンである。
ここで、無人航空機１１０が飛行する際、セキュリティ担保、プライバシー保護、人の安全確保、または、無人航空機１１０の故障防止などの観点から、無人航空機１１０の進入を禁止することが望まれる領域が存在する。無人航空機１１０の進入を禁止することが望まれる領域は、例えば、所定の物体を基準とした領域である。所定の物体を基準とした領域は、例えば、所定の物体の性質に合わせた形状であることが好ましい。所定の物体の性質は、例えば、所定の物体の種類、角度、大きさ、向きなどである。以下の説明では、無人航空機１１０の進入を禁止する領域を「進入不可エリア」と表記する場合がある。
例えば、セキュリティ担保の観点から、国の重要施設や重要文化財や企業の研究施設への進入を禁止することが望まれる。また、例えば、プライバシー保護の観点から、プールの周囲の領域への進入を禁止することが望まれる。また、例えば、人の安全確保の観点から、人の上空への進入を禁止することが望まれる。また、例えば、人の安全確保の観点から、消火栓のホース取り付け箇所の前、または、消火栓の扉の前などの領域への進入を禁止することが望まれる。また、例えば、無人航空機１１０の故障防止の観点から、火の気の周囲の領域への進入を禁止することが望まれる。
これに対し、例えば、人が地図情報を基に、進入不可エリアを無人航空機１１０に設定し、無人航空機１１０がＧＰＳ座標を基に、設定された進入不可エリアに接近したか否かを判定し、設定された進入不可エリアへの進入を回避するようにする場合が考えられる。しかしながら、この場合では、進入不可エリアへの無人航空機１１０の進入を抑制することが難しい。
例えば、進入不可エリアが増加するほど、人の作業負担が増加してしまう。また、例えば、進入不可エリアを設定する際、進入不可エリアの基準とする物体の性質を考慮することが好ましいため、人の作業負担が増加してしまう。具体的には、プールに関する進入不可エリアは、盗撮防止のためにプールの周囲の一定領域も含むことが好ましい。また、具体的には、消火栓に関する進入不可エリアは、消火栓のホース取り付け箇所の前、または、消火栓の扉の前などの一定領域を含むことが好ましい。このように、人の作業負担が増加してしまうため、進入不可エリアへの無人航空機１１０の進入を抑制することが難しくなる。
また、例えば、新しく施設が建造され、新しい進入不可エリアが発生した場合、無人航空機１１０に、新しい進入不可エリアを設定し直さなければ、無人航空機１１０は、新しい進入不可エリアに進入してしまうことがある。一方で、既存の施設が撤去され、進入不可エリアが消滅した場合、無人航空機１１０は、進入不可エリアを設定し直さなければ、進入可能になった領域に進入することができず、効率よく移動することが難しくなることがある。地図情報から屋内の詳細な構造を把握することが難しいと、屋内の領域に進入不可エリアを設定することが難しい。また、電波の到達しにくい屋内では、無人航空機１１０が、ＧＰＳ座標を基に進入不可エリアに接近したか否かを判定し、進入不可エリアへの進入を回避することが難しくなる。
ほかにも、様々な形状の進入不可エリアが写った大量の画像を用意し、無人航空機１１０が撮像した画像を入力すると、無人航空機１１０が撮像した画像の中から進入不可エリアを直接検出することが可能な学習モデルを機械学習しようとする場合が考えられる。しかしながら、この場合では、進入不可エリアの基準となる所定の物体が特徴的であっても、所定の物体の周囲の領域は特徴的ではないことがあり、学習モデルを学習することが難しく、進入不可エリアへの無人航空機１１０の進入を抑制することが難しい。
例えば、プールの周囲の領域を進入不可エリアとして扱う場合、プールごとに周囲の領域における床材が異なり、または、プールごとに併設される施設が異なるため、プールの周囲の領域を直接検出することが可能な学習モデルを機械学習することは難しい。
そこで、本実施の形態では、地図情報がなくても進入不可エリアを設定することができ、無人航空機１１０が撮像した撮像画像に基づいて、進入不可エリアへの無人航空機１１０の進入を抑制することができる情報処理方法について説明する。
図１において、無人航空機１１０は、撮像装置を有する。撮像装置は、例えば、３６０度カメラである。無人航空機１１０は、撮像装置が撮像した撮像画像１２０を情報処理装置１００に送信する。無人航空機１１０は、例えば、ドローンである。図１の例では、無人航空機１１０の近くに消火栓１４０がある状況である。
情報処理装置１００は、記憶部を有する。記憶部は、所定の物体が写った教師画像ごとに、所定の物体の教師画像上での位置を特定する情報と、所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する。所定の物体は、進入不可エリアの基準となる物体である。所定の物体は、例えば、重要施設、研究施設、寺や神社、消火栓、プールや池などの水場、花火や蝋燭などの火の気、照明装置、農作物、人、または、動物などである。情報処理装置１００は、画像に所定の物体が写っているか否かを検出可能な学習モデル１３１を含むＤＬ（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）エンジン１３０を有する。
情報処理装置１００は、無人航空機１１０が有する撮像装置が撮像した撮像画像１２０から所定の物体を検出する。情報処理装置１００は、例えば、ドローンが有する３６０度カメラが撮像した３６０度カメラ画像を取得する。そして、情報処理装置１００は、ＤＬエンジン１３０を用いて、３６０度カメラ画像から消火栓１４０を検出する。
情報処理装置１００は、記憶部を参照し、検出した所定の物体の撮像画像１２０上での位置に基づいて、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。禁止領域は、例えば、進入不可エリアである。情報処理装置１００は、例えば、消火栓１４０のホース取り付け箇所の前の領域を含む進入不可エリア１５０に、ドローンが進入する可能性があるか否かを判定する。
情報処理装置１００は、進入する可能性があると判定した場合、記憶部を参照し、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に関する情報を出力する。例えば、禁止領域に関する情報は、記憶部に記憶された、禁止領域を特定する情報に基づき生成される制御指示である。情報処理装置１００は、制御情報を用いて、例えば、進入する可能性があると判定した場合、ドローンと通信し、進入不可エリア１５０に進入しないように、ドローンの飛行を制御する。また、例えば、禁止領域に関する情報は、記憶部に記憶された、禁止領域を特定する情報に基づき生成される通知である。情報処理装置１００は、例えば、進入不可エリア１５０が存在する方向を、ドローンの操縦者に通知してもよい。
これにより、情報処理装置１００は、禁止領域への無人航空機１１０の進入を抑制することができる。また、情報処理装置１００は、所定の物体の性質に合わせて、所定の物体を基準とした禁止領域の形状を変更可能にすることができる。このため、情報処理装置１００は、利用者によって無人航空機１１０の進入を禁止することが望まれる領域を、正確に禁止領域として特定可能にすることができる。また、情報処理装置１００は、所定の物体の性質に合わせて、所定の物体の周囲であっても進入可能な領域を設定可能にすることができる。このため、情報処理装置１００は、所定の物体の性質を考慮せずに、一律で無人航空機１１０が所定の物体に接近しないようにする場合に比べて、無人航空機１１０が効率的に飛行可能なようにすることができる。
また、情報処理装置１００は、無人航空機１１０を飛行させようとする範囲内で、所定の物体がどの位置に配置されているかを、利用者が予め設定せずに済むようにすることができ、利用者の作業負担の低減化を図ることができる。また、情報処理装置１００は、無人航空機１１０を飛行させようとする範囲内で、所定の物体が複数存在していても、それぞれの物体を基準とした禁止領域を、利用者が予め設定せずに済むようにすることができ、利用者の作業負担の低減化を図ることができる。
また、情報処理装置１００は、無人航空機１１０を飛行させようとする範囲内で、所定の物体が新たに設置され、または、撤去されても、所定の物体を基準とした禁止領域を、利用者が設定し直さずに済むようにすることができる。このため、情報処理装置１００は、利用者の作業負担の低減化を図ることができる。また、情報処理装置１００は、所定の物体の撤去前に禁止領域であった領域に、所定の物体の撤去後は、無人航空機１１０が進入可能なようにすることができ、無人航空機１１０が効率的に飛行可能なようにすることができる。
また、情報処理装置１００は、電波の到達しにくい屋内で、無人航空機１１０を飛行させようとする場合も、禁止領域への無人航空機１１０の進入を抑制することができる。また、情報処理装置１００は、禁止領域の基準となる所定の物体を検出してから、検出した所定の物体を基準とした禁止領域を特定することができる。このため、情報処理装置１００は、禁止領域を直接検出する場合に比べて、禁止領域を正確に検出可能なようにすることができる。
また、情報処理装置１００は、地図情報からは屋内の構造を把握することが難しくても、屋内に禁止領域があれば、禁止領域への無人航空機１１０の進入を抑制することができる。また、情報処理装置１００は、無人航空機１１０の操縦者が、無人航空機１１０が何の物体の上空を飛行しているかを目視困難な場所にいても、禁止領域への無人航空機１１０の進入を抑制することができる。また、情報処理装置１００は、無人航空機１１０が、プライバシー保護の観点から禁止領域に接近した場合、無人航空機１１０が撮像した撮像画像を破棄または加工させ、プライバシー保護を図るようにしてもよい。
また、無人航空機１１０の操縦者が、無人航空機１１０が撮像した３６０度カメラ画像を見ながら、禁止領域への無人航空機１１０の進入を回避するように、無人航空機１１０を操縦する場合が考えられる。しかしながら、この場合では、無人航空機１１０の操縦者は、３６０度カメラ画像が歪曲していると、禁止領域と無人航空機１１０との位置関係が掴みにくいことがあり、禁止領域への無人航空機１１０の進入を回避することが難しいことがある。これに比べ、情報処理装置１００は、無人航空機１１０の操縦者の感覚によらず、３６０度カメラ画像が歪曲していても、禁止領域への無人航空機１１０の進入を抑制することができる。
（無人航空機管理システム２００の一例）
次に、図２を用いて、図１に示した情報処理装置１００を適用した、無人航空機管理システム２００の一例について説明する。
図２は、無人航空機管理システム２００の一例を示す説明図である。図２において、無人航空機管理システム２００は、情報処理装置１００と、１以上の無人航空機１１０とを含む。無人航空機管理システム２００において、情報処理装置１００と無人航空機１１０とは、例えば、無線通信により接続される。
情報処理装置１００は、無人航空機管理システム２００を制御するコンピュータである。情報処理装置１００は、無人航空機１１０と無線通信し、無人航空機１１０が有する撮像装置が撮像した撮像画像を取得する。撮像装置は、例えば、３６０度カメラである。情報処理装置１００は、撮像画像に基づいて、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入が抑制されるように、無人航空機１１０の飛行を制御し、または、無人航空機１１０の操縦者に操縦指針を通知する。情報処理装置１００は、例えば、サーバ、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。
無人航空機１１０は、人の無線操縦にしたがって飛行したり、ＧＰＳ座標に基づいて飛行したりする飛行機械である。無人航空機１１０は、撮像装置を有する。無人航空機１１０は、情報処理装置１００と無線通信し、撮像装置が撮像した撮像画像を情報処理装置１００に送信する。無人航空機１１０は、例えば、情報処理装置１００と無線通信し、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入が抑制されるように、無人航空機１１０の飛行を制御する。無人航空機１１０は、例えば、ドローンである。
ここでは、情報処理装置１００と無人航空機１１０とが別の装置である場合について説明したが、これに限らない。例えば、情報処理装置１００と無人航空機１１０とが一体である場合があってもよい。また、情報処理装置１００の処理の一部を、無人航空機１１０が実行する場合があってもよい。
（情報処理装置１００のハードウェア構成例）
次に、図３を用いて、情報処理装置１００のハードウェア構成例について説明する。
図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。図３において、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。
ここで、ＣＰＵ３０１は、情報処理装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。
通信Ｉ／Ｆ３０３は、電磁波を用いた無線信号により、他のコンピュータに接続される。他のコンピュータは、例えば、無人航空機１１０である。そして、通信Ｉ／Ｆ３０３は、他のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ３０３は、例えば、アンテナと無線通信回路とにより実現される。
記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御にしたがって記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、情報処理装置１００から着脱可能であってもよい。
情報処理装置１００は、上述した構成部のほか、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。
（無人航空機１１０のハードウェア構成例）
次に、図４を用いて、無人航空機１１０のハードウェア構成例について説明する。
図４は、無人航空機１１０のハードウェア構成例を示すブロック図である。図４において、無人航空機１１０は、ＣＰＵ４０１と、メモリ４０２と、通信Ｉ／Ｆ４０３と、撮像装置４０４と、駆動装置４０５とを有する。また、各構成部は、バス４００によってそれぞれ接続される。
ここで、ＣＰＵ４０１は、無人航空機１１０の全体の制御を司る。メモリ４０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ４０１のワークエリアとして使用される。メモリ４０２に記憶されるプログラムは、ＣＰＵ４０１にロードされることで、コーディングされている処理をＣＰＵ４０１に実行させる。
通信Ｉ／Ｆ４０３は、電磁波を用いた無線信号により、他のコンピュータに接続される。他のコンピュータは、例えば、情報処理装置１００である。そして、通信Ｉ／Ｆ４０３は、他のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ４０３は、例えば、アンテナと無線通信回路とにより実現される。
撮像装置４０４は、撮像素子を有し、無人航空機１１０の周囲を撮像する。撮像装置４０４は、例えば、半球型または全天球型の３６０度カメラである。駆動装置４０５は、無人航空機１１０を飛行させる動力を発生させる。駆動装置４０５は、例えば、プロペラとモーターとにより実現される。
（情報処理装置１００の機能的構成例）
次に、図５を用いて、情報処理装置１００の機能的構成例について説明する。
図５は、情報処理装置１００の機能的構成例を示すブロック図である。情報処理装置１００は、記憶部５００と、取得部５０１と、検出部５０２と、判定部５０３と、出力部５０４とを含む。
記憶部５００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部５００が、情報処理装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部５００が、情報処理装置１００とは異なる装置に含まれ、記憶部５００の記憶内容が情報処理装置１００から参照可能である場合があってもよい。
取得部５０１～出力部５０４は、制御部の一例として機能する。取得部５０１～出力部５０４は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、通信Ｉ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。
記憶部５００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部５００は、例えば、無人航空機１１０が有する撮像装置４０４が撮像した撮像画像を記憶する。無人航空機１１０は、例えば、ドローンである。撮像装置４０４は、例えば、３６０度カメラである。撮像画像は、３６０度カメラ画像である。記憶部５００は、例えば、撮像画像に所定の物体が写っているか否かを検出可能な学習モデルを記憶する。学習モデルは、例えば、撮像画像を入力すると撮像画像上の画素ごとに確信度を出力することが可能な学習モデルである。画素は、ピクセルである。確信度は、所定の物体が写った画素である確率の大きさを示す値である。これにより、記憶部５００は、撮像画像から所定の物体を検出可能にすることができる。
記憶部５００は、例えば、所定の物体が写った教師画像ごとに、所定の物体の教師画像上での位置を特定する情報と、教師画像に写った所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する。禁止領域は、例えば、３次元空間である。禁止領域は、例えば、所定の物体の上方向一定距離までの空間であってもよい。所定の物体の教師画像上での位置を特定する情報は、例えば、所定の物体が写った教師画像上の画素を特定する情報である。所定の物体が写った教師画像上の画素を特定する情報は、具体的には、後述する正解データである。
禁止領域を特定する情報は、教師画像に写った所定の物体を基準とした禁止領域を特定する情報である。禁止領域を特定する情報は、例えば、禁止領域が写った教師画像上の画素を特定する情報である。禁止領域が写った教師画像上の画素を特定する情報は、具体的には、後述する進入不可エリアデータである。教師画像に写った所定の物体と、撮像画像に写りうる所定の物体とは、同種の物体であることを意味しており、現実に存在する同一の物体に限らなくてよい。
ここで、記憶部５００は、例えば、複数の教師画像についての情報を記憶しなくてもよい。換言すれば、記憶部５００は、１つの教師画像についての情報を記憶するだけであってもよい。これにより、記憶部５００は、無人航空機１１０の飛行を制御し、または、無人航空機１１０の操縦者に操縦指針を通知する際に用いられる情報を記憶しておくことができる。また、記憶部５００は、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
記憶部５００は、例えば、教師画像に写った所定の物体を基準とした禁止領域を特定する情報として、教師画像に写った所定の物体を基準とした禁止領域と無人航空機１１０との位置関係を特定する情報を記憶してもよい。記憶部５００は、具体的には、教師画像の撮像時、教師画像を撮像した場所に無人航空機１１０があるとした場合の、無人航空機１１０と、教師画像に写った所定の物体を基準とする禁止領域との位置関係を特定する情報を記憶する。これにより、記憶部５００は、無人航空機１１０の飛行を制御し、または、無人航空機１１０の操縦者に操縦指針を通知する際に用いられる情報を記憶しておくことができる。また、記憶部５００は、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
記憶部５００は、例えば、教師画像に写った所定の物体を基準とした禁止領域を特定する情報として、教師画像に写った所定の物体を基準とした禁止領域が存在する方向を特定する情報を記憶してもよい。方向を特定する情報は、具体的には、教師画像の撮像時、教師画像を撮像した場所に無人航空機１１０があるとした場合の、無人航空機１１０を起点にした、教師画像に写った所定の物体を基準とする禁止領域が存在する方向を特定する情報である。これにより、記憶部５００は、無人航空機１１０の飛行を制御し、または、無人航空機１１０の操縦者に操縦指針を通知する際に用いられる情報を記憶しておくことができる。また、記憶部５００は、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
記憶部５００は、例えば、教師画像に写った所定の物体を基準とした禁止領域を特定する情報として、教師画像に写った所定の物体を基準とした禁止領域に無人航空機１１０が進入する可能性があるか否かを示す情報を記憶してもよい。可能性があるか否かを示す情報は、具体的には、教師画像を撮像した場所に無人航空機１１０があるとした場合の、無人航空機１１０と、教師画像に写った所定の物体を基準とする禁止領域とが一定以上近いか否かを示す情報である。これにより、記憶部５００は、無人航空機１１０の飛行を制御し、または、無人航空機１１０の操縦者に操縦指針を通知する際に用いられる情報を記憶しておくことができる。また、記憶部５００は、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
記憶部５００は、例えば、複数の物体のそれぞれの物体について、物体が写った教師画像ごとに、物体の教師画像上での位置を特定する情報と、物体を基準とした無人航空機１１０の進入が禁止された禁止領域を特定する情報とを対応付けて記憶してもよい。これにより、記憶部５００は、それぞれの物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
取得部５０１は、各機能部の処理に用いられる各種情報を取得する。取得部５０１は、利用者の操作入力に基づき各種情報を取得してもよい。取得部５０１は、情報処理装置１００とは異なる装置から各種情報を取得してもよい。取得部５０１は、取得した各種情報を、各機能部に出力する。取得部５０１は、取得した各種情報を、記憶部５００に格納してもよい。
取得部５０１は、例えば、所定の物体が写った１以上の画像を取得する。そして、取得部５０１は、所定の物体が写った１以上の画像を基に、撮像画像に所定の物体が写っているか否かを検出可能な学習モデルを学習する。取得部５０１は、例えば、自装置で学習モデルを学習しない場合、情報処理装置１００とは異なる装置から学習モデルを受信してもよい。また、取得部５０１は、例えば、自装置で学習モデルを学習しない場合、利用者の操作入力に基づき、学習モデルの入力を受け付けてもよい。これにより、取得部５０１は、撮像画像上の所定の物体を検出可能にすることができる。
取得部５０１は、所定範囲の指定を受け付ける。所定範囲は、無人航空機１１０の近傍範囲を示す。所定範囲は、例えば、所定時間で無人航空機１１０の進入が可能である範囲を示す。所定時間は、例えば、撮像画像の撮像間隔である。所定範囲は、例えば、利用者により設定される。所定範囲は、可変であってもよい。所定範囲は、例えば、無人航空機１１０の速度に合わせて可変であってもよい。所定範囲は、例えば、無人航空機１１０が禁止領域に進入する可能性があるか否かを判定する際に用いられる。
これにより、取得部５０１は、無人航空機１１０が禁止領域に進入する可能性があるか否かを判定可能にすることができる。また、取得部５０１は、例えば、無人航空機１１０の速度に合わせて、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定する精度の向上を図ることができる。また、取得部５０１は、例えば、利用者の指定に応じて、禁止領域に無人航空機１１０が進入する可能性の低減化を優先するか、無人航空機１１０の飛行の自由度を優先するかを変更することができる。
取得部５０１は、無人航空機１１０が有する撮像装置４０４が撮像した撮像画像を取得する。取得部５０１は、例えば、ドローンの３６０度カメラが撮像した３６０度カメラ画像を取得する。これにより、取得部５０１は、検出部５０２に撮像画像を提供することができる。
検出部５０２は、撮像画像から所定の物体を検出する。検出部５０２は、例えば、学習モデルを用いて、撮像画像上の画素ごとに確信度を算出する。これにより、検出部５０２は、現在の無人航空機１１０から撮像した撮像画像上での、所定の物体の写り方を特定する情報を取得することができる。検出部５０２は、撮像画像と教師画像との大きさが異なる場合、撮像画像を縦方向または横方向に伸長または短縮し、教師画像と同じ大きさに加工してから、学習モデルを用いて、撮像画像上の画素ごとに確信度を算出してもよい。これにより、検出部５０２は、撮像画像と教師画像との大きさが異なる場合に対しても適用可能にすることができる。
判定部５０３は、記憶部５００を参照し、検出した所定の物体の撮像画像上での位置に基づいて、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。
判定部５０３は、例えば、記憶部５００を参照し、検出した所定の物体の撮像画像上での位置と、所定の物体の教師画像上での位置を特定する情報とを照合した結果に基づいて、教師画像に写った所定の物体を基準とした禁止領域を特定する情報を検索する。判定部５０３は、検索した結果に基づいて、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。
判定部５０３は、具体的には、撮像画像上の画素ごとに算出した確信度と、所定の物体が写った教師画像上の画素を特定する情報とを照合する。照合の具体例については、図１４を用いて後述する。判定部５０３は、照合した結果に基づいて、禁止領域が写った教師画像上の画素を特定する情報を検索する。判定部５０３は、検索した結果に基づいて、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。
判定部５０３は、より具体的には、検索した情報に基づいて、教師画像上の所定範囲内の画素に、所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域が写った教師画像上の画素があるか否かを判定する。判定部５０３は、画素があれば、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があると判定する。また、判定部５０３は、検索された情報がある場合、検出した所定の物体を基準とした無人航空機１１０の進入が禁止された禁止領域に、無人航空機１１０が進入する可能性があると判定してもよい。
これにより、判定部５０３は、所定の物体の写り方が撮像画像と同様である教師画像に基づく、教師画像に写った所定の物体を基準とした禁止領域を特定する情報を検索することができる。ここで、無人航空機１１０と撮像画像に写った所定の物体を基準とする禁止領域との位置関係は、所定の物体の写り方が撮像画像と同様である教師画像を撮像した場所と教師画像に写った所定の物体を基準とする禁止領域との位置関係と同様になる類似性がある。この類似性を基に、判定部５０３は、検索した情報を、撮像画像に写った所定の物体を基準とした禁止領域を特定する情報として援用することができる。結果として、判定部５０３は、検索した情報に基づいて、撮像画像に写った所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定することができる。
また、例えば、教師画像に写った所定の物体を基準とした禁止領域を特定する情報として、教師画像に写った所定の物体を基準とした禁止領域と無人航空機１１０との位置関係を特定する情報が用いられる場合がある。この場合、判定部５０３は、教師画像に写った所定の物体を基準とした禁止領域と無人航空機１１０との位置関係を、検出した所定の物体を基準とした禁止領域と無人航空機１１０との位置関係に援用する。そして、判定部５０３は、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。
また、例えば、教師画像に写った所定の物体を基準とした禁止領域を特定する情報として、教師画像に写った所定の物体を基準とした禁止領域に無人航空機１１０が進入する可能性があるか否かを示す情報が用いられている場合がある。この場合、判定部５０３は、教師画像に写った所定の物体を基準とした禁止領域に無人航空機１１０が進入する可能性の有無を、検出した所定の物体を基準とした禁止領域に無人航空機１１０が進入する可能性の有無に援用する。そして、判定部５０３は、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定する。
出力部５０４は、各機能部の処理結果の少なくともいずれかを出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、通信Ｉ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。
出力部５０４は、判定部５０３が進入する可能性があると判定した場合、記憶部５００を参照し、検出した所定の物体を基準とした禁止領域に関する情報を出力する。例えば、禁止領域に関する情報は、記憶部に記憶された、禁止領域を特定する情報に基づき生成される制御指示である。出力部５０４は、例えば、判定部５０３が検索した情報に基づいて、検出部５０２が検出した所定の物体を基準とした禁止領域に無人航空機１１０が進入しないように無人航空機１１０の飛行を制御する制御指示を無人航空機１１０に出力する。これにより、出力部５０４は、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入を抑制することができる。
出力部５０４は、例えば、判定部５０３が検索した情報に基づいて、検出部５０２が検出した所定の物体を基準とした禁止領域に無人航空機１１０が進入しないように無人航空機１１０を飛行させる操縦指標を出力する。操縦指標は、例えば、禁止領域が存在する方向である。これにより、出力部５０４は、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入を抑制することができる。
出力部５０４は、例えば、判定部５０３が進入する可能性がないと判定した場合、進入する可能性がないことを示す情報を出力してもよい。出力部５０４は、具体的には、判定部５０３が進入する可能性がないと判定した場合、無人航空機１１０がいずれの方向にも進行可能なように無人航空機１１０の飛行を制御する制御指示を無人航空機１１０に出力する。
また、無人航空機１１０が、制御指示を受信しなければ、自動でいずれの方向にも進行可能なように飛行するようになっている場合がある。この場合、出力部５０４は、判定部５０３が進入する可能性がないと判定した場合、進入する可能性がないことを示す情報を出力しなくてもよい。これにより、出力部５０４は、無線通信にかかる消費電力を削減することができる。
（無人航空機管理システム２００の具体的な機能的構成例）
次に、図６を用いて、無人航空機管理システム２００の具体的な機能的構成例について説明する。
図６は、無人航空機管理システム２００の具体的な機能的構成例を示すブロック図である。以下の説明では、無人航空機１１０は「ドローン６００」であるとする。図６において、ドローン６００は、ドローン制御部６３１と、撮像制御部６３２とを含む。
ドローン制御部６３１は、ドローン６００の飛行を制御する。ドローン制御部６３１は、例えば、人の無線操縦にしたがってドローン６００の飛行する方向を決定したり、ＧＰＳ座標に基づいてドローン６００の飛行する方向を決定し、駆動装置４０５を制御する。また、ドローン制御部６３１は、撮像制御部６３２から撮像画像を取得し、情報処理装置１００に送信する。ドローン制御部６３１の動作は、具体的には、図２０に後述する飛行制御処理により実現される。
撮像制御部６３２は、撮像装置を制御し、一定時間ごとに撮像装置に撮像させ、撮像画像をドローン制御部６３１に出力する。撮像制御部６３２の動作は、具体的には、図１９に後述する撮像処理により実現される。
図６において、情報処理装置１００は、全体制御部６０１と、ＤＬエンジン部６０２と、進入不可エリアデータ取得部６０３と、方角計算部６０４とを含む。また、情報処理装置１００は、進入不可エリアデータセット６１０を記憶する。進入不可エリアデータセット６１０は、同一の３６０度カメラ画像に基づく正解データ６１１と進入不可エリアデータ６１２とのセットである。
情報処理装置１００は、例えば、正解データ６１１に、正解データファイルの中での行番号を割り当てて、正解データ６１１を、正解データファイルを用いて記憶する。また、情報処理装置１００は、例えば、進入不可エリアデータ６１２に、進入不可エリアデータファイルの中での行番号を割り当てて、進入不可エリアデータ６１２を、進入不可エリアデータファイルを用いて記憶する。この際、情報処理装置１００は、例えば、同一の３６０度カメラ画像に基づく正解データ６１１と進入不可エリアデータ６１２とには、同一の行番号が割り当てられるようにする。
正解データ６１１は、教師画像である３６０度カメラ画像上での所定の物体が写ったピクセルを示す情報であり、教師画像である３６０度カメラ画像上での所定の物体の写り方を示す情報である。正解データ６１１は、例えば、教師画像である３６０度カメラ画像から成形されたピクセル単位の多次元配列データと同じ次元で、所定の物体が写ったピクセルに対応する配列要素に１を設定した多次元配列データである。所定の物体が写ったピクセル以外に対応する配列要素は、０が設定される。
進入不可エリアデータ６１２は、教師画像である３６０度カメラ画像上での所定の物体を基準とした進入不可エリアが写ったピクセルを示す情報であり、教師画像である３６０度カメラ画像上での進入不可エリアの写り方を示す情報である。進入不可エリアデータ６１２は、例えば、教師画像である３６０度カメラ画像から成形されたピクセル単位の多次元配列データと同じ次元で、進入不可エリアが写ったピクセルに対応する配列要素に１を設定した多次元配列データである。進入不可エリアが写ったピクセル以外に対応する配列要素は、０が設定される。
全体制御部６０１は、撮像画像を受信し、ＤＬエンジン部６０２と、進入不可エリアデータ取得部６０３と、方角計算部６０４とを用いて、ドローン６００の飛行を制御し、または、ドローン６００の操縦者に操縦指針を通知する。全体制御部６０１は、例えば、撮像画像をＤＬエンジン部６０２に入力し、撮像画像のピクセル単位の確信度を示す多次元配列データをＤＬエンジン部６０２から取得する。撮像画像のピクセル単位の確信度を示す多次元配列データは、撮像画像のピクセル単位で対応する配列要素を有し、配列要素に確信度が設定された多次元配列データである。全体制御部６０１は、例えば、撮像画像のピクセル単位の確信度を示す多次元配列データを進入不可エリアデータ取得部６０３に入力し、進入不可エリアデータ６１２を進入不可エリアデータ取得部６０３から取得する。
全体制御部６０１は、例えば、進入不可エリアデータ６１２を方角計算部６０４に入力し、ドローン６００を起点にして進入不可エリアが存在する方角を示す方角情報を方角計算部６０４から取得する。進入不可エリアは、例えば、３次元空間である。方角は、例えば、水平面の方角である。方角は、例えば、水平面での方角に限らず、高度を考慮した方角であってもよい。全体制御部６０１は、方角情報が示す方角にドローン６００が進行しないようにドローン６００の飛行を制御し、または、方角情報が示す方角をドローン６００の操縦者に通知する。全体制御部６０１の動作は、具体的には、図２１に後述する全体処理により実現される。
ＤＬエンジン部６０２は、プールや消火栓などの所定の物体が写った１以上の画像に基づいて、学習モデルを学習する。ＤＬエンジン部６０２は、例えば、プールについての学習モデル６２１や消火栓についての学習モデル６２２を学習して記憶しておく。ＤＬエンジン部６０２は、撮像画像を入力されると、学習モデルを用いた推論を実施し、ピクセル単位の確信度を示す多次元配列データを算出する。ＤＬエンジン部６０２の動作は、具体的には、図２２に後述するＤＬエンジン処理により実現される。
進入不可エリアデータ取得部６０３は、ピクセル単位の確信度を示す多次元配列データが入力されると、進入不可エリアデータセット６１０から、入力された多次元配列データに対応する正解データ６１１を含む進入不可エリアデータセット６１０を検索する。進入不可エリアデータ取得部６０３は、検索した進入不可エリアデータセット６１０に含まれる進入不可エリアデータ６１２を出力する。進入不可エリアデータ取得部６０３の動作は、具体的には、図２３に後述する進入不可エリアデータ取得処理により実現される。
方角計算部６０４は、進入不可エリアデータ６１２が入力されると、ドローン６００を起点にして進入不可エリアが存在する方角を特定し、ドローン６００を起点にして進入不可エリアが存在する方角を示す方角情報を出力する。方角計算部６０４の動作は、具体的には、図２４に後述する方角計算処理により実現される。
（ＤＬエンジン部６０２の具体的な機能的構成例）
次に、図７および図８を用いて、ＤＬエンジン部６０２の具体的な機能的構成例について説明する。
図７および図８は、ＤＬエンジン部６０２の具体的な機能的構成例を示すブロック図である。図７は、学習モデル７５０の学習を実現する機能的構成例を示す。図７において、ＤＬエンジン部６０２は、教師画像７１０と、教師画像７１０に対応する正解データ７２０と、ニューラルネットワーク定義７３０と、ハイパーパラメータ７４０を、ＤＬ学習器７００に入力する。そして、ＤＬエンジン部６０２は、ＤＬ学習器７００から出力される学習モデル７５０を取得する。次に、図８の説明に移行する。
図８は、学習モデル７５０を用いた推論を実現する機能的構成例を示す。図８において、ＤＬエンジン部６０２は、テストデータ８１０である撮像画像と、ニューラルネットワーク定義７３０と、学習モデル７５０とを、ＤＬ推論器８００に入力する。そして、ＤＬエンジン部６０２は、ＤＬ推論器８００から推論結果８２０として出力される、テストデータ８１０である撮像画像のピクセル単位の確信度を示す多次元配列データを取得する。
（情報処理装置１００の動作例）
次に、図９～図１６を用いて、情報処理装置１００の動作例について説明する。まず、図９の説明に移行し、進入不可エリアの一例について説明する。
図９は、進入不可エリアの一例を示す説明図である。図９に示すように、進入不可エリアの基準となる物体は、例えば、プール９１０である。プール９１０を基準とする進入不可エリア９１１は、プライバシーの観点から、プール９１０を含む一定範囲の土地の上空の空間である。また、進入不可エリアの基準となる物体は、例えば、火の気９２０である。火の気９２０を基準とする進入不可エリア９２１は、無人航空機１１０の破損防止の観点から、火の気９２０の周囲の空間である。
また、進入不可エリアの基準となる物体は、例えば、消火栓９３０である。消火栓９３０を基準とする進入不可エリア９３１は、火災発生時の人の安全確保の観点から、消火栓９３０のホース取り付け箇所の前方の土地の上空の空間である。次に、図１０の説明に移行し、進入不可エリアの基準となる物体を検出するための学習モデルを学習する一例について説明する。
図１０～図１２は、学習モデルを学習する一例を示す説明図である。図１０に示すように、情報処理装置１００は、プールが写った教師画像である３６０度カメラ画像１０００と、３６０度カメラ画像１０００に対応付けられた正解データ１０１０とを取得する。正解データ１０１０は、３６０度カメラ画像１０００と同じ次元の多次元配列データであり、プールが写ったピクセルに対応する配列要素に１が設定された多次元配列データである。
情報処理装置１００は、取得した３６０度カメラ画像１０００と正解データ１０１０とをＤＬ学習器に入力し、ＤＬ学習器を用いて学習モデル１０２０を作成する。情報処理装置１００は、例えば、ニューラルネットワークの重み付けデータを、学習モデル１０２０として作成する。情報処理装置１００は、具体的には、学習モデル１０２０により、３６０度カメラ画像１０００のピクセルごとに、プールが写ったピクセルとしての確信度を推論した場合に、推論結果８２０が正解データ１０１０に類似するように、学習モデル１０２０を作成する。推論結果８２０は、正解データ１０１０と同じ次元の多次元配列データであり、ピクセル単位で推論した確信度が、ピクセル単位で対応する配列要素に設定された多次元配列データである。次に、図１１の説明に移行し、学習モデルを学習する際に、教師画像が複数ある場合について説明する。
図１１において、情報処理装置１００は、プールが写った教師画像である３６０度カメラ画像１１００と、３６０度カメラ画像１１００に対応付けられた正解データ１１０１とを取得する。情報処理装置１００は、取得した３６０度カメラ画像１１００と正解データ１１０１とをＤＬ学習器に入力し、ＤＬ学習器を用いて学習モデル１１２０を学習する。
情報処理装置１００は、同様に、プールが写った教師画像である３６０度カメラ画像１１１０と、３６０度カメラ画像１１１０に対応付けられた正解データ１１１１とを取得する。情報処理装置１００は、取得した３６０度カメラ画像１１１０と正解データ１１１１とをＤＬ学習器に入力し、ＤＬ学習器を用いて学習モデル１１２０を修正する。
情報処理装置１００は、同様に、他の３６０度カメラ画像と正解データとにも基づいて学習モデル１１２０を修正する。これにより、情報処理装置１００は、プールが写ったピクセルとしての確信度を推論可能な学習モデルを学習することができ、学習モデルによる確信度の推論精度の向上を図ることができる。次に、図１２の説明に移行する。
図１２において、情報処理装置１００は、消火栓が写った教師画像である３６０度カメラ画像１２００と、３６０度カメラ画像１２００に対応付けられた正解データ１２０１とを取得する。情報処理装置１００は、取得した３６０度カメラ画像１２００と正解データ１２０１とをＤＬ学習器に入力し、ＤＬ学習器を用いて学習モデル１２２０を学習する。
情報処理装置１００は、同様に、消火栓が写った教師画像である３６０度カメラ画像１２１０と、３６０度カメラ画像１２１０に対応付けられた正解データ１２１１とを取得する。情報処理装置１００は、取得した３６０度カメラ画像１２１０と正解データ１２１１とをＤＬ学習器に入力し、ＤＬ学習器を用いて学習モデル１２２０を修正する。
情報処理装置１００は、同様に、消火栓が写った他の３６０度カメラ画像と正解データとにも基づいて学習モデル１２２０を修正する。これにより、情報処理装置１００は、消火栓が写ったピクセルとしての確信度を推論可能な学習モデルを学習することができ、学習モデルによる確信度の推論精度の向上を図ることができる。次に、図１３の説明に移行し、情報処理装置１００が、撮像画像を取得し、撮像画像のピクセルごとに確信度を算出する一例について説明する。
図１３は、確信度を算出する一例を示す説明図である。図１３において、情報処理装置１００は、ドローン６００が撮像した撮像画像である３６０度カメラ画像１３００を、ドローン６００から受信する。情報処理装置１００は、受信した３６０度カメラ画像１３００を、プールについての学習モデル１１２０を用いたＤＬ推論器に入力し、３６０度カメラ画像１３００のピクセル単位の確信度を示す多次元配列データ１３１０を推論結果８２０として取得する。確信度は、０～１の範囲で、１に近いほど、プールが写ったピクセルである可能性が大きいことを示す。
この際、情報処理装置１００は、多次元配列データ１３１０に、確信度が閾値以上の配列要素があれば、３６０度カメラ画像１３００にプールが写っていると判定する。一方で、情報処理装置１００は、多次元配列データ１３１０に、確信度が閾値以上の配列要素がなければ、３６０度カメラ画像１３００にプールが写っていないと判定する。情報処理装置１００は、プールが写っていなければ、他の物体についての学習モデルを用いたＤＬ推論器に、３６０度カメラ画像１３００を入力し、他の物体が写っているか否かを判定する。次に、情報処理装置１００が、プールが写っていると判定したとして図１４の説明に移行し、多次元配列データ１３１０を基に、進入不可エリアデータを取得する一例について説明する。
図１４は、進入不可エリアデータを取得する一例を示す説明図である。図１４において、情報処理装置１００は、複数の３６０度カメラ画像のそれぞれの３６０度カメラ画像について、正解データと進入不可エリアデータとを対応付けた進入不可エリアデータセットを記憶している。複数の３６０度カメラ画像は、それぞれ、様々な角度、大きさ、位置にプールが写った３６０度カメラ画像であることが好ましい。進入不可エリアデータは、３６０度カメラ画像と同じ次元の多次元配列データであり、プールを基準にする進入不可エリアが写ったピクセルに対応する配列要素に１が設定された多次元配列データである。
情報処理装置１００は、多次元配列データ１３１０を、正解データファイル１４００に含まれる正解データと照合する。情報処理装置１００は、例えば、多次元配列データ１３１０と正解データとの同一の位置にある配列要素に設定された値の差分を合計し、合計値の逆数を、多次元配列データ１３１０と正解データとの類似度として取得する。そして、情報処理装置１００は、類似度が最も大きくなる正解データを特定する。
図１４の例では、情報処理装置１００は、正解データ１４１０を特定する。情報処理装置１００は、正解データ１４１０と同一の３６０度カメラ画像に基づく進入不可エリアデータ１４２０を取得する。情報処理装置１００は、具体的には、正解データ１４１０と同一の行番号に対応付けられた進入不可エリアデータ１４２０を取得する。
これにより、情報処理装置１００は、プールの写り方が撮像画像と同様である教師画像に基づく、進入不可エリアデータを取得することができる。そして、情報処理装置１００は、撮像画像の撮像時と教師画像の撮像時との状況の類似性を基に、取得した進入不可エリアデータを、撮像画像に写ったプールについての進入不可エリアを特定するために援用することができる。次に、図１５の説明に移行する。
図１５は、進入するか否かを判定する一例を示す説明図である。図１５の例では、情報処理装置１００は、撮像画像である３６０度カメラ画像１５００を取得し、進入不可エリアデータ１５１０を取得したとする。ここで、情報処理装置１００は、撮像画像である３６０度カメラ画像１５００の中心部をドローン６００の位置として、ドローン６００からの８つの方角を設定する。
情報処理装置１００は、取得した進入不可エリアデータ１５１０の中心部をドローン６００の位置として、中心部から所定範囲内に、確信度１の配列要素が含まれるか否かを判定する。ここで、情報処理装置１００は、確信度１の配列要素が含まれなければ、進入不可エリアにドローン６００が進入する可能性がないと判定する。一方で、情報処理装置１００は、確信度１の配列要素が含まれれば、進入不可エリアにドローン６００が進入する可能性があると判定する。
情報処理装置１００は、進入不可エリアにドローン６００が進入する可能性があると判定した場合、進入不可エリアデータ１５１０において確信度１が設定された配列要素の集合に対応する、３６０度カメラ画像１５００の領域を特定する。そして、情報処理装置１００は、特定した領域がある方角１５０１～１５０３を、進行不可能な方角として特定し、特定した領域がある方角１５０１～１５０３以外を、進行可能な方角として特定する。情報処理装置１００は、具体的には、［北：ＯＫ、北西：ＯＫ、西：ＯＫ、南西：ＯＫ、南：ＯＫ、南東：ＮＧ、東：ＮＧ、北東：ＮＧ］を示す方角情報を特定する。
ここでは、情報処理装置１００が、ドローン６００からの水平面での８つの方角を設定する場合について説明したが、これに限らない。例えば、３６０度カメラ画像１５００の中心部から見たそれぞれのピクセルの位置は、ドローン６００からの水平面の方角のほかに高度も表している。このため、情報処理装置１００が、高度を考慮した方角を設定する場合があってもよい。次に、図１６の説明に移行する。
図１６は、ドローン６００を制御する一例を示す説明図である。図１６において、情報処理装置１００は、進入不可エリアにドローン６００が進入する可能性がないと判定した結果、および、取得した方角情報に基づいて、ドローン６００を制御する。
例えば、３６０度カメラ画像１６００が撮像されたような状況であれば、情報処理装置１００は、進入不可エリアにドローン６００が進入する可能性があると判定している。このため、情報処理装置１００は、取得した方角情報に基づいて、進入不可エリアにドローン６００が進入しないように、ドローン６００の飛行を制御する制御信号をドローン６００に送信する。また、情報処理装置１００は、ドローン６００の操縦者が有するコントローラに、方角情報を送信し、ドローン６００の操縦者に方角情報を把握させ、進入不可エリアにドローン６００が進入しないように操縦させてもよい。
一方で、例えば、３６０度カメラ画像１６１０が撮像されたような状況であれば、情報処理装置１００は、進入不可エリアにドローン６００が進入する可能性がないと判定している。このため、情報処理装置１００は、ドローン６００の飛行を制御せず、ドローン６００に自動で飛行させる。これにより、情報処理装置１００は、ドローン６００の進入が禁止された領域へのドローン６００の進入を抑制することができる。また、情報処理装置１００は、ドローン６００の進入を禁止する領域の基準となる所定の物体の性質に合わせて、ドローン６００の進入を禁止する領域の形状を変更することができ、ドローン６００の進入を禁止する領域を正確に設定しやすくすることができる。また、情報処理装置１００は、ドローン６００の進入を禁止する領域の基準となる所定の物体の性質に合わせて、所定の物体の周囲であっても進入可能な領域を設定することができる。
（データセット用意処理手順）
次に、図１７を用いて、利用者が実施する、データセット用意処理手順の一例について説明する。データセット用意処理は、例えば、利用者がコンピュータを利用して実現する。コンピュータは、例えば、情報処理装置１００である。
図１７は、データセット用意処理手順の一例を示すフローチャートである。図１７において、利用者は、コンピュータ上で、認識対象の物体が写った３６０度カメラ画像を複数用意する（ステップＳ１７０１）。
次に、利用者は、コンピュータ上で、正解データファイルをオープンする（ステップＳ１７０２）。そして、利用者は、コンピュータ上で、進入不可エリアデータファイルをオープンする（ステップＳ１７０３）。
次に、利用者は、コンピュータ上で、未処理の３６０度カメラ画像のうち、いずれかの３６０度カメラ画像を処理対象に選択する（ステップＳ１７０４）。そして、利用者は、コンピュータ上で、選択した３６０度カメラ画像をピクセル単位の多次元配列データＡに成形する（ステップＳ１７０５）。
次に、利用者は、コンピュータ上で、多次元配列データＡと同じ次元で０パディングした多次元配列データＢを作成する（ステップＳ１７０６）。そして、利用者は、コンピュータ上で、多次元配列データＢについて、認識対象の物体が写ったピクセルに対応する配列要素に１を設定する（ステップＳ１７０７）。
次に、利用者は、コンピュータ上で、多次元配列データＡと同じ次元で０パディングした多次元配列データＣを作成する（ステップＳ１７０８）。そして、利用者は、コンピュータ上で、多次元配列データＣについて、進入不可エリアが写ったピクセルに対応する配列要素に１を設定する（ステップＳ１７０９）。
次に、利用者は、コンピュータ上で、多次元配列データＢを正解データファイルに格納する（ステップＳ１７１０）。そして、利用者は、コンピュータ上で、多次元配列データＣを進入不可エリアデータファイルに格納する（ステップＳ１７１１）。
次に、利用者は、コンピュータ上で、すべての３６０度カメラ画像を処理したか否かを判定する（ステップＳ１７１２）。ここで、未処理の３６０度カメラ画像がある場合（ステップＳ１７１２：Ｎｏ）、利用者は、ステップＳ１７０４の処理に戻る。一方で、すべての３６０度カメラ画像を処理している場合（ステップＳ１７１２：Ｙｅｓ）、利用者は、ステップＳ１７１３の処理に移行する。
ステップＳ１７１３では、利用者は、コンピュータ上で、正解データファイルをクローズする（ステップＳ１７１３）。次に、利用者は、コンピュータ上で、進入不可エリアデータファイルをクローズする（ステップＳ１７１４）。そして、利用者は、データセット用意処理を終了する。これにより、利用者は、ドローン６００が進入不可エリアに進入する可能性があるか否かを判定するために用いられる情報を用意することができる。
また、データセット用意処理は、例えば、利用者が情報処理装置１００とは異なる装置を利用して実現する場合があってもよい。この場合、情報処理装置１００は、正解データファイル、および、進入不可エリアデータファイルを、情報処理装置１００とは異なる装置から取得する。
（学習処理手順）
次に、図１８を用いて、情報処理装置１００が実行する、学習処理手順の一例について説明する。学習処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
図１８は、学習処理手順の一例を示すフローチャートである。図１８において、情報処理装置１００は、３６０度カメラ画像を複数取得する（ステップＳ１８０１）。
次に、情報処理装置１００は、３６０度カメラ画像をピクセル単位の多次元配列データに成形する（ステップＳ１８０２）。そして、情報処理装置１００は、ステップＳ１８０３の処理に移行する。
ステップＳ１８０３では、情報処理装置１００は、未処理の多次元配列データを選択する（ステップＳ１８０３）。次に、情報処理装置１００は、選択した多次元配列データを入力として、ニューラルネットワークとハイパーパラメータ７４０を用いて学習を実施する（ステップＳ１８０４）。
そして、情報処理装置１００は、すべての多次元配列データを選択したか否かを判定する（ステップＳ１８０５）。ここで、未選択の多次元配列データがある場合（ステップＳ１８０５：Ｎｏ）、情報処理装置１００は、ステップＳ１８０３の処理に戻る。一方で、すべての多次元配列データを選択している場合（ステップＳ１８０５：Ｙｅｓ）、情報処理装置１００は、ステップＳ１８０６の処理に移行する。
ステップＳ１８０６では、情報処理装置１００は、学習結果として学習モデルを出力する（ステップＳ１８０６）。そして、情報処理装置１００は、学習処理を終了する。これにより、情報処理装置１００は、ドローン６００が進入不可エリアに進入する可能性があるか否かを判定するために用いられる学習モデルを学習することができ、撮像画像のピクセル単位の確信度を推論可能にすることができる。
また、学習処理は、例えば、情報処理装置１００とは異なる装置により実現される場合があってもよい。この場合、情報処理装置１００は、学習モデルを情報処理装置１００とは異なる装置から取得する。
（撮像処理手順）
次に、図１９を用いて、ドローン６００の撮像制御部６３２が実行する、撮像処理手順の一例について説明する。撮像処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２の記憶領域と、通信Ｉ／Ｆ４０３と、撮像装置４０４とによって実現される。
図１９は、撮像処理手順の一例を示すフローチャートである。図１９において、撮像制御部６３２は、数秒待機する（ステップＳ１９０１）。
次に、撮像制御部６３２は、３６０度カメラにより撮像する（ステップＳ１９０２）。そして、撮像制御部６３２は、撮像した３６０度カメラ画像を、ドローン制御部６３１を介して情報処理装置１００に送信する（ステップＳ１９０３）。
その後、撮像制御部６３２は、ステップＳ１９０１の処理に戻る。これにより、撮像制御部６３２は、情報処理装置１００に、３６０度カメラ画像に基づき、ドローン６００が進入不可エリアに進入する可能性があるか否かを判定させることができる。
（飛行制御処理手順）
次に、図２０を用いて、ドローン６００のドローン制御部６３１が実行する、飛行制御処理手順の一例について説明する。飛行制御処理は、例えば、図４に示したＣＰＵ４０１と、メモリ４０２の記憶領域と、通信Ｉ／Ｆ４０３と、駆動装置４０５とによって実現される。
図２０は、飛行制御処理手順の一例を示すフローチャートである。図２０において、ドローン制御部６３１は、情報処理装置１００から方角情報を受信する（ステップＳ２００１）。
次に、ドローン制御部６３１は、方角情報に基づいて、進入不可エリアが存在する方角にドローン６００が進行しないように、ドローン６００を制御する（ステップＳ２００２）。そして、ドローン制御部６３１は、方角情報に基づいて、ＧＵＩを介して利用者に進入不可エリアが存在する方角を通知する（ステップＳ２００３）。
その後、ドローン制御部６３１は、飛行制御処理を終了する。これにより、ドローン制御部６３１は、進入不可エリアにドローン６００が進入しないように、ドローン６００の飛行を制御し、かつ、操縦者に操縦指針を与えることができる。
（全体処理手順）
次に、図２１を用いて、情報処理装置１００の全体制御部６０１が実行する、全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
図２１は、全体処理手順の一例を示すフローチャートである。図２１において、全体制御部６０１は、３６０度カメラ画像を受信する（ステップＳ２１０１）。
次に、全体制御部６０１は、３６０度カメラ画像を引数として、図２２に後述するＤＬエンジン処理をＤＬエンジン部６０２に実行させる（ステップＳ２１０２）。そして、全体制御部６０１は、ＤＬエンジン処理の戻り値である多次元配列データを引数として、図２３に後述する進入不可エリアデータ取得処理を進入不可エリアデータ取得部６０３に実行させる（ステップＳ２１０３）。
次に、全体制御部６０１は、進入不可エリアデータ取得処理の戻り値である進入不可エリアデータの中心部に確信度１を含むか否かを判定する（ステップＳ２１０４）。ここで、確信度１を含む場合（ステップＳ２１０４：Ｙｅｓ）、全体制御部６０１は、ステップＳ２１０５の処理に移行する。一方で、確信度１を含まない場合（ステップＳ２１０４：Ｎｏ）、全体制御部６０１は、全体処理を終了する。
ステップＳ２１０５では、全体制御部６０１は、進入不可エリアデータ取得処理の戻り値である進入不可エリアデータを引数として、図２４に後述する方角計算処理を方角計算部６０４に実行させる（ステップＳ２１０５）。
次に、全体制御部６０１は、方角計算処理の戻り値である方角情報をドローン６００に送信する（ステップＳ２１０６）。そして、全体制御部６０１は、全体処理を終了する。これにより、全体制御部６０１は、進入不可エリアにドローン６００が進入しないように、ドローン６００に方角情報を提供することができる。
（ＤＬエンジン処理手順）
次に、図２２を用いて、情報処理装置１００のＤＬエンジン部６０２が実行する、ＤＬエンジン処理手順の一例について説明する。ＤＬエンジン処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
図２２は、ＤＬエンジン処理手順の一例を示すフローチャートである。図２２において、ＤＬエンジン部６０２は、３６０度カメラ画像を取得する（ステップＳ２２０１）。
次に、ＤＬエンジン部６０２は、取得した３６０度カメラ画像をピクセル単位の多次元配列データに成形する（ステップＳ２２０２）。そして、ＤＬエンジン部６０２は、ステップＳ２２０３の処理に移行する。
ステップＳ２２０３では、ＤＬエンジン部６０２は、学習モデルを選択する（ステップＳ２２０３）。次に、ＤＬエンジン部６０２は、成形した多次元配列データを入力としてニューラルネットワークと選択した学習モデルを用いて推論を実施する（ステップＳ２２０４）。
そして、ＤＬエンジン部６０２は、すべての学習モデルを選択したか否かを判定する（ステップＳ２２０５）。ここで、未選択の学習モデルがある場合（ステップＳ２２０５：Ｎｏ）、ＤＬエンジン部６０２は、ステップＳ２２０３の処理に戻る。一方で、すべての学習モデルを選択している場合（ステップＳ２２０５：Ｙｅｓ）、ＤＬエンジン部６０２は、ステップＳ２２０６の処理に移行する。
ステップＳ２２０６では、ＤＬエンジン部６０２は、推論結果８２０として、ピクセル単位の確信度を示す多次元配列データを出力する（ステップＳ２２０６）。そして、ＤＬエンジン部６０２は、ＤＬエンジン処理を終了する。これにより、ＤＬエンジン部６０２は、３６０度カメラ画像に何の物体が写っているか否かを特定可能にし、３６０度カメラ画像上の物体の写り方を示し、進入不可エリアデータを検索するキーとして利用可能な多次元配列データを出力することができる。
（進入不可エリアデータ取得処理手順）
次に、図２３を用いて、情報処理装置１００の進入不可エリアデータ取得部６０３が実行する、進入不可エリアデータ取得処理手順の一例について説明する。進入不可エリアデータ取得処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
図２３は、進入不可エリアデータ取得処理手順の一例を示すフローチャートである。図２３において、進入不可エリアデータ取得部６０３は、ピクセル単位の確信度を示す多次元配列データを取得する（ステップＳ２３０１）。
次に、進入不可エリアデータ取得部６０３は、正解データファイルを読み込む（ステップＳ２３０２）。そして、進入不可エリアデータ取得部６０３は、最大類似スコアと類似正解データ行番号とを初期化する（ステップＳ２３０３）。
次に、進入不可エリアデータ取得部６０３は、正解データファイルに含まれる、未処理の正解データを選択する（ステップＳ２３０４）。そして、進入不可エリアデータ取得部６０３は、多次元配列データと、選択した正解データとを比較し、類似スコアを算出する（ステップＳ２３０５）。
次に、進入不可エリアデータ取得部６０３は、最大類似スコア＜算出した類似スコアであるか否かを判定する（ステップＳ２３０６）。ここで、最大類似スコア＜算出した類似スコアではない場合（ステップＳ２３０６：Ｎｏ）、進入不可エリアデータ取得部６０３は、ステップＳ２３０４の処理に戻る。一方で、最大類似スコア＜算出した類似スコアである場合（ステップＳ２３０６：Ｙｅｓ）、進入不可エリアデータ取得部６０３は、ステップＳ２３０７の処理に移行する。
ステップＳ２３０７では、進入不可エリアデータ取得部６０３は、算出した類似スコアを最大類似スコアに設定し、選択した正解データの行番号を類似正解データ行番号に設定する（ステップＳ２３０７）。
次に、進入不可エリアデータ取得部６０３は、すべての正解データを選択したか否かを判定する（ステップＳ２３０８）。ここで、未選択の正解データがある場合（ステップＳ２３０８：Ｎｏ）、進入不可エリアデータ取得部６０３は、ステップＳ２３０４の処理に戻る。一方で、すべての正解データを選択している場合（ステップＳ２３０８：Ｙｅｓ）、進入不可エリアデータ取得部６０３は、ステップＳ２３０９の処理に移行する。
ステップＳ２３０９では、進入不可エリアデータ取得部６０３は、進入不可エリアデータファイルを読み込み、類似正解データ行番号と同じ行番号の進入不可エリアデータを取得する（ステップＳ２３０９）。次に、進入不可エリアデータ取得部６０３は、進入不可エリアデータを出力する（ステップＳ２３１０）。
そして、進入不可エリアデータ取得部６０３は、進入不可エリアデータ取得処理を終了する。これにより、進入不可エリアデータ取得部６０３は、ドローン６００が撮像した３６０度カメラ画像に写った所定の物体を基準とした進入不可エリアを特定する情報として援用可能な、進入不可エリアデータを出力することができる。
（方角計算処理手順）
次に、図２４を用いて、情報処理装置１００の方角計算部６０４が実行する、方角計算処理手順の一例について説明する。方角計算処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、通信Ｉ／Ｆ３０３とによって実現される。
図２４は、方角計算処理手順の一例を示すフローチャートである。図２４において、方角計算部６０４は、進入不可エリアデータを取得する（ステップＳ２４０１）。
次に、方角計算部６０４は、３６０度カメラ画像を８分割し、確信度１を含むエリアがある方角を、進入不可方角として特定する（ステップＳ２４０２）。そして、方角計算部６０４は、進入不可方角を示す方角情報を出力する（ステップＳ２４０３）。その後、方角計算部６０４は、方角計算処理を終了する。これにより、方角計算部６０４は、進入不可エリアにドローン６００が進入しないようにするための方角情報を出力することができる。
以上説明したように、情報処理装置１００によれば、無人航空機１１０が有する撮像装置が撮像した撮像画像１２０から所定の物体を検出することができる。情報処理装置１００によれば、記憶部を参照し、検出した所定の物体の撮像画像１２０上での位置に基づいて、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定することができる。情報処理装置１００によれば、進入する可能性があると判定した場合、記憶部を参照し、検出した所定の物体を基準とした禁止領域に関する情報を出力することができる。これにより、情報処理装置１００は、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入を抑制することができる。
情報処理装置１００によれば、記憶部を参照し、検出した所定の物体の撮像画像１２０上での位置と、所定の物体の教師画像上での位置を特定する情報とを照合することができる。情報処理装置１００によれば、照合した結果に基づいて、所定の物体を基準とした禁止領域を特定する情報を検索することができる。情報処理装置１００によれば、検索した情報に基づいて、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定することができる。これにより、情報処理装置１００は、所定の物体の写り方が撮像画像１２０と同様である教師画像に基づく、禁止領域を特定する情報を検索し、検出した所定の物体を基準とした禁止領域を特定するために援用することができる。情報処理装置１００は、検索した情報に基づいて、判定精度の向上を図ることができる。
情報処理装置１００によれば、検索した情報に基づいて、検出した所定の物体を基準とした禁止領域に無人航空機１１０が進入しないように無人航空機１１０の飛行を制御する制御指示を無人航空機１１０に出力することができる。これにより、情報処理装置１００は、無人航空機１１０が自動で飛行している場合に対し、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入を抑制することができる。
情報処理装置１００によれば、検索した情報に基づいて、検出した所定の物体を基準とした禁止領域に無人航空機１１０が進入しないように無人航空機１１０を飛行させる操縦指標を出力することができる。これにより、情報処理装置１００は、無人航空機１１０が人の無線操縦により飛行している場合に対し、無人航空機１１０の進入が禁止された領域への無人航空機１１０の進入を抑制することができる。
情報処理装置１００によれば、撮像画像１２０上の画素ごとに、所定の物体が写った画素である確率の大きさを示す確信度を算出することができる。情報処理装置１００によれば、撮像画像１２０上の画素ごとに算出した確信度と、所定の物体が写った教師画像上の画素を特定する情報とを照合することができる。情報処理装置１００によれば、照合した結果に基づいて、所定の物体を基準とした禁止領域が写った教師画像上の画素を特定する情報を検索することができる。これにより、情報処理装置１００は、撮像画像１２０と教師画像とを直接比較しなくても、撮像画像１２０と所定の物体の写り方が共通する教師画像に基づく禁止領域を特定する情報を検索可能にすることができる。このため、情報処理装置１００は、撮像画像１２０と教師画像とを直接比較する場合に比べて処理量の低減化を図ることができる。また、情報処理装置１００は、教師画像を直接記憶しておかなくてもよいため、記憶領域の使用量の低減化を図ることができる。
情報処理装置１００によれば、検索した情報に基づいて、教師画像上の所定範囲内の画素に、所定の物体を基準とした禁止領域が写った教師画像上の画素があるか否かを判定することができる。情報処理装置１００によれば、画素があれば、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があると判定することができる。これにより、情報処理装置１００は、無人航空機１１０と禁止領域との距離を算出しなくても、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定可能にすることができる。
情報処理装置１００によれば、所定範囲の指定を受け付けることができる。これにより、情報処理装置１００は、所定範囲を可変にすることができる。このため、情報処理装置１００は、例えば、無人航空機１１０の速度に合わせて、禁止領域に無人航空機１１０が進入する可能性があるか否かを判定する精度の向上を図ることができる。また、情報処理装置１００は、例えば、利用者の指定に応じて、禁止領域に無人航空機１１０が進入する可能性の低減化を優先するか、無人航空機１１０の飛行の自由度を優先するかを変更することができる。
情報処理装置１００によれば、所定の物体を基準とした禁止領域を特定する情報に、禁止領域と無人航空機１１０との位置関係を特定する情報を利用することができる。これにより、情報処理装置１００は、教師画像に写った所定の物体を基準とした禁止領域と無人航空機１１０との位置関係を、検出した所定の物体を基準とした禁止領域と無人航空機１１０との位置関係に援用することができる。そして、情報処理装置１００は、検出した所定の物体を基準とした禁止領域に、無人航空機１１０が進入する可能性があるか否かを判定することができる。
情報処理装置１００によれば、所定の物体を基準とした禁止領域を特定する情報に、禁止領域が存在する方向を特定する情報、および、禁止領域に無人航空機１１０が進入する可能性があるか否かを示す情報を利用することができる。これにより、情報処理装置１００は、教師画像に写った所定の物体を基準とした禁止領域への無人航空機１１０の進入の可能性の有無を、検出した所定の物体を基準とした禁止領域への無人航空機１１０の進入の可能性の有無に援用することができる。このため、情報処理装置１００は、判定にかかる処理量の低減化を図ることができる。
情報処理装置１００によれば、所定の物体が写った１以上の画像を基に、撮像画像１２０を入力すると撮像画像１２０上の画素ごとに確信度を出力することが可能なモデルを学習することができる。これにより、情報処理装置１００は、学習モデルが、撮像画像１２０に所定の物体がどのように写っている場合にも適用可能なようにし、確信度の算出精度の向上を図ることができる。
情報処理装置１００によれば、記憶部に、複数の物体のそれぞれの物体について、物体が写った教師画像ごとに、物体の教師画像上での位置を特定する情報と、物体を基準とした禁止領域を特定する情報とを対応付けて記憶することができる。これにより、情報処理装置１００は、複数の物体のそれぞれの物体を基準とした禁止領域に、無人航空機１１０が進入しないようにすることができる。
なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本実施の形態で説明した情報処理プログラムは、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本実施の形態で説明した情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
（付記１）コンピュータに、
無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
処理を実行させることを特徴とする情報処理プログラム。
（付記２）前記コンピュータに、
前記記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置と、前記所定の物体の前記教師画像上での位置を特定する情報とを照合した結果に基づいて、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報を検索する、処理を実行させ、
前記判定する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定する、ことを特徴とする付記１に記載の情報処理プログラム。
（付記３）前記出力する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に前記無人航空機が進入しないように前記無人航空機の飛行を制御する制御指示を前記無人航空機に出力する、ことを特徴とする付記２に記載の情報処理プログラム。
（付記４）前記出力する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に前記無人航空機が進入しないように前記無人航空機を飛行させる操縦指標を出力する、ことを特徴とする付記２または３に記載の情報処理プログラム。
（付記５）前記記憶部は、前記教師画像ごとに、前記所定の物体が写った前記教師画像上の画素を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素を特定する情報とを対応付けて記憶し、
前記検出する処理は、前記撮像画像上の画素ごとに、前記所定の物体が写った画素である確率の大きさを示す確信度を算出し、
前記検索する処理は、前記撮像画像上の画素ごとに算出した前記確信度と、前記所定の物体が写った前記教師画像上の画素を特定する情報とを照合した結果に基づいて、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素を特定する情報を検索する、ことを特徴とする付記２～４のいずれか一つに記載の情報処理プログラム。
（付記６）前記判定する処理は、検索した前記禁止領域を特定する情報に基づいて、前記教師画像上の所定範囲内の画素に、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素が含まれる場合、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があると判定する、ことを特徴とする付記５に記載の情報処理プログラム。
（付記７）前記コンピュータに、
前記所定範囲の指定を受け付ける、処理を実行させることを特徴とする付記６に記載の情報処理プログラム。
（付記８）前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報は、前記禁止領域と前記無人航空機との位置関係を特定する情報を含む、ことを特徴とする付記１～４のいずれか一つに記載の情報処理プログラム。
（付記９）前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報は、前記禁止領域が存在する方向を特定する情報、および、前記禁止領域に前記無人航空機が進入する可能性があるか否かを示す情報を含む、ことを特徴とする付記１～４のいずれか一つに記載の情報処理プログラム。
（付記１０）前記コンピュータに、
前記所定の物体が写った１以上の画像を基に、前記撮像画像を入力すると前記撮像画像上の画素ごとに前記確信度を出力することが可能なモデルを学習する、処理を実行させることを特徴とする付記５～９のいずれか一つに記載の情報処理プログラム。
（付記１１）前記記憶部は、複数の物体のそれぞれの物体について、前記物体が写った教師画像ごとに、前記物体の前記教師画像上での位置を特定する情報と、前記物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する、ことを特徴とする付記１～１０のいずれか一つに記載の情報処理プログラム。
（付記１２）コンピュータが、
無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
処理を実行することを特徴とする情報処理方法。
（付記１３）無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
制御部を有することを特徴とする情報処理装置。
１００ 情報処理装置
１１０ 無人航空機
１２０ 撮像画像
１３０ ＤＬエンジン
１３１，６２１，６２２，７５０，１０２０，１１２０，１２２０ 学習モデル
１４０，９３０ 消火栓
１５０ 進入不可エリア
２００ 無人航空機管理システム
３００，４００ バス
３０１，４０１ ＣＰＵ
３０２，４０２ メモリ
３０３，４０３ 通信Ｉ／Ｆ
３０４ 記録媒体Ｉ／Ｆ
３０５ 記録媒体
４０４ 撮像装置
４０５ 駆動装置
５００ 記憶部
５０１ 取得部
５０２ 検出部
５０３ 判定部
５０４ 出力部
６００ ドローン
６０１ 全体制御部
６０２ ＤＬエンジン部
６０３ 進入不可エリアデータ取得部
６０４ 方角計算部
６１０ 進入不可エリアデータセット
６１１，７２０，１０１０，１１０１，１１１１，１２０１，１２１１，１４１０ 正解データ
６１２，１４２０，１５１０ 進入不可エリアデータ
６３１ ドローン制御部
６３２ 撮像制御部
７００ ＤＬ学習器
７１０ 教師画像
７３０ ニューラルネットワーク定義
７４０ ハイパーパラメータ
８００ ＤＬ推論器
８１０ テストデータ
８２０ 推論結果
９１０ プール
９２０ 火の気
１０００，１１００，１１１０，１２００，１２１０，１３００，１５００，１６００，１６１０ ３６０度カメラ画像
１３１０ 多次元配列データ
１４００ 正解データファイル

Claims (9)

  1. コンピュータに、
    無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
    前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
    進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
    処理を実行させることを特徴とする情報処理プログラム。
  2. 前記コンピュータに、
    前記記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置と、前記所定の物体の前記教師画像上での位置を特定する情報とを照合した結果に基づいて、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報を検索する、処理を実行させ、
    前記判定する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定する、ことを特徴とする請求項１に記載の情報処理プログラム。
  3. 前記出力する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に前記無人航空機が進入しないように前記無人航空機の飛行を制御する制御指示を前記無人航空機に出力する、ことを特徴とする請求項２に記載の情報処理プログラム。
  4. 前記出力する処理は、検索した前記禁止領域を特定する情報に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に前記無人航空機が進入しないように前記無人航空機を飛行させる操縦指標を出力する、ことを特徴とする請求項２または３に記載の情報処理プログラム。
  5. 前記記憶部は、前記教師画像ごとに、前記所定の物体が写った前記教師画像上の画素を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素を特定する情報とを対応付けて記憶し、
    前記検出する処理は、前記撮像画像上の画素ごとに、前記所定の物体が写った画素である確率の大きさを示す確信度を算出し、
    前記検索する処理は、前記撮像画像上の画素ごとに算出した前記確信度と、前記所定の物体が写った前記教師画像上の画素を特定する情報とを照合した結果に基づいて、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素を特定する情報を検索する、ことを特徴とする請求項２～４のいずれか一つに記載の情報処理プログラム。
  6. 前記判定する処理は、検索した前記禁止領域を特定する情報に基づいて、前記教師画像上の所定範囲内の画素に、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域が写った前記教師画像上の画素が含まれる場合、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があると判定する、ことを特徴とする請求項５に記載の情報処理プログラム。
  7. 前記記憶部は、複数の物体のそれぞれの物体について、前記物体が写った教師画像ごとに、前記物体の前記教師画像上での位置を特定する情報と、前記物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する、ことを特徴とする請求項１～６のいずれか一つに記載の情報処理プログラム。
  8. コンピュータが、
    無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
    前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
    進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
    処理を実行することを特徴とする情報処理方法。
  9. 無人航空機が有する撮像装置が撮像した撮像画像から所定の物体を検出し、
    前記所定の物体が写った教師画像ごとに、前記所定の物体の前記教師画像上での位置を特定する情報と、前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域を特定する情報とを対応付けて記憶する記憶部を参照し、検出した前記所定の物体の前記撮像画像上での位置に基づいて、検出した前記所定の物体を基準とした前記無人航空機の進入が禁止された禁止領域に、前記無人航空機が進入する可能性があるか否かを判定し、
    進入する可能性があると判定した場合、前記記憶部に記憶された前記禁止領域を特定する情報に基づき生成される、禁止領域に関する情報を出力する、
    制御部を有することを特徴とする情報処理装置。
JP2018096534A 2018-05-18 2018-05-18 情報処理プログラム、情報処理方法、および情報処理装置 Active JP7127361B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018096534A JP7127361B2 (ja) 2018-05-18 2018-05-18 情報処理プログラム、情報処理方法、および情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018096534A JP7127361B2 (ja) 2018-05-18 2018-05-18 情報処理プログラム、情報処理方法、および情報処理装置

Publications (2)

Publication Number Publication Date
JP2019200734A JP2019200734A (ja) 2019-11-21
JP7127361B2 true JP7127361B2 (ja) 2022-08-30

Family

ID=68612208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018096534A Active JP7127361B2 (ja) 2018-05-18 2018-05-18 情報処理プログラム、情報処理方法、および情報処理装置

Country Status (1)

Country Link
JP (1) JP7127361B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021086217A (ja) * 2019-11-25 2021-06-03 トヨタ自動車株式会社 自律移動体システム、自律移動体の制御プログラムおよび自律移動体の制御方法
JP7514669B2 (ja) 2020-06-30 2024-07-11 ジオテクノロジーズ株式会社 推論装置、推論方法、推論プログラム、およびコンピュータにより読み取り可能な記憶媒体
JP7363733B2 (ja) * 2020-09-30 2023-10-18 トヨタ自動車株式会社 端末プログラム、無人航空機、及び情報処理装置
JP7546516B2 (ja) 2021-06-02 2024-09-06 三菱電機株式会社 点検支援システム、点検支援方法、および学習装置
GB2624562A (en) * 2021-08-26 2024-05-22 Mitsubishi Electric Corp Image search device and image search method
WO2023223781A1 (ja) * 2022-05-20 2023-11-23 株式会社Ｎｔｔドコモ 制御装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017135507A (ja) 2016-01-26 2017-08-03 富士通株式会社 移動体管理システム，及び基地局

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015002522A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 監視カメラ及び監視カメラの制御方法
JP6326009B2 (ja) * 2015-06-29 2018-05-16 株式会社オプティム 無線航空機、位置情報出力方法及び無線航空機用プログラム。

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017135507A (ja) 2016-01-26 2017-08-03 富士通株式会社 移動体管理システム，及び基地局

Also Published As

Publication number Publication date
JP2019200734A (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
JP7127361B2 (ja) 情報処理プログラム、情報処理方法、および情報処理装置
JP6849898B2 (ja) 生成ニューラルネットワークと、判別ニューラルネットワークとを含む敵対的生成ネットワークを利用して、合成可否判断不可の合成イメージを生成する方法、及び装置
Lahoz-Monfort et al. A comprehensive overview of technologies for species and habitat monitoring and conservation
Isaac-Medina et al. Unmanned aerial vehicle visual detection and tracking using deep neural networks: A performance benchmark
US10408936B2 (en) LIDAR light fence to cue long range LIDAR of target drone
US20190066326A1 (en) Learning good features for visual odometry
US20160116915A1 (en) Surveying areas using a radar system and an unmanned aerial vehicle
McCLELLAND et al. Rapid population estimate of a surface-nesting seabird on a remote island using a low-cost unmanned aerial vehicle
US20220074744A1 (en) Unmanned Aerial Vehicle Control Point Selection System
CN106931945A (zh) 机器人导航方法和系统
RU2746090C2 (ru) Система и способ защиты от беспилотных летательных аппаратов в воздушном пространстве населенного пункта
US11725950B2 (en) Substitute autonomous vehicle data
KR102199680B1 (ko) 자율 착륙을 위한 드론 제어 방법 및 장치
RU2755603C2 (ru) Система и способ обнаружения и противодействия беспилотным летательным аппаратам
CN107273881A (zh) 一种反恐探索车、可穿戴设备和虚拟现实探测系统
CN110718137A (zh) 目标物密度分布地图的构建方法及装置、终端、移动装置
CN114638975A (zh) 一种用于机场的鸟类和非鸟类驱赶方法及系统
Bhattacharya et al. IDeA: IoT-based autonomous aerial demarcation and path planning for precision agriculture with UAVs
EP3798907A1 (en) System and method for detecting unmanned aerial vehicles
Goodyer Drone rangers [Africa special sustainability]
Mota et al. Expanding small uav capabilities with ann: A case study for urban areas inspection
Bennett et al. Autonomous vehicles for remote sample collection: Enabling marine research
Javanmardi et al. 3D building map reconstruction in dense urban areas by integrating airborne laser point cloud with 2D boundary map
JP7261115B2 (ja) 個体識別管理装置
CN113870421A (zh) 一种竞速无人机的轨道智能定位方法、装置及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R150 Certificate of patent or registration of utility model

Ref document number: 7127361

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150