JP6778067B2 - 雲位置推定装置、雲位置推定方法及び雲位置推定プログラム - Google Patents

Description

本発明は、光学センサにより取得された画像を用いて雲の位置を推定する技術に関する。

航空機に搭載された光学センサにより監視を行う際など、高所に設置された光学センサを使用して所定の対象の画像を取得する場合には、この対象と光学センサとの間に位置する雲が画像取得の障害となる。そのため、雲を回避して好適に画像取得を行えるように、できるだけ正確に雲の位置を把握する必要がある。

雲の位置を検出するには気象レーダーを用いるのが一般的であるが、重量や消費電力の点から小型の航空機等には搭載が困難であることや、電波を発するため気象レーダーの位置を他者に把握される可能性があるといった問題がある。

これに対し、例えば特許文献１に記載の技術では、雲を山や建造物などの参照物体と共に撮影し、得られた画像上で参照物体の高さと位置から雲の位置を推定することにより、気象レーダーを用いずに雲の位置を把握することが可能となっている。

特開２０１５−１１０１４号公報

しかしながら、上記特許文献１に記載の技術は、雲の位置を推定するための参照物体の存在が必須であるため、例えば撮影対象と雲しか存在しない洋上や高高度などでの画像取得時には適用できない。

本発明は、上記課題を鑑みてなされたもので、雲の位置を推定するための参照物体を必要とすることなく、光学センサで取得した画像から好適に雲の位置を推定することを目的とする。

上記目的を達成するために、請求項１に記載の発明は、高所に設置された光学センサを用いて雲の位置を推定する雲位置推定装置であって、
前記光学センサは、鉛直方向と交差するセンサ方向に向けられ、雲を含む画像を取得し、
前記光学センサにより取得された画像に基づいて、当該画像上での水平及び鉛直の各方向における雲の範囲を算出する雲範囲算出手段と、
前記雲範囲算出手段により算出された前記画像上での雲の鉛直方向範囲、前記光学センサの高度、及び雲の存在可能高度に基づいて、高度と雲の発生しやすさとの関係を用いて、前記光学センサからの離隔距離に対する雲の存在確率分布を推定する雲分布推定手段と、
前記雲範囲算出手段により算出された前記画像上での雲の水平方向範囲と、前記雲分布推定手段により推定された前記光学センサからの離隔距離に対する雲の存在確率分布とに基づいて、前記画像上での水平方向及び前記センサ方向を含む平面内における雲の存在確率分布を生成する雲分布生成手段と、
を備え、
前記雲分布推定手段は、
前記光学センサの仰俯角と、前記画像上での雲の鉛直方向範囲と、前記光学センサの高度とに基づいて、前記光学センサと雲の最高高度点とを結ぶ直線を算出し、
前記直線を含む鉛直断面内で雲が存在し得る範囲として、前記直線と、地球の丸みを考慮した前記雲の存在可能高度とで囲まれる雲存在範囲を算出し、
前記雲存在範囲のうち前記直線上の位置の高度が低い部分ほど雲の存在確率が高くなるものとして、当該雲存在範囲内における前記光学センサからの離隔距離に対する雲の存在確率分布を算出することを特徴とする。

請求項２に記載の発明は、請求項１に記載の雲位置推定装置において、
前記光学センサは、移動体に搭載されて、取得時刻が互いに異なるとともに同一の雲を含んだ複数の画像を取得し、
前記雲範囲算出手段、前記雲分布推定手段及び前記雲分布生成手段により、前記複数の画像に対応する複数の前記平面内における雲の存在確率分布を生成し、
生成された複数の当該雲の存在確率分布を、より新しい画像に対応するものほど重み係数が大きくなるように重み付けして統合する雲分布統合手段を備えることを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の雲位置推定装置において、
当該雲位置推定装置は、前記光学センサにより所定の対象の画像が取得された場合に、当該画像内に含まれる雲の位置を推定するものであることを特徴とする。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の雲位置推定装置において、
前記光学センサが航空機に搭載されていることを特徴とする。

請求項５及び請求項６に記載の発明は、請求項１に記載の雲位置推定装置と同様の特徴を具備する雲位置推定方法及び雲位置推定プログラムである。

請求項１に記載の発明によれば、光学センサで取得された画像上での水平及び鉛直の各方向における雲の範囲が算出され、算出された画像上での雲の鉛直方向範囲、光学センサの高度、雲の存在可能高度に基づいて、高度と雲の発生しやすさとの関係を用いて、光学センサからの離隔距離に対する雲の存在確率分布が推定される。そして、この光学センサからの離隔距離に対する雲の存在確率分布と、画像上での雲の水平方向範囲とに基づいて、当該画像上での水平方向とセンサ方向とを含む平面内における雲の存在確率分布が生成される。
したがって、雲の位置を推定するための参照物体の存在が必須であった従来と異なり、このような参照物体を必要とすることなく、光学センサで取得した画像から好適に雲の位置を推定することができる。

請求項２に記載の発明によれば、移動体とともに移動する光学センサにより、取得時刻が互いに異なるとともに同一の雲を含んだ複数の画像が取得され、これら複数の画像に対応して、上記平面内における雲の存在確率分布が複数生成される。そして、生成された複数の当該雲の存在確率分布が、より新しい画像に対応するものほど重み係数が大きくなるように重み付けされつつ統合される。
したがって、過去のものとは異なる方向から取得された新たな画像に基づく雲の存在確率分布が、より確度の高い情報として過去のものに加えられるので、より正確に雲の位置を推定することができる。

本実施形態における航空機の概略構成を示すブロック図である。 雲位置推定処理の流れを示すフローチャートである。 雲位置推定処理を説明するための図である。 雲位置推定処理を説明するための図である。

以下、本発明に係る雲位置推定装置を航空機１に適用した場合の実施形態について、図面を参照して説明する。

［構成］
まず、本実施形態における航空機１の構成について、図１を参照して説明する。
図１は、航空機１の概略構成を示すブロック図である。
航空機１は、搭載された光学センサ１４を用いて所定の監視対象の監視を行うものであり、より詳しくは、本発明に係る雲位置推定装置を具備することにより、監視対象の画像取得を妨げ得る雲の位置を推定してこれを回避しつつ好適に監視対象を監視可能に構成されたものである。
具体的には、図１に示すように、航空機１は、飛行機構１１と、操作部１２と、機体センサ１３と、光学センサ１４と、記憶部１６と、制御部１８とを備えて構成されている。

このうち、飛行機構１１は、航空機１を飛行させるための機構であり、推進力を発生させる内燃機関（例えばジェットエンジン）や舵面駆動用のアクチュエータ等から構成されている。
操作部１２は、パイロットに操作される操縦桿や各種操作キー等を備えており、これら操縦桿や各種操作キー等の操作状態に対応する信号を制御部１８に出力する。

機体センサ１３は、航空機１の位置や飛行状態等を検出するための各種のセンサであり、レーダー，ジャイロセンサ，速度センサ，ＧＰＳ（Global Positioning System）等を含んで構成されている。これらの機体センサ１３は、制御部１８からの制御指令に基づいて各種情報を取得し、その信号を制御部１８へ出力する。

光学センサ１４は、監視対象を監視するためのものであり、図示しないジンバルに載置されて向きを変えられるように航空機１の機体に設けられている。この光学センサ１４は、航空機１の機外の画像を取得し、取得した画像情報を制御部１８に出力する。

記憶部１６は、航空機１の各種機能を実現するためのプログラムやデータを記憶するとともに、作業領域としても機能するメモリである。本実施形態においては、記憶部１６は、雲位置推定プログラム１６０を記憶している。
雲位置推定プログラム１６０は、後述の雲位置推定処理を制御部１８に実行させるためのプログラムである。

制御部１８は、航空機１の各部を中央制御する。具体的に、制御部１８は、飛行機構１１を駆動制御して航空機１の飛行を制御したり、機体センサ１３や光学センサ１４の動作を制御したりする他、記憶部１６に記憶されているプログラムを展開し、展開されたプログラムと協働して各種処理を実行したりする。

［動作］
続いて、雲位置推定処理を実行する際の航空機１の動作について説明する。
図２は、雲位置推定処理の流れを示すフローチャートであり、図３及び図４は、雲位置推定処理を説明するための図である。

雲位置推定処理は、光学センサ１４により監視対象の監視を行う際に、雲が自機（航空機１）と監視対象との間に介在して監視対象の画像取得が妨げられないように、雲の位置を推定する処理である。この雲位置推定処理は、例えばパイロットの操作等により当該雲位置推定処理の実行指示が入力されたときに、制御部１８が記憶部１６から雲位置推定プログラム１６０を読み出して展開することで実行される。
なお、ここでは、航空機１が飛行中であり、飛行物体である監視対象Ｔの監視をその水平方向の遠方から行っているものとする（図３（ａ）参照）。

図２に示すように、雲位置推定処理が実行されると、まず制御部１８は、光学センサ１４により監視対象Ｔの画像を取得する（ステップＳ１）。
具体的に、制御部１８は、略水平方向に向けた光学センサ１４のセンサ視軸Ａｘ上に監視対象Ｔを捉えた状態（図４（ａ）参照）で、当該光学センサ１４により監視対象Ｔの画像を取得する。
なお、以下では、光学センサ１４の向きに沿った方向（本実施形態では略水平方向）を「センサ方向」ということとする。

次に、制御部１８は、ステップＳ１で取得した画像上に監視対象Ｔの画像取得を妨げ得る雲が存在するか否かを判定し（ステップＳ２）、存在しないと判定した場合には（ステップＳ２；Ｎｏ）、上述のステップＳ１へ処理を移行して監視対象Ｔの画像取得を継続する。
なお、「監視対象Ｔの画像取得を妨げ得る雲」の条件については、特に限定されず、例えば監視対象Ｔと同程度の高度に位置する雲としてもよいし、画像上の全ての雲などとしてもよい。

また、ステップＳ２において、ステップＳ１で取得した画像上に監視対象Ｔの画像取得を妨げ得る雲が存在すると判定した場合には（ステップＳ２；Ｙｅｓ）、制御部１８は、この画像に基づいて、当該画像上での水平及び鉛直の各方向における当該雲の範囲を算出する（ステップＳ３）。
具体的には、図３（ａ）に示すように、制御部１８は、取得した画像から水平線ＨＬ近傍（図３（ａ）では水平線ＨＬよりも上方）の雲ＣＬを、監視対象Ｔの画像取得を妨げ得るものとして抽出し、画像上での当該雲ＣＬの水平方向範囲及び鉛直方向範囲を算出する。

次に、制御部１８は、光学センサ１４からの離隔距離に対する雲の存在確率分布を推定する（ステップＳ４）。このステップでは、画像から直接得ることができない航空機１から雲ＣＬまでの距離を、高度と雲の発生しやすさとの関係を用いて、雲の存在確率として推定する。
具体的には、図３（ｂ）に示すように、制御部１８は、ステップＳ３で算出した画像上での雲ＣＬの鉛直方向範囲（雲高）や、機体センサ１３から得られる自機の高度ＡＬ、雲の存在可能高度（範囲）Ｒ等に基づいて、自機と雲ＣＬの最高高度点とを含む鉛直断面における雲ＣＬの存在確率分布を推定する。
より詳しくは、まず制御部１８は、当該鉛直断面での光学センサ１４の向き（つまり光学センサ１４の仰俯角）と、画像上での雲ＣＬの雲高と、自機の高度ＡＬとから、自機と雲ＣＬの最高高度点とを結ぶ直線Ｌを求める。次に、制御部１８は、当該鉛直断面内で雲ＣＬが存在し得る範囲として、この直線Ｌと、地表Ｇ（地球）の丸みを考慮した雲の存在可能高度Ｒとで囲まれる雲存在範囲ＥＡを算出する。そして、一般に低高度の方が濃い雲が発生しやすいことから、制御部１８は、雲存在範囲ＥＡのうち上縁である直線Ｌ上の位置の高度が低い部分ほど雲ＣＬの存在確率が高くなるものとして、当該雲存在範囲ＥＡ内における光学センサ１４からの離隔距離に対する雲ＣＬの存在確率分布を推定する。
なお、図３（ｂ）や後述の図４（ａ），（ｂ）では、雲ＣＬの存在確率の高低をグラデーションの濃淡で示している。また、これらの図に二点鎖線で示した雲ＣＬは、参考として示した当該雲ＣＬの実際の位置であって、本実施形態の雲位置推定処理内においてこの位置が判明している訳ではない。

次に、制御部１８は、ステップＳ３で算出した雲ＣＬの水平方向範囲と、ステップＳ４で推定した、光学センサ１４からの離隔距離に対する雲ＣＬの存在確率分布とを合成することにより、図４（ａ）に示すように、画像上での水平方向とセンサ方向とを含む平面（本実施形態では略水平面）における雲ＣＬの存在確率分布を表す雲分布マップＭを生成する（ステップＳ５）。そして、制御部１８は、生成した雲分布マップＭを記憶部１６に記憶させる。
こうして、ステップＳ１で取得された画像に対応する雲分布マップＭが生成される。

次に、制御部１８は、ステップＳ１で取得した画像よりも過去に取得された画像に対応する雲ＣＬの雲分布マップＭ（または後述の統合雲分布マップＭＩ）が記憶部１６に記憶されているか否かを判定し（ステップＳ６）、記憶されていないと判定した場合には（ステップＳ６；Ｎｏ）、上述のステップＳ１へ処理を移行して監視対象Ｔの画像取得を継続する。

また、ステップＳ６において、ステップＳ１で取得した画像よりも過去に取得された画像に対応する雲ＣＬの雲分布マップＭが記憶部１６に記憶されていると判定した場合には、制御部１８は、新しいものほど存在確率が大きくなるように重み付けしつつ、複数の雲分布マップＭを統合する（ステップＳ７）。
具体的には、図４（ｂ）に示すように、制御部１８は、機体センサ１３からの自機位置情報に基づいて自機の移動を加味しつつ、各位置で取得した画像に基づく雲ＣＬの雲分布マップＭを、より新しい画像に対応するものほど重み係数が大きくなるように重み付けして統合する。そして、制御部１８は、統合されてできた雲分布マップＭを、統合雲分布マップＭＩとして記憶部１６に記憶させる。
こうして、取得時刻が互いに異なる複数の雲分布マップＭが、時間により重み付けされつつ統合されることにより、より正確な雲ＣＬの位置推定が可能となる。

次に、制御部１８は、パイロットによる終了指示の入力等により雲位置推定処理を終了させるか否かを判定する（ステップＳ８）。そして、制御部１８は、雲位置推定処理を終了させないと判定した場合には（ステップＳ８；Ｎｏ）、上述のステップＳ１へ処理を移行して監視対象Ｔの画像取得を継続し、終了させると判定した場合には（ステップＳ８；Ｙｅｓ）、雲位置推定処理を終了させる。

［効果］
以上のように、本実施形態によれば、光学センサ１４で取得された画像上での水平及び鉛直の各方向における雲ＣＬの範囲が算出され、算出された画像上での雲ＣＬの雲高、航空機１（光学センサ１４）の高度ＡＬ、雲の存在可能高度Ｒに基づいて、高度と雲の発生しやすさとの関係を用いて、光学センサ１４からの離隔距離に対する雲ＣＬの存在確率分布が推定される。そして、この光学センサ１４からの離隔距離に対する雲ＣＬの存在確率分布と、画像上での雲ＣＬの水平方向範囲とに基づいて、当該画像上での水平方向とセンサ方向とを含む平面（本実施形態では略水平面）内における雲分布マップＭが生成される。
したがって、雲の位置を推定するための参照物体の存在が必須であった従来と異なり、このような参照物体を必要とすることなく、光学センサ１４で取得した画像から好適に雲ＣＬの位置を推定することができる。
さらに、気象レーダーを必要とすることなく雲ＣＬの位置を推定できるため、重量及び消費電力の低減や、気象レーダーが電波を発することにより自機位置が探知される可能性の抑制などを図ることができる。

また、航空機１とともに移動する光学センサ１４により、取得時刻が互いに異なるとともに同一の雲ＣＬを含んだ複数の画像が取得され、これら複数の画像に対応する複数の雲分布マップＭが生成される。そして、生成された複数の雲分布マップＭが、より新しい画像に対応するものほど重み係数が大きくなるように重み付けされつつ統合され、統合雲分布マップＭＩが生成される。
したがって、過去のものとは異なる方向から取得された新たな画像に基づく雲ＣＬの存在確率分布が、より確度の高い情報として過去のものに加えられるので、より正確に雲ＣＬの位置を推定することができる。

［変形例］
なお、本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

例えば、上記実施形態では、光学センサ１４のセンサ方向が略水平方向であることとしたが、当該センサ方向は鉛直方向と交差する方向であれば特に限定されない。

また、複数の雲分布マップＭを統合して統合雲分布マップＭＩを生成する際には、最新の雲分布マップＭをその直前の雲分布マップＭまたは統合雲分布マップＭＩに順次加えて当該統合雲分布マップＭＩを更新していくこととしてもよいし、３つ以上の雲分布マップＭを生成してからこれらを同時に統合することとしてもよい。

また、本発明に係る雲位置推定装置を航空機１に適用した場合を例に挙げて説明したが、本発明は高所に設置された光学センサを用いて雲の位置を推定する技術に広く適用可能である。
したがって、例えば、無人航空機に搭載した光学センサから送信されてくる画像情報を用いて地上設備で雲の位置推定を行うこととしてもよいし、光学センサを高い建造物の上部などに設置することとしてもよい。

１ 航空機
１３ 機体センサ
１４ 光学センサ
１６ 記憶部
１６０ 雲位置推定プログラム
１８ 制御部
ＡＬ 自機の高度
ＣＬ 雲
ＥＡ 雲存在範囲
Ｌ 直線
Ｍ 雲分布マップ
ＭＩ 統合雲分布マップ
Ｒ 雲の存在可能高度

Claims (6)

1. 高所に設置された光学センサを用いて雲の位置を推定する雲位置推定装置であって、
   前記光学センサは、鉛直方向と交差するセンサ方向に向けられ、雲を含む画像を取得し、
   前記光学センサにより取得された画像に基づいて、当該画像上での水平及び鉛直の各方向における雲の範囲を算出する雲範囲算出手段と、
   前記雲範囲算出手段により算出された前記画像上での雲の鉛直方向範囲、前記光学センサの高度、及び雲の存在可能高度に基づいて、高度と雲の発生しやすさとの関係を用いて、前記光学センサからの離隔距離に対する雲の存在確率分布を推定する雲分布推定手段と、
   前記雲範囲算出手段により算出された前記画像上での雲の水平方向範囲と、前記雲分布推定手段により推定された前記光学センサからの離隔距離に対する雲の存在確率分布とに基づいて、前記画像上での水平方向及び前記センサ方向を含む平面内における雲の存在確率分布を生成する雲分布生成手段と、
   を備え、
   前記雲分布推定手段は、
   前記光学センサの仰俯角と、前記画像上での雲の鉛直方向範囲と、前記光学センサの高度とに基づいて、前記光学センサと雲の最高高度点とを結ぶ直線を算出し、
   前記直線を含む鉛直断面内で雲が存在し得る範囲として、前記直線と、地球の丸みを考慮した前記雲の存在可能高度とで囲まれる雲存在範囲を算出し、
   前記雲存在範囲のうち前記直線上の位置の高度が低い部分ほど雲の存在確率が高くなるものとして、当該雲存在範囲内における前記光学センサからの離隔距離に対する雲の存在確率分布を算出することを特徴とする雲位置推定装置。
2. 前記光学センサは、移動体に搭載されて、取得時刻が互いに異なるとともに同一の雲を含んだ複数の画像を取得し、
   前記雲範囲算出手段、前記雲分布推定手段及び前記雲分布生成手段により、前記複数の画像に対応する複数の前記平面内における雲の存在確率分布を生成し、
   生成された複数の当該雲の存在確率分布を、より新しい画像に対応するものほど重み係数が大きくなるように重み付けして統合する雲分布統合手段を備えることを特徴とする請求項１に記載の雲位置推定装置。
3. 当該雲位置推定装置は、前記光学センサにより所定の対象の画像が取得された場合に、当該画像内に含まれる雲の位置を推定するものであることを特徴とする請求項１又は２に記載の雲位置推定装置。
4. 前記光学センサが航空機に搭載されていることを特徴とする請求項１〜３のいずれか一項に記載の雲位置推定装置。
5. 高所に設置された光学センサを用いて雲の位置を推定する雲位置推定方法であって、
   前記光学センサとして、鉛直方向と交差するセンサ方向に向けられ、雲を含む画像を取得するものを用い、
   雲位置推定装置が、
   前記光学センサにより取得された画像に基づいて、当該画像上での水平及び鉛直の各方向における雲の範囲を算出する雲範囲算出工程と、
   前記雲範囲算出工程で算出された前記画像上での雲の鉛直方向範囲、前記光学センサの高度、及び雲の存在可能高度に基づいて、高度と雲の発生しやすさとの関係を用いて、前記光学センサからの離隔距離に対する雲の存在確率分布を推定する雲分布推定工程と、
   前記雲範囲算出工程で算出された前記画像上での雲の水平方向範囲と、前記雲分布推定工程で推定された前記光学センサからの離隔距離に対する雲の存在確率分布とに基づいて、前記画像上での水平方向及び前記センサ方向を含む平面内における雲の存在確率分布を生成する雲分布生成工程と、
   を実行し、
   前記雲分布推定工程では、
   前記光学センサの仰俯角と、前記画像上での雲の鉛直方向範囲と、前記光学センサの高度とに基づいて、前記光学センサと雲の最高高度点とを結ぶ直線を算出し、
   前記直線を含む鉛直断面内で雲が存在し得る範囲として、前記直線と、地球の丸みを考慮した前記雲の存在可能高度とで囲まれる雲存在範囲を算出し、
   前記雲存在範囲のうち前記直線上の位置の高度が低い部分ほど雲の存在確率が高くなるものとして、当該雲存在範囲内における前記光学センサからの離隔距離に対する雲の存在確率分布を算出することを特徴とする雲位置推定方法。
6. 高所に設置された光学センサが取得した画像を用いて雲の位置を推定する雲位置推定プログラムであって、
   前記光学センサは、鉛直方向と交差するセンサ方向に向けられ、雲を含む画像を取得するものであり、
   雲位置推定装置を、
   前記光学センサにより取得された画像に基づいて、当該画像上での水平及び鉛直の各方向における雲の範囲を算出する雲範囲算出手段、
   前記雲範囲算出手段により算出された前記画像上での雲の鉛直方向範囲、前記光学センサの高度、及び雲の存在可能高度に基づいて、高度と雲の発生しやすさとの関係を用いて、前記光学センサからの離隔距離に対する雲の存在確率分布を推定する雲分布推定手段、
   前記雲範囲算出手段により算出された前記画像上での雲の水平方向範囲と、前記雲分布推定手段により推定された前記光学センサからの離隔距離に対する雲の存在確率分布とに基づいて、前記画像上での水平方向及び前記センサ方向を含む平面内における雲の存在確率分布を生成する雲分布生成手段、
   として機能させ、
   前記雲分布推定手段は、
   前記光学センサの仰俯角と、前記画像上での雲の鉛直方向範囲と、前記光学センサの高度とに基づいて、前記光学センサと雲の最高高度点とを結ぶ直線を算出し、
   前記直線を含む鉛直断面内で雲が存在し得る範囲として、前記直線と、地球の丸みを考慮した前記雲の存在可能高度とで囲まれる雲存在範囲を算出し、
   前記雲存在範囲のうち前記直線上の位置の高度が低い部分ほど雲の存在確率が高くなるものとして、当該雲存在範囲内における前記光学センサからの離隔距離に対する雲の存在確率分布を算出することを特徴とする雲位置推定プログラム。