JP2024032176A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】ガスの漏洩等の検知対象を容易に検知することができる情報処理装置、情報処理方法およびプログラムを提供する。【解決手段】情報処理装置は、移動体に搭載された撮像部が撮影したフレームが異なる第１画像および第２画像を取得する取得部と、第１画像と第２画像の位置合わせを行う位置合わせ部と、位置合わせされた第１画像と第２画像との差分を算出する差分算出部とを備える。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

特許文献１には、比較的広範な監視対象におけるガス等の漏洩を容易に監視できるようにするためのガス漏洩監視装置が記載されている。すなわち、特許文献１に記載されているガス漏洩監視装置は、飛行体に搭載される可視画像カメラおよび赤外線画像カメラと、赤外線画像におけるフレーム間で差がない画素を透明とした差分画像と可視画像とを合成して表示部に表示させる画像処理部とを備える。特許文献１に記載されているガス漏洩監視装置によれば、周辺気温と同等温度の透明なガスの漏洩であっても、ガスの赤外線吸収スペクトルに応じた画像として可視化できるとともに、フレーム間で画素ごとの輝度の差分が求められることによって、時々刻々変化する噴出の状況や風による流れの状況に応じた漏洩の状況が把握しやくなる。また、特許文献１に記載されているガス漏洩監視装置によれば、飛行体の飛行移動や振動によってフレーム間で視野がずれることでガスではない被写体の輪郭なども差分として強調されやすくなる場合であっても、可視画像が合成されるので、強調された部分が可視画像の輪郭部分に埋もれやすくなったり、輪郭部分であることが認識されることで目立たなくなったりする。これによって、視認性が良くなるので、ガスの漏洩を容易に監視することができる、とされる。

なお、非特許文献１には画像の位置合わせについての技術の一例が記載されている。

特開２０２２－１３１２６号公報

李尭希、藤本博志、「ＦＦＴに基づくロバストな画像のレジストレーション手法の設計」、電気学会論文誌Ｄ（産業応用部門誌）、電気学会、２０１９年１月、第１３９巻、第１号、ｐ．２２－２９

しかしながら、特許文献１に記載のガス漏洩監視装置は、可視画像における構造物等の被写体の輪郭部分の認識のしやすさを利用して視認性の向上を図るものであるため、例えば可視画像の被写体の輪郭部分が認識しやすくない場合には視認性の向上を図ることができないことがあるという課題があった。

本開示は、上記課題を解決するためになされたものであって、ガスの漏洩等の検知対象を容易に検知することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

上記課題を解決するために、本開示に係る情報処理装置は、移動体に搭載された撮像部が撮影したフレームが異なる第１画像および第２画像を取得する取得部と、前記第１画像と前記第２画像の位置合わせを行う位置合わせ部と、位置合わせされた前記第１画像と前記第２画像との差分を算出する差分算出部とを備える。

本開示に係る情報処理方法は、移動体に搭載された撮像部が撮影したフレームが異なる第１画像および第２画像を取得するステップと、前記第１画像と前記第２画像の位置合わせを行うステップと、位置合わせされた前記第１画像と前記第２画像との差分を算出するステップとを含む。

本開示に係るプログラムは、移動体に搭載された撮像部が撮影したフレームが異なる第１画像および第２画像を取得するステップと、前記第１画像と前記第２画像の位置合わせを行うステップと、位置合わせされた前記第１画像と前記第２画像との差分を算出するステップとをコンピュータに実行させる。

本開示の情報処理装置、情報処理方法およびプログラムによれば、ガスの漏洩等の検知対象を容易に検知することができる。

本開示の第１実施形態に係る情報処理装置の構成例を示す図である。 本開示の第１実施形態に係る情報処理装置の動作例を示すフローチャートである。 本開示の第１実施形態に係る位置合わせ処理の一例を示すフローチャートである。 本開示の第１実施形態に係る情報処理装置の動作例を説明するための図である。 本開示の第２実施形態に係る情報処理装置の構成例を示す図である。 本開示の第２実施形態に係る情報処理装置の動作例を示すフローチャートである。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

以下、図面を参照して、本開示の実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。

＜第１実施形態＞
図１は、本開示の第１実施形態に係る情報処理装置の構成例を示す図である。図２は、本開示の第１実施形態に係る情報処理装置の動作例を示すフローチャートである。図３は、本開示の第１実施形態に係る位置合わせ処理の一例を示すフローチャートである。図４は、本開示の第１実施形態に係る情報処理装置の動作例を説明するための図である。

図１に示すように、本実施形態に係る情報処理装置１は、情報処理システム１００において、移動体２に搭載された撮像部２１で撮影された画像を処理するものであって、ガスの漏洩等の所定の検知対象を検知するための所定の情報処理を行う装置である。情報処理システム１００は、情報処理装置１と移動体２とを備える。図１に示す例では移動体２はドローンである。ただし、移動体２は、ドローン（無人航空機）に限定されず、例えば、有人の固定翼航空機や回転翼航空機、衛星、地面や水面に接して移動する移動体、水中を移動する移動体等であってもよい。また、検知対象は、ガスの漏洩に限定されず、例えば、検知対象の存否や動きが、撮影した複数フレームの画像のフレーム間の差分（例えば画素ごとの輝度値あるいは画素値の差分）に現れるものであればよい。また、撮像部２１は、可視光画像を撮影するものであってもよいし、赤外線画像を撮影するもの、あるいは、それらの組み合わせであってもよい。また、検知対象としては、例えば、二酸化炭素、メタン、アンモニア等の無色透明の気体、煙、有色の気体等が挙げられるが、これらに限定されない。

情報処理装置１は、コンピュータを用いて構成され、コンピュータ、その周辺装置等のハードウェアと、そのコンピュータが実行するプログラム等のソフトウェアとの組み合わせ等から構成される機能的構成として、取得部１１、位置合わせ部１２、差分算出部１３、および、記憶部１４を備える。なお、情報処理装置１は、撮像部２１が撮影した画像データを無線通信にて受信してほぼリアルタイムで処理してもよいし、所定の記憶装置に記憶しておき、後で処理してもよい。また、情報処理装置１は、撮像部２１とともに、移動体２に搭載されていてもよい。なお、情報処理装置１は、撮像部２１が撮影した複数フレームの画像におけるフレーム間の差分情報に基づいて検知対象を検知するための処理を逐次行うものであるが、以下では主に２つの画像（２つのフレーム）に対する１回の画像処理について説明する。また、本実施形態では、２つの画像の一方をオリジナル画像、他方を背景画像という。背景画像は差分を算出する際に基準となる画像であり、また、後述する位置合わせ処理ではオリジナル画像に対して（オリジナル画像を基準として）位置を合わされる側（変更される側）の画像である。また、例えば、オリジナル画像をｎフレーム目の画像とした場合、背景画像は（ｎ－ｘ）フレーム目の画像である。ｎは撮像部２１が撮影した画像のフレーム番号を表す自然数（あるいは０以上の整数）であり、ｘは１以上の整数である。なお、本開示に係る第１画像と第２画像の先後は相対的であり、オリジナル画像または背景画像の一方が第１画像に対応し、他方が第２画像に対応する。また、ｘの値（２画像のフレーム間隔）は、例えば、移動体２の移動速度に応じて設定することができる。

情報処理装置１が備える取得部１１は、移動体２に搭載された撮像部２１が撮影したフレームが異なるオリジナル画像および背景画像を取得する。この取得部１１による取得は、撮像部２１から無線通信を介して取得することと、撮像部２１から無線通信を介して取得して例えば記憶部１４に記憶し、記憶部１４から取得することを含む。

位置合わせ部１２は、オリジナル画像と背景画像の位置合わせを行う。本実施形態では、位置合わせ部１２は、オリジナル画像に対して背景画像の位置合わせを行う。位置合わせは、２つの画像間で、同一の被写体の位置、大きさ、および形状が同一となるように、一方の画像を移動、回転、および、変形させることにより、他方の画像に合わせこむ処理であり、画像位置合わせ（画像レジストレーション）等とも呼ばれる。位置合わせの手法に限定はなく、例えば、後述するようにして２つの画像の各画素の輝度値の和（合計）が最小となるように画像を水平および垂直方向に移動させる手法、非特許文献１に記載されている手法等を用いることができる。非特許文献１の手法では、２つの画像間で拡大縮小と回転量を推定した結果を位置合わせに使用している。

差分算出部１３は、位置合わせ部１２によって位置合わせされた背景画像とオリジナル画像との差分を互いに対応する画素（同じ位置の画素）ごとに算出する。例えば、背景画像とオリジナル画像がカラー画像であれば例えば画素ごと、かつ、成分ごとに画素値の差分を算出してもよいし、例えば輝度値に変換した後、画素ごとに輝度値の差分を算出してもよい。また、グレースケールの画像の場合、画素ごとに輝度値（画素値）の差分を算出する。なお、差分算出部１３は、差分の算出結果を、記憶部１４に記憶したり、所定の表示部に表示させたりする。なお、本実施形態では、差分算出部１３が、算出結果を記憶または表示させることを、出力するという。

記憶部１４は、撮像部２１が撮影した画像データを記憶したり、差分算出部１３による算出結果を記憶したりする。

次に、図２および図３を参照して、情報処理装置１の動作例について説明する。図２に示す処理は、各１つのオリジナル画像と背景画像についての処理の例である。図３に示す処理は、図２のステップＳ１３で実行される位置合わせ処理の例である。

図２に示す処理では、まず、取得部１１が、オリジナル画像（ｎフレーム目）を取得する（ステップＳ１１）。次に、取得部１１が、背景画像（（ｎ－ｘ）フレーム目）を取得する（ステップＳ１２）。次に、位置合わせ部１２が、オリジナル画像に対して背景画像の位置を合わせる処理を実行する（ステップＳ１３）。

ステップＳ１３で実行される位置合わせ処理では、図３に示すように、まず、位置合わせ部１２が、変数ｄｘに－ＸＬを格納する（ステップＳ２１）。変数ｄｘの値は、背景画像をＸ方向（水平方向）に何画素分移動させるかを表す値である。－ＸＬは最初に移動させる画素数を表し、この例では－ＸＬ画素から＋ＸＬ画素まで背景画像をＸ方向に移動させる。

次に、位置合わせ部１２は、背景画像をＸ方向にｄｘ画素分ずらした画像を作成する（ステップＳ２２）。なお、ステップＳ２２では、移動元の末端の画素はゼロでパディングする。次に、位置合わせ部１２は、オリジナル画像とステップＳ２２でずらした画像の画素毎の輝度値の差分の和Ｓｘ＿ｄｘを求める（ステップＳ２３）。和Ｓｘ＿ｄｘの「ｄｘ」は変数「和Ｓｘ」添え字であり、移動量を表す数値が設定される。次に、位置合わせ部１２は、変数ｄｘを１だけ増分する（ステップＳ２４）。次に、位置合わせ部１２は、変数ｄｘが定数ＸＬより大きいか否かを判定する（ステップＳ２５）。大きくない場合（ステップＳ２５：ＮＯ）、位置合わせ部１２は、再度、ステップＳ２２以降の処理を実行する。

一方、大きい場合（ステップＳ２５：ＹＥＳ）、位置合わせ部１２は、変数ｄｙに－ＹＬを格納する（ステップＳ２６）。変数ｄｙの値は、背景画像をＹ方向（垂直方向）に何画素分移動させるかを表す値である。－ＹＬは最初に移動させる画素数を表し、この例では－ＹＬ画素から＋ＹＬ画素まで背景画像をＹ方向に移動させる。

次に、位置合わせ部１２は、背景画像をＹ方向にｄｙ画素分ずらした画像を作成する（ステップＳ２７）。なお、ステップＳ２７では、移動元の末端の画素はゼロでパディングする。次に、位置合わせ部１２は、オリジナル画像とステップＳ２７でずらした画像の画素毎の輝度値の差分の和Ｓｙ＿ｄｙを求める（ステップＳ２８）。和Ｓｙ＿ｄｙの「ｄｙ」は変数「和Ｓｙ」添え字であり、移動量を表す数値が設定される。次に、位置合わせ部１２は、変数ｄｙを１だけ増分する（ステップＳ２９）。次に、位置合わせ部１２は、変数ｄｙが定数ＹＬより大きいか否かを判定する（ステップＳ３０）。大きくない場合（ステップＳ３０：ＮＯ）、位置合わせ部１２は、再度、ステップＳ２７以降の処理を実行する。

一方、大きい場合（ステップＳ３０：ＹＥＳ）、位置合わせ部１２は、最小の和（Ｓｘ＿ｄｘ）の添え字「ｄｘ」をＸ方向の移動量ｄｘ、最小の和（Ｓｙ＿ｄｙ）の添え字「ｄｙ」をＹ方向の移動量ｄｙに決定する（ステップＳ３１）。次に、位置合わせ部１２は、背景画像を、Ｘ方向に移動量ｄｘ、Ｙ方向に移動量ｄｙずらして、位置を合わせた背景画像を作成する（ステップＳ３２）。

次に、図２のステップＳ１４において、差分算出部１３が、オリジナル画像と、ステップＳ１３（図３のステップＳ３２）で位置合わせ部１２が位置を合わせた背景画像の差分を算出する（ステップＳ１４）。次に、差分算出部１３が、算出結果を出力する（ステップＳ１５）。

図４は、オリジナル画像と、位置合わせした背景画像とオリジナル画像との差分の算出結果を表す画像（以下、「位置合わせ＋フレーム差分」の画像という）と、位置合わせしていない背景画像とオリジナル画像との差分の算出結果を表す画像（以下、「単純なフレーム差分」の画像という）の例を示す。なお、差分の算出結果を表す画像は、差分が小さい場合に輝度値が小さくなり（黒に近づき）、差分が大きい場合に輝度値が大きくなる（白に近づく）。また、オリジナル画像は、「位置合わせ＋フレーム差分」の画像において破線の円で囲んだ範囲に実験的に噴出させた二酸化炭素ガスを含んでいる。また、撮影場所は荒れ地である。「位置合わせ＋フレーム差分」の画像は、撮影位置を合わせて差分を算出しているので二酸化炭素ガスの動きをとらえている。一方、「単純なフレーム差分」の画像では、撮影位置が変わるため二酸化炭素ガスに対応する差分情報を取り出せていない。なお、位置合わせ処理は、非特許文献１に記載されている手法を用いている。

（本実施形態の作用効果）
本実施形態によれば、バックグラウンド（背景画像）の位置を補正した後に差分処理をしているので、位置補正をしない場合と比較して移動体２の移動や振動による影響を抑えることができ、検知対象を容易に検知することができる。

＜第２実施形態＞
図５は、本開示の第２実施形態に係る情報処理装置の構成例を示す図である。図６は、本開示の第２実施形態に係る情報処理装置の動作例を示すフローチャートである。

図５に示すように、第２実施形態の情報処理システム１００ａにおける情報処理装置１ａは、図１に示す第１実施形態の情報処理装置１と比較して、新たにピンボケ補正部１５を備える点と、位置合わせ部１２ａが、ピンボケ補正部１５が処理したオリジナル画像と背景画像を処理対象とする点と、差分算出部１３ａが、ピンボケ補正部１５が処理したオリジナル画像と背景画像を処理対象とする点とが異なる。

図５に示すピンボケ補正部１５は、背景画像とオリジナル画像のピンボケを補正する。また、位置合わせ部１２ａは、ピンボケが補正された背景画像とピンボケが補正されたオリジナル画像との位置合わせを行う。また、差分算出部１３ａは、位置合わせされたピンボケ補正済みの背景画像とピンボケ補正済みのオリジナル画像との差分を算出する。

なお、ピンボケ（ぴんぼけ、Ｏｕｔ ｏｆ ｆｏｃｕｓ）は被写体に焦点が合っていない状態を意味する。ピンボケ補正部１５によるピンボケ補正処理の手法に限定はない。ピンボケ補正処理は、例えば、輪郭を強調する処理としてもよい。また、ピンボケ補正処理は、例えば、ブラインド・デコンボリューション方式等によって画質が劣化した画像の劣化の軌跡（ＰＳＦ：点像分布関数）を推定し、推定したＰＳＦに基づいて画像を復元する手法としてもよい。

次に、図６を参照して、情報処理装置１ａの動作例について説明する。図６に示す処理では、まず、取得部１１が、オリジナル画像（ｎフレーム目）を取得する（ステップＳ４１）。次に、取得部１１が、背景画像（（ｎ－ｘ）フレーム目）を取得する（ステップＳ４２）。次に、ピンボケ補正部１５が、オリジナル画像と背景画像のピンボケ補正処理を実行する（ステップＳ４３）。次に、位置合わせ部１２ａが、ピンボケ補正したオリジナル画像に対してピンボケ補正した背景画像の位置を合わせる処理を実行する（ステップＳ４４）。

次に、差分算出部１３ａが、ピンボケ補正したオリジナル画像と、ステップＳ４４で位置合わせ部１２ａが位置を合わせた背景画像の差分を算出する（ステップＳ４５）。次に、差分算出部１３ａが、算出結果を出力する（ステップＳ４６）。

（本実施形態の作用効果）
本実施形態によれば、ピンボケの画像に対しても検知対象の検知感度を向上させることができる。

（作用効果）
上記構成の情報処理装置、情報処理方法およびプログラムでは、移動体に搭載された撮像部が撮影したフレームが異なる背景画像とオリジナル画像に対して、位置合わせを行った後、フレーム間の差分を算出する。したがって、実施形態の情報処理装置、情報処理方法およびプログラムによれば、ガスの漏洩等の検知対象を容易に検知することができる。

（その他の実施形態）
以上、本開示の実施の形態について図面を参照して詳述したが、具体的な構成はこの実施の形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計変更等も含まれる。

〈コンピュータ構成〉
図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、および、インタフェース９４を備える。
上述の情報処理装置１および１ａは、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２に確保する。

プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータは、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。

ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。

＜付記＞
各実施形態に記載の情報処理装置１および１ａは、例えば以下のように把握される。

（１）第１の態様に係る情報処理装置１および１ａは、移動体２に搭載された撮像部２１が撮影したフレームが異なる第１画像および第２画像を取得する取得部１１と、前記第１画像と前記第２画像の位置合わせを行う位置合わせ部１２または１２ａと、位置合わせされた前記第１画像と前記第２画像との差分を算出する差分算出部１３または１３ａとを備える。本態様および以下の各態様によれば、ガスの漏洩等の検知対象を容易に検知することができる。

（２）第２の態様に係る情報処理装置１ａは、（１）の情報処理装置であって、前記第１画像と前記第２画像のピンボケを補正するピンボケ補正部１５をさらに備え、前記位置合わせ部１２ａは、ピンボケが補正された前記第１画像と前記第２画像の位置合わせを行う。本態様によれば、ピンボケしている画像に対する検知感度を向上させることができる。

（３）第３の態様に係る情報処理装置１および１ａは、（１）または（２）の情報処理装置であって、前記第１画像と前記第２画像のフレーム間隔は、前記移動体の移動速度に応じて設定されている。この態様によれば、移動体の速度に応じて第１画像と第２画像のフレーム間隔を適切に変化させることができる。

１、１ａ…情報処理装置
２…移動体
１１…取得部
１２、１２ａ…位置合わせ部
１３、１３ａ…差分算出部
１４…記憶部
１５…ピンボケ補正部

Claims (5)

1. 移動体に搭載された撮像部が撮影したフレームが異なる第１画像および第２画像を取得する取得部と、
   前記第１画像と前記第２画像の位置合わせを行う位置合わせ部と、
   位置合わせされた前記第１画像と前記第２画像との差分を算出する差分算出部と
   を備える情報処理装置。
2. 前記第１画像と前記第２画像のピンボケを補正するピンボケ補正部をさらに備え、
   前記位置合わせ部は、ピンボケが補正された前記第１画像と前記第２画像の位置合わせを行う
   請求項１に記載の情報処理装置。
3. 前記第１画像と前記第２画像のフレーム間隔は、前記移動体の移動速度に応じて設定されている
   請求項１または２に記載の情報処理装置。
4. 移動体に搭載された撮像部が撮影したフレームが異なる第１画像および第２画像を取得するステップと、
   前記第１画像と前記第２画像の位置合わせを行うステップと、
   位置合わせされた前記第１画像と前記第２画像との差分を算出するステップと
   を含む情報処理方法。
5. 移動体に搭載された撮像部が撮影したフレームが異なる第１画像および第２画像を取得するステップと、
   前記第１画像と前記第２画像の位置合わせを行うステップと、
   位置合わせされた前記第１画像と前記第２画像との差分を算出するステップと
   をコンピュータに実行させるプログラム。

Images