JP7444140B2 - 情報処理装置 - Google Patents

Description

本開示は、情報処理装置に関する。

従来、ドローンなどを含む飛行体を用いて点検対象物を点検するための技術が知られている。例えば、特許文献１には、飛行体に搭載した撮像装置を用いて点検対象面の静止画像を複数取得し、取得した静止画像に対して所定の解析処理を行うことで点検対象面の点検を行う点検システムが記載されている。

特開２０２１－０２２８４６号公報

飛行体に備わったカメラを用いて点検対象物を動画撮像すると、被写体としての点検対象物と飛行体との相対位置が常時変化する。すなわち、動画の中では、被写体の座標及び姿勢がフレームごとに連続的に変化することになる。点検対象となるフレームの区間を動画全域とすると、画像ノイズが大きい区間及び被写体を正確に捕捉できていない区間も解析対象となり、動画に基づいて点検対象物を点検するときの点検精度が著しく低下する。

本開示は、飛行体が飛行中に点検対象物を撮像する際にも、一連の撮像画像から点検に適切な画像を取得できる情報処理装置を提供することを目的とする。

幾つかの実施形態に係る情報処理装置は、飛行している飛行体が撮像した点検対象物の動画を前記飛行体から取得する画像取得部と、解析の基準となる基準静止画及び前記基準静止画と取得した前記動画に含まれるフレームとの類似度の閾値を記憶する記憶部と、前記基準静止画との前記類似度を前記フレームごとに算出し、前記類似度及び前記閾値に基づいて連続する複数の前記フレームを解析対象として抽出する画像抽出部と、を備える。

これにより、情報処理装置は、飛行体が飛行中に点検対象物を撮像する際にも、一連の撮像画像から点検に適切な画像を取得できる。情報処理装置は、飛行体と点検対象物との相対位置が変化するときであっても点検精度を向上させることが可能である。例えば、情報処理装置は、類似度及び閾値に基づいて連続する複数のフレームを解析対象として動画から抽出することで、解析対象となるフレーム範囲のみを抽出可能である。したがって、周期的に動作している点検対象物を飛行体が撮像したときの動画を用いて点検対象物を点検する場合において、画像ノイズが大きい区間及び被写体を正確に捕捉できていない区間のフレームを除いた状態で画像解析が可能となる。したがって、画像解析に不要な部分を除去してノイズの低減が実現されるので、点検対象物を点検するときの精度が向上する。

一実施形態において、前記画像抽出部は、連続する複数の前記フレームの前記類似度の平均値を、前記フレームをずらしながら算出し、算出した前記平均値が前記閾値以上である連続する複数の前記フレームを解析対象として抽出してもよい。これにより、情報処理装置は、類似度が特に高いフレーム範囲を予め抽出して後の画像解析に用いることができる。したがって、点検対象物を点検するときの精度がさらに向上する。

一実施形態において、前記画像抽出部は、前記類似度が前記閾値よりも小さいと判定した場合、前記フレームにフィルタリング処理を実行してもよい。情報処理装置は、動画の撮像時にデータに含まれた各種ノイズをフィルタリング処理によって除去することで、類似度の再算出処理において算出精度を向上させることが可能となる。

一実施形態において、情報処理装置は、前記フレームから特徴点を抽出し、抽出した前記特徴点の位置が連続する複数の前記フレームにおいて一致するように前記フレームを画像処理する画像解析部をさらに備えてもよい。これにより、情報処理装置は、取得した動画データに対して擬似的にカメラ視点を固定する画像生成処理を実行することができる。これにより、飛行体と点検対象物との間の相対位置が常時変化する場合であっても、点検対象物の動作変化が正確に捉えられる。したがって、点検対象物を点検するときの精度がさらに向上する。

一実施形態において、前記画像解析部は、画像処理した連続する複数の前記フレームから前記点検対象物の動作周波数を算出してもよい。これにより、情報処理装置は、周期的に動作している点検対象物の動作が異常であるか否かの判断指標を提供可能である。情報処理装置は、点検対象物の周期性の有無を判定することによって、動作していない点検対象物に対しては動作していないことを、動作している点検対象物に対しては角度変化を精度良く識別することが可能になる。

一実施形態において、前記記憶部は、前記動作周波数の閾値範囲を記憶し、情報処理装置は、前記動作周波数が前記閾値範囲を外れた場合、前記点検対象物の動作が異常であると判定する異常判定部をさらに備えてもよい。これにより、情報処理装置は、解析対象となる点検対象物が正常であるか又は異常であるかを判定するにあたり、ユーザが設定した閾値範囲により一意に自動判定することが可能になる。

一実施形態において、前記記憶部は、前記飛行体と前記点検対象物との距離の範囲を示す距離閾値範囲を記憶し、情報処理装置は、前記飛行体から取得した前記距離が前記距離閾値範囲を外れた場合、前記距離が前記距離閾値範囲の範囲内になるように前記飛行体を変位させる位置調整部をさらに備えてもよい。これにより、情報処理装置は、点検対象物がカメラの視界内に位置するときの動画のみを飛行体に撮像させることが可能である。したがって、情報処理装置は、そのような動画のみを取得可能であり、点検対象物を点検するときの精度を向上させることが可能である。

本開示によれば、飛行体が飛行中に点検対象物を撮像する際にも、一連の撮像画像から点検に適切な画像を取得できる情報処理装置を提供可能である。

本開示の一実施形態に係る情報処理装置を含む情報処理システムの構成を示す構成図である。 図１の情報処理装置、飛行体、及び端末装置のそれぞれの概略構成を示す機能ブロック図である。 図２の情報処理装置における制御部が実現する機能の一例を示す機能ブロック図である。 図１の情報処理装置の動作の一例を示すフローチャートである。 図１の情報処理装置によるフレーム群の抽出処理の一例を示す模式図である。 図１の情報処理装置による画像処理の一例を説明するための第１模式図である。 図１の情報処理装置による画像処理の一例を説明するための第２模式図である。

従来技術の背景及び問題点についてより詳細に説明する。

従来、国土の各地に点在する油井ポンプに異常が発生していないかを点検するとき、ほぼ全ての油井ポンプに対して人による目視点検で行われている。これは、人件費の高騰の要因となっている。このような問題を解決するべく、周期的に動作している油井ポンプをドローンなどの無人飛行体から撮像し、得られた動画に基づいてポンプの回転速度を算出する。これにより、油井ポンプの異常を検出し、かつ石油生産状況を解析可能なアプリケーションが開発段階にある。

油井ポンプは周期的に動作する構造を有している。したがって、その周期から油井ポンプの異常及び石油の生産量を算出することが可能となる。上記のアプリケーションは、当該原理を利用したものである。

ドローンなどの無人飛行体に備わったカメラを用いて油井ポンプを動画撮像すると、被写体としての油井ポンプと無人飛行体との相対位置が常時変化する。すなわち、動画の中では、被写体の座標及び姿勢がフレームごとに連続的に変化することになる。点検対象となるフレームの区間を動画全域とすると、画像ノイズが大きい区間及び被写体を正確に捕捉できていない区間も解析対象となり、動画に基づいて油井ポンプを点検するときの点検精度が著しく低下する。したがって、このような解析対象として適切でない区間のフレームを除いた状態で解析を行うことが望ましい。

特許文献１に記載の点検システムは、ドローンの撮像装置に装備された撮像センサのサイズ及び画素数と、当該撮像センサの焦点距離と、に基づいて決定された撮像高度で、点検対象面の複数の静止画像を取得するよう飛行体の飛行状況と撮像装置の撮像状況とを制御する。これにより、所定の面を効率的かつ効果的に点検することが可能となる。

しかしながら、このような従来技術では、飛行体が撮像した画像に対し解析処理を実行するときに、飛行体と点検対象物との相対位置が変化することについて十分に考慮されていなかった。したがって、飛行体によって点検対象物を点検するときの点検精度を十分に得ることが困難であった。

以下では、これらの問題点を解決可能な情報処理装置、情報処理システム、及び情報処理方法について説明する。本開示の一実施形態について、図面を参照して説明する。

図１は、本開示の一実施形態に係る情報処理装置１０を含む情報処理システム１の構成を示す構成図である。図１を参照しながら、本開示の一実施形態に係る情報処理装置１０を含む情報処理システム１の概要について主に説明する。情報処理システム１は、情報処理装置１０に加えて飛行体２０及び端末装置４０を有する。情報処理装置１０、飛行体２０、及び端末装置４０は、例えば移動体通信網及びインターネットなどを含むネットワーク５０と通信可能に接続されている。

情報処理装置１０は、例えば１つ又は互いに通信可能な複数のサーバ装置である。

飛行体２０は、例えば人間が搭乗しない任意の飛行体である。飛行体２０は、例えば、ドローン及びマルチコプタなどの飛行体を含む。飛行体２０は、自律制御によって又は情報処理装置１０と協働することによって飛行可能である。飛行体２０は、周期的に動作している油井ポンプ３０を上空から動画撮像して、油井ポンプ３０に異常が発生していないかを点検するために利用される。

端末装置４０は、例えばＰＣ（Personal Computer）又はスマートフォンなどの汎用の電子機器である。端末装置４０は、例えば、油井ポンプ３０に異常が発生していないかを点検するユーザが管理する電子機器である。

図２は、図１の情報処理装置１０、飛行体２０、及び端末装置４０のそれぞれの概略構成を示す機能ブロック図である。図２を参照しながら、情報処理システム１に含まれる情報処理装置１０、飛行体２０、及び端末装置４０のそれぞれの構成について主に説明する。

図２に示すように、情報処理装置１０は、通信部１１、記憶部１２、及び制御部１３を有する。

通信部１１は、ネットワーク５０に接続する通信モジュールを含む。例えば、通信部１１は、４Ｇ（4th Generation）及び５Ｇ（5th Generation）などの移動体通信規格又はインターネット規格に対応する通信モジュールを含む。一実施形態において、情報処理装置１０は、通信部１１を介してネットワーク５０に接続されている。通信部１１は、ネットワーク５０を介して多様な情報を送信及び受信する。

記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）、及びＲＡＭ（Random Access Memory）などの任意の記憶モジュールを含む。記憶部１２は、情報処理装置１０の動作を実現するために必要となる情報を記憶する。例えば、記憶部１２は、情報処理装置１０の動作を実現するために必要なファームウェアを記憶する。記憶部１２は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。

制御部１３は、１つ以上のプロセッサを含む。より具体的には、制御部１３は、汎用のプロセッサ又は特定の処理に特化した専用のプロセッサを含む。制御部１３は、情報処理装置１０を構成する各構成部に接続され、各構成部をはじめとして情報処理装置１０全体を制御及び管理する。

次に、情報処理システム１に含まれる飛行体２０の構成について主に説明する。図２に示すように、飛行体２０は、通信部２１、記憶部２２、撮像部２３、取得部２４、及び制御部２５を有する。

通信部２１は、ネットワーク５０に接続する通信モジュールを含む。例えば、通信部２１は、４Ｇ及び５Ｇなどの移動体通信規格に対応する通信モジュールを含む。一実施形態において、飛行体２０は、通信部２１を介してネットワーク５０に接続されている。通信部２１は、ネットワーク５０を介して多様な情報を送信及び受信する。

記憶部２２は、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、及びＲＡＭなどの任意の記憶モジュールを含む。記憶部２２は、飛行体２０の動作を実現するために必要となる情報を記憶する。例えば、記憶部２２は、飛行体２０の動作を実現するために必要なファームウェアを記憶する。記憶部２２は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。

撮像部２３は、例えば上空から点検対象物を撮像可能な任意の撮像装置を含む。例えば、撮像部２３はカメラを含む。

取得部２４は、任意の衛星測位システムに対応する１つ以上の受信機を含む。例えば、取得部２４は、ＧＰＳ（Global Positioning System）受信機を含む。加えて、取得部２４は、高度計を含む。取得部２４は、飛行体２０の位置の測定値を位置情報として取得する。位置情報は、例えば緯度、経度、及び高度などを含む。取得部２４は、飛行体２０の位置情報を常時、又は定期的若しくは非定期的に取得する。

制御部２５は、１つ以上のプロセッサを含む。より具体的には、制御部２５は、汎用のプロセッサ又は特定の処理に特化した専用のプロセッサを含む。制御部２５は、飛行体２０を構成する各構成部に接続され、各構成部をはじめとして飛行体２０全体を制御及び管理する。

次に、情報処理システム１に含まれる端末装置４０の構成について主に説明する。図２に示すように、端末装置４０は、通信部４１、記憶部４２、入力部４３、出力部４４、及び制御部４５を有する。

通信部４１は、ネットワーク５０に接続する通信モジュールを含む。例えば、通信部４１は、４Ｇ及び５Ｇなどの移動体通信規格又はインターネット規格に対応する通信モジュールを含む。一実施形態において、端末装置４０は、通信部４１を介してネットワーク５０に接続されている。通信部４１は、ネットワーク５０を介して多様な情報を送信及び受信する。

記憶部４２は、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、及びＲＡＭなどの任意の記憶モジュールを含む。記憶部４２は、端末装置４０の動作を実現するために必要となる情報を記憶する。例えば、記憶部４２は、端末装置４０の動作を実現するために必要なファームウェアを記憶する。記憶部４２は、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。

入力部４３は、ユーザ入力を検出して、ユーザの操作に基づく入力情報を取得する１つ以上の入力インタフェースを含む。例えば、入力部４３は、物理キー、静電容量キー、出力部４４のディスプレイと一体的に設けられたタッチスクリーン、及び音声入力を受け付けるマイクロフォンなどを含む。

出力部４４は、情報を出力してユーザに通知する１つ以上の出力インタフェースを含む。例えば、出力部４４は、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカなどを含む。

制御部４５は、１つ以上のプロセッサを含む。より具体的には、制御部４５は、汎用のプロセッサ又は特定の処理に特化した専用のプロセッサを含む。制御部４５は、端末装置４０を構成する各構成部に接続され、各構成部をはじめとして端末装置４０全体を制御及び管理する。

以下では、情報処理システム１の機能について主に説明する。

情報処理装置１０は、所定地点に設置されている油井ポンプ３０を点検するために、当該所定地点付近に位置する所定の飛行体２０を選択する。飛行体２０は、当該所定地点まで移動し、当該所定地点に設置されている油井ポンプ３０の動画撮像を実行する。その後、飛行体２０は、周期的に動作している油井ポンプ３０を撮像したときの画像を、ネットワーク５０を介して情報処理装置１０にデータとして送信する。

一実施形態の概要として、情報処理装置１０は、飛行している飛行体２０が撮像した点検対象物の動画を飛行体２０から取得する。情報処理装置１０は、解析の基準となる基準静止画及び基準静止画と取得した動画に含まれるフレームとの類似度の閾値、すなわち後述の閾値を記憶する。情報処理装置１０は、基準静止画との類似度をフレームごとに算出する。情報処理装置１０は、算出した類似度及び閾値に基づいて連続する複数のフレームを解析対象として抽出する。

本明細書において、「点検対象物」は、例えば油井ポンプ３０を含む。「画像」は、例えば動画及び複数の静止画を含む。

図３は、図２の情報処理装置１０における制御部１３が実現する機能の一例を示す機能ブロック図である。図３を参照しながら、制御部１３に含まれる各機能部の一例についてより詳細に説明する。

制御部１３は、画像取得部１３１と、画像抽出部１３２と、画像解析部１３３と、異常判定部１３４と、位置調整部１３５と、を含む。画像取得部１３１は、周期的に動作している点検対象物を飛行体２０の撮像部２３が撮像した動画を、ネットワーク５０及び通信部１１を介して飛行体２０から取得する。画像取得部１３１は、被写体としての点検対象物と飛行体２０との相対位置が変化する状態で撮像部２３のカメラで撮像した動画を飛行体２０から取得する。

画像抽出部１３２は、画像取得部１３１が取得した動画データから、解析対象となるフレーム範囲を抽出する。画像抽出部１３２は、画像取得部１３１が取得した動画データに対し、次工程の画像解析に用いるフレーム範囲のみを抽出する。

画像解析部１３３は、画像抽出部１３２が抽出したフレーム範囲に基づいて画像解析を実行する。画像解析部１３３は、取得した動画データに対して擬似的にカメラ視点を固定する画像生成処理を実行し、固定視点により点検対象物を見たときの単位時間あたりの点検対象物の画素値の変化量から単位時間あたりの回転数を算出する。

異常判定部１３４は、画像解析部１３３による画像解析の結果に基づいて点検対象物の異常を判定する。異常判定部１３４は、画像解析部１３３が算出した単位時間あたりの回転数を記憶部１２が予め記憶している後述の閾値範囲と比較してユーザに通知する。

位置調整部１３５は、飛行体２０から取得した、飛行体２０と点検対象物との距離が後述の距離閾値範囲を外れた場合、当該距離が距離閾値範囲の範囲内になるように飛行体２０を変位させる。

図４は、図１の情報処理装置１０の動作の一例を示すフローチャートである。図４を参照しながら、情報処理装置１０が実行する情報処理方法の一例について主に説明する。

ステップＳ１００では、情報処理装置１０の制御部１３の位置調整部１３５は、撮像部２３としてカメラを搭載した飛行体２０と点検対象物との距離が距離閾値範囲の範囲内にあるか否かを判定する。

本明細書において、「距離閾値範囲」は、例えば飛行体２０の撮像部２３を構成するカメラの性能に基づいて後述する類似度を正確に算出可能な、飛行体２０と点検対象物との距離に関する任意の範囲を含む。距離閾値範囲は、後述する基準静止画を撮像したときの飛行体２０と点検対象物との距離範囲である。ユーザは、距離閾値範囲を定める。制御部１３は、ユーザが定めた距離閾値範囲を記憶部１２に予め格納する。記憶部１２は、飛行体２０と点検対象物との距離の範囲を示す距離閾値範囲を記憶する。

制御部１３は、飛行体２０の取得部２４が取得した位置情報をネットワーク５０及び通信部１１を介して飛行体２０から受信する。制御部１３は、取得した当該位置情報を、記憶部１２が予め記憶している点検対象物の位置情報と比較することによって飛行体２０と点検対象物との距離を算出する。

制御部１３は、飛行体２０と点検対象物との距離が距離閾値範囲の範囲内にあると判定すると（ステップＳ１００のＹｅｓ。）、ステップＳ１０２の処理を実行する。制御部１３は、飛行体２０と点検対象物との距離が距離閾値範囲の範囲内にないと判定すると（ステップＳ１００のＮｏ。）、ステップＳ１０１の処理を実行する。

ステップＳ１０１では、制御部１３の位置調整部１３５は、ステップＳ１００において飛行体２０と点検対象物との距離が距離閾値範囲の範囲内にないと判定すると（ステップＳ１００のＮｏ。）、当該距離が距離閾値範囲の範囲内になるように飛行体２０を変位させる。より具体的には、位置調整部１３５は、飛行体２０の移動を制御するための制御情報を生成し、通信部１１及びネットワーク５０を介して飛行体２０に送信する。

ステップＳ１０２では、制御部１３の画像取得部１３１は、ステップＳ１００において飛行体２０と点検対象物との距離が距離閾値範囲の範囲内にあると位置調整部１３５が判定すると（ステップＳ１００のＹｅｓ。）、飛行している飛行体２０が撮像した、周期的に動作している点検対象物の動画を、ネットワーク５０及び通信部１１を介して飛行体２０から取得する。

ステップＳ１０３では、制御部１３の画像抽出部１３２は、ステップＳ１０２において画像取得部１３１が取得した動画に含まれるフレームと解析の基準となる基準静止画との類似度をフレームごとに算出する。本明細書において、「基準静止画」は、例えば飛行体２０の撮像部２３が予め撮像した点検対象物の一静止画を含む。制御部１３は、点検対象物の基準静止画を、ネットワーク５０及び通信部１１を介して飛行体２０から予め取得する。制御部１３は、取得した基準静止画を画像データとして記憶部１２に予め格納する。記憶部１２は、解析の基準となる基準静止画を記憶する。画像抽出部１３２は、ステップＳ１０３の処理を実行するときに、記憶部１２が記憶している基準静止画を参照する。

例えば、画像抽出部１３２は、動画に含まれるフレーム及び基準静止画のそれぞれに対して対応する画素ごとに輝度値を比較する。このとき、輝度値は、二値化又はグレースケールに基づいて定められる。画像抽出部１３２は、対応する画素ごとの輝度値が全体にわたって互いに近似しているときほど類似度を高く算出する。

ステップＳ１０４では、画像抽出部１３２は、ステップＳ１０２において画像取得部１３１が取得した動画に含まれるフレームに対して所定条件を満たしているか否かを判定する。一実施形態において、「所定条件」は、所定時間内で連続する各フレームに対して画像抽出部１３２が算出した類似度の平均値が閾値以上であることである。画像抽出部１３２は、ステップＳ１０３における類似度の算出処理において所定時間内で連続する各フレームに対し算出した類似度の平均値が閾値以上であるか否かを判定する。本明細書において、「閾値」は、ユーザが任意に定めるものであり、制御部１３が記憶部１２に予め格納するものである。記憶部１２は、基準静止画と動画に含まれるフレームとの類似度の閾値を記憶する。

画像抽出部１３２は、類似度の平均値が閾値以上であると判定すると（ステップＳ１０４のＹｅｓ。）、ステップＳ１０６の処理を実行する。画像抽出部１３２は、類似度の平均値が閾値よりも小さいと判定すると（ステップＳ１０４のＮｏ。）、ステップＳ１０５の処理を実行する。

ステップＳ１０５では、画像抽出部１３２は、類似度が閾値よりも小さいと判定した場合、フレームにフィルタリング処理を実行する。より具体的には、画像抽出部１３２は、ステップＳ１０４において所定条件が満たされていない、すなわち類似度の平均値が閾値よりも小さいと判定すると、画像のデータに対するフィルタリング処理を実行する。本明細書において、「フィルタリング処理」は、例えば、画像ノイズが大きいときに有効なメディアンフィルタ、ガウシアンフィルタ、及び平均化フィルタなどを用いた平滑化画像処理を含む。また、フィルタリング処理は、点検対象物を含む画像のコントラストが低いときに有効なラプラシアンフィルタ及びソーベルフィルタなどを用いたエッジ強調処理を含む。

ステップＳ１０６では、画像抽出部１３２は、類似度及び閾値に基づいて連続する複数のフレームを解析対象として抽出する。より具体的には、画像抽出部１３２は、取得した動画の一連のフレーム群から、基準静止画との類似度の平均値が閾値以上の連続するフレーム群を解析対象として抽出する。

以上のように、画像抽出部１３２は、ステップＳ１０２において画像取得部が取得した動画に含まれる、連続したフレームをフレーム群として抽出する。

ステップＳ１０７では、制御部１３の画像解析部１３３は、ステップＳ１０６において画像抽出部１３２が抽出したフレーム群に基づいて画像解析を実行する。このとき、画像解析部１３３は、ステップＳ１０６において画像抽出部１３２が動画から抽出したフレーム群に含まれる各フレームから特徴点を抽出し、抽出した特徴点の位置が連続する複数のフレームにおいて一致するようにフレームを画像処理する。当該画像処理は、回転及び台形補正を含む。

画像解析部１３３は、画像処理した連続する複数のフレームから点検対象物の動作周波数を算出する。より具体的には、画像解析部１３３は、ステップＳ１０６において画像抽出部１３２が抽出したフレーム群に基づいて点検対象物の周期性の有無を判定する。画像解析部１３３は、点検対象物に周期性があると判定すると、点検対象物の画素変化を時間ごとに解析することによって、点検対象物の動作周波数を算出する。画像解析部１３３は、点検対象物の周期性の有無を判定することによって、動作していない点検対象物に対しては動作していないことを、動作している点検対象物に対しては角度変化を精度良く識別することが可能になる。

ステップＳ１０８では、制御部１３の異常判定部１３４は、ステップＳ１０７における画像解析部１３３による画像解析の結果に基づいて点検対象物の異常を判定する。異常判定部１３４は、画像解析部１３３がステップＳ１０７で算出した動作周波数が、記憶部１２が記憶している動作周波数の閾値範囲を外れた場合、点検対象物の動作が異常であると判定する。本明細書において、「閾値範囲」は、ユーザが任意に定めるものであって、制御部１３が記憶部１２に予め格納するものである。異常判定部１３４は、解析対象となる点検対象物が正常であるか又は異常であるかを判定するにあたり、ユーザが設定した閾値範囲に動作周波数があれば正常と、動作周波数が閾値範囲外であれば異常と判定する。

ステップＳ１０９では、異常判定部１３４は、ステップＳ１０８における異常判定の結果をユーザに通知する。異常判定部１３４は、ネットワーク５０に通信接続されているユーザの端末装置４０に異常判定の結果を送信する。ユーザは、自身の端末装置４０の出力部４４が表示する画面を視認しながら異常判定の結果を確認する。情報処理装置１０によって点検対象物の異常を機械的に判定した結果をユーザも同様に確認することになる。したがって、異常判定に対するダブルチェック機能が働き、ユーザは、異常判定のための閾値範囲を適宜更新することも可能になる。

図５は、図１の情報処理装置１０によるフレーム群の抽出処理の一例を示す模式図である。図５を参照しながら、画像抽出部１３２が実行する上述したステップＳ１０６のフレーム群の抽出処理の一例について詳細に説明する。

画像抽出部１３２は、基準静止画と画像に含まれるフレームとの類似度を画像における全フレーム領域で算出する。画像抽出部１３２は、連続する複数のフレームの類似度の平均値を、フレームをずらしながら算出する。画像抽出部１３２は、所定のｔ秒間に含まれる複数のフレームに対して算出した類似度の平均値が閾値以上であるか否かを判定する。画像抽出部１３２は、算出した平均値が閾値以上である、所定のt秒間で連続する複数のフレームを、ステップＳ１０２において画像取得部１３１が取得した動画から解析対象として抽出する。このように、画像抽出部１３２は、類似度の平均値が高い所定のt秒間に含まれるフレーム群を解析対象として抽出する。

表１は、所定のｔ秒間に含まれる複数のフレームに対して画像抽出部１３２が算出した類似度の平均値の一例をｔ秒間の各フレーム区間についてまとめたものである。図５及び表１に示すとおり、０～ｔ秒の間で動画に含まれる複数のフレームの類似度の平均値が０．５５３であるとする。１～１＋ｔ秒の間で動画に含まれる複数のフレームの類似度の平均値が０．５５１であるとする。α～α＋ｔ秒の間で動画に含まれる複数のフレームの類似度の平均値が０．７０１であるとする。閾値が０．７に設定されたとき、閾値以上のα～α＋t秒の間の画像に含まれるフレーム群が解析対象として抽出される。

図６Ａは、図１の情報処理装置１０による画像処理の一例を説明するための第１模式図である。図６Ｂは、図１の情報処理装置１０による画像処理の一例を説明するための第２模式図である。図６Ａ及び図６Ｂを参照しながら、画像解析部１３３が実行する上述したステップＳ１０７の画像解析に対する前処理の一例について詳細に説明する。

図６Ａ及び図６Ｂは、周期的に動作している点検対象物の動作部位を飛行体２０により上空から撮像したときの様子を模式的に示したものである。図６Ａは、周期的に動作している点検対象物を撮像した動画に対して上記のような前処理を実行しなかったときの様子を示す。図６Ｂは、周期的に動作している点検対象物を撮像した動画に対して上記のような前処理を実行したときの様子を示す。

例えば、画像解析部１３３は、上述したステップＳ１０６において画像抽出部１３２が動画から抽出した各フレームの特徴点Ｐ（Ｐ１～Ｐ５）が互いに一致するように各フレームに対して画像処理を前処理として実行する。

通常、点検対象物と飛行体２０との相対位置は常時変化し、飛行体２０の撮像部２３を構成するカメラと点検対象物との相対位置も常時変化する。したがって、周期的に動作している点検対象物を当該カメラによって撮像すると、図６Ａに示すとおり、動画の中の各フレームにおける点検対象物の動作部位は、特徴点Ｐが互いにずれた状態で各フレーム中に表示される。

１つ目のフレームにおいて、点検対象物の動作部位Ｆ１の特徴点Ｐ１は、図６Ａに示す位置にある。２つ目のフレームにおいて、点検対象物の動作部位Ｆ２の特徴点Ｐ２は、図６Ａに示す位置にある。３つ目のフレームにおいて、点検対象物の動作部位Ｆ３の特徴点Ｐ３は、図６Ａに示す位置にある。４つ目のフレームにおいて、点検対象物の動作部位Ｆ４の特徴点Ｐ４は、図６Ａに示す位置にある。５つ目のフレームにおいて、点検対象物の動作部位Ｆ５の特徴点Ｐ５は、図６Ａに示す位置にある。以上のように、各特徴点Ｐの位置は、フレームごとに異なっている。

画像解析部１３３は、図６Ｂに示すように、図６Ａのような動画に対して回転及び台形補正を含む画像処理を実行することによって、各フレームの特徴点Ｐを互いに一致させる。さらに、画像解析部１３３は、特徴点Ｐを一致させたフレーム群に基づいて、点検対象物の動作周波数を検出する。また、図６Ｂの動画では、ユーザは、点検対象物に対する飛行体２０の相対位置があたかも一定であるように認識し、点検対象物の動作部位が周期的に動作している様子を容易に視認することができる。

制御部１３は、上述したステップＳ１０２において画像取得部１３１が取得した動画に含まれる、所定条件が満たされているフレーム群をユーザの端末装置４０に表示させる。制御部１３は、図６Ｂに示すような画像処理が行われた動画をユーザインタフェースとして端末装置４０の出力部４４に表示させる。このとき、制御部１３は、図６Ｂに示すように、ステップＳ１０２において画像取得部１３１が取得した動画からフレーム群を抽出し始める開始時間と抽出し終わった終了時間とを共に表示させ、フレーム群が抽出された時間範囲を端末装置４０の出力部４４に共に表示させる。

以上のような一実施形態によれば、飛行体２０が飛行中に点検対象物を撮像する際にも、一連の撮像画像から点検に適切な画像を取得できる。情報処理装置１０は、飛行体２０と点検対象物との相対位置が変化するときであっても点検精度を向上させることが可能である。例えば、情報処理装置１０は、類似度及び閾値に基づいて連続する複数のフレームを解析対象として動画から抽出することで、解析対象となるフレーム範囲のみを抽出可能である。したがって、周期的に動作している点検対象物を飛行体２０が撮像したときの動画を用いて点検対象物を点検する場合において、画像ノイズが大きい区間及び被写体を正確に捕捉できていない区間のフレームを除いた状態で画像解析が可能となる。したがって、画像解析に不要な部分を除去してノイズの低減が実現されるので、点検対象物を点検するときの精度が向上する。

情報処理装置１０は、飛行体２０と点検対象物との距離が距離閾値範囲の範囲内にあると判定すると動画を取得することで、点検対象物がカメラの視界内に位置するときの動画のみを取得可能である。したがって、点検対象物を点検するときの精度が向上する。

情報処理装置１０は、取得した動画に含まれる連続したフレームをフレーム群として抽出することで、点検対象物の周期的な動作において当該動作が連続して変化する様子を捉えた動画を後の画像解析に用いることができる。これにより、点検対象物を点検するときの精度がさらに向上する。

情報処理装置１０は、算出した類似度に基づいて、動画からフレーム群を抽出する抽出範囲を選択することで、基準静止画に類似するフレーム範囲を予め抽出して後の画像解析に用いることができる。これにより、点検対象物を点検するときの精度がさらに向上する。

情報処理装置１０は、算出した類似度の平均値が閾値以上である連続する複数のフレームを解析対象として抽出することで、類似度が特に高いフレーム範囲を予め抽出して後の画像解析に用いることができる。これにより、点検対象物を点検するときの精度がさらに向上する。

情報処理装置１０は、類似度が閾値よりも小さいと判定すると、フレームにフィルタリング処理を実行する。情報処理装置１０は、動画の撮像時にデータに含まれた各種ノイズをフィルタリング処理によって除去することで、類似度の再算出処理において算出精度を向上させることが可能となる。

情報処理装置１０は、フレームから特徴点を抽出し、抽出した特徴点の位置が連続する複数のフレームにおいて一致するようにフレームを画像処理することで、取得した動画データに対して擬似的にカメラ視点を固定する画像生成処理を実行することができる。これにより、飛行体２０と点検対象物との間の相対位置が常時変化する場合であっても、点検対象物の動作変化が正確に捉えられる。したがって、点検対象物を点検するときの精度がさらに向上する。

情報処理装置１０は、画像処理した連続する複数のフレームから点検対象物の動作周波数を算出することで、周期的に動作している点検対象物の動作が異常であるか否かの判断指標を提供可能である。情報処理装置１０は、点検対象物の周期性の有無を判定することによって、動作していない点検対象物に対しては動作していないことを、動作している点検対象物に対しては角度変化を精度良く識別することが可能になる。

情報処理装置１０は、動作周波数が閾値範囲を外れた場合、点検対象物の動作が異常であると判定する。これにより、情報処理装置１０は、解析対象となる点検対象物が正常であるか又は異常であるかを判定するにあたり、ユーザが設定した閾値範囲により一意に自動判定することが可能になる。

情報処理装置１０は、飛行体２０と点検対象物との距離が距離閾値範囲を外れた場合、当該距離が距離閾値範囲の範囲内になるように飛行体を変位させることで、点検対象物がカメラの視界内に位置するときの動画のみを飛行体２０に撮像させることが可能である。したがって、情報処理装置１０は、そのような動画のみを取得可能であり、点検対象物を点検するときの精度を向上させることが可能である。

以上のような一実施形態によれば、飛行体２０が飛行中に点検対象物を撮像する際にも、一連の撮像画像から点検に適切な画像を取得できる。情報処理装置１０は、飛行体２０と点検対象物との相対位置が変化するときであっても点検精度を向上させることが可能である。例えば、情報処理装置１０は、類似度及び閾値に基づいて連続する複数のフレームをユーザの端末装置４０に表示させることで、解析対象となるフレーム範囲のみを表示可能である。したがって、周期的に動作している点検対象物を飛行体２０が撮像したときの動画を用いて点検対象物を点検する場合において、画像ノイズが大きい区間及び被写体を正確に捕捉できていない区間のフレームを除いた状態で画像解析が可能となる。したがって、画像解析に不要な部分を除去してノイズの低減が実現されるので、点検対象物を点検するときの精度が向上する。ユーザは、点検対象物に何らかの異常が発見されたときに、図６Ｂに示すようなユーザインタフェースを視認することで、点検対象物の動作状況を容易に確認できる。

本開示は、その精神又はその本質的な特徴から離れることなく、上述した実施形態以外の他の所定の形態で実現できることは当業者にとって明白である。したがって、先の記述は例示的であり、これに限定されない。開示の範囲は、先の記述によってではなく、付加した請求項によって定義される。あらゆる変更のうちその均等の範囲内にあるいくつかの変更は、その中に包含されるとする。

上述した情報処理装置１０の動作における各ステップ及び各ステップに含まれる機能などは、論理的に矛盾しないように再配置可能であり、ステップの順序を変更したり、複数のステップを１つに組み合わせたり、又は分割したりすることが可能である。

本開示は、上述した情報処理装置１０の各機能を実現する処理内容を記述したプログラム又はプログラムを記録した記憶媒体としても実現し得る。本開示の範囲には、これらも包含されると理解されたい。

上述した一実施形態に係る情報処理装置１０が実行する少なくとも一部の処理動作を飛行体２０及び端末装置４０の少なくとも一方が実行してもよい。例えば、情報処理装置１０に代えて、飛行体２０自体が、情報処理装置１０に関する上述した処理動作を実行してもよい。飛行体２０又は端末装置４０が実行する少なくとも一部の処理動作を情報処理装置１０が実行してもよい。

上述した一実施形態において説明した情報処理装置１０が飛行体２０に搭載されてもよい。このとき、情報処理装置１０は、ネットワーク５０を介さずに飛行体２０と直接的に情報通信を行ってもよい。例えば、飛行体２０が画像抽出部１３２を有することで、ネットワーク５０における通信トラフィック量の抑制が可能となる。したがって、通信帯域が狭い屋外環境及び通信周波数の制限がある環境などでも本開示を実施することが可能となる。逆に、ネットワーク５０上のサーバとしての情報処理装置１０が画像抽出部１３２を有することで、飛行体２０での算出処理に関する負荷を低減でき、飛行体２０の軽量化、コスト削減、及び消費電力抑制による飛行時間の増加などの効果につながる。

図１では説明の簡便のため、情報処理装置１０、飛行体２０、油井ポンプ３０、及び端末装置４０について、それぞれ１つずつ図示しているが、情報処理システム１が有する情報処理装置１０、飛行体２０、及び端末装置４０、並びに油井ポンプ３０の数はそれぞれ２つ以上であってもよい。

情報処理装置１０は、１つ又は互いに通信可能な複数のサーバ装置に限定されず、ＰＣ又はスマートフォンなどの任意の汎用の電子機器であってもよいし、情報処理システム１に専用の他の電子機器であってもよい。

端末装置４０は、ＰＣ又はスマートフォンなどの汎用の電子機器に限定されず、ユーザが管理する１つ又は互いに通信可能な複数のサーバ装置であってもよいし、情報処理システム１に専用の電子機器であってもよい。

記憶部１２は、情報処理装置１０に内蔵されているものに限定されず、ＵＳＢ（Universal Serial Bus）などのデジタル入出力ポートなどによって接続されている外付け型の記憶モジュールを含んでもよい。

記憶部２２は、飛行体２０に内蔵されているものに限定されず、ＵＳＢなどのデジタル入出力ポートなどによって接続されている外付け型の記憶モジュールを含んでもよい。

記憶部４２は、端末装置４０に内蔵されているものに限定されず、ＵＳＢなどのデジタル入出力ポートなどによって接続されている外付け型の記憶モジュールを含んでもよい。

画像抽出部１３２は、隣り合う画素の輝度値の差を、動画に含まれるフレーム及び基準静止画のそれぞれに対して比較することで、類似度を算出してもよい。また、画像抽出部１３２は、機械学習に基づいて類似度を算出してもよい。例えば、画像抽出部１３２は、基準静止画の中から特徴点をいくつか抽出して、動画に含まれるフレームの中に当該特徴点が含まれているか否かを判定することで、類似度を算出してもよい。画像抽出部１３２は、互いに一致する特徴点が多いほど類似度を高く算出してもよい。

上記実施形態では、情報処理装置１０は、飛行体２０と点検対象物との距離が距離閾値範囲の範囲内にあると判定すると動画を取得すると説明したが、これに限定されない。情報処理装置１０は、図４のステップＳ１００のような判定処理を実行することなくステップＳ１０２のような動画の取得処理を実行してもよい。

上記実施形態では、情報処理装置１０は、取得した動画に含まれる連続したフレームをフレーム群として抽出すると説明したが、これに限定されない。情報処理装置１０は、複数のフレームを離散的に含むフレーム群を動画から抽出してもよい。

上記実施形態では、情報処理装置１０は、算出した類似度に基づいて、動画からフレーム群を抽出する抽出範囲を選択すると説明したが、これに限定されない。情報処理装置１０の制御部１３は、飛行体２０と点検対象物との間の相対位置を算出し、類似度に加えて、又は代えて、算出した相対位置に基づいて、動画からフレームを抽出する抽出範囲を選択してもよい。例えば、制御部１３は、飛行体２０と点検対象物との間の距離が距離閾値範囲の範囲内にあるときに撮像されたフレーム範囲を抽出範囲として選択してもよい。このとき、所定条件は、飛行体２０と点検対象物との間の距離が距離閾値範囲の範囲内にあることであってもよい。

制御部１３は、飛行体２０の取得部２４が取得した位置情報をネットワーク５０及び通信部１１を介して飛行体２０から受信してもよい。制御部１３は、取得した当該位置情報を、記憶部１２が予め記憶している点検対象物の位置情報と比較することで飛行体２０と点検対象物との間の相対位置を算出してもよい。

以上により、情報処理装置１０は、点検対象物がカメラの視界内に位置するときのフレームを抽出可能であるので、点検対象物を点検するときの精度が向上する。加えて、情報処理装置１０は、類似度を必ずしも算出しなくてもよいので、画像抽出部１３２による算出処理の負荷を低減可能である。

上記実施形態では、情報処理装置１０は、算出した類似度の平均値が閾値以上である連続する複数のフレームを解析対象として抽出すると説明したが、これに限定されない。情報処理装置１０は、算出した類似度に基づく任意の方法でフレームを抽出する抽出範囲を選択してもよい。例えば、情報処理装置１０は、閾値との比較処理を実行せずに、類似度が最も高いフレームを基準とする所定範囲を抽出範囲として選択してもよい。

上記実施形態では、情報処理装置１０は、図５及び表１に示すとおり、ｔ秒間という所定時間に含まれるフレーム群を抽出したが、予め指定されるｎ個（ｎは整数。）のフレーム群に対して類似度の平均値を算出し、解析対象のフレーム群を抽出してもよい。

この場合、情報処理装置１０の画像抽出部１３２は、まず開始フレームとして第１番目のフレームから終了フレームとして第ｎ番目のフレームに対して類似度の平均値を算出する。画像抽出部１３２は、開始フレームと終了フレームとをインクリメントしながらｎ個のフレームに対して類似度の平均値を順次算出する。

そして、画像抽出部１３２は、閾値以上の平均値を有するフレーム群を解析対象として抽出する。

上記実施形態では、情報処理装置１０は、類似度が閾値よりも小さいと判定すると、フレームにフィルタリング処理を実行すると説明したが、これに限定されない。情報処理装置１０は、フィルタリング処理に代えて、又は加えて、閾値の更新処理を実行してもよい。情報処理装置１０は、閾値の更新処理を実行することで、撮像条件によってそもそも全体的に類似度が低下し現在の閾値では抽出可能なフレーム範囲が存在しないような場合であっても、点検精度が悪化しない範囲で閾値を調整することも可能となる。これにより、情報処理装置１０は、点検対象物の異常を判定可能なデータをサルベージすることが可能となる。

上記実施形態では、情報処理装置１０は、フレームから特徴点を抽出し、抽出した特徴点の位置が連続する複数のフレームにおいて一致するようにフレームを画像処理すると説明したが、これに限定されない。情報処理装置１０は、このような画像処理を実行しなくてもよい。

上記実施形態では、情報処理システム１は、情報処理装置１０に加えて飛行体２０及び端末装置４０を有すると説明したが、これに限定されない。情報処理システム１は、情報処理装置１０に加えて飛行体２０のみを有し、端末装置４０を有さなくてもよい。

上記実施形態では、飛行体２０は、例えば人間が搭乗しない任意の飛行体であると説明したが、これに限定されない。飛行体２０は、人間が搭乗可能な任意の飛行体であってもよい。

上記実施形態では、情報処理装置１０は、飛行体２０が撮像した動画をネットワーク５０及び通信部１１を介して飛行体２０からデータとして受信すると説明したが、これに限定されない。情報処理装置１０は、ネットワーク５０に代えて、又は加えて、ＳＤカードなどの記録媒体を介して動画データを飛行体２０から取得してもよい。

情報処理装置１０の制御部１３は、図３を用いて説明した上述の機能ブロックに加えて、点検対象物の動作周波数から稼働状況を算出する稼働率算出部をさらに含んでもよい。これにより、情報処理装置１０は、点検対象物の異常判定だけでなく解析対象となる点検対象物の稼働状況を算出し、ユーザに通知することも可能となる。

１ 情報処理システム
１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ 制御部
１３１ 画像取得部
１３２ 画像抽出部
１３３ 画像解析部
１３４ 異常判定部
１３５ 位置調整部
２０ 飛行体
２１ 通信部
２２ 記憶部
２３ 撮像部
２４ 取得部
２５ 制御部
３０ 油井ポンプ
４０ 端末装置
４１ 通信部
４２ 記憶部
４３ 入力部
４４ 出力部
４５ 制御部
５０ ネットワーク
Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５ 動作部位
Ｐ、Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５ 特徴点

Claims (6)

1. 飛行している飛行体が撮像した点検対象物の動画を前記飛行体から取得する画像取得部と、
   解析の基準となる基準静止画及び前記基準静止画と取得した前記動画に含まれるフレームとの類似度の閾値を記憶する記憶部と、
   前記基準静止画との前記類似度を前記フレームごとに算出し、前記類似度及び前記閾値に基づいて連続する複数の前記フレームを解析対象として抽出する画像抽出部と、
   を備え、
   前記画像抽出部は、
   連続する複数の前記フレームの前記類似度の平均値を、前記フレームをずらしながら算出し、算出した前記平均値が前記閾値以上である連続する複数の前記フレームを解析対象として抽出する情報処理装置。
2. 前記画像抽出部は、
   前記類似度が前記閾値よりも小さいと判定した場合、前記フレームにフィルタリング処理を実行する請求項１に記載の情報処理装置。
3. 前記フレームから特徴点を抽出し、抽出した前記特徴点の位置が連続する複数の前記フレームにおいて一致するように前記フレームを画像処理する画像解析部をさらに備える請求項１に記載の情報処理装置。
4. 前記画像解析部は、
   画像処理した連続する複数の前記フレームから前記点検対象物の動作周波数を算出する請求項３に記載の情報処理装置。
5. 前記記憶部は、
   前記動作周波数の閾値範囲を記憶し、
   前記動作周波数が前記閾値範囲を外れた場合、前記点検対象物の動作が異常であると判定する異常判定部をさらに備える請求項４に記載の情報処理装置。
6. 前記記憶部は、
   前記飛行体と前記点検対象物との距離の範囲を示す距離閾値範囲を記憶し、
   前記飛行体から取得した前記距離が前記距離閾値範囲を外れた場合、前記距離が前記距離閾値範囲の範囲内になるように前記飛行体を変位させる位置調整部をさらに備える請求項１に記載の情報処理装置。

Images