JP7401068B1 - 情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】飛行体の飛行経路やカメラの撮影角度等の事前の詳細設定を要することなく複数の電力線を互いに間隔を置いて撮影することを可能にする情報処理システム等を提供する。
【解決手段】本実施の形態によれば、飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理システムが提供される。情報処理システムは、画像内の電力線間の距離を示す電力線間距離を算出する電力線間距離算出部１９０と、電力線間距離が基準距離に満たない場合に、電力線間距離が大きくなるように飛行体の位置及び撮影部の角度の少なくとも一方を変更する電力線間距離変更部１９５と、を備える。
【選択図】図５

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）が産業に利用され始めている。こうした中で、特許文献１には、飛行体により電力線を撮影して検査するシステムが開示されている。

特開２０２０－１９６３５５号公報

複数の電力線が互いに重なったり近接したりした状態で撮影されると、重なり部分や他の電力線によって隠された部分の検査が困難となるため、各々の電力線の検査に支障が生じうる。そのための対処の１つとして、複数の電力線が互いに所定距離以上の距離を確保し撮影されるように、飛行体の飛行経路と飛行体に搭載されたカメラの撮影角度とを設定して飛行体を飛行させることが考えられるが、径間長や高低差などの電力線の架線条件は多様であり、飛行経路の各地点において電力線が互いに間隔を確保し撮影されるように飛行体の飛行経路やカメラの撮影角度の詳細な設定を事前に行うことは困難である。

また、仮に飛行経路の各地点において電力線が互いに間隔を置いて撮影されるように飛行体の飛行経路やカメラの撮影角度の詳細な事前設定を行うことができたとしても、電力線の弛度は気温や日射量等の季節要因によって変化しうるので、飛行体の飛行経路及びカメラの撮影角度を季節毎に設定し直す必要がある。そのため、飛行体の飛行経路やカメラの撮影角度の設定には多くの労力が必要となる。

本発明はこのような背景を鑑みてなされたものであり、飛行体の飛行経路やカメラの撮影角度等の事前の詳細設定を要することなく複数の電力線を互いに間隔を置いて撮影することを可能にする情報処理システム等を提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理システムであって、画像内の電力線間の距離を示す電力線間距離を算出する電力線間距離算出部と、電力線間距離が基準距離に満たない場合に、電力線間距離が大きくなるように飛行体の位置及び撮影部の角度の少なくとも一方を変更する電力線間距離変更部と、を備えることを特徴とする、情報処理システム等である。

本発明によれば、特に、飛行体の飛行経路やカメラの撮影角度等の事前の詳細設定を要することなく複数の電力線を互いに間隔を置いて撮影することを可能にする情報処理システム等を提供することができる。

本発明の実施の形態にかかる情報処理システムの構成を示す図である。 図１の管理サーバのハードウェア構成を示すブロック図である。 図１のユーザ端末のハードウェア構成を示すブロック図である。 図１の飛行体のハードウェア構成を示すブロック図である。 図１の管理サーバの機能を示すブロック図である。 図１の管理サーバによる処理を説明するための概念図の一例である。 多導体方式の電力線において用いられる径間スペーサの種々の例を例示する図である。 図１の管理サーバによる処理を説明するための概念図の一例である。 図１の管理サーバによる処理を説明するための概念図の一例である。 図１の管理サーバによる処理を説明するための概念図の一例である。 図１の管理サーバによる処理を説明するための概念図の一例である。 図１の管理サーバによる処理を説明するための概念図の一例である。 本発明の実施の形態にかかる情報処理方法を説明するためのフローチャートである。 図（ａ）は飛行体と撮影対象の複数の電力線との位置関係の一例を示し、図（ｂ）はその位置関係において飛行体の撮影部によって撮影された複数の電力線を含む画像を示す。 図（ａ）は飛行体と撮影対象の複数の電力線との位置関係の他の例を示し、図（ｂ）はその位置関係において飛行体の撮影部によって撮影された複数の電力線を含む画像を示す。

本発明の実施形態の内容を列記して説明する。本発明は、例えば、以下のような構成を備える。
［項目１］
飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理システムであって、
前記画像内の電力線間の距離を示す電力線間距離を算出する電力線間距離算出部と、
前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更する電力線間距離変更部と、
を備える、
ことを特徴とする情報処理システム。
［項目２］
前記電力線間距離変更部は、少なくとも前記飛行体の高度を変更することで前記位置を変更する、
ことを特徴とする項目１に記載の情報処理システム。
［項目３］
前記電力線間距離変更部は、
前記飛行体の上昇及び下降の一方を実行することにより前記飛行体の高度を変更し、
前記飛行体の上昇及び下降の一方を実行した後に前記電力線間距離算出部によって算出された前記電力線間距離が、前記飛行体の上昇及び下降の一方を実行する前に前記電力線間距離算出部によって算出された前記電力線間距離よりも小さくなっている場合に、前記飛行体の上昇及び下降の他方を実行する、
ことを特徴とする項目２に記載の情報処理システム。
［項目４］
前記複数の電力線は、２本以上の電力線であって、
前記電力線間距離変更部は、少なくとも１つの電力線間の距離が前記基準距離に満たない場合に、前記飛行体の位置または前記撮影部の角度を変更する、
ことを特徴とする項目１から３のいずれか１項に記載の情報処理システム。
［項目５］
飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理方法であって、
前記画像内の電力線間の距離を示す電力線間距離を算出するステップと、
前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更するステップと、
を含む、
ことを特徴とする情報処理方法。
［項目６］
飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理方法をコンピュータに実行させるプログラムであって、
前記コンピュータに対して、
前記画像内の電力線間の距離を示す電力線間距離を算出するステップと、
前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更するステップと、
を実行させる、
ことを特徴とするプログラム。

＜実施の形態の詳細＞
以下、本発明の実施の形態による情報処理方法等についての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

＜構成＞
図１に示されるように、本実施の形態における情報処理システムは、管理サーバ１と、一以上のユーザ端末２と、一以上の飛行体４とを有している。管理サーバ１と、ユーザ端末２と、飛行体４は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らない。

＜管理サーバ１＞
図２は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

図示されるように、管理サーバ１は、複数のユーザ端末２と、飛行体４と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

送受信部１３は、管理サーバ１をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜ユーザ端末２＞
図３に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。

＜飛行体４＞
図４は、飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくとも管理サーバ１やユーザ端末２のいずれかに１つに記録されてもよい。カメラ４２は飛行体４にジンバル４３を介して設置される。

フライトコントローラ４１は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して飛行体の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。これらのうち、少なくとも撮影部としてのビジョン／イメージセンサ（例えば、カメラ）は、不図示の駆動手段によってカメラの撮影角度を変更できるように構成されている。カメラの撮影角度は、例えば、水平方向を基準とした場合に水平方向に対してカメラの撮影方向が成す角度である。以下、センサ類４２を「カメラ４２」と称することもある。

＜管理サーバの機能＞
図５は、管理サーバ１に実装される機能を例示したブロック図である。本実施の形態においては、管理サーバ１は、プロセッサ１０、送受信部１３、記憶部２００を備えている。プロセッサ１０は、支持物座標取得部１１０、中間座標算出部１２０、中間点電力線高さ座標取得部１３０、斜弛度算出部１４０、任意点弛度算出部１５０、任意点電力線高さ座標算出部１６０、ウェイポイント高さ座標設定部１７０、フライト実行部１８０、電力線間距離算出部１９０、電力線間距離変更部１９５を備えている。また、記憶部２００は、支持物関連情報記憶部２１０、フライト情報記憶部２２０の各種データベースを含む。

支持物座標取得部１１０は、各支持物の腕金の電力線取付位置に関する高さ座標を含む第１及び第２の支持物座標（例えば、腕金の先端から下がる懸垂碍子の電力線引留点Ａ、Ｂの三次元座標（ＸＹＺ座標）等）を支持物関連情報記憶部２１０からそれぞれ取得する。より具体的には、図６等に例示される支持物Ｐ、Ｑの腕金の電力線取付位置Ａ、Ｂの三次元座標（ＸＹＺ座標）についてそれぞれ取得する。支持物座標は、例えば、予め飛行体４を飛行させて各種センサの取得情報（例えば、ＧＰＳの位置情報、気圧センサ情報や撮影情報、レーザ等のセンサ情報など）に基づき直接または間接的に算出されて記憶されていてもよいし、予めユーザがユーザ端末２上に表示される地図情報から選択操作により腕金の先端位置を選択することにより記憶される水平面上二次元座標（ＸＹ座標）情報と、予め記憶された支持物に関連する高さ情報（例えば、支持物の高さ情報、腕金の先端の高さ情報、上記電力線を支持する懸垂碍子の電力線引留点の高さ情報など）に基づき直接または間接的に設定されてもよいし、これら以外の方法で予め記憶されていてもよい。

本実施の形態において説明する電力線は、１本の導体からなる電力線の他、複数の導体からなる多導体方式の電力線を含む。本明細書において「電力線」と記載された場合には、そのうちの特定の導線に関する説明であることが明示されていない限り、１本又は複数の導体からなる電力線全体を指す。多導体方式の電力線では、各々の導体が径間スペーサによって互いの間隔を一定に保った状態で保持される。

図７に、多導体方式の電力線において用いられる径間スペーサの種々の例を例示する。図７（ａ）は２本の導体を保持する径間スペーサの構成例であり、図７（ａ）に示す径間スペーサ３００は、１本の間隔体３１０と、その両端に固定された２つの把持部３２０とを備えている。各把持部３２０は、間隔体３１０の長さの分だけ導体間の間隔をおいて導体をそれぞれ保持する。図７（ｂ）は４本の導体を保持する径間スペーサの構成例であり、図７（ｂ）に示す径間スペーサ３００は、矩形を成すように組まれた４本の間隔体３１０と、その矩形の４つの角部にそれぞれ固定された４つの把持部３２０とを備えている。また、図７（ｃ）は６本の導体を保持する径間スペーサの構成例であり、図７（ｃ）に示す径間スペーサ３００は、六角形に形成された間隔体３１０と、その円形の間隔体３１０の周囲に等間隔に配置固定された６つの把持部３２０とを備えている。図７に示した径間スペーサの構成は例示的なものに過ぎず、電力線が備える導体の本数に応じて、その他の多角形形状等の適宜異なる構成を備えることができる。径間スペーサ３００は、電力線の延伸方向において例えば一定の間隔をおいて設置され、導体同士が接触して短絡すること等を防止する。

中間座標算出部１２０は、各支持物座標から所定方向に所定距離ずれた２つの基準座標の中間座標（少なくとも水平面上二次元座標ＸＹ座標）を算出し、支持物関連情報記憶部２１０に記憶する。所定方向は、例えば、電力線の外側方向であり、特に、水平方向において各支持物座標から上記電力線の延伸方向に対して直交する方向（図９参照）であり得る。所定距離は、ユーザが設定した値であって、電力線からの安全な離間距離であり得る。より具体的には、図８等に例示される支持物Ｐ、Ｑの腕金の電力線取付位置Ａ、Ｂの三次元座標（ＸＹＺ座標）のうち高さ座標を所定値（例えば、高さ座標を０）とした位置Ａ’、Ｂ’に対して、所定方向に所定距離Ｌ（例えば、離隔距離１０ｍなど）ずれた位置Ａ”、Ｂ”の三次元座標の中間点Ｃの中間座標（ＸＹＺ座標）を算出する。

中間点電力線高さ座標取得部１３０は、中間点Ｃから上記所定方向とは逆方向に上記所定距離ずれた水平位置に対応する電力線の位置の第１の電力線高さ座標（少なくともＺ座標）を取得し、支持物関連情報記憶部２１０に記憶する。より具体的には、図９等に例示される中間点Ｃから上記所定方向とは逆方向に所定距離Ｌずれた点Ｄ’の直上にある電力線の位置Ｄの高さ座標を取得する。位置Ｄの高さ座標の取得は、例えば上述の飛行体４のレーザセンサ等のセンサを用いた方法などであり、この場合には、中間点Ｃから飛行体４により垂直に浮上し、位置Ｄと同じ高さで上記センサを使用することで位置Ｄの高さ座標を取得することが可能である。さらには、この時、上記レーザセンサの値のみならず、飛行体４の高度情報（気圧センサの情報）も参照情報として用いることで、より精度の高い位置Ｄの高さ座標を取得することが可能である。

なお、電力線が多導体方式である場合には、一例として、電力線が複数備える導体のうち、中間点Ｃから垂直に浮上する飛行体４に面する、所定の高さ位置に位置するいずれかの導体の高さを取得して、それを上記位置Ｄの高さ座標としてもよい。例えば、電力線が図７（ａ）に示すスペーサで保持される２導体方式である場合には、飛行体４に面する側の一方の導体の高さが上記位置Ｄの高さ座標として取得される。また、電力線が図７（ｂ）に示すスペーサで保持される４導体方式である場合には、飛行体４に面する側の上下２本の導体のうち、下側の導体あるいは上側の導体のいずれか予め定められる導体の高さが上記位置Ｄの高さ座標として取得される。さらに、電力線が図７（ｃ）に示すスペーサで保持される６導体方式である場合には、飛行体４に面する側の上中下の３本の導体のうち、下側の導体、中間の導体あるいは上側の導体のいずれか予め定められる導体の高さが上記位置Ｄの高さ座標として取得される。

斜弛度算出部１４０は、第１及び第２の支持物座標（特に高さ座標）並びに第１の電力線高さ座標に基づき斜弛度を算出し、支持物関連情報記憶部２１０に記憶する。より具体的には、斜弛度とは、図９等に例示される電力線の位置Ｄから支持物Ｐ、Ｑの位置Ａ、Ｂ間を結んだ仮想線までの垂直線の距離ｄであって、例えば、支持物Ｐ、Ｑの位置Ａ、Ｂの中間点Ｄ”の高さ座標から位置Ｄの高さ座標を引いた値の絶対値を距離ｄの値としてもよい。

任意点弛度算出部１５０は、各支持物の位置Ａ、Ｂ間の第１の距離、および、一方の支持物の位置Ａから第１の距離の中心までの距離から同支持物の位置Ａから第１または第２の任意ポイントまでの第２または第３の距離の差分値（絶対値）、並びに、上記斜弛度に基づき、上記第１または第２の任意ポイントにおける第１または第２の任意点弛度を算出し、支持物関連情報記憶部２１０に記憶する。より具体的には、図１０等に例示される各支持物の位置Ａ、Ｂ間の径間長Ｓ、および、支持物Ｐの腕金の電力線取付位置Ａから径間長Ｓの中間点Ｄ”までの距離Ｓ_Ｄから同支持物Ｐの腕金の電力線取付位置Ａから第１の任意ポイントＤ_ｘ１または第２の任意ポイントＤ_ｘ２までの第２の距離Ｓ_ｘ１または第３の距離Ｓ_ｘ２（例えば、いずれも径間長Ｓに平行な距離）の差分値（絶対値）、並びに、上記斜弛度ｄに基づき、下記式１により、第１または第２の任意ポイントＤ_ｘ１、Ｄ_ｘ２における第１または第２の任意点弛度ｄ_ｘ１、ｄ_ｘ２を算出する。なお、任意ポイントはさらに追加して複数ポイント設けてもよい。また、任意点弛度ｄ_ｘ１、ｄ_ｘ２の計算について、その他の計算方法で求めてもよい。

ｄ_ｘ＝ｄ×（１－（２|Ｓ_Ｄ－Ｓ_ｘ|／Ｓ）^２）（式１）

任意点電力線高さ座標算出部１６０は、上記第１及び第２の任意点弛度、および、各支持物の位置Ａ、Ｂ間の第１の距離、上記第１及び第２の支持物座標、並びに、上記２つの支持物位置の一方から第１及び第２の任意ポイントまでの第２及び第３の距離に基づき、第１及び第２の任意ポイントの第２及び第３の電力線高さ座標Ｚ_Ｘを算出し、支持物関連情報記憶部２１０に記憶する。より具体的には、図１１等に例示される第１及び第２の任意点弛度ｄ_ｘ１、ｄ_ｘ２、および、支持物の位置Ａ、Ｂの上記第１及び第２の支持物座標（特に高さ座標）、並びに、２つの支持物の位置Ａ、Ｂの一方（Ａ）から第１及び第２の任意ポイントまでの第２及び第３の距離（Ｓ_ｘ１、Ｓ_ｘ２）に基づき、下記式２により、第１及び第２の任意ポイントＤ_ｘ１、Ｄ_ｘ２の第２及び第３の電力線高さ座標Ｚ_Ｘ１、Ｚ_Ｘ２を算出する。

任意ポイントＤ_ｘの電力線高さ座標Ｚ_Ｘ＝（支持物位置Ｂの高さ座標Ｚ_Ｂ－支持物位置Ａの高さ座標Ｚ_Ａ）×（任意ポイントＤ_ｘまでの距離Ｓ_ｘ／径間長Ｓ）＋支持物位置Ａの高さ座標Ｚ_Ａ－任意点弛度ｄ_ｘ（式２）

ウェイポイント高さ座標設定部１７０は、第１及び第２の支持物座標（特に高さ座標）、第１ないし第３の電力線高さ座標に基づき、飛行体４の各ウェイポイントの高さ座標として設定し、フライト情報記憶部２２０に記憶する。より具体的には、例えば、複数の電力線を上から撮影する場合には、図１２に例示される支持物の位置Ａ、Ｂの高さ座標、並びに、第１・第２・第３の電力線高さ座標（任意ポイントＤ、Ｄ_ｘ１、Ｄ_ｘ２の高さ座標）に任意の離隔高さ座標Ｈを加えた高さ座標を、飛行体４の各ウェイポイントＷの高さ座標として設定してもよい。その他、例えば複数の電力線を横から撮影する場合には、図１３に例示されるように、支持物の位置Ａ、Ｂの高さ座標、並びに、第１・第２・第３の電力線高さ座標（任意ポイントＤ、Ｄ_ｘ１、Ｄ_ｘ２の高さ座標）をそのまま飛行体４の各ウェイポイントＷの高さ座標として設定してもよい。

フライト情報記憶部２２０は、例えば支持物、電力線及び径間スペーサなどの点検等を目的とするフライトにおいて用いられるフライト情報を記憶している。フライト情報は、例えば、飛行経路情報（ウェイポイント情報を含む）、飛行速度、最低飛行高度、撮像条件情報（撮像画角、撮像角度、撮像画像のオーバーラップ率など）、フライト時取得情報（例えば、画像情報や映像情報等）などを含む。特にウェイポイント情報として、各ウェイポイントの高さ座標情報（Ｚ座標）はウェイポイント高さ座標設定部１７０により設定された情報を利用し、各ウェイポイントの水平座標情報（ＸＹ座標）は、例えば、支持物の位置Ａ、Ｂの水平座標情報、位置Ａから各ポイントまでの水平距離（Ｓｘ、Ｓｘ１、Ｓｘ２）、径間長Ｓ、または、径間長Ｓの中点までの距離などを用いてそれぞれ算出及び設定してもよいし、図１３のように位置Ａ”，Ｂ”を結ぶ仮想線まで水平移動させた水平座標情報を利用してもよいし、予めユーザがユーザ端末２上に表示される地図情報から選択操作により選択されたウェイポイント位置を利用してもよい。

フライト実行部１８０は、フライト情報記憶部２２０に記憶された各種フライト情報に基づき、点検等を目的とするフライトを実行する。

電力線間距離算出部１９０は、フライト実行部１８０によってフライトが実行されている飛行体４のカメラ４２によって撮影された画像に基づき、任意の画像認識技術及び／又は学習済みモデルを用いて、その画像内に存在する複数の電力線の間の距離を算出する。

画像内に存在する複数の電力線の間の距離の算出は、例えば、画像中の複数の電力線の間のピクセル数に基づいて行うことができ、より具体的には、一例として、画像内に存在する各々の電力線について電力線とその背景等との境界をいわゆるエッジ検出技術を用いて検出し、次に、互いに隣接する電力線同士のうち最短距離となる部分の間に存在するピクセルの数を検出し、その検出したピクセルの数に基づいて画像中の電力線同士の距離を算出することによって行うことができる。

また、学習済みモデルは、カメラ４２によって撮影された複数の電力線を含む様々な画像の画像データを用いて、例えば、各層にニューロンを含む複数の層で構成されるニューラルネットワークで機械学習を実行して生成することができる。そのようなニューラルネットワークとして、例えば２０層以上を備えた畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のようなディープニューラルネットワークを用いてもよい。このようなディープニューラルネットワークを用いた機械学習は、ディープラーニングと称される。このようにして生成された学習済みモデルは、記憶部２００に記憶される。

カメラ４２によって撮影される画像が動画である場合は、電力線間距離算出部１９０は、動画を構成する各フレーム画像について上記の電力線間距離算出処理を実行してもよく、あるいは、ある所定のレートで抽出されるフレーム画像について上記の電力線間距離算出処理を実行してもよい。

なお、画像中に２本以上の電力線が存在する場合には、その画像中には算出すべき電力線間距離が１以上存在する。このような場合は、電力線間距離算出部１９０は、１以上存在する電力線間距離の各々を算出する。

電力線間距離変更部１９５は、電力線間距離算出部１９０によって算出された画像内の複数の電力線の間の距離が所定の基準距離を満たしているか否かを判定し、所定の基準距離を満たしていない場合に、カメラ４２によって撮影される画像中の複数の電力線の間の距離が所定の基準距離がより大きくなるように、飛行体４の位置を変更するか、カメラ４２の撮影角度を変更するか、あるいはそれらの両方を実行する。所定の基準距離は、例えば、画像内の互いに隣接する電力線同士のうち最短距離となる部分の間に存在するピクセルの数によって定められる。

電力線間距離変更部１９５は、飛行体４の位置を変更する制御の一例として、画像内の複数の電力線の間の距離が所定の基準距離を満たしていない場合に、飛行体４を上昇もしくは下降させることにより、飛行体４の高度を変更させる。飛行体４の高度が変更されると、飛行体４のカメラ４２から撮影対象の電力線に対する撮影方向ないし撮影角度が変化することに伴い、撮影される画像内の電力線間の距離が変化する。そして、飛行体４の高度が変更した後にカメラ４２によって撮影された画像について、電力線間距離算出部１９０によって算出された画像内の複数の電力線の間の距離が所定の基準距離を満たしているか否かを判定する。電力線間距離変更部１９５は、飛行体４の高度を変更させる制御と電力線間距離に関する判定処理とを、画像内の複数の電力線の間の距離が所定の基準距離を満たすまで繰り返す。その結果、複数の電力線の間の距離が所定の基準距離を満たし、したがって複数の電力線が互いに重なったり近接したりしていない画像を取得することができ、各々の電力線について画像に基づく検査を良好に行うことが可能になる。

電力線間距離変更部１９５による飛行体４の高度を変更させる制御のより具合的な一例を説明する。

電力線間距離変更部１９５は、飛行体４を上昇もしくは下降させた後にカメラ４２によって撮影された画像について電力線間距離算出部１９０によって算出された画像内の電力線間距離を、飛行体４を上昇もしくは下降させる直前にカメラ４２によって撮影された画像内の電力線間距離と比較し、前者の電力線間距離が後者の電力線間距離よりも大きくなっているかどうかを判定する。

そして、電力線間距離変更部１９５は、飛行体４を上昇もしくは下降させた後の画像内の電力線間距離が上昇もしくは下降させる前の画像内の電力線間距離よりも大きくなっている場合には、飛行体４を上昇または下降の同じ方向に引き続き移動させる。この場合は、飛行体４を当初に移動させた方向（上昇又は下降）が、画像内の電力線間距離をより大きくする方向であるため、カメラ４２によって撮影される画像内の複数の電力線の間の距離が所定の基準距離を満たすまで、飛行体４を同じ方向に引き続き移動させる。

一方、電力線間距離変更部１９５は、飛行体４を上昇もしくは下降させた後の画像内の電力線間距離が上昇もしくは下降させる前の画像内の電力線間距離よりも小さくなっている場合には、飛行体４を逆の方向に移動させる（例えば、飛行体４を当初上昇させていた場合には、飛行体４を下降させる）。この場合は、飛行体４を当初に移動させた方向（上昇及び下降のいずれか一方の方向）が、画像内の電力線間距離をより小さくする方向であるため、飛行体４の移動方向を画像内の電力線間距離をより大きくする反対方向（上昇及び下降の他方の方向）にして、カメラ４２によって撮影される画像内の複数の電力線の間の距離が所定の基準距離を満たすまで飛行体４を移動させる。

また、電力線間距離変更部１９５によるカメラ４２の撮影角度を変更させる制御のより具合的な一例について説明する。

この場合も上記と同様に、電力線間距離変更部１９５は、飛行体４に対するカメラ４２の撮影角度を大きくもしくは小さくした後にカメラ４２によって撮影された画像について電力線間距離算出部１９０によって算出された画像内の電力線間距離を、カメラ４２の撮影角度を変更する直前にカメラ４２によって撮影された画像内の電力線間距離と比較し、前者の電力線間距離が後者の電力線間距離よりも大きくなっているかどうかを判定する。

そして、カメラ４２の撮影角度を大きくもしくは小さくした後の画像内の電力線間距離がカメラ４２の撮影角度を変更する前の画像内の電力線間距離よりも大きくなっている場合には、電力線間距離変更部１９５はカメラ４２の撮影角度を同じ方向に引き続き変更させる。この場合は、カメラ４２の撮影角度を当初に変更した方向（撮影角度を大きく又は小さくする方向）が、画像内の電力線間距離をより大きくする方向であるため、カメラ４２によって撮影される画像内の複数の電力線の間の距離が所定の基準距離を満たすまで、カメラ４２の撮影角度を同じ方向に引き続き変更する。

一方、カメラ４２の撮影角度を大きくもしくは小さくした後の画像内の電力線間距離がカメラ４２の撮影角度を変更する前の画像内の電力線間距離よりも小さくなっている場合には、電力線間距離変更部１９５はカメラ４２の撮影角度を逆の方向に変更する（例えば、カメラ４２の撮影角度を大きくしていた場合には、カメラ４２の撮影角度を小さくする）。この場合は、カメラ４２の撮影角度を当初に変更した方向（撮影角度を大きくする方向及び小さくする方向のいずれか一方の方向）が、画像内の電力線間距離をより小さくする方向であるため、カメラ４２の撮影角度を変更する方向を反対方向（撮影角度を大きくする方向及び小さくする方向の他方の方向）に変更して、カメラ４２によって撮影される画像内の複数の電力線の間の距離が所定の基準距離を満たすまでカメラ４２の撮影角度を変更する。

さらに、電力線間距離変更部１９５による処理のより具合的な一例を説明する。カメラ４２によって撮影される画像内に２本以上の電力線が存在し、したがって、１以上の電力線間距離について所定の基準距離を満たしているか否かを判定する必要がある場合には、それらの１以上の電力線間距離の各々について所定の基準距離を満たしているか否かを判定し、少なくとも１つの電力線間距離が所定の基準距離を満たしていない場合に、カメラ４２によって撮影される画像中の複数の電力線の間の距離が所定の基準距離がより大きくなるように、飛行体４の位置を変更するか、カメラ４２の撮影角度を変更するか、あるいはそれらの両方を実行する。これにより、画像内に２本以上の電力線（すなわち２以上の電力線間距離）が存在する場合に、全ての電力線間距離が所定の基準距離がより大きくなるように、飛行体４の高度及びカメラ４２の撮影角度の少なくとも一方が変更される。

フライト実行部１８０、電力線間距離算出部１９０及び電力線間距離変更部１９５は、特に、飛行体４及びそれに搭載されたセンサ類４２（カメラ）の動作を制御する制御部として機能する。

＜情報処理方法＞
図１３等を参照して、本実施の形態による情報処理方法について説明する。図１３には、本実施形態にかかる情報処理方法のフローチャートが例示されている。

まず、管理サーバ１のフライト実行部１８０は、フライト情報記憶部２２０に記憶されたフライト情報に基づき飛行体４の飛行を開始させ、飛行体４の飛行中に飛行体４のカメラ４２によって電力線を撮影するように飛行体４及びカメラ４２を制御する（ステップＳ１１）。

ステップＳ１１において、飛行体４は、支持物Ｐの位置Ａに対応する飛行開始点であるウェイポイントＷ_１から電力線取付位置Ｂに対応する飛行終了点であるウェイポイントＷ_５へ向けてフライトを開始する。飛行体４は、ウェイポイントＷ_１，Ｗ_５の間の中間のウェイポイントＷ_２，Ｗ_３，Ｗ_４を経由して移動するするようにフライト実行部１８０によって制御される。さらに、飛行体４のカメラ４２は、飛行体４がウェイポイントＷ_１，Ｗ_５間を移動する間に電力線（本実施形態の各図に示した例では、電力線取付位置Ａ，Ｂ間の架空線である電力線ないしその導体）を撮影するようにフライト実行部１８０によって制御される。

フライト実行部１８０は、原則として、フライト情報記憶部２２０に記憶されたフライト情報で定められた飛行経路の高度に従って飛行体４を飛行させ、また、フライト情報記憶部２２０に記憶されたフライト情報で定められた撮影角度（例えば、水平方向を基準とする角度）でカメラ４２に電力線を撮影させる。

電力線間距離算出部１９０は、飛行体４のカメラ４２によって撮影された画像に基づき、その画像内に存在する複数の電力線の間の距離を算出する（ステップＳ１２）。

上述したように、電力線間距離算出部１９０による画像内に存在する複数の電力線の間の距離の算出は、例えば、画像中の複数の電力線の間のピクセル数に基づいて行うことができる。また、画像中に２本以上の電力線が存在して、算出すべき電力線間距離が１以上存在する場合は、電力線間距離算出部１９０は１以上存在する電力線間距離の各々を算出する。また、カメラ４２によって撮影される画像が動画である場合は、電力線間距離算出部１９０は、動画を構成する各フレーム画像について上記の電力線間距離算出処理を実行してもよく、あるいは、ある所定のレートで抽出されるフレーム画像について上記の電力線間距離算出処理を実行してもよい。

続いて、電力線間距離変更部１９５は、上記ステップＳ１２において電力線間距離算出部１９０によって算出された画像内の複数の電力線の間の距離が所定の基準距離を満たしているか否かを判定する（ステップＳ１３）。

画像中に２本以上の電力線が存在し、算出すべき電力線間距離が１以上存在する場合は、電力線間距離変更部１９５は、２以上存在する電力線間距離の各々について所定の基準距離を満たしているか否かを判定する。

所定の基準距離は、例えば、画像内の互いに隣接する電力線同士のうち最短距離となる部分の間に存在するピクセルの数によって定められる。この場合、電力線間距離変更部１９５は、画像内の互いに隣接する電力線の上記最短距離となる部分の間に存在するピクセルの数が所定数以上である場合には所定の基準距離を満たしていると判定し、上記ピクセルの数が所定数未満である場合には所定の基準距離を満たしていないと判定する。

図１４は、図１４（ａ）に飛行体と撮影対象の複数の電力線との位置関係の一例を示し、図１４（ｂ）にその位置関係において飛行体の撮影部によって撮影された複数の電力線を含む画像を示す。図１４は、水平方向に並列配置された２本の電力線を、それらの電力線とほぼ同じ高度に位置する飛行体４のカメラ４２によって撮影する例を示している。図１４（ａ）に示すような飛行体と電力線との位置関係においては、並列配置された２本の電力線をその横方向から見る角度で撮影することになるので（図１４（ａ）参照）、撮影された画像における電力線間距離は小さくなる（図１４（ｂ）参照）。

図１５は、図１５（ａ）に飛行体と撮影対象の複数の電力線との位置関係の他の例を示し、図１５（ｂ）にその位置関係において飛行体の撮影部によって撮影された複数の電力線を含む画像を示す。図１５は、水平方向に並列配置された２本の電力線を、それらの電力線のよりも高い高度に位置する飛行体４のカメラ４２によって撮影する例を示している。図１５（ａ）に示すような飛行体と電力線との位置関係においては、並列配置された２本の電力線をその上方から斜め下に見下ろす角度で撮影することになるので（図１５（ａ）参照）、撮影された画像における電力線間距離は大きくなる（図１５（ｂ）参照）。

ステップＳ１３において画像中の全ての電力線間距離が所定の基準距離を満たしている（Ｙ）と判定された場合には、処理はステップＳ１１に戻り、ステップＳ１１～Ｓ１３の処理を繰り返す。

一方、ステップＳ１３において画像中の少なくとも１つの電力線間距離が所定の基準距離を満たしていない（Ｎ）と判定された場合には、処理はステップＳ１４に進む。

ステップＳ１４において、電力線間距離変更部１９５は、カメラ４２によって撮影される画像中の複数の電力線の間の距離が所定の基準距離より大きくなるように、飛行体４の位置（一例として高度）及びカメラ４２の撮影角度の少なくとも一方を変更する。飛行体４の高度の変更は、フライト情報記憶部２２０に記憶されたフライト情報で定められた飛行経路の高度に対して飛行体４を上昇あるいは下降させることによって行われる。また、カメラ４２の撮影角度の変更は、水平方向に対して上側にカメラ４２が向くように撮影角度を大きくする、あるいは、水平方向に対して下側にカメラ４２が向くように撮影角度を小さくすることによって行われる。

ステップＳ１４によって飛行体４の位置及びカメラ４２の撮影角度の少なくとも一方が変更された後、フライト実行部１８０は、飛行体４のカメラ４２によって電力線を撮影するようにカメラ４２を制御する（ステップＳ１５）。

続いて、電力線間距離算出部１９０は、ステップＳ１４によって飛行体４の位置及びカメラ４２の撮影角度の少なくとも一方が変更された後に飛行体４のカメラ４２によって撮影された画像に基づき、その画像内に存在する複数の電力線の間の距離を算出する（ステップＳ１６）。ステップＳ１６における電力線間距離の算出処理も、ステップＳ１２において説明した処理と同様に行われる。よって、ここではその算出処理の説明は省略する。

次に、電力線間距離変更部１９５は、ステップＳ１５において飛行体４の位置及びカメラ４２の撮影角度の少なくとも一方が変更された後に飛行体４のカメラ４２によって撮影された画像について電力線間距離算出部１９０によって算出された画像内の電力線間距離を、その変更前に飛行体４のカメラ４２によって撮影された画像について電力線間距離算出部１９０によって算出された画像内の電力線間距離と比較し、前者の電力線間距離が後者の電力線間距離よりも大きくなっているかどうかを判定する（ステップＳ１７）。

ステップＳ１７において、飛行体４の位置及びカメラ４２の撮影角度の少なくとも一方の変更後の画像内の電力線間距離が、その変更前の画像内の電力線間距離よりも大きくなっている（Ｙ）と判定された場合は、当初選択された飛行体４の位置及びカメラ４２の撮影角度の少なくとも一方を変更する方向（例えば、飛行体４の上昇方向もしくは下降方向、カメラ４２の撮影角度を水平方向に対して大きくする方向もしくは小さくする方向）が、画像内における複数の電力線の間の距離を大きくする方向であることを意味する。この場合は、処理がステップＳ１３に戻り、全ての電力線間距離が所定の基準距離を満たすと判定されるまでステップＳ１３～Ｓ１７の処理が繰り返される。

一方、ステップＳ１７において、飛行体４の位置及びカメラ４２の撮影角度の少なくとも一方の変更後の画像内の電力線間距離が、その変更前の画像内の電力線間距離よりも大きくなっていない（Ｎ）と判定された場合は、当初選択された飛行体４の位置及びカメラ４２の撮影角度の少なくとも一方を変更する方向が、画像内における複数の電力線の間の距離を小さくする方向であることを意味する。この場合は、処理はステップＳ１８に進む。

ステップＳ１８において、電力線間距離変更部１９５は、ステップＳ１４において変更した飛行体４の位置及びカメラ４２の撮影角度の少なくとも一方の移動方向を反対方向に変更する。より具体的には、ステップＳ１４において飛行体４を上昇及び下降の一方の方向に移動させていた場合には、ステップＳ１８において飛行体４をその反対方向（上昇及び下降の他方の方向）に移動させる。また、ステップＳ１４においてカメラ４２の撮影角度を水平方向に対して上側及び下側の一方の方向に移動させていた場合には、ステップＳ１８においてカメラ４２の撮影角度をその反対方向（水平方向に対する上側及び下側の他方の方向）に移動させる。

ステップＳ１８の後は処理がステップＳ１５に戻り、ステップＳ１５～Ｓ１７の処理が繰り返される。飛行体４の位置及びカメラ４２の撮影角度の少なくとも一方の移動方向が変更された場合、その変更後の移動方向は画像内における複数の電力線の間の距離を大きくする方向であるので、再度実行されるステップＳ１７では電力線間距離が大きくなっていると判定され、処理はステップＳ１３ステップＳ１３に戻り、電力線間距離が所定の基準距離を満たすと判定されるまでステップＳ１３～Ｓ１７の処理が繰り返される。

このように、本実施形態によれば、管理サーバ１の電力線間距離算出部１９０によって画像内の電力線間の距離を示す電力線間距離が算出され、電力線間距離が基準距離に満たない場合に、電力線間距離変更部１９５によって電力線間距離が大きくなるように飛行体４の位置及び撮影部（カメラ４２）の撮影角度の少なくとも一方が変更されるので、電力線間の距離が基準距離を満たす画像を自動的に取得することが可能となり、飛行体の飛行経路やカメラの撮影角度等の事前の詳細設定を要することなく複数の電力線を互いに間隔を置いて撮影することを可能にする情報処理システム等を提供することができる。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。上記実施の形態では、撮影対象が電力線である場合を説明したが、この他にも例えばロープウェイ等の撮影対象に対しても本発明を適用することが可能である。

１ 管理サーバ
２ ユーザ端末
４ 飛行体

Claims (6)

1. 飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理システムであって、
   前記画像内の電力線間の距離を示す電力線間距離を算出する電力線間距離算出部と、
   前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更する電力線間距離変更部と、
   を備える、
   ことを特徴とする情報処理システム。
2. 前記電力線間距離変更部は、少なくとも前記飛行体の高度を変更することで前記位置を変更する、
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記電力線間距離変更部は、
   前記飛行体の上昇及び下降の一方を実行することにより前記飛行体の高度を変更し、
   前記飛行体の上昇及び下降の一方を実行した後に前記電力線間距離算出部によって算出された前記電力線間距離が、前記飛行体の上昇及び下降の一方を実行する前に前記電力線間距離算出部によって算出された前記電力線間距離よりも小さくなっている場合に、前記飛行体の上昇及び下降の他方を実行する、
   ことを特徴とする請求項２に記載の情報処理システム。
4. 前記複数の電力線は、２本以上の電力線であって、
   前記電力線間距離変更部は、少なくとも１つの電力線間の距離が前記基準距離に満たない場合に、前記飛行体の位置または前記撮影部の角度を変更する、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理システム。
5. 飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理方法であって、
   前記画像内の電力線間の距離を示す電力線間距離を算出するステップと、
   前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更するステップと、
   を含む、
   ことを特徴とする情報処理方法。
6. 飛行体の撮影部により複数の電力線を含む画像を撮影する情報処理方法をコンピュータに実行させるプログラムであって、
   前記コンピュータに対して、
   前記画像内の電力線間の距離を示す電力線間距離を算出するステップと、
   前記電力線間距離が基準距離に満たない場合に、前記電力線間距離が大きくなるように前記飛行体の位置及び前記撮影部の角度の少なくとも一方を変更するステップと、
   を実行させる、
   ことを特徴とするプログラム。
   
   

Images