JP7457844B2 - 情報処理装置及び方法 - Google Patents

Description

本開示は、画像処理技術に関する。

従来、画像内のライン特徴を検出するための技術が提案されており（特許文献１を参照）、また、正確な座標を入力しなくとも、適当な座標がクリックされると周囲のデータからラベリングしたい位置を推定して修正する技術が提案されている（非特許文献１を参照）。また、機械学習モデルを用いて検出された対象に指向方向を有するボックス境界を適用することで当該対象の指向方向を推定する技術が提案されている（非特許文献２を参照）。

特開２０１９－２２０１６３号公報

Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｃｏｎｓｏｌｅ、「ラベリングツールを用いたアノテーション作業の効率化」、https://youtu.be/RR_dTNrlspw?t=475 Jingru Yi、他、「Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors」、ＷＡＣＶ２０２１、ｐ．２１５０－２１５９

従来、画像中の所定の対象に係る処理を行う技術が種々提案されているが、処理負荷又は処理精度において課題があった。

本開示は、上記した問題に鑑み、画像中の所定の対象にかかる新規な情報処理技術を提供することを課題とする。

本開示の一例は、機械学習のための教師データとして用いられる画像であって、画像中の所定の対象が示された位置を示すための１又は複数のアノテーションが付された画像を取得する画像取得手段と、前記画像における、前記１又は複数のアノテーションが所定の基準を満たす領域を特定する領域特定手段と、特定された前記領域又は該領域に基づいて設定された範囲において優先的にエッジ検出を行うエッジ検出手段と、前記アノテーションを、検出された前記エッジに沿うように補正するアノテーション補正手段と、を備える情報処理装置である。

また、本開示の一例は、処理対象画像を取得する処理対象取得手段と、画像中の所定の対象が示された位置を示すための１又は複数のアノテーションが付された画像を含む教師データを用いた機械学習によって生成された、画像中の前記所定の対象を検出するための学習モデルを用いて前記処理対象画像中の前記所定の対象として、屋外に設置されたアンテナ装置を検出する対象検出手段と、検出された対象の、前記処理対象画像における所定の基準に対する角度を算出する角度算出手段と、を備える情報処理装置である。

本開示は、情報処理装置、システム、コンピュータによって実行される方法又はコンピュータに実行させるプログラムとして把握することが可能である。また、本開示は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものとしても把握できる。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的又は化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

本開示によれば、画像中の所定の対象にかかる新規な情報処理技術を提供することが可能となる。

実施形態に係るシステムの構成を示す概略図である。 実施形態に係る情報処理装置の機能構成の概略を示す図である。 実施形態に係る、アノテーションが付された画像の例を示す図である。 実施形態において、画像において特定された領域を示す図である。 実施形態においてアノテーションが補正された画像の例を示す図である。 実施形態に係るアノテーション補正処理の流れを示すフローチャートである。 実施形態に係るデータ拡張処理の流れを示すフローチャートである。 実施形態に係る機械学習処理の流れを示すフローチャートである。 実施形態に係る状態判定処理の流れを示すフローチャートである。 実施形態における処理対象のトップビュー画像における方位角（ａｚｉｍｕｔｈ）算出の概要を示す図である。 実施形態における処理対象のサイドビュー画像における傾き（ｔｉｌｔ）算出の概要を示す図である。 バリエーションに係る情報処理装置の機能構成の概略を示す図である。 バリエーションに係る情報処理装置の機能構成の概略を示す図である。

以下、本開示に係るシステム、情報処理装置、方法およびプログラムの実施の形態を、図面に基づいて説明する。但し、以下に説明する実施の形態は、実施形態を例示するものであって、本開示に係るシステム、情報処理装置、方法およびプログラムを以下に説明する具体的構成に限定するものではない。実施にあたっては、実施の態様に応じた具体的構成が適宜採用され、また、種々の改良や変形が行われてよい。

本実施形態では、本開示に係る技術を、ドローンを用いて空撮された画像を用いてモバイル基地局のアンテナ装置の設置状態を確認するシステムのために実施した場合の実施の形態について説明する。但し、本開示に係る技術は、画像中の所定の対象を検出する技術のために広く用いることが可能であり、本開示の適用対象は、実施形態において示した例に限定されない。

近年、小型化された移動体通信基地局の数が増えるに従い基地局を構成するアンテナ装置の角度があるべき状態であるかを監視する技術の重要性が増している。ここで、従来、撮影画像中のアンテナ装置の特徴点を空間上にマッピングする処理等が提案されているが、従来の技術では、撮影時にアンテナ装置と屋外背景が略同化するなどして特徴点を十分に抽出できないおそれがあった。

このような状況に鑑み、本実施形態に係るシステム、情報処理装置、方法およびプログラムでは、アンテナ装置に対応する領域が何処かを示すアノテーションが共通になされ且つ異なるパラメータ調整がなされた画像群を生成することで、アンテナ装置検出を行う学習モデルの学習データをデータ拡張することとしている。

また、従来、画像内のライン特徴を検出するための技術が提案されており、また、正確な座標を入力しなくとも適当な座標がクリックされると周囲のデータからラベリングしたい位置を推定して修正してくれるような技術が提案されている。これらの技術は、ラベリングやアノテーションの対象となる画像中でエッジやラインを検出することでラベリングやアノテーションを支援することができるが、マニュアル操作でなされた局所的なアノテーションを補正し高効率にアノテーション支援をなすという観点において改善の余地があった。

このような状況に鑑み、本実施形態に係るシステム、情報処理装置、方法およびプログラムでは、アンテナ装置のドローン空撮画像に対し行われる何処がアンテナ装置領域かを示すアノテーションのための補助として、画像のエッジ検出の結果に基づいて、画像に対しマニュアル操作又は自動で付与されたアノテーションの位置を補正することしている。

＜システムの構成＞
図１は、本実施形態に係るシステムの構成を示す概略図である。本実施形態に係るシステムは、ネットワークに接続されることで互いに通信可能な情報処理装置１と、ドローン８と、ユーザ端末９とを備える。

情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置１４、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等の通信ユニット１５、等を備えるコンピュータである。但し、情報処理装置１の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、情報処理装置１は、単一の筐体からなる装置に限定されない。情報処理装置１は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。

ドローン８は、外部からの入力信号及び／又は装置に記録されたプログラムに応じて飛行が制御される小型の無人航空機であり、プロペラ、モーター、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、通信ユニット、入力装置、出力装置等（図示は省略する）を備える。但し、ドローン８の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、本実施形態にかかるドローン８は、撮像装置８１を備えており、所定の対象（本実施形態では、アンテナ装置）周辺を飛行する際に、外部からの入力信号及び／又は装置に記録されたプログラムに応じて対象の撮像を行う。本実施形態において、撮像画像は、モバイル基地局のアンテナ装置の設置状態のうち、主にアンテナの向きを確認するために取得される。このため、ドローン８及び撮像装置８１は、アンテナ装置の真上からアンテナ装置を撮像可能な位置及び姿勢に制御されて撮像を行うことでアンテナ装置を真上から見た画像（所謂トップビュー）を取得し、また、アンテナ装置の真横からアンテナ装置を撮像可能な位置及び姿勢に制御されて撮像を行うことでアンテナ装置を真横から見た画像（所謂サイドビュー）を得る。なお、撮像装置８１は、イメージセンサを備えるカメラであってよく、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ等を備える深度カメラであってもよい。

また、撮像によって得られた画像のデータには、メタデータとして、画像が撮像された際にドローン８又は撮像装置８１に搭載された各種装置から出力されたデータが含まれていてもよい。ここで、ドローン８又は撮像装置８１に搭載された各種装置には、例えば、三軸加速度センサ、三軸角速度センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）装置、及び方位センサ（コンパス）等が挙げられる。そして、各種装置から出力されたデータには、例えば、各軸の加速度、各軸の角速度、位置情報及び方角等が含まれてよい。このようなメタデータを画像データに付加する手法としては、ＥＸＩＦ（ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）が知られているが、メタデータを画像データに付加する具体的な手法は限定されない。

ユーザ端末９は、ユーザによって使用される端末装置である。ユーザ端末９は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置、通信ユニット、入力装置、出力装置等（図示は省略する）を備えるコンピュータである。但し、ユーザ端末９の具体的なハードウェア構成に関しては、実施の態様に応じて適宜省略や置換、追加が可能である。また、ユーザ端末９は、単一の筐体からなる装置に限定されない。ユーザ端末９は、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてよい。ユーザは、これらのユーザ端末９を介して、画像にアノテーションを付すことによる教師データの作成、ドローン８を用いて撮像された画像の情報処理装置１への転送、等を行う。なお、本実施形態におけるアノテーションとは、アノテーションという行為だけでなく、アノテーションにより画像に付された１以上の点（キーポイント）、ラベル、等を指す。

図２は、本実施形態に係る情報処理装置１の機能構成の概略を示す図である。情報処理装置１は、記憶装置１４に記録されているプログラムが、ＲＡＭ１３に読み出され、ＣＰＵ１１によって実行されて、情報処理装置１に備えられた各ハードウェアが制御されることで、画像取得部２１、領域特定部２２、エッジ検出部２３、推定部２４、アノテーション補正部２５、調整画像生成部２６、機械学習部２７、処理対象取得部２８、対象検出部２９及び角度算出部３０を備える情報処理装置として機能する。なお、本実施形態及び後述する他の実施形態では、情報処理装置１の備える各機能は、汎用プロセッサであるＣＰＵ１１によって実行されるが、これらの機能の一部又は全部は、１又は複数の専用プロセッサによって実行されてもよい。

画像取得部２１は、機械学習のための教師データとして用いられる画像であって、画像中の所定の対象（本実施形態では、アンテナ装置）が示された位置を示すための１又は複数のアノテーションが付された画像を取得する。

図３は、本実施形態に係る、アノテーションが付された、教師データとして用いられる画像の例を示す図である。本実施形態において、教師データは、飛行中のドローン８を用いた空撮によって得られた画像から屋外の電柱や鉄塔等の構造物に設置された携帯電話網用のアンテナ装置を検出するための学習モデルを生成及び／又は更新するために用いられる。このため、画像には、アンテナ装置の位置を示すためのアノテーションが予め付されている。図３に示された例では、基地局の支柱（ポール）に設置されたアンテナ装置を上空から見下ろして（略鉛直方向に向かって）撮像することによって得られた画像において、アンテナ装置を構成する３つの箱状の部材の輪郭（換言すれば、アンテナ装置と背景との境界）に、アノテーションとして複数の点が付されている（図３では視認性を考慮して点の位置を円で示しているが、アノテーションがなされている位置は円の中心である）。なお、本実施形態では、アノテーションが画像中の位置を示す点として付される例について説明したが、アノテーションは、画像中の所定の対象が撮像された領域を示すことが出来るものであればよく、アノテーションの表現形態は限定されない。アノテーションは、例えば画像中に付された直線、曲線、図形、塗りつぶし等であってよい。

領域特定部２２は、画像における、１又は複数のアノテーションが所定の基準を満たす領域を特定する。所定の基準としては、画像における、アノテーションの密度、アノテーションの位置、アノテーション同士の位置関係、及びアノテーションの並び等のうち少なくともいずれか１つ以上を用いることが可能である。例えば、領域特定部２２は、画像における、面積に対するアノテーションの量が所定の基準を満たす領域を特定してよい。また、例えば、領域特定部２２は、複数のアノテーションの位置が所定の関係にある領域を特定してもよい。

図４は、本実施形態において、画像において特定された所定の基準を満たす領域を示す図である。図４に示された例によれば、画像全体ではなく、１又は複数のアノテーションが所定の基準を満たす領域が特定されていることで、後述するエッジ検出の対象とすべき領域が限定され、画像全体においてエッジ検出を行う場合に比べてエッジ検出のための処理負荷を軽減できることが分かる。ここで、領域を特定する方法は限定されないが、以下に、領域を特定するための具体的な方法を例示する。

はじめに、画像における、面積に対するアノテーションの量が所定の基準を満たす領域を特定するための方法の例を説明する。例えば、領域特定部２２は、画像中のアノテーションの一部又は全部による組み合わせ（図４に示す例では、近接する４つのアノテーションの組み合わせ）毎に、これらのアノテーションを結ぶことで形成される領域の重心と、これらのアノテーションの密度が所定密度を下回らない面積（面積には、例えば画素数が用いられてよい）とを算出し、重心を例えば中心となるよう含み当該面積を有する領域を設定することで、面積に対するアノテーションの量が所定の基準を満たす領域を特定することが出来る。また、例えば、領域特定部２２は、画像中のアノテーションの一部又は全部による組み合わせ毎に、これらのアノテーションを含む外接矩形を設定し、この矩形の領域を、矩形の面積とアノテーションの数とを用いて算出されるアノテーションの密度が所定の閾値に達するまで上下左右に向けて広げることで、面積に対するアノテーションの量が所定の基準を満たす領域を特定することが出来る。但し、上記例示した方法は領域を特定するための手法の例であって、領域は、面積に対するアノテーションの量が所定の基準を満たすものであればよく、領域の特定にはその他の具体的手法が採用されてよい。

次に、複数のアノテーションの位置が所定の関係にある領域を特定するための方法の例を説明する。例えば、領域特定部２２は、画像中のアノテーションの一部又は全部による組み合わせ毎に、組み合わせに含まれるアノテーションの位置関係を特定する。例えば、本実施形態に係る所定の対象であるアンテナ装置を構成する３つの箱状部材の夫々は、平面視において各辺が所定の長さの関係（比）を有する略多角形（図４に示す例では、四角形）の形状を有する。このため、領域特定部２２は、多角形の頂点の数（図４に示す例では、４）と同数のアノテーションからなるアノテーションの組み合わせの夫々について、組み合わせに含まれるアノテーションが予め設定された各辺が所定の長さの関係（比）を有する略多角形の頂点としての位置関係を有するか否かを判定することで、所定の領域を特定することが出来る。また、例えば、アノテーションの組み合わせの夫々について、複数のアノテーションがなす直線が互いに略並行または略直交するか否かを判定することで、所定の領域を特定してもよい。但し、上記例示した方法は領域を特定するための手法の例であって、領域は、当該領域に係るアノテーションの位置が所定の関係にあるものであればよく、領域の特定にはその他の具体的手法が採用されてよい。また、本実施形態では、矩形の領域を特定する例を説明したが、領域の形状は限定されず、例えば円形であってもよい。

エッジ検出部２３は、特定された領域又は当該領域に基づいて設定された範囲において優先的にエッジ検出を行う。即ち、エッジ検出部２３は、領域特定部２２によって特定された領域をそのまま用いてもよいし、当該領域に基づいて異なる範囲を設定し（例えば、マージンを設定する等）、この範囲を用いてもよい。エッジ検出には、従来用いられているエッジ検出法、及び将来考案されるエッジ検出法から適切なものが選択されて用いられてよいため、説明を省略する。従来知られているエッジ検出手法には、例えば勾配法、Ｓｏｂｅｌ法、Ｌａｐｌａｃｉａｎ法、Ｃａｎｎｙ法、等があるが、採用可能なエッジ検出法や採用可能なフィルタは限定されない。

推定部２４は、検出されたエッジに基づいて、アノテーションが意図されていた位置を推定する。推定部２４は、アノテーションの位置の周辺において検出されたエッジを参照して、アノテーションが意図されていた位置を推定する。より具体的には、例えば、推定部２４は、領域内において検出されたエッジのうち、アノテーションに最も近い位置を、アノテーションが意図されていた位置として推定してよい。また、例えば、推定部２４は、領域内において検出されたエッジのうち、所定の特徴を有する位置を、アノテーションが意図されていた位置として推定してよい。ここで、所定の特徴を有する位置としては、エッジの線が交差する位置、エッジの線が角をなす位置、又はエッジの線が所定の形状を有している位置、等が例示される。

アノテーション補正部２５は、アノテーションの位置を、推定部２４によって推定された位置に移動させることで、アノテーションを、検出されたエッジに沿うように補正する。上述の通り、推定部２４によって推定された位置は、例えば、領域内において検出されたエッジのうち、アノテーションに最も近い位置、エッジの線が交差する位置、エッジの線が角をなす位置、又はエッジの線が所定の形状を有している位置、等である。このようにすることで、アノテーションの位置を、本来アノテータにより意図されていたと考えられる画像中の所定の対象の輪郭（換言すれば、背景との境界）に補正することが出来る。

図５は、本実施形態においてアノテーションが補正された画像の例を示す図である。図５に示された例によれば、図３においてエッジからずれた位置に付されていたアノテーションの位置が補正され、所定の対象（本実施形態では、アンテナ装置）の輪郭（換言すれば、背景との境界）に正しくアノテーションが付されていることが分かる。

調整画像生成部２６は、画像のパラメータが調整された調整画像を生成する。ここで、調整画像生成部２６は、所定の対象の検出が困難となるように画像のパラメータが調整された調整画像を生成する。所定の対象の検出が困難となるような調整方法としては、例えば、所定の対象（本実施形態では、アンテナ装置）が撮像されている画素と当該所定の対象の背景（例えば、地面やビル、植物、地上の構造物等）が撮像されている画素とが各画素のパラメータにおいて近似又は同一となるような（換言すれば、所定の対象の色が背景色に対して保護色となるような）調整が挙げられる。ここで、調整画像生成部２６は、画像のパラメータのうち、画像の明るさ、露出、ホワイトバランス、色相、彩度、明度、シャープ、ノイズ、及びコントラスト等のうち少なくともいずれかに関係するパラメータが調整された調整画像を生成してよい。

また、調整画像生成部２６は、一の画像に基づいて、互いに異なる複数の調整画像を生成してもよい。即ち、調整画像生成部２６は、画像のパラメータが調整された第一の調整画像と、画像のパラメータが第一の調整画像とは異なるように調整された第二の調整画像とを生成してよい。この際、複数生成される調整画像には、同一種類のパラメータについて夫々異なる程度の調整が施された調整画像、及び／又は夫々異なる種類のパラメータについて調整が施された調整画像、が含まれてよい。なお、当該複数の調整画像の夫々には、同一の複数のアノテーションが付されていてよい。当該アノテーションは当該一の画像のエッジ検出を経て補正されたアノテーションであってよく、何れかの調整画像のエッジ検出を経て補正されたアノテーションであってよい。エッジ検出部２３は、調整画像生成部２６により生成された調整画像のエッジ検出を行ってもよい。推定部２４は、調整画像において検出されたエッジのうち、アノテーションに最も近い位置を、アノテーションが意図されていた位置として推定してもよい。ここで、調整画像生成部２６により生成された調整画像においてエッジの線が所定の位置関係等の特徴を呈した場合、その調整画像で検出されたエッジのうち、アノテーションに最も近い位置を、アノテーションが意図されていた位置として推定してよい。

機械学習部２７は、アノテーション補正部２５によって補正された画像、及び／又は調整画像を含む教師データを用いた機械学習を実行することで、画像中の所定の対象を検出するための学習モデルを生成する。例えば、本実施形態では、後述する角度算出部３０においても例示するように、ＰｙＴｏｒｃｈライブラリを使用した教師あり機械学習を用いた、画像中の所定の対象を検出するための学習モデル生成を例示する（非特許文献１を参照）。但し、機械学習には、従来用いられている機械学習アルゴリズム、及び将来考案される機械学習アルゴリズムから適切なものが選択されて用いられてよいため、説明を省略する。

ここで、機械学習部２７によって教師データとして用いられる画像は、画像中の所定の対象が示された位置を示すための１又は複数のアノテーションが付された画像であればよく、教師データとして用いられる画像の種類は限定されない。機械学習部２７は、画像取得部２１によって取得されたままの画像、アノテーション補正部２５によって補正された画像、調整画像生成部２６によって生成された調整画像、アノテーション補正部２５によって補正された画像に基づいて調整画像生成部２６によって生成された調整画像、等を教師データとして用いることが出来る。また、上述のように、調整画像として、一の画像に基づいて生成された互いに異なる複数の調整画像、即ち、第一の調整画像及び第二の調整画像を含む教師データが用いられてよい。なお、教師データとして用いられる画像及び調整画像の夫々は、同一の複数のアノテーションが付されていてよい。

処理対象取得部２８は、処理対象画像を取得する。本実施形態において、処理対象画像は、飛行中のドローン８に搭載された撮像装置８１を用いて空撮された画像である。但し、処理対象画像は画像中の所定の対象を検出したい画像であればよく、ＲＧＢ画像であってよく、深度画像であってよく、処理対象画像の種類は限定されない。

対象検出部２９は、機械学習部２７によって生成された、画像中の所定の対象を検出するための学習モデルを用いて、処理対象画像中の所定の対象を検出する。本実施形態において、対象検出部２９は、処理対象画像中の所定の対象として、屋外に設置されたアンテナ装置を検出する。但し、対象検出部２９は、教師データとして用いられる画像及びアノテーションの対象に応じて様々な対象を画像中から検出することが可能であり、本開示に係る技術を用いて検出される所定の対象の種類は限定されない。また、検出された所定の対象は、通常、教師データに付されたアノテーションと同様の方法で特定される。即ち、アノテーションが所定の対象の輪郭を示す点であれば、対象検出部２９は、処理対象画像中の所定の対象を、当該所定の対象の輪郭に点を付すことで特定する。但し、所定の対象の特定方法が限定されず、アノテーションとは異なる方法で特定されてもよい。

角度算出部３０は、検出された対象の、処理対象画像における所定の基準に対する角度を算出する。より具体的には、本実施形態において、角度算出部３０は、検出された対象の、処理対象画像における所定の方角、鉛直方向及び水平方向のいずれかに対する角度を算出する。ここで、角度算出部３０が角度を算出する方法は限定されないが、例えば、機械学習モデルによる検出（非特許文献１を参照）又は予め定義された対象形状との比較による検出等の手法を用いて対象の方向を検出し、検出された対象の方向と処理対象画像における基準方向とがなす角を算出する方法が採用されてよい。

＜処理の流れ＞
次に、本実施形態に係る情報処理装置１によって実行される処理の流れを説明する。なお、以下に説明する処理の具体的な内容及び処理順序は、本開示を実施するための一例である。具体的な処理内容及び処理順序は、本開示の実施の形態に応じて適宜選択されてよい。

以下に説明するアノテーション補正処理、データ拡張処理及び機械学習処理を実行するにあたり、ユーザは、予めアノテーション付きの画像を含む教師データを準備する。本実施形態では、所定の対象として屋外に設置されたアンテナ装置を検出することを目的とするシステムにおいて本開示に係る技術を用いるため、アンテナ装置が写っている画像を含む複数の画像を入手する。なお、複数の画像にはアンテナ装置が写っていない画像が含まれていてもよい。そして、入手した複数の画像に、アンテナ装置の輪郭を示すアノテーションを付すことで、教師データを作成する。この際、画像にアノテーションを付す作業は、アノテータにより人手で行われてもよいし、自動的に行われてもよい。画像にアノテーションを付す処理の詳細については、従来のアノテーション支援技術が採用されてよいため、説明を省略する。

図６は、本実施形態に係るアノテーション補正処理の流れを示すフローチャートである。本フローチャートに示された処理は、アノテーション付きの画像を含む教師データが準備され、ユーザによってアノテーション補正の指示が入力されたことを契機として実行される。

ステップＳ１０１では、アノテーション付きの画像を含む教師データが取得される。画像取得部２１は、画像中の所定の対象（本実施形態では、アンテナ装置）が示された位置を示すための１又は複数のアノテーションが付された画像を、教師データとして取得する。その後、処理はステップＳ１０２へ進む。

ステップＳ１０２及びステップＳ１０３では、１又は複数のアノテーションが所定の基準を満たす領域が特定され、特定された領域等においてエッジが検出される。領域特定部２２は、ステップＳ１０１で得られた教師データ中の画像における、１又は複数のアノテーションが所定の基準を満たす領域を特定する（ステップＳ１０２）。そして、エッジ検出部２３は、ステップＳ１０２で特定された領域又は当該領域に基づいて設定された範囲においてエッジ検出を行う（ステップＳ１０３）。その後、処理はステップＳ１０４へ進む。

ステップＳ１０４及びステップＳ１０５では、検出されたエッジに沿うように、アノテーションが補正される。推定部２４は、ステップＳ１０３で検出されたエッジに基づいて、アノテーションが意図されていた位置を推定する（ステップＳ１０４）。そして、アノテーション補正部２５は、アノテーションの位置を、ステップＳ１０４で推定された位置に移動させることで、アノテーションを、検出されたエッジに沿うように補正する（ステップＳ１０５）。その後、本フローチャートに示された処理は終了する。

上記説明したアノテーション補正処理によれば、機械学習のための教師データとして用いられる画像に付されたアノテーションの補正処理の効率を向上させ、従来に比べて少ない処理負荷でアノテーションを補正することが可能となる。

図７は、本実施形態に係るデータ拡張処理の流れを示すフローチャートである。本フローチャートに示された処理は、アノテーション付きの画像を含む教師データが準備され、ユーザによってデータ拡張の指示が入力されたことを契機として実行される。

ステップＳ２０１では、アノテーション付きの画像を含む教師データが取得される。画像取得部２１は、画像中の所定の対象（本実施形態では、アンテナ装置）が示された位置を示すための１又は複数のアノテーションが付された画像を、教師データとして取得する。なお、ここで取得されるアノテーション付きの画像は、図６を参照して説明したアノテーション補正処理によるアノテーション補正が適用された画像であることが好ましいが、アノテーション補正が適用されていない画像が取得されてもよい。その後、処理はステップＳ２０２へ進む。

ステップＳ２０２及びステップＳ２０３では、１又は複数の調整画像が生成される。調整画像生成部２６は、ステップＳ２０１で取得された画像のパラメータが調整された調整画像を生成する（ステップＳ２０２）。調整画像が生成されると、ステップＳ２０１で取得された画像についての予め設定された全てのパターンの調整画像の生成が終了したか否かが判定され（ステップＳ２０３）、終了していない場合（ステップＳ２０３のＮＯ）、処理はステップＳ２０２へ戻る。即ち、調整画像生成部２６は、ステップＳ２０１で取得された一の画像に基づいて、パラメータ調整の内容を変更しながらステップＳ２０２の処理を繰り返し、互いに異なる複数の調整画像を生成する。予め設定された全てのパターンの調整画像の生成が終了した場合（ステップＳ２０３のＹＥＳ）、本フローチャートに示された処理は終了する。

上記説明したデータ拡張処理によれば、アノテーション付き画像を用いた機械学習によって生成される学習モデルの性能を向上させるための手間を軽減することが可能となる。

図８は、本実施形態に係る機械学習処理の流れを示すフローチャートである。本フローチャートに示された処理は、アノテーション付きの画像を含む教師データが準備され、ユーザによって機械学習の指示が入力されたことを契機として実行される。

ステップＳ３０１では、アノテーション付きの画像を含む教師データが取得される。画像取得部２１は、画像中の所定の対象（本実施形態では、アンテナ装置）が示された位置を示すための１又は複数のアノテーションが付された画像を、教師データとして取得する。なお、ここで取得されるアノテーション付きの画像は、図６を参照して説明したアノテーション補正処理によるアノテーション補正が適用された画像、及び／又は図７を参照して説明したデータ拡張処理によって生成された調整画像であることが好ましいが、アノテーション補正及びパラメータ調整のいずれも施されていない画像が取得されてもよい。その後、処理はステップＳ３０２へ進む。

ステップＳ３０２では、学習モデルが生成又は更新される。機械学習部２７は、ステップＳ３０１で取得された画像を含む教師データを用いた機械学習を実行することで、画像中の所定の対象（本実施形態では、アンテナ装置）を検出するための学習モデルを生成し、又は既存の学習モデルを更新する。その後、本フローチャートに示された処理は終了する。

図９は、本実施形態に係る状態判定処理の流れを示すフローチャートである。本フローチャートに示された処理は、処理対象画像の画像データが準備され、ユーザによって状態判定の指示が入力されたことを契機として実行される。

ユーザは、飛行中のドローン８の撮像装置８１を用いて基地局のアンテナ装置を撮像し、得られた処理対象画像の画像データを情報処理装置１に入力する。この際、ユーザは、複数のアンテナ装置が１枚の処理対象画像に含まれるように撮影してもよい。複数のアンテナ装置が１枚の処理対象画像に含まれる場合、状態判定処理は、処理対象画像に含まれるアンテナ装置の領域毎に実行される。撮像方法及び画像データの情報処理装置１への入力方法は限定されないが、本実施形態では、撮像装置８１が搭載されたドローン８を用いて構造物に設置されたアンテナ装置が撮像され、撮像装置８１からユーザ端末９に通信または記録媒体を介して転送された画像データが更にネットワークを介して情報処理装置１に転送されることで、処理対象画像の画像データが情報処理装置１に入力される。

ステップＳ４０１及びステップＳ４０２では、学習モデルを用いて処理対象画像中の所定の対象が検出される。処理対象取得部２８は、処理対象画像（本実施形態では、飛行中のドローン８に搭載された撮像装置８１を用いて空撮された画像）を取得する（ステップＳ４０１）。そして、対象検出部２９は、図８を参照して説明した機械学習処理によって生成された学習モデルを用いて、ステップＳ４０１で取得された処理対象画像中の所定の対象（本実施形態では、アンテナ装置）を検出する（ステップＳ４０２）。その後、処理はステップＳ４０３へ進む。

ステップＳ４０３及びステップＳ４０４では、検出された対象の傾きが算出される。角度算出部３０は、ステップＳ４０２で検出された対象の、処理対象画像における所定の基準に対する角度を算出する。

図１０は、本実施形態における処理対象のトップビュー画像における方位角（ａｚｉｍｕｔｈ）算出の概要を示す図である。図１０は、角度算出部３０が、処理対象画像から検出されたアンテナ装置（所定の対象）の向きが、所定の基準である北方向（真北であってもよいし、磁北であってもよい）に対してなす角を算出する場合の概要を示している。はじめに、角度算出部３０は、処理対象画像中の基準方向（ここでは、北方向）を決定する（ステップＳ４０３）。本実施形態では、処理対象画像は、画像の真上方向が北方向となるように予め画像補正されているものとし、画像の真上方向を基準方向として決定する。但し、基準方向は、その他の方法で決定されてもよい。例えば、処理対象画像が画像の真上方向が北方向となるように画像補正された画像でない場合には、当該処理対象画像に付されたメタデータ（各軸の加速度、各軸の角速度、位置情報及び方角等）を参照する方法や当該処理対象画像と地図画像とを比較する方法によって、画像中の北方向を特定し、当該北方向を基準方向として決定してよい。また、基準方向には、北方向以外の方向が採用されてよい。例えば、基準方向として、所定の対象（本実施形態では、アンテナ装置）の設計上正しい設置方向、鉛直方向、水平方向、等が採用されてよい。

そして、角度算出部３０は、検出されたアンテナ装置（所定の対象）の向きを決定する（ステップＳ４０４）。ここで、角度算出部３０が所定の対象の向きを決定する方法は限定されないが、例えば、機械学習モデルを用いて検出された対象に指向方向を有するボックス境界を適用することで当該対象の指向方向を推定する方法（非特許文献２を参照）や、予め定義されているアンテナ装置の形状と当該形状におけるアンテナ装置正面方向との組み合わせを読出し、検出されたアンテナ装置の輪郭に当てはめることで、検出されたアンテナ装置の正面方向を決定する方法、等が採用されてよい。そして、角度算出部３０は、決定された基準方向と決定されたアンテナ装置の正面方向とがなす角を算出する。図１０に示した例では、矢印付き細線で示された基準方向と、矢印付き太線で示されたアンテナ装置の正面方向とがなす角が算出される。また、上述の通り、基準方向には、方角の他、所定の対象の設計上正しい設置方向、鉛直方向、水平方向、等が採用されてよい。

図１１は、本実施形態における処理対象のサイドビュー画像における傾き（ｔｉｌｔ）算出の概要を示す図である。図１１は、角度算出部３０が、処理対象画像から検出されたアンテナ装置（所定の対象）の傾きが、所定の基準である鉛直方向に対してなす角を算出する場合の概要を示している。はじめに、角度算出部３０は、処理対象画像中の基準方向（ここでは、鉛直方向）を決定する（ステップＳ４０３）。本実施形態では、画像中のセンターポールは鉛直方向に正しく設置されているものとし、センターポールの長手方向を基準方向として決定する。但し、基準方向は、その他の方法で決定されてもよい。例えば、当該処理対象画像に付されたメタデータ（各軸の加速度、各軸の角速度等）を参照する方法によって画像中の鉛直方向を特定し、当該鉛直方向を基準方向として決定してよい。このようにして、角度算出部３０は、所定の対象の方位角（ａｚｉｍｕｔｈ）や傾き（ｔｉｌｔ）等を算出することが出来る。その後、処理はステップＳ４０５へ進む。

ステップＳ４０５では、所定の対象の状態が判定される。本実施形態において、情報処理装置１は、ステップＳ４０４で算出された角度が予め設定された所定の範囲内にあるか否かを判定することで、アンテナ装置の設置状態が正しい状態であるか否かを判定する。その後、本フローチャートに示された処理は終了し、判定結果はユーザに対して出力される。

上記説明した状態判定処理によれば、基準方向に対する所定の対象の角度を得ることが出来、また、得られた角度を参照することで、所定の対象の状態（本実施形態では、アンテナ装置の設置状態）を判定することが可能となる。

＜バリエーション＞
上記説明した実施形態では、アノテーション補正処理、データ拡張処理、機械学習処理及び状態判定処理を１の情報処理装置において実行する例について説明したが、これらの処理は夫々が分離されて別個の情報処理装置によって実行されてもよい。また、この際、情報処理装置１が備える画像取得部２１、領域特定部２２、エッジ検出部２３、推定部２４、アノテーション補正部２５、調整画像生成部２６、機械学習部２７、処理対象取得部２８、対象検出部２９及び角度算出部３０は、その一部が省略されてよい。

図１２は、バリエーションに係る情報処理装置１ｂの機能構成の概略を示す図である。情報処理装置１ｂは、画像取得部２１、領域特定部２２、エッジ検出部２３、推定部２４、アノテーション補正部２５、機械学習部２７、処理対象取得部２８及び対象検出部２９を備える情報処理装置として機能する。情報処理装置１ｂが備える各機能は、調整画像生成部２６及び角度算出部３０が省略されている点を除いて上記説明した実施形態と概略同様であるため、説明を省略する。

図１３は、バリエーションに係る情報処理装置１ｃの機能構成の概略を示す図である。情報処理装置１ｃは、調整画像生成部２６、機械学習部２７、処理対象取得部２８及び対象検出部２９を備える情報処理装置として機能する。情報処理装置１ｃが備える各機能は、画像取得部２１、領域特定部２２、エッジ検出部２３、推定部２４、アノテーション補正部２５及び角度算出部３０が省略されている点を除いて上記説明した実施形態と概略同様であるため、説明を省略する。

また、上記説明した実施形態では、ドローン８を用いて空撮を行う例について説明したが、空撮にはその他の装置（航空機等）が用いられてもよい。

１ 情報処理装置

Claims (19)

1. 機械学習のための教師データとして用いられる画像であって、画像中の所定の対象が示された位置を示すための１又は複数のアノテーションが付された画像を取得する画像取得手段と、
   前記画像における、前記１又は複数のアノテーションが所定の基準を満たす領域を特定する領域特定手段と、
   特定された前記領域又は該領域に基づいて設定された範囲において優先的にエッジ検出を行うエッジ検出手段と、
   検出された前記エッジに基づいて、前記アノテーションが意図されていた位置を推定する推定手段と、
   前記アノテーションを、検出された前記エッジに沿うように補正するアノテーション補正手段であって、前記アノテーションの位置を、前記推定手段によって推定された位置に移動させるアノテーション補正手段と、
   を備える情報処理装置。
2. 前記領域特定手段は、前記画像における、面積に対するアノテーションの量が所定の基準を満たす領域を特定する、
   請求項１に記載の情報処理装置。
3. 前記領域特定手段は、複数のアノテーションの位置が所定の関係にある領域を特定する、
   請求項１又は２に記載の情報処理装置。
4. 前記アノテーション補正手段は、前記アノテーションの位置を、該アノテーションに最も近いエッジの位置に移動させる、
   請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記アノテーション補正手段によって補正された画像を含む教師データを用いた機械学習を実行することで、画像中の前記所定の対象を検出するための学習モデルを生成する機械学習手段を更に備える、
   請求項１から４のいずれか一項に記載の情報処理装置。
6. 処理対象画像を取得する処理対象取得手段と、
   前記機械学習手段によって生成された学習モデルを用いて前記処理対象画像中の前記所定の対象を検出する対象検出手段と、
   を更に備える、請求項５に記載の情報処理装置。
7. 検出された対象の、前記処理対象画像における所定の基準に対する角度を算出する角度算出手段を更に備える、
   請求項６に記載の情報処理装置。
8. 機械学習のための教師データとして用いられる画像であって、画像中の所定の対象が示された位置を示すための１又は複数のアノテーションが付された画像を取得する画像取得手段と、
   前記画像における、前記１又は複数のアノテーションが所定の基準を満たす領域を特定する領域特定手段と、
   特定された前記領域又は該領域に基づいて設定された範囲において優先的にエッジ検出を行うエッジ検出手段と、
   前記アノテーションを、検出された前記エッジに沿うように補正するアノテーション補正手段と、
   前記アノテーション補正手段によって補正された画像を含む教師データを用いた機械学習を実行することで、画像中の前記所定の対象を検出するための学習モデルを生成する機械学習手段と、
   処理対象画像を取得する処理対象取得手段と、
   前記機械学習手段によって生成された学習モデルを用いて前記処理対象画像中の前記所定の対象を検出する対象検出手段と、
   検出された対象の、前記処理対象画像における所定の基準に対する角度を算出する角度算出手段と、
   を備える情報処理装置。
9. 前記角度算出手段は、検出された対象の、前記処理対象画像における所定の方角、鉛直方向及び水平方向のいずれかに対する角度を算出する、
   請求項８に記載の情報処理装置。
10. 画像中の所定の対象が示された位置を示すための１又は複数のアノテーションが付された画像を取得する画像取得手段と、
    前記画像中のエッジ検出を行うエッジ検出手段と、
    前記アノテーションを、検出された前記エッジに沿うように補正するアノテーション補正手段と、
    前記アノテーション補正手段によって補正された画像を含む教師データを用いた機械学習を実行することで、画像中の前記所定の対象を検出するための学習モデルを生成する機械学習手段と、
    処理対象画像を取得する処理対象取得手段と、
    前記学習モデルを用いて、前記処理対象画像中の前記所定の対象として、屋外に設置されたアンテナ装置を検出する対象検出手段と、
    検出された対象の、前記処理対象画像における所定の基準に対する角度を算出する角度算出手段と、
    を備える情報処理装置。
11. 前記画像における、前記１又は複数のアノテーションが所定の基準を満たす領域を特定する領域特定手段を更に備え、
    前記エッジ検出手段は、特定された前記領域又は該領域に基づいて設定された範囲において優先的にエッジ検出を行う、
    請求項１０に記載の情報処理装置。
12. 前記領域特定手段は、前記画像における、面積に対するアノテーションの量が所定の基準を満たす領域を特定する、
    請求項１１に記載の情報処理装置。
13. 前記領域特定手段は、複数のアノテーションの位置が所定の関係にある領域を特定する、
    請求項１１又は１２に記載の情報処理装置。
14. 検出された前記エッジに基づいて、前記アノテーションが意図されていた位置を推定する推定手段を更に備え、
    前記アノテーション補正手段は、前記アノテーションの位置を、前記推定手段によって推定された位置に移動させる、
    請求項１０から１３のいずれか一項に記載の情報処理装置。
15. 前記アノテーション補正手段は、前記アノテーションの位置を、該アノテーションに最も近いエッジの位置に移動させる、
    請求項１０から１４のいずれか一項に記載の情報処理装置。
16. 前記角度算出手段は、検出された対象の、前記処理対象画像における所定の方角、鉛直方向及び水平方向のいずれかに対する角度を算出する、
    請求項１０から１５のいずれか一項に記載の情報処理装置。
17. コンピュータが、
    機械学習のための教師データとして用いられる画像であって、画像中の所定の対象が示された位置を示すための１又は複数のアノテーションが付された画像を取得する画像取得ステップと、
    前記画像における、前記１又は複数のアノテーションが所定の基準を満たす領域を特定する領域特定ステップと、
    特定された前記領域又は該領域に基づいて設定された範囲において優先的にエッジ検出を行うエッジ検出ステップと、
    検出された前記エッジに基づいて、前記アノテーションが意図されていた位置を推定する推定ステップと、
    前記アノテーションを、検出された前記エッジに沿うように補正するアノテーション補正ステップであって、前記アノテーションの位置を、前記推定ステップで推定された位置に移動させるアノテーション補正ステップと、
    を実行する方法。
18. コンピュータが、
    機械学習のための教師データとして用いられる画像であって、画像中の所定の対象が示された位置を示すための１又は複数のアノテーションが付された画像を取得する画像取得ステップと、
    前記画像における、前記１又は複数のアノテーションが所定の基準を満たす領域を特定する領域特定ステップと、
    特定された前記領域又は該領域に基づいて設定された範囲において優先的にエッジ検出を行うエッジ検出ステップと、
    前記アノテーションを、検出された前記エッジに沿うように補正するアノテーション補正ステップと、
    前記アノテーション補正ステップで補正された画像を含む教師データを用いた機械学習を実行することで、画像中の前記所定の対象を検出するための学習モデルを生成する機械学習ステップと、
    処理対象画像を取得する処理対象取得ステップと、
    前記機械学習ステップで生成された学習モデルを用いて前記処理対象画像中の前記所定の対象を検出する対象検出ステップと、
    検出された対象の、前記処理対象画像における所定の基準に対する角度を算出する角度算出ステップと、
    を実行する方法。
19. コンピュータが、
    画像中の所定の対象が示された位置を示すための１又は複数のアノテーションが付された画像を取得する画像取得ステップと、
    前記画像中のエッジ検出を行うエッジ検出ステップと、
    前記アノテーションを、検出された前記エッジに沿うように補正するアノテーション補正ステップと、
    前記アノテーション補正ステップで補正された画像を含む教師データを用いた機械学習を実行することで、画像中の前記所定の対象を検出するための学習モデルを生成する機械学習ステップと、
    処理対象画像を取得する処理対象取得ステップと、
    前記学習モデルを用いて、前記処理対象画像中の前記所定の対象として、屋外に設置されたアンテナ装置を検出する対象検出ステップと、
    検出された対象の、前記処理対象画像における所定の基準に対する角度を算出する角度算出ステップと、
    を実行する方法。

Images