JP7331605B2 - 撮影画像処理装置、撮影画像処理方法及び撮影画像処理プログラム - Google Patents

Description

本発明は、撮影画像処理装置、撮影画像処理方法及び撮影画像処理プログラムに関する。

一般に、橋梁等の構造物の点検作業においては、点検用ドローン等の無人飛行機が用いられる。具体的には、点検作業者は、まず、無人飛行機を微速飛行させて構造物を連続撮影し、撮影画像を合成することでオルソ画像等の合成画像を生成する。続いて、点検作業者は、当該合成画像に基づいて構造物における損傷部の有無等を検査する。

特開２０１２－３３０５２号公報

しかしながら、無人飛行機を用いて構造物を連続撮影した場合、撮影画像に機体の影が映り込むことがある。一方で、機体の影が映り込んだ領域は、損傷部の検出精度が低下する。このため、オルソ画像等の合成画像を生成するにあたっては、撮影画像において当該領域を特定し、特定した領域を除いて合成処理を行うことが望ましい。

一つの側面では、撮影画像において影が映り込んだ領域を特定する撮影画像処理装置、撮影画像処理方法及び撮影画像処理プログラムを提供することを目的としている。

一態様によれば、撮影画像処理装置は、
撮像部が搭載された移動体の移動中に撮影された撮影画像を取得する取得部と、
撮影画像の各フレームを局所領域に分割し、フレーム間で対応する局所領域のうち、類似度が所定の閾値以上となる他のフレームに含まれる対応する局所領域の数が最大の局所領域を、代表局所領域として決定する決定部と、
前記代表局所領域と比較することで、前記フレーム間で対応する局所領域の中から、前記移動体の影に含まれる局所領域を特定する特定部とを有する。

撮影画像において影が映り込んだ領域を特定する撮影画像処理装置、撮影画像処理方法及び撮影画像処理プログラムを提供することができる。

撮影画像処理システムのシステム構成の一例を示す図である。 代表局所領域決定処理の概要を説明するための図である。 撮影画像処理装置のハードウェア構成の一例を示す図である。 オルソ画像生成部の機能構成の一例を示す第１の図である。 概略移動量算出部の処理の具体例を示す図である。 局所領域追跡部の処理の具体例を示す図である。 代表局所領域追跡部の処理の具体例を示す図である。 代表局所領域決定処理の流れを示すフローチャートである。 オルソ画像生成処理の流れを示す第１のフローチャートである。 オルソ画像生成部の機能構成の一例を示す第２の図である。 画像特徴マッチング部の処理の具体例を示す図である。 オルソ画像生成処理の流れを示す第２のフローチャートである。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

［第１の実施形態］
＜撮影画像処理システムのシステム構成＞
はじめに、第１の実施形態に係る撮影画像処理装置を含む撮影画像処理システム全体のシステム構成について説明する。図１は、撮影画像処理システムのシステム構成の一例を示す図である。図１に示すように、撮影画像処理システム１００は、点検用ドローン１１０と、撮影画像処理装置１２０とを有する。

点検用ドローン１１０は、無人飛行機（移動体）であり、本体部１１１、飛行部１１２、１１３、撮像部１１４、左車輪部１１５、右車輪部１１６を有する（いわゆる二輪型マルチコプタである）。

点検用ドローン１１０は、橋梁１３０等の構造物の位置まで高速飛行した後、点検対象（例えば、橋梁１３０の橋桁部１３１）に左車輪部１１５、右車輪部１１６を接触させた状態で、矢印１４０方向に微速飛行する。これにより、点検用ドローン１１０は、点検対象を広域にわたって連続的に近接撮影することができる。

また、点検用ドローン１１０は、帰還後に、連続的に近接撮影することで得られた撮影画像データを、撮影画像処理装置１２０に送信する。

撮影画像処理装置１２０には、撮影画像処理プログラムがインストールされており、当該プログラムが実行されることで、撮影画像処理装置１２０は、オルソ画像生成部１２１として機能する。

オルソ画像生成部１２１は、点検用ドローン１１０より送信された撮影画像データの各フレームから、オルソ画像の生成に用いる局所領域を抽出し、抽出した局所領域を合成して、オルソ画像（合成画像）を生成する。

具体的には、オルソ画像生成部１２１は、まず、点検用ドローン１１０から送信された、撮影画像データをフレーム単位でフレーム格納部１２２に格納する。続いて、オルソ画像生成部１２１は、格納した撮影画像データを、所定のフレーム数ずつ読み出して処理することで、各フレームにおいて、点検用ドローン１１０の影に含まれる局所領域を除き、オルソ画像の生成に用いる局所領域（合成対象）を抽出する。

また、オルソ画像生成部１２１では、各フレームから抽出した合成対象を合成してオルソ画像を生成し、生成したオルソ画像をオルソ画像格納部１２３に格納する。

なお、図１に示すように、第１の実施形態では、橋桁部１３１の上下方向をＹ軸、左車輪部１１５、右車輪部１１６が接触する橋桁部１３１の接触面に略直交する方向をＺ軸、左車輪部１１５、右車輪部１１６に略直交する方向をＸ軸、としている。

＜代表局所領域決定処理の概要＞
次に、オルソ画像生成部１２１による代表局所領域決定処理の概要について説明する。上述したように、第１の実施形態において、オルソ画像生成部１２１は、オルソ画像を生成するにあたり、撮影画像データの各フレームにおいて、点検用ドローン１１０の影に含まれる局所領域を除き、合成対象を抽出する。

このとき、オルソ画像生成部１２１では、撮影画像データのいずれのフレームも、点検用ドローン１１０の影が映り込んだ領域の方が、影が映り込んでいない領域よりも、面積が小さいという特性を利用する。当該特性によれば、複数フレームにわたって、所定の局所領域を追跡した場合に、各フレームに映り込んだ点検用ドローン１１０の影に含まれる局所領域の数の方が、当該影に含まれない局所領域の数よりも少なくなる。

オルソ画像生成部１２１では、上記特性を利用することで、当該影に含まれない局所領域であって代表的な１の局所領域を代表局所領域として決定する。そして、オルソ画像生成部１２１では、決定した代表局所領域との類似度が所定の閾値以下となる局所領域を、当該影に含まれる局所領域として特定する。

ここで、オルソ画像生成部１２１において、当該影に含まれる局所領域を精度よく特定するためには、代表局所領域を適切に決定することが重要となる。そこで、以下では、代表局所領域を適切に決定するための代表局所領域決定処理の概要について説明する。

図２は、代表局所領域決定処理の概要を説明するための図である。図２において、（ａ－１）～（ａ－３）は、点検用ドローン１１０が、橋桁部１３１に左車輪部１１５、右車輪部１１６を接触させた状態で、矢印１４０方向に微速飛行する様子を、Ｘ軸方向から見た様子を示している。

なお、図１と同様に、図２の（ａ－１）～（ａ－３）においても、橋桁部１３１の上下方向をＹ軸、左車輪部１１５、右車輪部１１６が接触する橋桁部１３１の接触面に略直交する方向をＺ軸、左車輪部１１５、右車輪部１１６に略直交する方向をＸ軸、としている。

このうち、図２の（ａ－１）は、点検用ドローン１１０が、ＸＹＺ軸空間において、座標＝（Ｘ_０，Ｙ_Ｎ，０）の位置において、橋桁部１３１を撮影している様子を示している。図２の（ａ－１）において、点線２０１は撮像部１１４による撮影範囲を示している。なお、図２の（ａ－１）に示すように、橋桁部１３１上の座標＝（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）の位置には欠損部が存在しており、撮影範囲に含まれているものとする（黒四角参照）。

同様に、図２の（ａ－２）は、点検用ドローン１１０が、ＸＹＺ軸空間において、座標＝（Ｘ_０，Ｙ_Ｎ＋１，０）の位置において、橋桁部１３１を撮影している様子を示している。図２の（ａ－２）において、点線２０２は撮像部１１４による撮影範囲を示している。なお、図２の（ａ－２）においても、橋桁部１３１上の座標＝（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）の位置に存在する欠損部は、撮影範囲に含まれているものとする（黒四角参照）。

同様に、図２の（ａ－３）は、点検用ドローン１１０が、ＸＹＺ軸空間において、座標＝（Ｘ_０，Ｙ_Ｎ＋２，０）の位置において、橋桁部１３１を撮影している様子を示している。図２の（ａ－３）において、点線２０３は撮像部１１４による撮影範囲を示している。なお、図２の（ａ－３）においても、橋桁部１３１上の座標＝（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）の位置に存在する欠損部は、撮影範囲に含まれているものとする（黒四角参照）。

一方、図２の（ｂ－１）～（ｂ－３）は、点検用ドローン１１０が、図２の（ａ－１）～（ａ－３）に示すそれぞれの位置を微速飛行中（移動中）に撮影した撮影画像データの一例を示している。フレーム２１０、２２０、２３０は、連続するフレームであり、それぞれ、フレーム番号＝フレームＮ、フレームＮ＋１、フレームＮ＋２が割り当てられている。

なお、図２の（ｂ－１）～（ｂ－３）においては、フレーム２１０、２２０、２３０の横方向をｘ軸、縦方向をｙ軸としている。

図２の（ｂ－１）～（ｂ－３）に示すように、フレーム２１０、２２０、２３０には、それぞれ、点検用ドローン１１０の影２１１、２２１、２３１が映り込んでいる。橋梁１３０等の構造物は屋外にあるため、特に晴天時には、フレーム２１０、２２０、２３０において影２１１、２２１、２３１が映り込んだ領域と、影２１１、２２１、２３１が映り込んでいない領域との明度差は大きくなる。

ここで、点検用ドローン１１０の微速飛行中（移動中）において、太陽の光の照射方向はほとんど変わらないため、点検用ドローン１１０の影は、点検用ドローン１１０の移動に伴って移動する。この結果、フレーム２１０、２２０、２３０に映り込む影２１１、２２１、２３１の位置は、相対的に同じ位置となる。一方、橋桁部１３１上の欠損部２００の位置は固定である。このため、点検用ドローン１１０の移動に伴って、欠損部２００の位置は、相対的にフレーム２１０、２２０、２３０内を移動することになる。

図２の（ｂ－１）～（ｂ－３）は、欠損部２００の位置が、フレーム２１０においては、座標＝（ｘ_Ｎ，ｙ_Ｎ）の位置に存在していたところ、フレーム２２０においては、座標＝（ｘ_Ｎ＋１，ｙ_Ｎ＋１）の位置に移動した様子を示している。更に、フレーム２３０においては、座標＝（ｘ_Ｎ＋２，ｙ_Ｎ＋２）の位置に移動し、欠損部２００の位置が影２３１に含まれることとなった様子を示している。

ここで、上述したように、オルソ画像生成部１２１では、オルソ画像の生成に用いる局所領域（合成対象）を各フレームから抽出するにあたり、例えば、影２３１に含まれる欠損部２００の領域を除く。

具体的には、オルソ画像生成部１２１では、まず、フレーム２１０における欠損部２００の領域と、フレーム２２０における欠損部２００の領域と、フレーム２３０における欠損部２００の領域との間で、類似度を算出する。

続いて、オルソ画像生成部１２１では、フレーム２１０における欠損部２００の領域との間で算出した類似度が、所定の閾値以上となる他のフレームの欠損部２００の領域の数（類似度スコア）をカウントする。図２の例では、フレーム２２０または２３０の欠損部２００の領域との間で類似度を算出するため、所定の閾値以上となる欠損部２００の領域の数（類似度スコア）は、最小で"０"、最大で"２"となる。

同様に、オルソ画像生成部１２１では、フレーム２２０における欠損部２００の領域との間で算出した類似度が、所定の閾値以上となる他のフレームの欠損部２００の領域の数（類似度スコア）をカウントする。図２の例では、フレーム２１０または２３０との間で類似度を算出するため、所定の閾値以上となる欠損部２００の領域の数（類似度スコア）は、最小で"０"、最大で"２"となる。

同様に、オルソ画像生成部１２１では、フレーム２３０における欠損部２００の領域との間で算出した類似度が、所定の閾値以上となる他のフレームの欠損部２００の領域の数（類似度スコア）をカウントする。図２の例では、フレーム２１０または２２０の欠損部２００の領域との間で類似度を算出するため、所定の閾値以上となる欠損部２００の領域の数（類似度スコア）は、最小で"０"、最大で"２"となる。

続いて、オルソ画像生成部１２１では、類似度スコアが最大となる欠損部２００の領域を、複数フレームに含まれる欠損部２００の領域のうちの、代表的な１の領域（代表局所領域）と決定する。

図２の例の場合、フレーム２１０における欠損部２００の領域とフレーム２２０における欠損部２００の領域との類似度は、所定の閾値以上となる。一方、フレーム２１０における欠損部２００の領域とフレーム２３０における欠損部２００の領域との類似度は、所定の閾値未満となる。同様に、フレーム２２０における欠損部２００の領域とフレーム２３０における欠損部２００の領域との類似度は、所定の閾値未満となる。

したがって、フレーム２１０、２２０の場合、所定の閾値以上となる欠損部２００の領域の数（類似度スコア）は、"１"となる。一方、フレーム２３０の場合、所定の閾値以上となる欠損部２００の領域の数（類似度スコア）は、"０"となる。したがって、図２の例の場合、オルソ画像生成部１２１では、フレーム２１０または２２０における欠損部２００の領域を、代表局所領域と決定する。

このように、影が映り込んだ領域の方が、影が映り込んでいない領域よりも、面積が小さいという特性を利用して類似度スコアをカウントすることで、オルソ画像生成部１２１によれば、代表局所領域を適切に決定することが可能となる。

なお、オルソ画像生成部１２１では、フレーム間で対応する欠損部２００の領域のうち、代表局所領域と決定された欠損部２００の領域との類似度が所定の閾値以下となる欠損部２００の領域を、点検用ドローン１１０の影に含まれる領域と判定する。図２の例では、フレーム２３０における欠損部２００の領域を、点検用ドローン１１０の影２３１に含まれる局所領域と特定する。

このように、オルソ画像生成部１２１では、決定した代表局所領域との比較により、点検用ドローン１１０の影に含まれる局所領域を特定することで、
・映り込んだ影の位置、
・映り込んだ影の形、
・映り込んだ影の濃淡度、
等が、環境（太陽の位置や天候等）に応じて変化した場合であっても、撮影画像データにおいて点検用ドローンの影が映り込んだ領域を精度よく特定することができる。

＜撮影画像処理装置のハードウェア構成＞
次に、撮影画像処理装置１２０のハードウェア構成について説明する。図３は、撮影画像処理装置のハードウェア構成の一例を示す図である。図３に示すように、撮影画像処理装置１２０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を有する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３は、いわゆるコンピュータを形成する。

また、撮影画像処理装置１２０は、補助記憶装置３０４、表示装置３０５、操作装置３０６、Ｉ／Ｆ（Interface）装置３０７、ドライブ装置３０８を有する。なお、撮影画像処理装置１２０の各ハードウェアは、バス３０９を介して相互に接続されている。

ＣＰＵ３０１は、補助記憶装置３０４にインストールされている各種プログラム（例えば、撮影画像処理プログラム等）を実行する演算デバイスである。

ＲＯＭ３０２は、不揮発性メモリである。ＲＯＭ３０２は、補助記憶装置３０４にインストールされている各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ３０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３０３は、補助記憶装置３０４にインストールされている各種プログラムがＣＰＵ３０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置３０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、フレーム格納部１２２、オルソ画像格納部１２３は、補助記憶装置３０４において実現される。

表示装置３０５は、オルソ画像等を含む各種表示画面を表示する表示デバイスである。操作装置３０６は、作業者が撮影画像処理装置１２０に対して各種指示を行う入力デバイスである。

Ｉ／Ｆ装置３０７は、点検用ドローン１１０と無線接続され、点検用ドローン１１０との間で通信を行うための通信デバイスである。

ドライブ装置３０８は記録媒体３１０をセットするためのデバイスである。ここでいう記録媒体３１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体３１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置３０４にインストールされる各種プログラムは、例えば、配布された記録媒体３１０がドライブ装置３０８にセットされ、該記録媒体３１０に記録された各種プログラムがドライブ装置３０８により読み出されることでインストールされる。あるいは、補助記憶装置３０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。

＜撮影画像処理装置のオルソ画像生成部の機能構成＞
次に、撮影画像処理装置１２０のオルソ画像生成部１２１の機能構成について説明する。図４は、オルソ画像生成部の機能構成の一例を示す第１の図である。図４に示すように、オルソ画像生成部１２１は、回転量算出部４０１、４０２、概略移動量算出部４０３、画像取得部４０４、局所領域追跡部４０５、代表局所領域追跡部４０６、影領域判定部４０７、合成対象外マスク生成部４０８、合成部４０９を有する。

回転量算出部４０１、４０２は、点検用ドローン１１０が、左車輪部１１５、右車輪部１１６を接触させた状態で微速飛行した際の、左車輪部１１５、右車輪部１１６のフレーム間での回転量を算出する。回転量算出部４０１、４０２では、例えば、フレーム番号＝フレームＮのフレーム２１０が撮影されてから、フレーム番号＝フレームＮ＋１のフレーム２２０が撮影されるまでの間に、左車輪部１１５、右車輪部１１６が回転した回転量を算出する。

概略移動量算出部４０３は算出部の一例であり、回転量算出部４０１、４０２において算出された、左車輪部１１５、右車輪部１１６の回転量に基づいて、点検用ドローン１１０のフレーム間での概略移動量を算出する。また、概略移動量算出部４０３は、点検用ドローン１１０のフレーム間での概略移動量を算出することで、フレーム間での画面全体の概略移動量を取得する。

画像取得部４０４は取得部の一例であり、点検用ドローン１１０が、左車輪部１１５、右車輪部１１６を接触させた状態で微速飛行した際の、撮影画像データを取得する。画像取得部４０４は、取得した撮影画像データを、フレーム単位で、フレーム格納部１２２に格納する。

局所領域追跡部４０５は判定部の一例であり、フレーム格納部１２２から撮影画像データを読み出し、読み出した撮影画像データの各フレームを、局所領域に分割する。また、局所領域追跡部４０５は、撮影画像データの各フレーム間において、各局所領域の移動先を判定する。

これにより、局所領域追跡部４０５では、撮影画像データの各フレーム間で各局所領域の移動先を追跡し、各フレーム間で対応する局所領域を判定することができる。

代表局所領域追跡部４０６は決定部の一例であり、撮影画像データの各フレームにおいて、代表局所領域を決定する。具体的には、代表局所領域追跡部４０６は、各フレーム間で対応する局所領域同士の類似度を算出する。また、代表局所領域追跡部４０６は、各フレーム間で、対応する局所領域の各フレーム間で類似度が所定の閾値以上となる局所領域の数（類似度スコア）をカウントし、カウントした類似度スコアが最大となる局所領域を判定する。更に、代表局所領域追跡部４０６は、判定した局所領域を、フレーム間で対応する局所領域のうちの、代表局所領域として決定する。

影領域判定部４０７は特定部の一例であり、代表局所領域追跡部４０６が、フレーム間で対応する局所領域のうち、代表局所領域との類似度が、所定の閾値以下となる局所領域を、点検用ドローン１１０の影に含まれる局所領域として特定する。

合成対象外マスク生成部４０８は、影領域判定部４０７により特定された、点検用ドローン１１０の影に含まれる局所領域をマスクするための合成対象外マスクを生成する。

合成部４０９は生成部の一例であり、フレーム格納部１２２から撮影画像データの各フレームを読み出し、合成対象外マスク生成部４０８により生成された合成対象外マスクを用いて各フレームをマスクすることで、合成対象を抽出する。また、合成部４０９は、抽出した合成対象を合成して、オルソ画像を生成する。更に、合成部４０９は、生成したオルソ画像をオルソ画像格納部１２３に格納する。

＜オルソ画像生成部の各部の処理の具体例＞
次に、オルソ画像生成部１２１の各部（ここでは、概略移動量算出部４０３、局所領域追跡部４０５、代表局所領域追跡部４０６）の処理の具体例について説明する。

（１）概略移動量算出部の処理の具体例
はじめに、概略移動量算出部４０３の処理の具体例について説明する。図５は、概略移動量算出部の処理の具体例を示す図である。図５に示すように、左車輪移動量算出部５０１では、回転量算出部４０１より左車輪部１１５の回転量Δφ_ｌを取得し、左車輪部１１５の半径ｒに基づき、下式１により、左車輪部１１５の移動量ｖ_Ｌを算出する。

同様に、右車輪移動量算出部５０２では、回転量算出部４０２より右車輪部１１６の回転量Δφ_ｒを取得し、右車輪部１１６の半径ｒに基づき、下式２により、右車輪部１１６の移動量ｖ_Ｒを算出する。

また、並進移動量算出部５０３では、左車輪部１１５の移動量ｖ_Ｌと右車輪部１１６の移動量ｖ_Ｒとに基づき、下式３により、並進移動量ｔを算出する。

また、移動方向算出部５０４では、左車輪部１１５の移動量ｖ_Ｌと、右車輪部１１６の移動量ｖ_Ｒと、車輪部間の距離２ｄとに基づき、下式４により、移動方向θを算出する。

また、ＸＹ移動量算出部５０５では、並進移動量ｔと移動方向θとに基づき、下式５、６により、ＸＹＺ軸空間におけるＹ軸方向の移動量Ｍ_Ｙ及びＸ軸方向の移動量Ｍ_Ｘを算出する

また、ｘｙ移動量算出部５０６では、Ｙ軸方向の移動量Ｍ_Ｙ及びＸ軸方向の移動量Ｍ_Ｘを取得し、下式７、８により、フレーム間における各局所領域のｙ軸方向の移動量ｍ_ｙ及びｘ軸方向の移動量ｍ_ｘを算出する。ただし、下式７、８において、ｆは撮像部１１４から点検対象（橋桁部１３１）までの焦点距離を表し、ｌは撮像部１１４から点検対象（橋桁部１３１）までの距離を表し、ｐは１画素あたりの大きさを表すものとする。

概略移動量算出部４０３では、算出したｙ軸方向の移動量ｍ_ｙ及びｘ軸方向の移動量ｍ_ｘをフレーム間での画面全体の概略移動量として、局所領域追跡部４０５に通知する。

（２）局所領域追跡部の処理の具体例
次に、局所領域追跡部４０５の処理の具体例について説明する。図６は、局所領域追跡部の処理の具体例を示す図である。上述したように、局所領域追跡部４０５は、フレーム格納部１２２から読み出した撮影画像データの各フレームを、局所領域に分割する。図６の例は、局所領域追跡部４０５が、フレーム番号＝フレームＮのフレーム２１０と、フレーム番号＝フレームＮ＋１のフレーム２２０とを読み出し、局所領域に分割した様子を示している。

局所領域追跡部４０５では、フレーム２１０の各局所領域と類似する、フレーム２２０の各局所領域を判定する。図６の例は、フレーム２１０の各局所領域のうち、局所領域６０１と類似する、フレーム２２０の局所領域を判定する様子を示している。

図６に示すように、局所領域追跡部４０５では、類似する局所領域を判定する際、概略移動量算出部４０３で算出された、ｘ軸方向の移動量ｍ_ｘ及びｙ軸方向の移動量ｍ_ｙを用いる。

具体的には、局所領域追跡部４０５では、局所領域６０１の位置を、ｘ軸方向の移動量ｍ_ｘ及びｙ軸方向の移動量ｍ_ｙだけ移動させた、フレーム２２０上の局所領域６０２の位置を特定する。続いて、局所領域追跡部４０５では、局所領域６０２の位置を中心とする所定の探索範囲６２０を規定し、規定した探索範囲６２０内の各局所領域を対象として、局所領域６０１との類似度を算出する。

続いて、局所領域追跡部４０５では、算出した類似度が最大の局所領域６０２'を、局所領域６０１の移動先として判定する。局所領域追跡部４０５では、フレーム２１０に含まれる全ての局所領域について同様の処理を行うことで、全ての局所領域についての移動先を追跡する。これにより、局所領域追跡部４０５では、フレーム間で対応する局所領域を判定することができる。

（３）代表局所領域追跡部の処理の具体例
次に、代表局所領域追跡部４０６の処理の具体例について説明する。図７は、代表局所領域追跡部の処理の具体例を示す図である。図７の例は、フレーム番号＝フレームＮ、フレームＮ＋１、フレームＮ＋３の３つのフレームにおいて、局所領域７１０、７２０、７３０の中から、代表局所領域を決定する様子を示している。なお、局所領域７１０、７２０、７３０は、フレーム２１０、２２０、２３０間で対応する局所領域である。具体的には、フレーム２２０の局所領域７２０は、フレーム２１０の局所領域７１０の移動先であり、フレーム２３０の局所領域７３０は、フレーム２２０の局所領域７２０の移動先である。

図７に示すように、代表局所領域追跡部４０６では、フレーム間で対応する局所領域同士の類似度を算出し、以下の算出結果を得る。
・局所領域７１０と局所領域７２０との間の類似度＝０．９
・局所領域７１０と局所領域７３０との間の類似度＝０．４
・局所領域７２０と局所領域７３０との間の類似度＝０．５
また、図７に示すように、代表局所領域追跡部４０６では、各局所領域について、算出した類似度が所定の閾値（図７の例では、０．６）以上となる局所領域の数（類似度スコア）をカウントし、以下の結果を得る。
・フレーム番号＝フレームＮのフレーム２１０の局所領域７１０についての類似度スコア：１
・フレーム番号＝フレームＮ＋１のフレーム２２０の局所領域７２０についての類似度スコア：１
・フレーム番号＝フレームＮ＋２のフレーム２３０の局所領域７３０についての類似度スコア：０
また、図７に示すように、代表局所領域追跡部４０６では、類似度スコアが最大となる局所領域として、フレーム番号＝フレームＮ、フレームＮ＋１の局所領域７１０、７２０を判定する。更に、代表局所領域追跡部４０６では、フレーム番号＝フレームＮのフレーム２１０における局所領域７１０の位置と、フレーム番号＝フレームＮ＋１のフレーム２２０における局所領域７２０の位置とを比較する。

比較の結果、代表局所領域追跡部４０６では、各フレームにおける中心位置からの距離が小さい方の局所領域である、局所領域７２０を代表局所領域として決定する。

続いて、代表局所領域追跡部４０６による、代表局所領域決定処理の流れについて説明する。図８は、代表局所領域決定処理の流れを示すフローチャートである。

ステップＳ８０１において、代表局所領域追跡部４０６は、処理対象のフレームをカウントするカウンタＳ１に"１"を代入する。

ステップＳ８０２において、代表局所領域追跡部４０６は、追跡対象のフレームをカウントするカウンタＳ２に、"Ｓ１＋１"を代入する。

ステップＳ８０３において、フレーム番号＝フレームＳ１のフレームの局所領域と、フレーム番号＝フレームＳ２のフレームの対応する探索範囲の局所領域との類似度を算出し、フレーム間で対応する局所領域を判定する。

ステップＳ８０４において、代表局所領域追跡部４０６は、類似度が所定の閾値以上であるか否かを判定する。ステップＳ８０４において、類似度が所定の閾値以上であると判定した場合には（ステップＳ８０４においてＹｅｓの場合には）、ステップＳ８０５に進む。

ステップＳ８０５において、代表局所領域追跡部４０６は、フレーム番号＝フレームＳ１の局所領域の類似度スコアに１を加算する。また、代表局所領域追跡部４０６は、フレーム番号＝フレームＳ２の局所領域の類似度スコアに１を加算する。その後、ステップＳ８０６に進む。

一方、ステップＳ８０４において、類似度が所定の閾値以上でないと判定した場合には（ステップＳ８０４においてＮｏの場合には）、直接、ステップＳ８０６に進む。

ステップＳ８０６において、代表局所領域追跡部４０６は、カウンタＳ２をインクリメントする。

ステップＳ８０７において、代表局所領域追跡部４０６は、追跡対象のフレームとして所定数のフレームについて類似度スコアを算出したかを判定する。ステップＳ８０７において、所定数のフレームについて類似度スコアを算出していないと判定した場合には（ステップＳ８０７においてＮｏの場合には）、ステップＳ８０３に戻る。

一方、ステップＳ８０７において、所定数のフレームについて類似度スコアを算出したと判定した場合には、ステップＳ８０８に進む。

ステップＳ８０８において、代表局所領域追跡部４０６は、カウンタＳ２をリセットするとともに、カウンタＳ１をインクリメントする。

ステップＳ８０９において、代表局所領域追跡部４０６は、処理対象のフレームとして所定数のフレームについて類似度スコアを算出したか否かを判定する。ステップＳ８０９において、所定数のフレームについて類似度スコアを算出していないと判定した場合には（ステップＳ８０９においてＮｏの場合には）、ステップＳ９０２に戻る。

一方、ステップＳ８０９において、所定数のフレームについて類似度スコアを算出したと判定した場合には（ステップＳ８０９においてＹｅｓの場合には）、ステップＳ８１０に進む。

ステップＳ８１０において、代表局所領域追跡部４０６は、類似度スコアが最大となる局所領域を判定する。

ステップＳ８１１において、代表局所領域追跡部４０６は、類似度スコアが最大となる局所領域が複数存在するか否かを判定する。ステップＳ８１１において、類似度スコアが最大となる局所領域が複数存在すると判定した場合には（ステップＳ８１１においてＹｅｓの場合には）、ステップＳ８１２に進む。

ステップＳ８１２において、代表局所領域追跡部４０６は、類似度スコアが最大となる局所領域の中から、各フレームにおいて中心位置からの距離が最も小さい局所領域を判定し、ステップＳ８１３に進む。

一方、ステップＳ８１１において、類似度スコアが最大となる局所領域が複数存在しないと判定した場合には（ステップＳ８１１においてＮｏの場合には）、直接、ステップＳ８１３に進む。

ステップＳ８１３において、代表局所領域追跡部４０６は、各フレームにおいて中心位置からの距離が最も小さい局所領域を代表局所領域として決定する。

これにより、撮影画像データに各フレームのうち、所定数のフレームの各局所領域において代表局所領域を決定することができる。なお、代表局所領域追跡部４０６では、上記代表局所領域決定処理を、撮影画像データの全てのフレームについて所定数ずつ実行する。

＜オルソ画像生成部によるオルソ画像生成処理の流れ＞
次に、オルソ画像生成部１２１によるオルソ画像生成処理の流れについて説明する。図９は、オルソ画像生成処理の流れを示す第１のフローチャートである。

ステップＳ９０１において、画像取得部４０４は、撮影画像データを取得する。

ステップＳ９０２において、回転量算出部４０１及び回転量算出部４０２は、左車輪部１１５及び右車輪部１１６の回転量を算出する。

ステップＳ９０３において、概略移動量算出部４０３は、左車輪部１１５及び右車輪部１１６の回転量に基づいて、フレーム間での画面全体の概略移動量を算出する。

ステップＳ９０４において、局所領域追跡部４０５は、撮影画像データの各フレームの各局所領域の移動先を追跡する。

ステップＳ９０５において、代表局所領域追跡部４０６は、フレーム間で対応する局所領域の中から代表局所領域を決定する。

ステップＳ９０６において、影領域判定部４０７は、代表局所領域との類似度を算出することで、フレーム間で対応する局所領域の中から、点検用ドローン１１０の影に含まれる局所領域を特定する。

ステップＳ９０７において、合成対象外マスク生成部４０８は、影領域判定部４０７において特定された点検用ドローン１１０の影に含まれる局所領域をマスクするための合成対象外マスクを生成する。

ステップＳ９０８において、画像取得部４０４は、撮影画像データの全てのフレームについて、ステップＳ９０１～ステップＳ９０７までの処理を実行しか否かを判定する。ステップＳ９０８において、処理を実行していないフレームがあると判定した場合には（ステップＳ９０８においてＮｏの場合には）、ステップＳ９０1に戻る。

一方、ステップＳ９０８において、撮影画像データの全てのフレームについて処理を実行したと判定した場合には（ステップＳ９０８においてＹｅｓの場合には）、ステップＳ９０９に進む。

ステップＳ９０９において、合成部４０９は、フレーム格納部１２２から撮影画像データの各フレームを読み出し、合成対象外マスク生成部４０８により生成された合成対象外マスクを用いて各フレームをマスクする。これにより、合成対象外マスク生成部４０８では、各フレームにおいて、点検用ドローン１１０の影に含まれる局所領域を除き、合成対象を抽出する。また、合成部４０９は、抽出した合成対象を合成して、オルソ画像を生成する。また、合成部４０９は、生成したオルソ画像をオルソ画像格納部１２３に格納する。

以上の説明から明らかなように、第１の実施形態に係る撮影画像処理装置は、撮像部を搭載した点検用ドローンの微速飛行中（移動中）に撮影された撮影画像データを取得する。

また、第１の実施形態に係る撮影画像処理装置は、車輪部の回転量を算出することで、フレーム間での画面全体の概略移動量を算出する。

また、第１の実施形態に係る撮影画像処理装置は、概略移動量を用いてフレーム間で対応する局所領域を判定し、判定した局所領域のうち、類似度が所定の閾値以上となる他の局所領域の数が最大の局所領域を、代表局所領域として決定する。

更に、第１の実施形態に係る撮影画像処理装置は、代表局所領域と比較することで、フレーム間で対応する局所領域の中から、点検用ドローンの影に含まれる局所領域を特定する。

これにより、第１の実施形態に係る撮影画像処理装置によれば、撮影画像データに映り込んだ点検用ドローンの影に含まれる局所領域を精度よく特定することができる。

［第２の実施形態］
上記第１の実施形態では、概略移動量算出部４０３が、車輪部の回転量を算出することで、フレーム間での画面全体の概略移動量を算出するものとして説明した。

しかしながら、フレーム間での画面全体の概略移動量の算出方法はこれに限定されず、フレーム間で特徴マッチングを行うことで、フレーム間での画面全体の概略移動量を算出してもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

＜撮影画像処理装置のオルソ画像生成部の機能構成＞
図１０は、オルソ画像生成部の機能構成の一例を示す第２の図である。図４との相違点は、回転量算出部４０１、回転量算出部４０２、概略移動量算出部４０３の代わりに、画像特徴マッチング部１００１を有する点である。

画像特徴マッチング部１００１は算出部の一例であり、各フレームの画像特徴を抽出し、フレーム間での画像特徴のマッチングを行うことで、フレーム間での画面全体の概略移動量を算出する。

＜画像特徴マッチング部の処理の具体例＞
次に、画像特徴マッチング部１００１の処理の具体例について説明する。図１１は、画像特徴マッチング部の処理の具体例を示す図である。このうち、図１１（ａ）は、画像特徴マッチング部１００１による概略移動量算出処理の流れを示すフローチャートであり、図１１（ｂ）は、概略移動量算出処理の具体例を示す図である。以下、図１１（ｂ）を参照しながら、図１１（ａ）のフローチャートに沿って、画像特徴マッチング部１００１による概略移動量算出処理について説明する。

ステップＳ１１０１において、画像特徴マッチング部１００１は、フレーム格納部１２２に格納された撮影画像データから、２つのフレームを読み出す。

図１１（ｂ）の例は、フレーム番号＝フレームＮのフレーム２１０、フレーム番号＝フレームＮ＋１のフレーム２２０を読み出したことを示している。

また、画像特徴マッチング部１００１は、読み出したフレーム２１０、２２０から、画像特徴を抽出する。

図１１（ｂ）の例は、画像特徴マッチング部１００１が、フレーム２１０から画像特徴１１１１、１１１２、１１１３を抽出し、フレーム２２０から画像特徴１１２１、１１２２、１１２３を抽出した様子を示している。

ステップＳ１１０２において、画像特徴マッチング部１００１は、フレーム２１０、２２０間で、画像特徴のマッチングを行い、画像特徴１１１１、１１１２、１１１３と画像特徴１１２１、１１２２、１１２３との対応付けを行う。

ステップＳ１１０３において、画像特徴マッチング部１００１は、画像特徴の対応付けから、フレーム２１０とフレーム２２０との間の座標変換を行い、射影変換行列を算出する。画像特徴マッチング部１００１は、フレーム２１０の各局所領域を射影変換行列を用いて変換した場合の、変換前の各局所領域の位置と変換後の各局所領域の位置との差分を算出することで、フレーム間での画面全体の概略移動量を算出する。

＜オルソ画像生成部によるオルソ画像生成処理の流れ＞
次に、オルソ画像生成部１２１によるオルソ画像生成処理の流れについて説明する。図１２は、オルソ画像生成処理の流れを示す第２のフローチャートである。図９に示す第１のフローチャートとの相違点は、ステップＳ１２０１である。

ステップＳ１２０１において、画像特徴マッチング部１００１は、各フレームの画像特徴を抽出し、フレーム間での画像特徴のマッチングを行うことで、フレーム間での画面全体の概略移動量を算出する。

以上の説明から明らかなように、第２の実施形態に係る撮影画像処理装置は、撮像部を搭載した点検用ドローンの微速飛行中（移動中）に撮影された撮影画像データを取得する。

また、第２の実施形態に係る撮影画像処理装置は、取得した撮影画像データの各フレームの画像特徴を抽出し、フレーム間での画像特徴のマッチングを行うことで、フレーム間での画面全体の概略移動量を算出する。

また、第２の実施形態に係る撮影画像処理装置は、概略移動量を用いてフレーム間で対応する局所領域を判定し、判定した局所領域のうち、類似度が所定の閾値以上となる他の局所領域の数が最大の局所領域を、代表局所領域として決定する。

更に、第２の実施形態に係る撮影画像処理装置は、代表局所領域と比較することで、フレーム間で対応する局所領域の中から、点検用ドローンの影に含まれる局所領域を特定する。

これにより、第２の実施形態に係る撮影画像処理装置によれば、撮影画像データに映り込んだ点検用ドローンの影に含まれる局所領域を精度よく特定することができる。

［その他の実施形態］
上記各実施形態では、点検用ドローン１１０が二輪型マルチコプタであるとして説明したが、二輪型マルチコプタ以外の点検用ドローンを用いてもよい。あるいは、点検用ドローン１１０等の無人飛行機以外の移動体を用いてもよい。

また、上記各実施形態では、撮影画像データに基づいてオルソ画像を生成することを前提として説明したが、オルソ画像以外の合成画像を生成してもよい。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
撮像部が搭載された移動体の移動中に撮影された撮影画像を取得する取得部と、
撮影画像の各フレームを局所領域に分割し、フレーム間で対応する局所領域のうち、類似度が所定の閾値以上となる他の局所領域の数が最大の局所領域を、代表局所領域として決定する決定部と
前記代表局所領域と比較することで、前記フレーム間で対応する局所領域の中から、前記移動体の影に含まれる局所領域を特定する特定部と
を有する撮影画像処理装置。
（付記２）
前記撮像部が各フレームを撮影する間の、前記移動体の車輪の回転量に基づいて、前記移動体の移動量及び移動方向を算出し、前記移動体の移動量及び移動方向に基づいて、各フレーム間の局所領域の概略移動量を算出する算出部と、
前記概略移動量に基づいて、前記フレーム間で対応する局所領域を判定する判定部と
を更に有する付記１に記載の撮影画像処理装置。
（付記３）
前記撮影画像の各フレームより画像特徴を抽出し、抽出した画像特徴のフレーム間でのマッチングにより、各フレーム間の局所領域の概略移動量を算出する算出部と、
前記概略移動量に基づいて、前記フレーム間で対応する局所領域を判定する判定部と
を更に有する付記１に記載の撮影画像処理装置。
（付記４）
前記特定部は、前記他の局所領域のうち、前記決定部により決定された代表局所領域との類似度が所定の閾値以下の局所領域を、前記移動体の影に含まれる局所領域として特定する、付記１乃至付記３のいずれかの付記に記載の撮影画像処理装置。
（付記５）
前記撮影画像の各フレームの局所領域のうち、前記特定部により特定された前記移動体の影に含まれる局所領域を除く局所領域を合成して、オルソ画像を生成する生成部を更に有する付記４に記載の撮影画像処理装置。
（付記６）
前記決定部は、前記他の局所領域との類似度が最大の局所領域が複数存在した場合、前記撮影画像の中心位置との距離が最も短い局所領域を、前記代表局所領域として決定する、付記１乃至付記５のいずれかの付記に記載の撮影画像処理装置。
（付記７）
前記算出部は、
前記移動体の右車輪部の回転量に基づいて算出した右車輪部の移動量と、前記移動体の左車輪部の回転量に基づいて算出した左車輪部の移動量とに基づいて、前記移動体の移動量及び前記移動体の移動方向を算出する、付記２に記載の撮影画像処理装置。
（付記８）
前記算出部は、
前記撮像部から点検対象までの焦点距離と、前記撮像部から点検対象までの距離と、撮影画像の１画素あたりの長さと、算出した前記移動体の移動量及び前記移動体の移動方向とに基づいて、各フレーム間の局所領域の概略移動量を算出する、付記７に記載の撮影画像処理装置。
（付記９）
前記判定部は、２つのフレームのうち、一方のフレームの局所領域の位置と、前記概略移動量とに基づいて、他方のフレームの局所領域を探索する探索範囲を規定し、規定した探索範囲において、前記一方のフレームの局所領域に対応する前記他方のフレームの局所領域を判定する、付記２または付記３に記載の撮影画像処理装置。
（付記１０）
撮像部が搭載された移動体の移動中に撮影された撮影画像を取得し、
撮影画像の各フレームを局所領域に分割し、フレーム間で対応する局所領域のうち、類似度が所定の閾値以上となる他の局所領域の数が最大の局所領域を、代表局所領域として決定し、
前記代表局所領域と比較することで、前記フレーム間で対応する局所領域の中から、前記移動体の影に含まれる局所領域を特定する、
処理をコンピュータが実行する撮影画像処理方法。
（付記１１）
撮像部が搭載された移動体の移動中に撮影された撮影画像を取得し、
撮影画像の各フレームを局所領域に分割し、フレーム間で対応する局所領域のうち、類似度が所定の閾値以上となる他の局所領域の数が最大の局所領域を、代表局所領域として決定し、
前記代表局所領域と比較することで、前記フレーム間で対応する局所領域の中から、前記移動体の影に含まれる局所領域を特定する、
処理をコンピュータに実行させるための撮影画像処理プログラム。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：撮影画像処理システム
１１０ ：点検用ドローン
１１４ ：撮像部
１１５ ：左車輪部
１１６ ：右車輪部
１２０ ：撮影画像処理装置
１２１ ：オルソ画像生成部
１３０ ：橋梁
１３１ ：橋桁部
２１０、２２０、２３０ ：フレーム
２１１、２２１、２２２ ：影
４０１、４０２ ：回転量算出部
４０３ ：概略移動量算出部
４０４ ：画像取得部
４０５ ：局所領域追跡部
４０６ ：代表局所領域追跡部
４０７ ：影領域判定部
４０８ ：合成対象外マスク生成部
４０９ ：合成部
１００１ ：画像特徴マッチング部

Claims (8)

1. 撮像部が搭載された移動体の移動中に撮影された撮影画像を取得する取得部と、
   撮影画像の各フレームを局所領域に分割し、フレーム間で対応する局所領域のうち、類似度が所定の閾値以上となる他のフレームに含まれる対応する局所領域の数が最大の局所領域を、代表局所領域として決定する決定部と
   前記代表局所領域と比較することで、前記フレーム間で対応する局所領域の中から、前記移動体の影に含まれる局所領域を特定する特定部と
   を有する撮影画像処理装置。
2. 前記撮像部が各フレームを撮影する間の、前記移動体の車輪の回転量に基づいて、前記移動体の移動量及び移動方向を算出し、前記移動体の移動量及び移動方向に基づいて、各フレーム間の局所領域の概略移動量を算出する算出部と、
   前記概略移動量に基づいて、前記フレーム間で対応する局所領域を判定する判定部と
   を更に有する請求項１に記載の撮影画像処理装置。
3. 前記撮影画像の各フレームより画像特徴を抽出し、抽出した画像特徴のフレーム間でのマッチングにより、各フレーム間の局所領域の概略移動量を算出する算出部と、
   前記概略移動量に基づいて、前記フレーム間で対応する局所領域を判定する判定部と
   を更に有する請求項１に記載の撮影画像処理装置。
4. 前記特定部は、前記他のフレームに含まれる対応する局所領域のうち、前記決定部により決定された代表局所領域との類似度が所定の閾値以下の局所領域を、前記移動体の影に含まれる局所領域として特定する、請求項１乃至３のいずれか１項に記載の撮影画像処理装置。
5. 前記撮影画像の各フレームの局所領域のうち、前記特定部により特定された前記移動体の影に含まれる局所領域を除く局所領域を合成して、オルソ画像を生成する生成部を更に有する請求項４に記載の撮影画像処理装置。
6. 前記決定部は、前記他のフレームに含まれる対応する局所領域との類似度が最大の局所領域が複数存在した場合、前記撮影画像の中心位置との距離が最も短い局所領域を、前記代表局所領域として決定する、請求項１乃至５のいずれか１項に記載の撮影画像処理装置。
7. 撮像部が搭載された移動体の移動中に撮影された撮影画像を取得し、
   撮影画像の各フレームを局所領域に分割し、フレーム間で対応する局所領域のうち、類似度が所定の閾値以上となる他のフレームに含まれる対応する局所領域の数が最大の局所領域を、代表局所領域として決定し、
   前記代表局所領域と比較することで、前記フレーム間で対応する局所領域の中から、前記移動体の影に含まれる局所領域を特定する、
   処理をコンピュータが実行する撮影画像処理方法。
8. 撮像部が搭載された移動体の移動中に撮影された撮影画像を取得し、
   撮影画像の各フレームを局所領域に分割し、フレーム間で対応する局所領域のうち、類似度が所定の閾値以上となる他のフレームに含まれる対応する局所領域の数が最大の局所領域を、代表局所領域として決定し、
   前記代表局所領域と比較することで、前記フレーム間で対応する局所領域の中から、前記移動体の影に含まれる局所領域を特定する、
   処理をコンピュータに実行させるための撮影画像処理プログラム。

Images