WO2020039470A1

WO2020039470A1 - 画像処理システム

Info

Publication number: WO2020039470A1
Application number: PCT/JP2018/030642
Authority: WO
Inventors: 一人小山; 克彦洞口; 健二郎兼平; 典久羽田
Original assignee: ダットジャパン株式会社
Priority date: 2018-08-20
Filing date: 2018-08-20
Publication date: 2020-02-27
Also published as: JPWO2020039470A1; JP6910622B2

Abstract

本発明は，画像処理システムを提供することを目的とする。　対象物をモデル化するために用いる複数の画像情報に対する画像処理システムであって，画像処理システムは，複数の画像情報の入力を受け付ける画像情報入力受付処理部と，入力を受け付けた画像情報のうち，基準とする画像情報の撮影領域との重複度合いに関する条件を充足する画像情報を特定するオーバーラップ処理部と，画像情報の画質の判定を行う画質判定処理部と，を有しており，オーバーラップ処理部において特定した画像情報のうち，画質判定処理部で判定した結果を用いて，画質に関する条件を充足する画像情報を特定し，その画像情報を出力対象として選択する，画像処理システムである。

Description

画像処理システム

　本発明は，画像処理システムに関する。

　近年，橋梁，ダム，トンネルなどの各種構造物の老朽化の維持管理や災害対策などの観点から，構造物の点検業務が重要となっている。構造物の点検業務においては，点検ロボットやＵＡＶ（Unmanned Aerial Vehicle），情報技術の活用する取り組みが行われている。

　そして点検業務の一つの方法として，検査対象物となる構造物の状況を３次元モデルで再現することで，構造物の損傷や劣化の状況をコンピュータの画面上で確認する方法がある。

　３次元モデルで再現する場合，構造物を多視点から撮影した画像情報を用い，画像情報間の特徴点を対応づけ，その特徴点の３次元上の座標を，三角測量の原理により，３次元形状を再現する技術を用いる。この技術は，ＳｆＭ（Structure from Motion）と呼ばれている。

　ＳｆＭを用いる場合，同一の構造物の同一箇所を異なる視点から，少なくとも２以上の視点から画像を撮影していなければならない。そのため，ＳｆＭに用いる画像情報では，撮影位置を変更しながら，ほかの画像情報と撮影範囲が重なる（オーバーラップ）するように撮影されている。

　特許文献１および特許文献２には，画像情報間の特徴点を対応づける技術が開示されている。また特許文献３には撮影した画像から物体形状を生成する精度を向上させる技術が開示されている。さらに，特許文献４には良質の画像を選定する画像評価方法が開示されている。

特開２０１７－０２１４２７号公報特開２０１７－０４１１４１号公報特開２０１４－１０９８１９号公報特開２００８－２３４５０９号公報

　ＳｆＭを用いて構造物の画像を撮影して構造物の３次元モデルを生成する場合，２次元の画像情報から３次元に再構成する必要があることから，膨大な処理時間が発生する。とくに点検業務の場合，高解像度の画像情報を用いるため，処理時間が大きくなる。たとえば画像情報間のオーバーラップ率を６０％程度とした場合であっても，画像情報が５０００枚程度の場合，ＧＰＵ（Graphics Processing Unit）を搭載した専用のコンピュータを用いたとしても数日や１週間程度の処理時間を要することがある。そのため処理時間の短縮が求められている。

　しかし特許文献１乃至特許文献３の技術をＳｆＭに適用したとしても，多少の高速化は期待できる可能性があるが，大幅な処理時間の短縮を図ることはできない。なぜならＳｆＭにおける処理時間は，画像情報の枚数の組み合わせ数に比例することから，ＳｆＭそのものにおける処理の高速化では解決が難しいからである。

　また，特許文献４の方法で選定される画像の「最良の写真」とは情緒的な「良い写真」の意味である。そのため，かかる方法を用いたとしても，計測上の精度の高いデータとしての意味での最良の写真を得ることはできない。

　そこで本発明者は上記課題に鑑み，３次元モデルの再構成に要する処理時間の短縮を図ることができる画像処理システムを発明した。

　第１の発明は，対象物をモデル化するために用いる複数の画像情報に対する画像処理システムであって，前記画像処理システムは，前記複数の画像情報の入力を受け付ける画像情報入力受付処理部と，前記入力を受け付けた画像情報のうち，基準とする画像情報の撮影領域との重複度合いに関する条件を充足する画像情報を特定するオーバーラップ処理部と，前記画像情報の画質の判定を行う画質判定処理部と，を有しており，前記オーバーラップ処理部において特定した画像情報のうち，前記画質判定処理部で判定した結果を用いて，画質に関する条件を充足する画像情報を特定し，その画像情報を出力対象として選択する，画像処理システムである。

　本発明のように構成することで，対象物をモデル化するために用いる画像情報のうち，重複度合いが高い画像情報についてはその一部を間引くことができ，モデル化に用いる画像情報の数を減らすことができる。また，画質を考慮して画像情報の選択をしているので，高品質の画像情報でモデル化を実行できるので，モデル化の際の精度を向上させることができる。

　上述の発明において，前記画像処理システムは，前記入力を受け付けた画像情報に撮影位置等情報が対応づけられていない場合には，撮影位置等情報を推定する撮影位置推定処理部，を有する画像処理システムのように構成することができる。

　撮影装置に撮影位置や撮影方向を計測する装置を取り付けた上で対象物の撮影を行うことが好ましいが，そうでない場合であっても，本発明の処理を用いることで，撮影位置や撮影方向である撮影位置等情報を推定することができる。

　上述の発明において，前記撮影位置推定処理部は，比較対象とする画像情報のそれぞれの特徴点を対応づけることでその移動量を算出し，前記算出した移動量を用いて相対位置を算出することで画像情報の撮影位置等情報を推定する，画像処理システムのように構成することができる。

　撮影位置等情報の推定処理にはさまざまな処理があるが，本発明の処理のように実行するとよい。

　上述の発明において，前記画像処理システムは，画像情報における撮影位置等情報を用いて，その画像情報における撮影領域を算出する撮影領域算出処理部，を有する画像処理システムのように構成することができる。

　画像情報の撮影領域は本発明を用いることで算出できる。

　第５の発明は，画像処理システムであって，対象物を撮影した複数の画像情報の入力を受け付ける画像情報入力受付処理部と，前記複数の画像情報から画像情報を選択する画像情報選択処理部と，を有しており，前記画像情報選択処理部は，画像情報の撮影領域の重複度合いに関する条件を充足する画像情報のうち，画質に関する条件を充足する画像情報を選択する，画像処理システムである。

　複数の画像情報から必要な画像情報を選択する場合には，本発明を用いることがよい。

　上述の発明において，前記画像処理システムは，前記画像情報選択処理部で選択した画像情報を，画像情報に基づいて対象物のモデル化の処理を実行するソフトウェアに出力する出力処理部，を有する画像処理システムのように構成することができる。

　上述の各発明は，本発明の処理によって選択した画像情報は，複数の画像情報に基づいて対象物をモデル化するためのソフトウェアに出力すると，高い技術的効果を得ることができる。

　第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，対象物をモデル化するために用いる複数の画像情報の入力を受け付ける画像情報入力受付処理部，前記入力を受け付けた画像情報のうち，基準とする画像情報の撮影領域との重複度合いに関する条件を充足する画像情報を特定するオーバーラップ処理部，前記画像情報の画質の判定を行う画質判定処理部，として機能させる画像処理プログラムであって，前記オーバーラップ処理部において特定した画像情報のうち，前記画質判定処理部で判定した結果を用いて，画質に関する条件を充足する画像情報を特定し，その画像情報を出力対象として選択する，画像処理プログラムである。

　第５の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，対象物を撮影した複数の画像情報の入力を受け付ける画像情報入力受付処理部，前記複数の画像情報から画像情報を選択する画像情報選択処理部，として機能させる画像処理プログラムであって，前記画像情報選択処理部は，画像情報の撮影領域の重複度合いに関する条件を充足する画像情報のうち，画質に関する条件を充足する画像情報を選択する，画像処理プログラムである。

　本発明の画像処理システムを発明することで，３次元モデルの再構成に要する処理時間の短縮を図ることができる。また，画質を加味した画像情報を選択することで，３次元モデルの再構成についても精度の向上を図ることができる。

本発明の画像処理システムの処理機能の一例を示すブロック図である。本発明の画像処理システムにおける撮影位置推定処理部の処理機能の一例を示すブロック図である。本発明の画像処理システムにおける画像情報選択処理部の処理機能の一例を示すブロック図である。本発明の画像処理システムで用いるコンピュータのハードウェア構成の一例を示すブロック図である。本発明の画像処理システムの全体の処理プロセスの一例を示すフローチャートである。本発明の画像処理システムの撮影位置推定処理の処理プロセスの一例を示すフローチャートである。本発明の画像処理システムの画像情報選択処理の処理プロセスの一例を示すフローチャートである。画像情報選択処理部における処理の概念の一例を示す図である。すべての画像情報を用いてＳｆＭの処理を実行した場合と，本発明を用いて選択した画像情報を用いてＳｆＭの処理を実行した場合を比較した実験結果を示す表である。すべての画像情報を用いてＳｆＭの処理を実行した３次元モデルと，本発明を用いて選択した画像情報を用いてＳｆＭの処理を実行した３次元モデルとを示す図である。

　本発明の画像処理システム１の全体の処理機能の構成の一例を図１に，後述する撮影位置推定処理部２１の処理機能の構成の一例を図２に，後述する画像情報選択処理部２３の処理機能の構成の一例を図３に，画像処理システム１で用いるコンピュータのハードウェア構成の一例を図４に示す。

　画像処理システム１は制御コンピュータ２を用いる。制御コンピュータ２は，画像処理システム１における処理機能を実現するためのコンピュータである。

　制御コンピュータ２は，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報を通信する通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

　タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

　画像処理システム１は一台のコンピュータによって実現されていてもよいが，その一部または全部の機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。また，画像処理システム１におけるコンピュータが，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末であってもよい。

　本発明の画像処理システム１における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していても良い。

　画像処理システム１は，画像情報入力受付処理部２０と撮影位置推定処理部２１と撮影領域算出処理部２２と画像情報選択処理部２３と出力処理部２４とを有する。

　画像情報入力受付処理部２０は，構造物などの対象物を撮影した画像情報の入力を撮影装置などから受け付ける。なお画像情報としては動画像であってもよいし静止画像であってもよい。動画像の場合には，フレームごとの静止画像に変換したうえで処理を実行する。対象物などを撮影した画像情報は連続しており，前後の画像情報同士は，撮影位置も近接している。そのため，画像情報入力受付処理部２０で入力を受け付ける画像情報では，前後の画像情報について，同じ領域を異なる位置（異なる視点）から撮影している。なお，同じ領域を同じ位置（同じ視点）から撮影していてもよい。また，画像情報には，撮影位置および撮影方向を記録する装置を撮影装置に取り付けることで，画像情報ごとに撮影位置および撮影方向を示す情報（撮影位置等情報）を対応づけておいてもよい。

　撮影位置推定処理部２１は，画像情報に撮影位置等情報が対応づけられていない場合に，当該画像情報の撮影位置等情報を推定する処理を実行する。すなわち，画像情報入力受付処理部２０で入力を受け付けた画像情報のうち，比較対象とする２つの画像情報の特徴点を対応づけ，それに基づいて相対位置を算出することで，撮影位置等情報を推定する。

　撮影位置推定処理部２１は，特徴点抽出処理部２１０と特徴点対応検索処理部２１１と相対位置算出処理部２１２とを有する。

　特徴点抽出処理部２１０は，画像情報における特徴点を抽出する。特徴点を抽出する処理としては，たとえばＳＩＦＴ，ＳＵＲＦ，ＯＲＢ，ＫＡＺＥなどが一例としたあるが，それに限定されない。

　特徴点対応検索処理部２１１は，２つの画像情報における特徴点を対応づける射影行列を求める。

　相対位置算出処理部２１２は，特徴点対応検索処理部２１１で特定した射影行列に基づいて算出した移動量を用いて，画像情報ＰＸに対する画像情報ＰＹの相対位置を算出し，撮影位置等情報として推定する。

　具体的には，画像情報入力受付処理部２０で入力を受け付けた一つの画像情報Ｐ１，たとえば画像情報入力受付処理部２０で入力を受け付けた画像情報のうちの最初の画像情報を特定し，その画像情報Ｐ１に対する特徴点を特徴点抽出処理部２１０が抽出する。また，その画像情報Ｐ１の撮影位置を原点として設定する。そして，当該画像情報Ｐ１と比較する画像情報Ｐ２（たとえば画像情報Ｐ１の次の画像情報など，画像情報Ｐ１にオーバーラップする領域がある画像情報）を特定し，画像情報Ｐ２の特徴点を特徴点抽出処理部２１０が抽出する。そして，特徴点対応検索処理部２１１は，画像情報Ｐ１における特徴点と画像情報Ｐ２における特徴点とを対応づける射影行列を公知の手法により求める。なお，特徴点のベクトルは主に，平行移動と回転であることから，それ以外の特徴点は誤判定であるとして削除する。そして，相対位置算出処理部２１２は，特徴点対応検索処理部２１１が求めた射影行列に基づいて，画像情報Ｐ１から画像情報Ｐ２への移動量を算出することで，画像情報Ｐ２の画像情報Ｐ１に対する相対位置を求め，撮影位置等情報として推定する。

　なお，撮影位置推定処理部２１は，上述の処理において画像情報入力受付処理部２０で受け付けた画像情報をそのまま用いてもよいが，たとえばグレースケールなどへの変換，ファイルの大きさ（縦や横の大きさ）の縮小などをしてデータ量を減らしたあとに，特徴点抽出処理部２１０，特徴点対応検索処理部２１１，相対位置算出処理部２１２の処理などをしてもよい。特徴点を抽出するにあたり，画像情報の色と画像情報の大きさは必要ないからである。

　撮影領域算出処理部２２は，画像情報に対応づけられた撮影位置等情報または撮影位置推定処理部２１で推定した撮影位置等情報に基づいて，対象物の撮影領域を算出する。具体的には撮影装置の情報（撮像素子サイズ，レンズの焦点距離）と撮影対象物までの平均距離の入力を受け付け，これらの情報に基づいて画像情報に写っている物体の実際のサイズ（大きさ）を算出する。そして，撮影画像のピクセル単位の長さを実寸換算したｍｍの長さを利用し，撮影位置と撮影方向とを示す撮影位置等情報から撮影領域を算出する。

　画像情報選択処理部２３は，画像情報入力受付処理部２０で画像情報のうち，必要な画像情報を選択する（不要な画像情報を間引く）処理を実行する。画像情報選択処理部２３は，オーバーラップ処理部２３０と画質判定処理部２３１とを有する。

　オーバーラップ処理部２３０は，注目する画像情報の撮影領域へのオーバーラップ率が所定の閾値以上である画像情報を特定する。そして，特定した画像情報のうち，画質判定処理部２３１における画質判定処理による最適な画像情報を特定し，出力対象リストとして追加する。オーバーラップ率は比較対象とする２つの画像情報の撮影領域がどれだけ重複しているかの比率の算出で行える。

　画質判定処理部２３１は，画像情報が最適な画像情報であるか否かを判定する。最適な画像情報か否かは，コントラストが高い画像情報であるか，エッジのはっきりした画像情報であるかなど，画質に関する要素をスコアリングすることで判定できる。最適な画像情報であるか否かは，これらに限定するものではなく，画質の良さ（画像情報にボケやブレがない）を判定することに用いる処理であればいかなる処理であっても用いることができる。たとえば機械学習によって，画質の良さを学習させ，判定させてもよい。コントラストが高いか否かは，画像情報における輝度値の分散に基づいて判定でき，分散の大きさに応じたスコア（評価値）を付与する。分散が大きい画像情報は高コントラストとして高いスコアが付与される。またエッジのある画像情報か否かは，ラプラシアンフィルタ（差分フィルタ）の分散から求めることができ，分散の大きさに応じたスコア（評価値）を付与する。コントラストおよびエッジに対する各評価値を用いて所定の演算をすることで，画質に関する要素をスコアリングした評価値である画質スコアを算出する。画質スコアが高ければ３次元モデルの再構成などに向いている計測上の精度の高い画像情報と判定でき，低ければそうではない画像情報と判定できる。なお，コントラスト，エッジに関する処理についても，これらに限定するものではなく，ほかの処理を用いることができる。また，オーバーラップ率の閾値は，任意のタイミングで入力を受け付けてもよいし，あらかじめ所定値が設定されていてもよい。

　画質判定処理部２３１における各画像情報の画質をスコアリングする処理は，それを用いる前であればいかなるタイミングで行ってもよい。

　図８に画像情報選択処理部２３における処理の概念の一例を示す。注目する画像情報がＰ１であったとき，オーバーラップ処理部２３０は，あらかじめ定められたオーバーラップ率（たとえば２０％）を充足する画像情報を，画像情報Ｐ１よりも後の画像情報から探索をする。そして，探索の結果，画像情報Ｐ２（Ｐ１へのオーバーラップ率６０％），画像情報Ｐ３（Ｐ１へのオーバーラップ率４０％，），画像情報Ｐ４（Ｐ１へのオーバーラップ２０％）を特定したとする。また，画質判定処理部２３１で特定した画像情報Ｐ２，Ｐ３，Ｐ４の画質スコアがそれぞれ１０，３０，２０であったとする。

　このとき，オーバーラップ処理部２３０は，もっとも画質スコアの高い画像情報Ｐ３を選択し，出力対象リストに追加をする。

　つぎに，オーバーラップ処理部２３０は，選択した画像情報Ｐ３を基準に，画像情報Ｐ３へのオーバーラップ率が所定の閾値以上の画像情報を，画像情報Ｐ３よりも後の画像情報から探索をする。そして，探索の結果，画像情報Ｐ４（Ｐ３へのオーバーラップ率８０％），画像情報Ｐ５（Ｐ３へのオーバーラップ率４０％，），画像情報Ｐ６（Ｐ３へのオーバーラップ２０％）を特定したとする。また，画質判定処理部２３１で特定した画像情報Ｐ４，Ｐ５，Ｐ６の画質スコアが２０，３０，４０であったとする。このとき，オーバーラップ処理部２３０は，もっとも画質スコアの高い画像情報Ｐ６を選択し，出力対象リストに追加をする。

　つぎに，オーバーラップ処理部２３０は，選択した画像情報Ｐ６を基準に，上述と同様の処理を，後続する画像情報がなくなるまで繰り返す。

　このように，従来であれば，画像情報Ｐ１乃至Ｐ６の６枚の画像情報があったところ，画像情報Ｐ１，画像情報Ｐ３，画像情報Ｐ６の３枚のみを選択し，画像情報Ｐ２，画像情報Ｐ４，画像情報Ｐ５を間引くことができる。また選択した３枚の画像情報はいずれも画質がオーバーラップしていたほかの画像情報より良いので，３次元モデルの再構成にあたり，精度を向上することもできる。

　なお，オーバーラップ処理部２３０は，オーバーラップ率の閾値を充足する画像情報のうち，画質判定処理部２３１で判定した画質スコアがもっともよい画像情報を選択したが，一つに限ることなく，複数の画像情報を選択するようにしても良い。たとえば画質スコアが一定の閾値以上である画像情報を出力対象リストに追加するようにしても良い。複数の画像情報を選択した場合，次の処理の基準とする画像情報としては，選択した画像情報のうち，もっとも後ろにある画像情報を選択することが好ましいがそれに限定しない。

　また，オーバーラップによる判定で画像情報を選択する場合，たとえば構造物の隅の方の画像情報など，画像情報の抜けが発生する可能性がある。そこで，画像情報選択処理部２３は，撮影領域の周辺にある画像情報であって，出力対象リストに加えていない画像情報を出力対象リストに追加をする処理を実行してもよい。具体的には，出力対象リストに含まれている画像情報がカバーしている撮影領域全体に対し，出力対象リストに含まれていない画像情報から，今の撮影領域全体を拡大することができる画像情報を出力対象リストに追加することで行う。

　出力処理部２４は，出力対象リストにある画像情報を抽出し，３次元モデルの再構成処理などで用いる画像情報として出力をする。たとえばＳｆＭの処理を実行するソフトウェアに出力対象リストにある画像情報を入力する。

　つぎに本発明の画像処理システム１を用いた処理プロセスの一例を，図５乃至図７のフローチャートを用いて説明する。

　まず３次元モデル化する構造物などの対象物を撮影した画像情報Ｐ１乃至Ｐｎを制御コンピュータ２に読み込ませ，画像情報入力受付処理部２０でその入力を受け付ける（Ｓ１００）。この際に，撮影位置等情報がある場合には，画像情報に対応づけてその入力を受け付ける。画像情報入力受付処理部２０は，入力を受け付けた画像情報，撮影位置等情報を記憶装置７１に記憶させる。

　そして撮影位置等情報が画像情報に対応づけられていない場合（Ｓ１１０），撮影位置推定処理部２１は，撮影位置推定処理を実行する（Ｓ１２０）。

　具体的には，まず撮影位置推定処理部２１は，記憶装置７１に記憶した画像情報について，グレースケールに変換をし，また，ファイルの縦，横のサイズを等倍で縮小する。そして，特徴点抽出処理部２１０は，撮影位置等情報の原点として用いる画像情報Ｐ１の特徴点を抽出する（Ｓ２００）。また画像情報Ｐ１の撮影位置およびその撮影方向を基準となる原点として設定する。なお，撮影位置および撮影方向は，担当者による入力を受け付けてもよい。

　そして，特徴点対応検索処理部２１１は，画像情報Ｐ１を第１の比較画像ＰＸ，画像情報Ｐ１の次の画像情報Ｐ２を第２の比較画像ＰＹとして設定する（Ｓ２２０）。また特徴点抽出処理部２１０は，第２の比較画像ＰＹ（画像情報Ｐ２）の特徴点を抽出する（Ｓ２３０）。

　このように第１の比較画像ＰＸ，第２の比較画像ＰＹの特徴点がそれぞれ抽出できると，特徴点対応検索処理部２１１は，平行移動と回転以外であるベクトルを有する特徴点を削除した上で，第１の比較画像ＰＸの特徴点と，第２の比較画像ＰＹの特徴点とを対応づける射影行列を求める（Ｓ２４０）。

　そして，相対位置算出処理部２１２は，射影行列に基づいて第１の比較画像ＰＸの撮影位置から第２の比較画像ＰＹへの移動量を算出し，第２の比較画像ＰＹの相対位置を算出する（Ｓ２５０）。これによって，画像情報Ｐ２の画像情報Ｐ１の撮影位置に対する相対位置が特定できる。

　そして，画像情報Ｐ２の次に画像情報がある場合（Ｓ２６０），第２の比較画像ＰＹを第１の比較画像ＰＸ，第２の比較画像ＰＹ（画像情報Ｐ２）の次の画像情報Ｐ３を第２の比較画像ＰＸとして設定して（Ｓ２７０），Ｓ２３０以降と同様の処理を反復する。

　このような処理を実行することで，隣り合う画像情報同士の相対位置が特定できるので，撮影位置推定処理部２１は，原点とした画像情報Ｐ１の撮影位置等情報に基づいて相対位置を絶対位置に変換することで，各画像情報の撮影位置等情報の絶対位置を推定する。

　以上のようにして撮影位置推定処理部２１で各画像情報の撮影位置等情報の推定処理後，または画像情報に撮影位置等情報が対応づけられている場合（Ｓ１１０），撮影領域算出処理部２２が，撮影位置等情報に基づいて，各画像情報Ｐ１乃至Ｐｎにおける撮影領域（画像情報が写している領域）を算出する（Ｓ１３０）。

　撮影領域算出処理部２２において，各画像情報Ｐ１乃至Ｐｎにおける撮影領域を算出後，画像情報選択処理部２３は，不要な画像情報を間引き，必要な画像情報を選択する画像情報選択処理を実行する（Ｓ１４０）。

　まず画像情報選択処理部２３は，基準とする画像情報として画像情報Ｐ１を出力対象リストに追加する（Ｓ３００）。そしてオーバーラップ処理部２３０は，画像情報Ｐ１を注目画像情報Ｐαに，画像情報Ｐ１の撮影領域Ａ１を注目画像情報Ｐαの撮影領域Ａαとして設定する（Ｓ３１０）。

　そして，オーバーラップ処理部２３０は，撮影領域Ａαへのオーバーラップ率の閾値以上，たとえば２０％以上となる撮影領域を有する画像情報を，注目画像情報Ｐα（画像情報Ｐ１）より後の画像情報から探索し，特定する（Ｓ３２０）。図８の場合，画像情報Ｐ２（Ｐ１へのオーバーラップ率６０％），画像情報Ｐ３（Ｐ１へのオーバーラップ率４０％，），画像情報Ｐ４（Ｐ１へのオーバーラップ２０％）を特定したとする。なお，画像情報は連続的であるため，いったん，オーバーラップ率の閾値を充足しない画像情報があった場合，それ以後の画像情報ではオーバーラップ率の閾値を充足することは考えにくい。そのため，オーバーラップ処理部２３０がオーバーラップ率の閾値を充足しない画像情報があることを判定した場合には，その時点でオーバーラップ率を充足する画像情報の探索を終了してもよい。

　そしてＳ３２０においてオーバーラップ率を充足する画像情報を特定すると，画像情報選択処理部２３は，画質判定処理部２３１でスコアリングした画質スコアに基づいて，所定条件を充足する画質スコアを有する画像情報，たとえばもっとも高い画質スコアを有する画像情報を出力対象リストに追加する画像情報として特定し，その画像情報を出力対象リストに追加する（Ｓ３３０）。たとえば，図８において，画質判定処理部２３１で特定した画像情報Ｐ２，Ｐ３，Ｐ４の画質スコアがそれぞれ１０，３０，２０であったとすると，画像情報Ｐ３を出力対象リストに追加する画像情報として特定する。また，出力対象リストに追加した画像情報Ｐ３を画像情報Ｐβ，画像情報Ｐ３の撮影領域Ａ３を画像情報Ｐβの撮影領域Ａβとして設定する（Ｓ３３０）。

　そして出力対象リストに追加した画像情報Ｐ３のあとに画像情報がある場合（Ｓ３４０），画像情報Ｐβ（画像情報Ｐ３）を注目画像情報Ｐαに，撮影領域Ａβを注目画像情報Ｐαの撮影領域Ａα（画像情報Ｐ３の撮影領域Ａ３）として設定する（Ｓ３５０）。そして，Ｓ３２０以降の処理を反復する。

　オーバーラップ処理部２３０は，同様の処理を実行する。たとえば図８に示すように，撮影領域Ａα（画像情報Ｐ３の撮影領域Ａ３）へのオーバーラップ率が２０％以上となる撮影領域を有する画像情報を，注目画像情報Ｐα（画像情報Ｐ３）より後の画像情報から探索し，画像情報Ｐ４（Ｐ３へのオーバーラップ率８０％），画像情報Ｐ５（Ｐ３へのオーバーラップ率４０％，），画像情報Ｐ６（Ｐ３へのオーバーラップ２０％）を特定する（Ｓ３２０）。そして，特定した画像情報Ｐ４，Ｐ５，Ｐ６の画質スコアが２０，３０，４０であったとすると，その中から画質スコアに関する条件を充足する画像情報，たとえば画質スコアがもっともよい画像情報Ｐ６を出力対象リストに追加する画像情報として特定する（Ｓ３３０）。

　そして出力対象リストに追加した画像情報Ｐ６のあとに画像情報がある場合（Ｓ３４０），画像情報Ｐβ（画像情報Ｐ６）を注目画像情報Ｐαに，撮影領域Ａβを注目画像情報Ｐαの撮影領域Ａα（画像情報Ｐ６の撮影領域Ａ６）として設定する（Ｓ３５０）。そして，Ｓ３２０以降の処理を反復する。

　画像情報選択処理部２３は，以上の処理を，後続する画像情報がなくなるまで繰り返す。

　なお画像情報選択処理部２３が選択した画像情報のリストである出力対象リストの情報は，記憶装置７１に記憶される。

　画像情報選択処理部２３は，Ｓ３４０で後続する画像情報がなくなったことを判定すると，撮影領域の周辺にある画像情報であって，出力対象リストに加えていない画像情報を出力対象リストに追加をする処理を実行する（Ｓ３６０）。この処理としては，担当者が手作業で行ってもよい。

　以上のように画像情報選択処理部２３による画像情報選択処理の終了後，出力処理部２４は，出力対象リストにある画像情報を記憶装置７１から抽出して出力する（Ｓ１５０）。たとえばＳｆＭの処理を実行するソフトウェアに画像情報を渡す。

　そしてＳｆＭの処理を実行するソフトウェアは，本発明の画像処理システム１から受け取った画像情報に基づいてＳｆＭの処理を実行することで，従来よりも処理時間を短縮して，かつ精度の良い３次元モデルの再構成を行うことができる。

　本発明の画像処理システム１を用いることで，対象物の全体を一度に処理するのではなく，部分（たとえば橋梁のうち橋脚部分）に分けて処理を実行することが可能となる。

　対象物（橋梁の橋脚部分）を撮影したすべての画像情報が１４１枚の場合について，本発明の画像処理システムによってオーバーラップ率を７０％以上として選択した画像情報が７０枚となったとき，図９に示す実験結果となった。なお，図９の実験では，ＣＰＵとしてＩｎｔｅｌ　Ｃｏｒｅ　ｉ７－６８５０Ｋ　３．６ＧＨｚ，メモリとして６４ＧＢ，ＧｒａｐｈｉｃｓとしてＮＶＩＤＩＡ　ＧＴＸ１０６０を３枚，ＯＳとしてＷｉｎｄｏｗｓ１０　６４ｂｉｔ，三次元化プログラムとしてＡｇｉ社ＰｈｏｔｏＳｃａｎＶｅｒ．１．４．１を用いた。

　図９の実験結果によれば，１４１枚のすべての画像情報についてＳｆＭの処理を実行した場合の処理時間が４時間２４分１秒であるのに対し，本発明の画像処理システム１による処理を用いた場合には，本発明の処理（事前選別処理時間）の処理時間が８分４５秒，ＳｆＭの処理を実行した場合の処理時間が３時間９分５０秒であった。そのため，合計の処理時間でも３時間１８分３５秒となり，１時間５分２６秒（全体の３０％程度）の処理時間を短縮できている。図９ではすべての画像が１４１枚であったが，実際の作業では，たとえば一つの橋梁は５０００枚程度の画像情報が３次元モデルの再構成に用いられる。そのため処理時間として３日程度要している。本発明の画像処理システム１を用いて３０％程度の処理時間が短縮できれば，２．１日程度の処理時間で足り，大幅な処理時間の短縮となる。

　また図９の実験結果で出力した際の，橋梁の橋脚部分の３次元モデルが図１０である。図１０（ａ）が１４１枚のすべての画像情報を用いてＳｆＭの処理を実行した場合であり，図１０（ｂ）が本発明の処理によって出力した７０枚の画像情報を用いてＳｆＭの処理を実行した場合である。本発明の処理によって画像情報を選択したとしても，３次元モデルを再構成できる。

　本発明の画像処理システム１は，ＳｆＭの処理のほか，複数の画像情報に基づいて一つの画像情報やモデルを再構成する場合，たとえば構造物の写真をパノラマ合成する場合などにも適用できる。

　また，機械学習用の正解データの作成処理にも用いることができる。すなわち，画像情報に写っている物体を認識するための機械学習をさせるには，画像情報のどこに何が写っているのかの正解データを用意しなければならない。この正解データの作成の際に，物体を撮影した画像情報から同じような画像情報（オーバーラップ率が大きく変化のない画像情報）を取り除いて正解データを作成する作業を効率化する処理にも適用することができる。

　本発明の画像処理システム１を発明することで，３次元モデルの再構成に要する処理時間の短縮を図ることができる。また，画質を加味した画像情報を選択することで，３次元モデルの再構成についても精度の向上を図ることができる。

　１：画像処理システム
　２：制御コンピュータ
２０：画像情報入力受付処理部
２１：撮影位置推定処理部
２２：撮影領域算出処理部
２３：画像情報選択処理部
２４：出力処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２１０：特徴点抽出処理部
２１１：特徴点対応検索処理部
２１２：相対位置算出処理部
２３０：オーバーラップ処理部
２３１：画質判定処理部

Claims

　対象物をモデル化するために用いる複数の画像情報に対する画像処理システムであって，
　前記画像処理システムは，
　前記複数の画像情報の入力を受け付ける画像情報入力受付処理部と，
　前記入力を受け付けた画像情報のうち，基準とする画像情報の撮影領域との重複度合いに関する条件を充足する画像情報を特定するオーバーラップ処理部と，
　前記画像情報の画質の判定を行う画質判定処理部と，を有しており，
　前記オーバーラップ処理部において特定した画像情報のうち，前記画質判定処理部で判定した結果を用いて，画質に関する条件を充足する画像情報を特定し，その画像情報を出力対象として選択する，
　ことを特徴とする画像処理システム。
　前記画像処理システムは，
　前記入力を受け付けた画像情報に撮影位置等情報が対応づけられていない場合には，撮影位置等情報を推定する撮影位置推定処理部，
　を有することを特徴とする請求項１に記載の画像処理システム。
　前記撮影位置推定処理部は，
　比較対象とする画像情報のそれぞれの特徴点を対応づけることでその移動量を算出し，前記算出した移動量を用いて相対位置を算出することで画像情報の撮影位置等情報を推定する，
　ことを特徴とする請求項２に記載の画像処理システム。
　前記画像処理システムは，
　画像情報における撮影位置等情報を用いて，その画像情報における撮影領域を算出する撮影領域算出処理部，
　を有することを特徴とする請求項２または請求項３に記載の画像処理システム。
　画像処理システムであって，
　対象物を撮影した複数の画像情報の入力を受け付ける画像情報入力受付処理部と，
　前記複数の画像情報から画像情報を選択する画像情報選択処理部と，を有しており，
　前記画像情報選択処理部は，
　画像情報の撮影領域の重複度合いに関する条件を充足する画像情報のうち，画質に関する条件を充足する画像情報を選択する，
　ことを特徴とする画像処理システム。
　前記画像処理システムは，
　前記画像情報選択処理部で選択した画像情報を，画像情報に基づいて対象物のモデル化の処理を実行するソフトウェアに出力する出力処理部，
　を有することを特徴とする請求項１から請求項５のいずれかに記載の画像処理システム。
　コンピュータを，
　対象物をモデル化するために用いる複数の画像情報の入力を受け付ける画像情報入力受付処理部，
　前記入力を受け付けた画像情報のうち，基準とする画像情報の撮影領域との重複度合いに関する条件を充足する画像情報を特定するオーバーラップ処理部，
　前記画像情報の画質の判定を行う画質判定処理部，
　として機能させる画像処理プログラムであって，
　前記オーバーラップ処理部において特定した画像情報のうち，前記画質判定処理部で判定した結果を用いて，画質に関する条件を充足する画像情報を特定し，その画像情報を出力対象として選択する，
　ことを特徴とする画像処理プログラム。
　コンピュータを，
　対象物を撮影した複数の画像情報の入力を受け付ける画像情報入力受付処理部，
　前記複数の画像情報から画像情報を選択する画像情報選択処理部，
　として機能させる画像処理プログラムであって，
　前記画像情報選択処理部は，
　画像情報の撮影領域の重複度合いに関する条件を充足する画像情報のうち，画質に関する条件を充足する画像情報を選択する，
　ことを特徴とする画像処理プログラム。