JP7412983B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、撮影により取得された複数の画像情報を処理する技術に関する。

インフラ構造物においては、継続的な維持管理が不可欠である。インフラ構造物の継続的な維持管理においては、ひび割れ等の変状箇所の特定や記録、観察が重要である。

インフラ構造物の点検手法として、インフラ構造物を撮影し、その撮影画像からひび割れ等の変状を特定して、その特定した変状を評価するような手法が採られることが多い。ただし、撮影画像において、インフラ構造物の点検対象となる面における面積当たりの解像度が低い場合には、例えばひび割れの模様などがつぶれてしまって変状の認識が困難になる。したがって、点検対象の面上において面積当たりの解像度が所定の解像度以上となる画像を撮影することが求められる。なお例えば、インフラ構造物が大規模な場合や形状が複雑な場合、インフラ構造物を所定の解像度以上で一度に撮影することが困難である。このような場合、インフラ構造物を分割撮影し、それら分割撮影で得られた画像を用いて変状の特定や評価が行われる。

また例えば、特許文献１には、対象物までの距離を基に画像内の解像度を推定し、その推定した解像度の平均値と予め定めた解像度閾値とを比較して、画像取得の可否を判断する技術が開示されている。具体的には、推定した解像度の平均値が解像度閾値を上回るときは画像取得を肯定して保存し、一方、解像度閾値を下回るときは画像取得を否定することが開示されている。

特開２０１８－９０９８１号公報

前述した特許文献１の手法では、推定した画像の解像度を基に画像取得の可否を判断している。しかしながら、解像度のみに基づいて画像取得の可否を判断した場合、インフラ構造物等の対象物の変状評価に利用可能な画像が不足してしまう可能性があり、対象物の変状等を認識できなくなる虞がある。

そこで、本発明は、インフラ構造物のような対象物の変状評価に利用可能な画像を取得し、対象物の変状等を認識可能にすることを目的とする。

本発明の画像処理装置は、構造物を複数の視点から撮影した複数の画像のそれぞれから特徴点を抽出する抽出手段と、前記複数の画像のそれぞれから抽出された前記特徴点の位置の分布の尖度と前記特徴点の数とを評価する特徴評価手段と、前記複数の画像に含まれる画像について、所定の指標に基づく画質が、前記構造物の点検作業のための許容条件を満たすかを評価する画質評価手段と、前記画質評価手段により前記許容条件を満たすと評価された画質の画像の少なくとも一部を、前記抽出手段により抽出された前記特徴点に基づく位置関係で合成する画像合成手段と、を有し、前記画質評価手段は、前記複数の画像のうち、前記特徴評価手段による前記特徴点の評価結果を示す値が所定の閾値以上であった画像に対して、前記所定の指標に基づく画質が、前記構造物の点検作業のための許容条件を満たすかを評価することを特徴とする。

本発明によれば、インフラ構造物のような対象物の変状評価に利用可能な画像を取得でき、対象物の変状等を認識可能となる。

実施形態の情報処理装置の概略構成例を示す図である。 第１の実施形態に係る情報処理装置の機能構成を示す図である。 閾値保持部で保持しているテーブルを表す図である。 画像合成部の動作結果を表す図である。 第１の実施形態の情報処理装置の処理フローチャートである。 点検利用可能画像評価処理のフローチャートである。 第１の実施形態に係る画質評価処理のフローチャートである。 第１の実施形態に係る後処理のフローチャートである。 対象物の面とカメラに入射する光との角度の説明図である。 第２の実施形態に係る画質評価処理のフローチャートである。 第３の実施形態に係る情報処理装置の機能構成を示す図である。 第３の実施形態の表示部における表示内容を表した図である。 第３の実施形態に係る後処理のフローチャートである。 第４の実施形態に係る情報処理装置の機能構成を示す図である。 推定誤差保持部で保持しているテーブルを表す図である。 第４の実施形態の表示部における表示内容を表した図である。 第４の実施形態に係る後処理のフローチャートである。 第１の実施形態の変形例におけるデフォーカス量を説明する図である。 第１の実施形態の変形例における閾値保持部で保持しているテーブルを表す図である。 第１の実施形態の変形例における画像合成部の動作結果を表す図である。 第１の実施形態の変形例に係る画質評価処理のフローチャートである。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
図１は、本実施形態に係る情報処理装置１００のハードウェア構成例を示すブロック図ある。情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、補助記憶装置１０４、入出力インタフェース１０５、通信インタフェース１０６、表示装置１０７、バス１０８、入力コントローラ１０９、入力装置１１０を有している。

ＣＰＵ１０１は、情報処理装置１００が備える各機能を実行、制御する。ＲＡＭ１０２は、外部装置などから供給されるプログラムやデータを一時記憶する。ＲＯＭ１０３は、変更を必要としないプログラムや各種パラメータを格納する。表示装置１０７は、ＣＰＵ１０１によって描画されたグラフィックスを表示する。補助記憶装置１０４は、各種情報を記憶する。入出力インタフェース１０５は、外部の機器とデータの送受信を行う。通信インタフェース１０６は、ネットワークに接続するための装置であり、ネットワークを介して外部の機器とデータの送受信を行う。バス１０８は、システムバスであり、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、補助記憶装置１０４、入出力インタフェース１０５、通信インタフェース１０６、表示装置１０７、入力コントローラ１０９を接続する。入力コントローラ１０９は、後述する入力装置１１０からの入力信号を制御する。入力装置１１０は、ユーザーからの操作指示を受け付けるための外部入力装置であり、例えば、キーボード、マウスなどである。なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０３等に格納されているプログラムを読み出し、このプログラムを実行することにより実現する。

以下の実施形態では、インフラ構造物を点検対象物として撮影し、その撮影画像からひび割れ等の変状を特定して評価を行う場合を例に挙げて説明する。また本実施形態において、インフラ構造物が大規模な場合や形状が複雑である場合には、インフラ構造物を分割撮影して得られた画像同士を合成（スティッチ合成）した画像を用いて変状の特定や評価が行われる。ここで、撮影画像を用いて変状等を評価する場合、前述したように点検対象面における面積当たりの解像度が所定の解像度以上となる画像を取得する必要がある。また、分割撮影して得られた画像同士を合成する場合には、例えば画像の中の特徴点を基に各画像同士の位置を合わせて合成するようなことが行われる。ただし、前述した特許文献１に記載の手法のように、画像の解像度のみを用いて画像取得の可否を判断すると、画像内の特徴点が十分で無い状態の画像が保存されてしまう可能性がある。その場合、特徴点に基づく位置合わせが行えず、画像合成に失敗する可能性がある。

＜第１の実施形態＞
そこで、第１の実施形態では、分割撮影された入力画像から特徴点を抽出して評価すると共に、その入力画像に写った対象物上の画質を評価し、それらの評価結果を基に、対象物の点検に利用可能な画像を評価する。そして、第１の実施形態では、インフラ構造物の三次元形状を推定し、その推定した三次元形状に対して、画像の評価結果を基に入力画像を投影するようにして貼り付けて合成画像を生成する。
図２は、第１の実施形態に係る情報処理装置１００の機能構成を示した機能ブロック図である。以下、図２を用いて、第１の実施形態に係る情報処理装置１００の機能構成について説明する。

画像入力部２０１は、対象物をカメラ等によって撮影した画像を取得する。ここで、対象物とは、撮影した画像を利用して点検する対象であり、例えばインフラ点検が行われるのであれば、橋、ダム、トンネルのコンクリート面などのインフラ構造物等である。ただしこれらに限らず、多様な構造物のコンクリート壁面を対象とすることができる。また、画像入力部２０１にて取得される画像は、画像毎に、カメラの内部パラメータ、すなわち画像の解像度、カメラの焦点距離、撮像素子のサイズ、画像中心の位置、レンズの歪み情報などを含んでいるとする。

特徴抽出部２０２は、画像入力部２０１にて取得された入力画像から特徴点を抽出し、画像間の特徴点のマッチングを行い、特徴点の情報および特徴点のマッチング情報を位置姿勢推定部２０３、特徴評価部２０５へ出力する。特徴抽出部２０２の詳細については後述する。
特徴評価部２０５は、特徴抽出部２０２で抽出した特徴点を画像毎に評価する。特徴評価部２０５の詳細については後述する。

位置姿勢推定部２０３は、特徴抽出部２０２で抽出した特徴点の情報と特徴点のマッチング情報とを基に、画像を撮影したカメラの位置姿勢を推定する。画像の特徴点とマッチング情報とを用いたカメラの位置姿勢推定技術については一般的であるため説明を省略する。
形状推定部２０４は、位置姿勢推定部２０３で推定されたカメラの位置姿勢と画像入力部２０１で取得された画像とに基づいて、点検対象の三次元形状を推定する。形状推定部２０４の詳細については後述する。

画質評価部２０６は、画像入力部２０１にて取得された入力画像と、形状推定部２０４で計算した点検対象の三次元形状と、位置姿勢推定部２０３で推定したカメラの位置姿勢とに基づいて、対象物上の画質を評価する。画質評価部２０６の詳細については後述する。
閾値保持部２０７は、特徴評価部２０５で評価した結果と、画質評価部２０６で評価した結果とに対する閾値を保持する。ここで閾値は、インフラ構造物の点検に利用する画像として許容可能な画質であることを、判定するための許容条件を定義するものである。第１の実施形態では、解像度を指標として許容条件が定義される。閾値保持部２０７の詳細については後述する。

画像評価部２０８は、特徴評価部２０５で評価した結果と、画質評価部２０６で評価した結果と、閾値保持部２０７で保持している閾値とに基づいて、画像入力部２０１で取得された画像における点検利用可能な領域を特定する。そして画像評価部２０８は、画像合成部２０９に点検利用可能な領域の情報を出力する。画像評価部２０８の詳細については、後述する。

画像合成部２０９は、画像入力部２０１からの入力画像と、位置姿勢推定部２０３からのカメラ位置姿勢と、形状推定部２０４からの三次元形状と、画像評価部２０８からの点検利用可能な領域の情報とに基づいて複数の画像を合成する。画像合成部２０９の詳細については後述する。

以下、特徴抽出部２０２、形状推定部２０４、特徴評価部２０５、画質評価部２０６、閾値保持部２０７、画像評価部２０８、画像合成部２０９の詳細について説明する。
特徴抽出部２０２は、画像入力部２０１にて取得された入力画像から、例えばＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴点を抽出する。ＳＩＦＴ特徴点に関しては公知の一般的な特徴点であるための説明を省略する。なお、本実施形態で用いる特徴点は、対象物を異なる撮影方向や撮影角度で撮影した画像間の局所領域のマッチングを行うための特徴点である。また本実施形態においてＳＩＦＴ特徴点を用いた理由は、対象物の回転、拡大縮小に対して頑健なためである。本実施形態において、特徴抽出部２０２が抽出する特徴点は、画像間の局所領域のマッチングができれば、ＳＩＦＴ特徴点以外の他の特徴点であっても良い。

形状推定部２０４は、まず、カメラ位置姿勢と、カメラ位置姿勢に対応付けられた画像とから、マルチベースラインステレオ法を用いて三次元の点群を推定する。形状推定部２０４で行うマルチベースライン法では、画像の画素を中心とするウィンドウベースのマッチングを行い、三角測量の原理で三次元点群を推定することができる。

ここで、ウィンドウベースのマッチングは、輝度差の二乗和（ＳＳＤ：Ｓａｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を用いる。さらに、形状推定部２０４は、三次元の点群をメッシュ化する。三次元の点群からメッシュ化する方法は一般的なドロネー三角形分割を用いる。そして、形状推定部２０４は、メッシュ化した、三次元形状を画質評価部２０６と画像合成部２０９へ出力する。

特徴評価部２０５は、例えば、画像中の特徴点の二次元座標の位置の尖度と特徴点の数を用いて、特徴点を評価する。具体的には、特徴評価部２０５は、式（１）により、画像毎の評価値Ｖを算出する。

ここで式中のα、βは、式（１）の第一項と第二項の重みを示す任意の係数である。本実施形態ではα、β両方とも１とする。また式中のＫｕは、画像中の特徴点の二次元座標の位置の分布の尖度である。さらに式中の係数ｊは画像の次元であり、Ｎは特徴点の数である。式（１）では、分布の尖度のＫｕが小さいほど評価が高く、特徴点数のＮが多いほど評価が高くなる。つまり、式（１）によれば、画像中に一様に特徴点が分布し、なおかつ特徴点の数が多い画像に対する評価値が高くなる。また、Ｎは他の画像の特徴点とのマッチングが可能であった特徴点の数であっても良い。同様に、画像中の特徴点の二次元座標の位置の分布の尖度の計算に用いる特徴点においても他の画像の特徴点とマッチングが可能であった特徴点のみを使って計算しても良い。

画質評価部２０６は、画像入力部２０１にて取得された入力画像に写っている撮影対象物の対象物上における解像度を推定する。本実施形態の場合、画質評価部２０６は、対象物上で１ｍｍが画像の何画素に相当するのかを推定する。例えば、対象物上で３０００ｍｍ×３０００ｍｍの領域を、３０００×３０００画素のカメラで撮影した場合であれば、１ｍｍあたり１ｐｉｘｅｌの解像度で撮影したということになる。なお対象物上での１ｍｍに対応する画素数は、形状推定部２０４で推定した三次元形状と位置姿勢推定部２０３で推定したカメラ位置姿勢と、画像入力部２０１に入力された画像のサイズおよびカメラの内部パラメータの情報とがあれば幾何的に計算可能である。

閾値保持部２０７は、テーブル形式で閾値を保持する。図３は、閾値保持部２０７で保持するテーブル３０１の一例を示した図である。テーブル３０１は、特徴点の評価値の閾値３０２および、画質の評価値の閾値３０３を保持する。ここで、テーブル３０１における画質の評価値の閾値３０３は対象物上での解像度であり、１ｍｍあたり１ｐｉｘｅｌという意味である。

画像評価部２０８は、特徴評価部２０５で評価した結果の評価値と閾値保持部２０７で保持している特徴点の評価値の閾値３０２とを比較する。そして画像評価部２０８は、特徴点の評価値が閾値以上であれば、さらに画質評価部２０６で付与された画像の領域毎の解像度と、閾値保持部２０７で保持している画質の評価値の閾値３０３を比較して、閾値以上の画素を特定する。

本実施形態において、画像の領域毎の解像度とは、画像中の画素毎に付与された解像度とする。そして、画像評価部２０８は、閾値以上であると特定した画素の位置情報を、変状の点検に利用可能な領域の情報として、画像合成部２０９へ出力する。点検に利用可能な領域の情報とは、具体的には画像入力部２０１に入力された画像と同じ画素数であって、各画素について点検利用可能であれば「１」、利用可能でなければ「０」が付与された二次元配列である。

また画像評価部２０８は、画質の評価値の閾値によって、画像の点検利用可能な領域を点検利用可能であれば「１」、利用可能でなければ「０」の２値に分けるのではなく、１から０の間の値を保持し、多値で保持することもできる。このようにすることによって、画像合成部２０９で画像合成した時に画像の点検利用可能な領域が無い部分の穴埋めに他の画像の最も点検利用可能な領域の値が「１」に近い画像を埋めることができる。

図４は画像合成部２０９で行う画像合成処理を示した図である。三次元形状４０１は、形状推定部２０４で推定した三次元形状である。図中の位置４０３，４０７は、それぞれ異なる位置におけるカメラの主点の位置を示している。また撮像面４０２，４０６は、それら異なる位置のカメラの撮像面を表している。撮像面４０２，４０６は、本来ならば、主点の後ろにあるが、図の分かりやすさを考慮して主点の前に配置して説明する。また図４において、撮像面４０２，４０６には、それぞれの面上に結像された変状像としてひび割れ像４０９，４１０も表されており、それらひび割れ像４０９，４１０が撮像されて記録されていることを示している。

また、領域４０４，４０８は、画像評価部２０８から入力した二次元配列の内、点検利用可能な領域である。そして投影画像４０５，４１１は、三次元形状４０１に対して、撮像面４０２、４０６に示される画像の内、点検利用可能な領域４０４、４０８を投影した画像を表している。また領域４１２は、投影画像４０５と投影画像４１１とが重なり合った領域を示している。

画像合成部２０９は、三次元形状４０１に対して点検利用可能な領域が存在する全ての画像における投影画像４０５、４１１を作成して三次元形状４０１に投影する。また、画像合成部２０９は、領域４１２のような画像同士が重なり合う領域についてはブレンディング処理を行う。ブレンディング処理としては、例えばマルチバンド合成（Ｍｕｌｔｉ－ｂａｎｄ ｂｌｅｎｄｉｎｇ）処理を用いることができる。

ここで、本実施形態の情報処理装置１００における撮像面４０２，４０６の画像は、特徴評価部２０５により特徴点が評価されている。よって、画像の位置ズレの少ない投影画像４０５，４１１が得られる。画像の位置ズレの少ない投影画像を得ることにより、変状評価としてのひび割れの評価の正確性が低下することも防ぐという効果が得られる。なぜなら、ひび割れの点検において、画像間の位置ズレが発生した場合、１本のひび割れが途中で途切れ、２本のひび割れに見える可能性があるからであり、本実施形態では位置ズレを少なくすることができるからである。

また本実施形態の情報処理装置１００は、カメラの主点の位置４０３のように対象物を斜めから撮影した場合でも、点検利用可能な領域４０４が存在するため、投影画像４０５を得ることが可能である。これは、カメラが障害物などで対象物に対して物理的に斜めからしか撮影できない場合に効果がある。

以下、図５、図６、図７、図８のフローチャートを参照しつつ、第１の実施形態の情報処理装置１００における処理の流れについて説明する。
まず図５のフローチャートを用いて情報処理装置１００の全体の処理の流れを説明する。なお図５のフローチャートの説明では、処理のステップＳ５０１～ステップＳ５０７をそれぞれＳ５０１～Ｓ５０７のように略記する。このことは後述する他のフローチャートにおいても同様とする。

まずＳ５０１において、画像入力部２０１は、カメラにより撮影された画像を取得する。なお画像入力部２０１は、カメラにて撮影された画像が保存された記憶媒体から画像を取得しても良いし、カメラにて撮影されてネットワークを介した画像を取得しても良い。Ｓ５０１の後、情報処理装置１００の処理はＳ５０２へ進む。

Ｓ５０２において、特徴抽出部２０２は、画像入力部２０１により取得された全ての画像に対して特徴点の抽出処理を行う。さらに特徴抽出部２０２は、Ｓ５０３の処理として、特徴点同士のマッチングを行う。そして、特徴抽出部２０２は、特徴点の情報と特徴点のマッチング情報とを、位置姿勢推定部２０３と特徴評価部２０５とに出力する。Ｓ５０２の後、情報処理装置１００の処理はＳ５０４へ進む。

Ｓ５０４において、位置姿勢推定部２０３は、特徴抽出部２０２から入力した特徴点の情報と特徴点のマッチング情報とに基づいて、カメラの位置姿勢を推定する。さらに、位置姿勢推定部２０３は、カメラの位置姿勢の情報を、形状推定部２０４と、対象物上の画質評価部２０６と、画像合成部２０９とへ出力する。Ｓ５０４の後、情報処理装置１００の処理はＳ５０５へ進む。

Ｓ５０５において、形状推定部２０４は、位置姿勢推定部２０３から入力されたカメラ位置姿勢の情報と、画像入力部２０１から入力された画像とに基づいて、対象物の三次元形状を推定する。Ｓ５０５の後、情報処理装置１００の処理はＳ５０６へ進む。
Ｓ５０６に進むと、情報処理装置１００では、点検利用可能画像の評価処理が行われる。Ｓ５０６の処理の詳細については、図６、図７のフローチャートを用いて後述する。Ｓ５０６の後、情報処理装置１００の処理はＳ５０７へ進む。

Ｓ５０７へおいて、情報処理装置１００では、後処理として画像合成が行われる。Ｓ５０７の処理の詳細については、図８のフローチャートを用いて後述する。そして、このＳ５０７の処理後、情報処理装置１００の処理は終了する。

図６は、図５のＳ５０６における点検利用可能画像評価処理の詳細なフローチャートである。
まず図６のＳ６０１において、画像評価部２０８は、画像入力部２０１から入力された全ての画像で評価が完了したか否かを判定する。画像評価部２０８は、入力された全ての画像で評価が完了したと判定した場合には点検利用可能画像評価処理を終了して、Ｓ５０７へ処理を進める。一方、画像評価部２０８において評価が完了していないと判定された場合、情報処理装置１００の処理はＳ６０２へ進む。

Ｓ６０２において、特徴評価部２０５は、特徴抽出部２０２から特徴点の情報を取得して特徴点の評価値を算出する。特徴点の評価値の算出には、前述の式（１）に示した評価式が用いられる。Ｓ６０２の後、情報処理装置１００の処理はＳ６０３へ進む。

Ｓ６０３において、画像評価部２０８は、特徴評価部２０５で算出した特徴点の評価値と閾値保持部２０７で保持している特徴点の評価値の閾値３０２とを比較し、特徴点の評価値が閾値以上であるか否か判定する。そして、画像評価部２０８で特徴点の評価値が閾値以上であると判定した場合、情報処理装置１００の処理はＳ６０４へ進む。一方、画像評価部２０８で特徴点の評価値が閾値よりも小さい値であると判定した場合、情報処理装置１００の処理はＳ６０１へ戻る。
Ｓ６０４に進むと、情報処理装置１００では、画質評価処理が行われる。その後、情報処理装置１００の処理はＳ６０１へ戻る。

図７は、図６のＳ６０４における画質評価処理の詳細なフローチャートである。
まずＳ７０１において、画質評価部２０６は、画像入力部２０１から入力された画像に対して対象物上の解像度分布を推定する。Ｓ７０１の後、情報処理装置１００の処理はＳ７０２へ進む。

Ｓ７０２において、画像評価部２０８は、画質評価部２０６で付与された画像の画素毎の解像度と、閾値保持部２０７で保持している画質評価値の閾値３０３とを比較し、閾値以上の画素が存在するか否かを判定する。画像評価部２０８で閾値以上の画素が存在すると判定された場合、情報処理装置１００の処理はＳ７０３へ進む。一方、閾値以上の画素が存在しないと判定された場合、情報処理装置１００は画質評価処理を終了する。

Ｓ７０３に進むと、画像評価部２０８は、Ｓ７０２で閾値以上であると特定された画素の位置情報を、点検利用可能な領域の情報として、画像合成部２０９へ出力する。その後、情報処理装置１００は画質評価処理を終了する。

図８は、図５のＳ５０７における後処理の詳細なフローチャートである。
Ｓ８０１において、画像合成部２０９は、形状推定部２０４から三次元形状を読み込み、その後、Ｓ８０２の処理へ進む。
Ｓ８０２において、画像合成部２０９は、位置姿勢推定部２０３で推定したカメラ位置姿勢を読み込み、その後、Ｓ８０３の処理へ進む。

Ｓ８０３において、画像合成部２０９は、画像入力部２０１から入力された画像を取得する。また、画像合成部２０９は、画像入力部２０１から入力された画像に対応する点検利用可能な領域の情報を、画像評価部２０８から取得し、その後、Ｓ８０４の処理へ進む。

Ｓ８０４において、画像合成部２０９は、形状推定部２０４から入力された三次元形状に対して、画像入力部２０１から入力された画像に対応する点検利用可能な領域の画像をカメラ位置姿勢に基づいて投影する。その後、画像合成部２０９は、Ｓ８０５の処理へ進む。
Ｓ８０５において、画像合成部２０９は、形状推定部２０４から入力した三次元形状に対して投影した画像の重複部分のブレンディング処理をする。その後、情報処理装置１００の処理は終了する。

以上説明したように、第１の実施形態の情報処理装置１００は、画像の特徴点の評価および画像の解像度の評価を行い、それらの評価結果が良い画像を三次元形状に投影する。すなわち本実施形態では、正確な位置合わせに利用できる特徴点を用いた合成処理により画像合成の失敗を低減できると共に、変状の点検に利用可能な解像度を有する画像の合成が可能となる。このように、本実施形態によれば、インフラ構造物のような対象物の変状評価に利用可能な画像を取得でき、したがって対象物の変状等を認識可能となる。

＜第１の実施形態の変形例１＞
第１の実施形態の変形例１として、画質評価部２０６が評価する画質の指標がデフォーカス量である例、すなわち画質評価部２０６が対象物上への合焦の程度を評価する例を説明する。ここでデフォーカス量とは、画像の画素の位置における対象物に対するピントの前後のズレ量を数値化したものである。これは、撮影を行う際に、像面位相差撮像センサーを用いる事で、画素の位置におけるデフォーカス量の情報として取得する事が可能である。なお、デフォーカス量情報の取得方法に関しては、公知の技術を利用可能である。例えば、像面位相差撮像センサーから検出したピントの前後のズレ量を用いたオートフォーカス技術が既に広く実用化されている。

図１８は、画像入力部２０１から入力された画像について、デフォーカス量の情報を可視化したデフォーカスマップの一例である。変形例１においては、デフォーカス量の情報は撮像センサーの画素に結像する許容錯乱円の大きさを基に検出する。また、デフォーカス量の情報は、画像入力部２０１から入力された画像に付帯しているものとする。外枠１８０１は、入力画像の画像サイズ（画像境界）に対応する枠である。数値１８０２は、それぞれの領域におけるデフォーカス量の情報を示す。線１８０３は、デフォーカス量が異なる領域間の境界線を示す。

デフォーカスマップにおいて「０」が付けられた領域は、撮像装置の合焦単位において誤差の無い領域である。また、「－１」が付けられた領域は、撮像装置の合焦単位において１単位の前ピンの領域、同様に、「１」が付けられた領域は、同様に１単位の後ピンの領域を示す。ここで、合焦単位は、合焦の状態（程度）が判断できるようにレベル分けされたものであればよい。例えば、撮像センサーに結像する許容錯乱円の大きさが画素のサイズと同等以下の場合をデフォーカス量０とする。さらに、画素サイズに対する結像した許容錯乱円の大きさの倍率の値を基に、１を引いた値をデフォーカス量の値として定義する事ができる。

以下、第１の実施形態で既に説明した構成については同一の参照符号を付して詳細な説明は省略し、第１の実施形態との差異を中心に説明する。変形例に係る情報処理装置１００の機能構成は、図２に示した第１の実施形態のものに準じる。ただし、画質評価部２０６の動作、及び閾値保持部２０７が保持する閾値の内容が異なる。変形例の画質評価部２０６では、画像入力部２０１にて取得された入力画像から、付帯しているデフォーカス量の情報を取得する。なお、変形例１においては、デフォーカス量の情報は画像に付帯する情報とするが、画像が像面位相差撮像センサーの情報を保持しているＲＡＷデータ等である場合には、位相差情報からデフォーカス量の情報を算出する。

閾値保持部２０７は、テーブル形式で閾値を保持する。図１９は、変形例１における閾値保持部２０７で保持するテーブル１９０１の一例を示した図である。テーブル１９０１は、特徴点の評価値の閾値１９０２及び、画質の評価値の閾値１９０３を保持する。ここで、テーブル１９０１における画質の評価値の閾値１９０３は画像に対応するデフォーカス量の絶対値の閾値であり、変形例１においては、絶対値が５以下の領域であれば、点検利用可能な領域となる。即ち、図１８のデフォーカスマップを例にとれば、デフォーカス量の絶対値が６以上である右側の一部領域を除いた部分に対応する画像の領域が点検利用可能な領域となる。

図２０は画像合成部２０９で行う画像合成処理を示した図であり、第１の実施形態における図４と対応する。三次元形状４０１は、形状推定部２０４で推定した三次元形状である。図中の位置４０３，４０７は、それぞれ異なる位置におけるカメラの主点の位置を示している。また撮像面２００１，２００２は、それら異なる位置のカメラの撮像面を表している。なお図２０においても図４と同様、図の分かりやすさを考慮して撮像面を主点の前に配置している。また図２０において、撮像面２００１，２００２には、それぞれの面上に結像された変状像としてひび割れ像２００３，２００４も表されており、それらひび割れ像２００３，２００４が撮像されて記録されていることを示している。

また、領域２００５，２００６は、画像評価部２０８から入力した二次元配列の内、点検利用可能な領域である。そして投影画像２００７，２００８は、三次元形状４０１に対して、撮像面２００１、２００２に示される画像の内、点検利用可能な領域２００５、２００６を投影した画像を表している。

画像合成部２０９は、三次元形状４０１に対して点検利用可能な領域が存在する全ての画像における投影画像２００７、２００８を作成して三次元形状４０１に投影する。また、画像合成部２０９は、領域４１２のような画像同士が重なり合う領域については第１の実施形態と同様にブレンディング処理を行う。変形例１においても、情報処理装置１００における撮像面２００１，２００２の画像は、特徴評価部２０５により特徴点が評価されている。よって、画像の位置ズレの少ない投影画像２００７，２００８が得られる。また変形例１の情報処理装置１００は、カメラの主点の位置４０３のように対象物を斜めから撮影した場合でも、点検利用可能な領域２００５が存在するため、投影画像２００７を得ることが可能である。

第１の実施形態の変形例の情報処理装置１００における処理は、図５、図６、図２１、図８のフローチャートに沿って実行される。このうち、図５、図８のフローチャートの説明については、第１の実施形態と同様である為に説明を省略する。図６の画質評価処理では、図７に代わって図２１のフローチャートの処理が実行される。

図２１のフローチャートを参照して、変形例で図６のＳ６０４において実行される画質評価処理の詳細を説明する。まずＳ２１０１において、画質評価部２０６は、画像入力部２０１から入力された画像に対するデフォーカス量の分布情報を取得する。Ｓ２１０２において、画像評価部２０８は、画質評価部２０６で付与された画像の画素毎のデフォーカス量の絶対値の情報と、閾値保持部２０７で保持している画質評価値の閾値１９０３とを比較し、デフォーカス量の絶対値が閾値以下の画素が存在するか否かを判定する。画像評価部２０８でデフォーカス量の絶対値が閾値以下の画素が存在すると判定された場合、情報処理装置１００の処理はＳ２１０３へ進む。一方、デフォーカス量の絶対値が閾値以下の画素が存在しないと判定された場合、情報処理装置１００は画質評価処理を終了する。

Ｓ２１０３において、画像評価部２０８は、Ｓ２１０２でデフォーカス量の絶対値が閾値以下であることが特定された画素の位置情報を、点検利用可能な領域の情報として、画像合成部２０９へ出力する。その後、情報処理装置１００は画質評価処理を終了する。
以上説明したように、第１の実施形態の変形例における情報処理装置１００は、画像の特徴点の評価および画像のデフォーカス量の評価を行い、それらの評価結果が良い画像を三次元形状に投影する。すなわち変形例１では、正確な位置合わせに利用できる特徴点を用いた合成処理により画像合成の失敗を低減できると共に、変状の点検に利用可能なデフォーカス量を有する画像の合成が可能となる。

また、画像の合成の際の評価にデフォーカス量を用いる事で、確実にピントが閾値以内にある領域のみを使用する事が可能となり、第１の実施形態による幾何学的な解像度の推定では避けられなかった物理的な誤差要因による不良画像を無くす事が可能となる。また、合成された画像において、合焦はしているものの不明瞭な画像となった場合においては、撮影時におけるブレ等の問題として、再撮影の際の申し送り事項とする事が可能となる。あるいは、前記の不明瞭な画像において、ブレ幅量などが確認できる場合には、再撮影を行う代わりに、ブレを予め考慮した変状の点検を行う事が可能となる。このように、変形例１によれば、インフラ構造物のような対象物の変状評価にデフォーカス量を基にした利用可能な画像を取得でき、したがって対象物の変状等を認識可能となる。

＜第１の実施形態の変形例２＞
上述した第１の実施形態および変形例１では、画像合成部２０９が、入力画像の特徴量から推定された三次元形状に対して、入力画像のうち画質が許容条件を満たす部分を投影した段階で、情報処理装置１００の処理は終了となった。変形例２として、この後に、対象物の点検作業に利用される点検用画像を生成する処理が追加される場合を説明する。

対象物の点検とは、具体的には、構造物（インフラ構造物）を点検対象物として撮影した画像からひび割れ等の変状を特定して評価を行うことである。変状の特定作業は、人手により行う場合と、予め学習された学習済みモデル等によって画像中の変状を検出することにより行う場合がある。いずれの場合にも、構造物の点検対象の面に対して正対した視点から見た画像を利用することが好ましい。例えば変状がひび割れの場合には、構造物に正対した状態で見た場合と、あおり角が存在する状態で見た場合とで、ひび割れの幅の見え方等に変化が生じる。つまり、あおり撮影された画像では、同じ幅をもつひび割れであっても、画像中の手前側に存在する場合と、奥側に存在する場合とで異なる見え方をするため、異なる基準によって幅を判断する必要がある。大きな構造物の広い範囲において変状特定作業を行う際に、部分ごとにあおり角度を考慮して細やかに判断基準を変更するのは煩わしい。このように大きな構造物の全体に対して、できる限り統一された判断基準によって変状を特定するためには、構造物を部分ごとに正対した位置から撮影されたのと同等の点検用画像を用いることが好ましい。

第１の実施形態および変形例１では、画像合成部２０９が、入力画像の特徴量から推定された三次元形状に対して、入力画像のうち画質が許容条件を満たす部分を投影した三次元モデルを生成することができる。従って、ＣＰＵ１０１の機能である生成部により、視点の位置を任意に設定し、構造物に正対した位置から見た部分画像を得て、さらに後段の処理に適したサイズにクロップすることで、構造物の点検用画像を生成することができる。情報処理装置１００は、生成した点検用画像を表示装置１０７に表示する。人手により点検を行う場合には、点検者は、表示された点検用画像からひび割れ部分を特定し、入力装置１１０を用いてひび割れ情報を入力する。例えば、ポインティングデバイスによって点検用画像のひび割れをトレースする。

＜第２の実施形態＞
以下、第２の実施形態について説明する。
第２の実施形態においては第１の実施形態と異なり、画質評価部２０６は、対象物上の解像度に加えて、カメラに入射する光と対象物の面との角度も評価する。なお、第１の実施形態で既に説明した構成については同一の参照符号を付し、それらの説明は省略する。以下、第１の実施形態と異なる、画質評価部２０６について詳細に説明する。

画質評価部２０６では、まず、画像入力部２０１から入力された画像の画素毎に、形状推定部２０４で推定した三次元形状と位置姿勢推定部２０３で推定したカメラ位置姿勢とに基づいて、カメラに入射する光と対象物の面との角度を推定する。

カメラに入射する光と対象物の面との角度について図９を用いて説明する。
カメラに入射する光と対象物の面との角度とは、図９に示す角度９０４のことである。角度９０４は、撮像面４０６の画像中の位置９０５に対応する角度である。また、角度９０４は、線９０３と線９０８とがなす角度でもある。線９０３は、カメラの主点４０７から画像中の位置９０５を通る線である。また、線９０８は、交点９０７と交点９０２とを結ぶ線である。交点９０７は、線９０３と対象物の面の三次元形状４０１との交点である。また、交点９０２は線９０１と対象物の面の三次元形状４０１との交点であり、線９０１はカメラの主点４０７から画像中心を通る線である。

ここで、角度９０４で示された角度が小さくなると、撮像面４０６の画像中に写るひび割れが細く見えることになる。そのため、実際に情報処理装置１００を用いて画像合成した画像を用いて点検する際に、ひび割れの幅を実際よりも細く見誤る可能性がある。
そこで、本実施形態では、カメラに入射する光と対象物の面との角度を所定の値以上にすることで、ひび割れの幅を実際よりも細く見誤る可能性を減少させるようにする。なお、本実施形態において、所定の値は例えば６０度以上とする。

本実施形態の情報処理装置１００は、カメラに入射する光と対象物の面との角度の閾値を、閾値保持部２０７においてテーブル形式で保持し、例えば図３に示した画質評価値の閾値３０３の下の行に追加する。

そして、画質評価部２０６は、まず、画像入力部２０１から入力された画像の各画素に対して、対象物上での解像度に加えて、カメラに入射する光の対象面に対する角度が閾値以上であるかも評価する。図９の例の場合、カメラに入射する光の対象面に対する角度が閾値以上の領域は、領域９０６の内側の領域である。

図１０は、第２の実施形態に係る情報処理装置１００の画質評価処理の流れを示したフローチャートである。なお、図１０のフローチャートのＳ７０２、Ｓ７０３の処理は、図７のＳ７０２、Ｓ７０３の処理と同一であるためそれらの説明は省略する。また、第２の実施形態において、第１の実施形態のＳ６０４で説明した画質評価処理以外は第１の実施形態の処理の流れと同じである。

以下、図１０のフローチャートを参照して、第２の実施形態のＳ６０４で行われる画質評価処理について説明する。
まずＳ１００１において、画質評価部２０６は、画像入力部２０１から入力された画像に対して、画素毎にカメラに入射する光と対象物の面との角度を計算する。その後、画質評価部２０６の処理はＳ１００２へ進む。

Ｓ１００２において、画質評価部２０６は、閾値保持部２０７からカメラに入射する光と対象物の面との角度の閾値を読み込む。そして、画質評価部２０６は、カメラに入射する光と対象物の面との角度が閾値以上となる領域を特定する。さらに、画質評価部２０６は、カメラに入射する光と対象物の面との角度が閾値以上となる領域に属する画素に対して対象物上の解像度分布を推定する。その後、情報処理装置１００の処理はＳ７０２へ進む。Ｓ７０２、Ｓ７０３の処理は、図７で説明した第１の実施形態の処理と同様であるため説明を省略する。

以上説明したように、第２の実施形態の情報処理装置１００は、カメラに入射する光と対象物の面との角度を評価することにより、ひび割れの幅を実際よりも細く見誤る可能性を減少させることができる。

＜第３の実施形態＞
以下、第３の実施形態について説明する。なお、第１の実施形態で既に説明した構成については同一の参照符号を付し、それらの説明は省略する。
図１１は、第３の実施形態に係る情報処理装置１００の機能構成を示した機能ブロック図である。図１１の構成は、図２に示した第１の実施形態の構成に表示部１１０１が追加された構成である。よってここでは、主に、表示部１１０１について説明する。

第３の実施形態の場合、情報処理装置１００は例えばカメラに接続されており、画像入力部２０１はカメラによって対象物の撮影がなされている時の撮影画像を逐次取得する。そして、表示部１１０１は、画像合成部２０９で作成された合成画像を表示装置１０７に表示させる。つまり表示部１１０１は、画像合成部２０９で作成された合成画像を、表示装置１０７に表示させることにより、撮影対象物の撮影中のユーザーに対して提示する。なお第３の実施形態の情報処理装置１００はカメラに内蔵されていてもよい。

図１２は、第３の実施形態の表示部１１０１に表示する表示内容を表した図である。表示部１１０１は、表示装置１０７のディスプレイ画面１２０１上に、形状推定部２０４で推定された三次元形状４０１と、画像合成部２０９で生成された投影画像４０５，４１１とを表示させる。すなわち表示部１１０１は、画像入力部２０１に逐次入力される画像に対応して、表示を逐次更新しながら表示を続ける。

ここで、第３の実施形態の場合、画像評価部２０８は、画像入力部２０１で逐次新しく取得される画像を評価するが、評価済みの画像については再度の評価を行わない。よって、第３の実施形態の場合、画像評価部２０８は、第１の実施形態で説明した図６のＳ６０１の点検利用可能画像評価処理で未評価の画像が無ければ処理を終了する。一方、評価が完了していない画像が存在する場合、画像評価部２０８はＳ６０２へ処理を進める。

また、形状推定部２０４では、画像入力部２０１から最低２枚以上画像を取得しないと三次元形状を推定することができない。このため、表示部１１０１では、画像入力部２０１から所定枚数の画像が入力されて形状推定部２０４で形状推定が行われてから、その推定された三次元形状４０１の表示を開始する。本実施形態では、画像入力部２０１から１０枚の画像が入力した後に表示部１１０１による表示が開始されるものとする。

第３の実施形態の情報処理装置１００における処理の流れは、第１の実施形態のＳ５０７の後処理以外は第１の実施形態の処理の流れと同じである。よって、図１３のフローチャートを用いて、本実施形態におけるＳ５０７の後処理について説明する。なお、図１３中のＳ８０１、Ｓ８０２、Ｓ８０３、Ｓ８０４の処理は図８の同一の参照符号の処理と同様であるためそれらの説明は省略する。

図１３において、Ｓ８０４の後、情報処理装置１００の処理はＳ１３０１へ進む。
Ｓ１３０１に進むと、表示部１１０１は、ディスプレイ画面１２０１に三次元形状４０１と投影画像４０５、４１１とを表示し、その後、Ｓ５０７の後処理を終了する。

以上説明したように、第３の実施形態に係る情報処理装置１００の表示部１１０１は、ディスプレイ画面１２０１に、三次元形状４０１と、逐次取得される入力画像に応じた投影画像４０５、４１１とを表示する。このようにすることで、ユーザーは、対象物の撮影中にディスプレイ画面１２０１上の表示を参照して、対象物の中で点検可能な画像が撮影できている部分と点検可能な画像が撮影できていない部分を認識することができるようになる。

＜第４の実施形態＞
以下、第４の実施形態について説明する。なお、第４の実施形態において、第１の実施形態で既に説明した構成については同一の参照符号を付し、それらの説明は省略する。
図１４は、第４の実施形態の情報処理装置１００の機能構成を示した機能ブロック図である。第４の実施形態の構成は、図２に示した第１の実施形態の機能構成に対し、画像合成部２０９の代わりに変状検知部１４０１、推定誤差保持部１４０２、表示部１４０３を追加した構成である。よってここでは、変状検知部１４０１、推定誤差保持部１４０２、表示部１４０３について説明する。

変状検知部１４０１は、画像入力部２０１から入力された画像に基づいて、変状の例であるひび割れを検知する。ひび割れの検知方法は、ｓｏｂｌｅフィルタによりエッジを抽出する方法を用いることができる。それに加え、変状検知部１４０１は、ノイズの除去処理と、ひび割れ検知結果に対するラベルづけとしてラベリング処理を行い面積の小さいラベルを除去する。さらに、変状検知部１４０１は、そのラベリングされたひび割れに対して、画質評価部２０６から入力された対象物上での解像度情報を参照する。そして、変状検知部１４０１は、ラベリングされたひび割れの位置に対応した対象物上での解像度情報を読み出し、ラベリングされたひび割れと対応付けて、表示部１４０３へ出力する。

また変状検知部１４０１は、ラベリングされたひび割れに対する対象物上での解像度情報が複数存在する場合には、最も解像度が粗い情報を付与する。例えば解像度が「１ｍｍあたり１ｐｉｘｅｌ」と「１ｍｍあたり０．５ｐｉｘｅｌ」とであれば、変状検知部１４０１は、「１ｍｍあたり０．５ｐｉｘｅｌ」の方を付与する。

推定誤差保持部１４０２は、対象物上での解像度に対応するひび割れ幅の推定精度のテーブルを保持する。図１５は、推定誤差保持部１４０２が保持するテーブル１５０１の例を示した図である。テーブル１５０１において精度１５０２，１５０３，１５０４はそれぞれ、対象物上での解像度に対応するひび割れ幅の推定精度を表している。例えば、精度１５０２は、対象物上で１ｍｍあたり０．５ｐｉｘｅｌの解像度で撮影した場合、ひび割れ幅の推定精度は±０．２ｍｍになるという意味である。

表示部１４０３は、対象物を撮影中のユーザーに対してディスプレイ画面上に情報を表示する。第４の実施形態の場合の表示部１４０３は、画像入力部２０１に逐次入力される画像に対して、表示を更新しながら表示を続ける。第４の実施形態でも第３の実施形態と同様に、画像入力部から１０枚入力された後に表示部１１０１で表示を開始するものとする。

図１６は、表示部１４０３によって例えばカメラ１６０１のディスプレイ画面１６０２に表示される内容の詳細を示した図である。すなわち図１６の場合、本実施形態の情報処理装置１００はカメラ１６０１に内蔵されており、表示部１４０３はカメラ１６０１のディスプレイ画面１６０２に対し、画像入力部２０１から入力された画像を表示する。図１６の例の場合、ディスプレイ画面１６０２には、画像入力部２０１から入力された画像上に撮影対象物１６０３が表示されている状態を表している。またこの例の場合、カメラ１６０１は、撮影対象物１６０３の面に対して斜めの方向から撮影している。

表示部１４０３は、画像入力部２０１から入力された画像に、画像評価部２０８から出力された点検利用可能な領域の情報１６０９を重畳表示する。このように表示することにより、ユーザーは撮影対象物のどの範囲が点検利用可能な領域として撮影可能か把握できることになる。

加えて、表示部１４０３は、画像評価部２０８から特徴点の評価情報を読み込み、ディスプレイ画面１６０２上に特徴点の評価情報１６０８を表示する。特徴点の評価情報１６０８は、閾値保持部２０７の特徴点評価の閾値３０２に基づいた例えば「○」、「×」を表示する。なお、「○」は特徴点の評価情報が閾値以上であることを表し、「×」は閾値未満であることを表しているとする。

さらに加えて、表示部１４０３は、変状検知部１４０１から入力された、ラベリングされたひび割れの情報とラベルと対応付けられた対象物上での解像度情報とを取得する。そして、表示部１４０３は、推定誤差保持部１４０２のテーブルを参照し、対象物上での解像度情報からひび割れ幅の推定誤差の情報を得る。

次に表示部１４０３は、ディスプレイ画面１６０２上に変状検知部１４０１から入力された、ひび割れの情報に基づくひび割れ部分を、ひび割れの情報１６０４，１６０５のように表示する。
最後に表示部１４０３は、ディスプレイ画面１６０２上に、ひび割れの情報１６０４，１６０５に対応するひび割れ幅の推定誤差の情報１６０６，１６０７をそれぞれ重畳して表示する。

図１７は、第４の実施形態に係る情報処理装置１００における後処理の流れを示したフローチャートである。第４の実施形態における情報処理装置１００の処理の流れは、第１の実施形態のＳ５０７の後処理以外は第１の実施形態の処理の流れと同じである。よって、以下の説明では、第４の実施形態におけるＳ５０７の後処理について説明する。

まずＳ１７０１において、表示部１４０３は、ディスプレイ画面１６０２に対し、画像入力部２０１から入力された画像を表示する。その後、表示部１４０３の処理はＳ１７０２へ進む。
Ｓ１７０２に進むと、表示部１４０３は、画像入力部２０１から入力された画像に、画像評価部２０８から出力された点検利用可能な部分の情報１６０９を重畳表示する。その後、表示部１４０３の処理はＳ１７０３へ進む。

Ｓ１７０３において、表示部１４０３は、画像評価部２０８から特徴点の評価情報を読み込み、ディスプレイ画面１６０２上に特徴点の評価情報１６０８を表示する。Ｓ１７０３の後、情報処理装置１００の処理はＳ１７０４へ進む。
Ｓ１７０４において、変状検知部１４０１は、画像入力部２０１から入力された画像に基づいてひび割れを検知する。その後、変状検知部１４０１の処理はＳ１７０５へ進む。

Ｓ１７０５において、変状検知部１４０１は、画質評価部２０６から入力された対象物上での解像度情報を参照する。そして、変状検知部１４０１は、ラベリングされたひび割れの位置に対応した対象物上での解像度情報を読み出し、ラベリングされたひび割れと対応付けて、表示部１４０３へ出力する。Ｓ１７０５の後、情報処理装置１００の処理はＳ１７０６へ進む。

Ｓ１７０６に進むと、表示部１４０３は、ディスプレイ画面１６０２上に、変状検知部１４０１から入力されたひび割れの情報を基に、ひび割れ部分を表示する。その後、表示部１４０３の処理はＳ１７０７へ進む。
Ｓ１７０７に進むと、表示部１４０３は、ディスプレイ画面１６０２上に、ひび割れ幅の推定誤差の情報を重畳して表示する。その後、情報処理装置１００は、Ｓ５０７の後処理を終了する。

以上説明したように、第４の実施形態に係る情報処理装置１００は、表示部１４０３のディスプレイ画面１６０２に点検利用可能な領域の情報、特徴点の評価情報、ひび割れの情報、ひび割れ幅の推定誤差の情報を表示する。このようにすることで、ユーザーは、対象物を撮影している時にディスプレイ画面１６０２を参照し、現在の撮影アングルにおいて、対象物のどの部分が点検利用可能な画質で撮影可能か認識することができるようになる。また、ユーザーは、特徴点の評価情報を参照することで、撮影した画像を投影する時に精度よく画像を投影できるかどうか認識できるようになる。加えて、ユーザーは、ひび割れの情報、ひび割れ幅の推定誤差の情報を参照することで、ひび割れが検知可能かどうか確認すると同時にひび割れ幅の推定精度の目安を確認することができるようになる。

なお、第４の実施形態では、上述してきた第１～第３の実施形態の画像合成処理に替えて変状検知処理を行う例を説明したが、これに限らない。ここで説明した変状検知部１４０１は、合成画像に対する変状検知処理、あるいは第１の実施形態の変形例２で説明した点検用画像に対する変状検知処理に利用してもよい。

＜その他の実施形態＞
本発明は、前述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置、２０１：画像入力部、２０２：特徴抽出部、２０３：位置姿勢推定部、２０４：形状推定部、２０５：特徴評価部、２０６：画質評価部、２０７：閾値保持部、２０８：画像評価部、２０９：画像合成部

Claims (18)

1. 構造物を複数の視点から撮影した複数の画像のそれぞれから特徴点を抽出する抽出手段と、
   前記複数の画像のそれぞれから抽出された前記特徴点の位置の分布の尖度と前記特徴点の数とを評価する特徴評価手段と、
   前記複数の画像に含まれる画像について、所定の指標に基づく画質が、前記構造物の点検作業のための許容条件を満たすかを評価する画質評価手段と、
   前記画質評価手段により前記許容条件を満たすと評価された画質の画像の少なくとも一部を、前記抽出手段により抽出された前記特徴点に基づく位置関係で合成する画像合成手段と、
   を有し、
   前記画質評価手段は、前記複数の画像のうち、前記特徴評価手段による前記特徴点の評価結果を示す値が所定の閾値以上であった画像に対して、前記所定の指標に基づく画質が、前記構造物の点検作業のための許容条件を満たすかを評価することを特徴とする情報処理装置。
2. 前記画質評価手段は、前記複数の画像のそれぞれに対して領域毎に、所定の指標に基づく画質が、前記構造物の点検作業のための許容条件を満たすかを評価するものであって、
   前記画像合成手段は、前記許容条件を満たすと評価された画質の画像の部分領域を、抽出された前記特徴点に基づく位置関係で合成することを特徴とする請求項１に記載の情報処理装置。
3. 前記画質評価手段は、前記構造物の点検対象の面上での解像度を領域毎に評価することを特徴とする請求項２に記載の情報処理装置。
4. 前記画質評価手段は、前記構造物の点検対象の面上での解像度を画素毎に評価することを特徴とする請求項２または３に記載の情報処理装置。
5. 前記画質評価手段は、前記画像の領域毎のデフォーカス量を評価することを特徴とする請求項２に記載の情報処理装置。
6. 前記画質評価手段は、前記画像の画素毎のデフォーカス量を評価することを特徴とする請求項２または５に記載の情報処理装置。
7. 前記画質評価手段は、前記画像を撮像するカメラに入射する光と対象物の面との角度を評価することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記画質評価手段は、前記角度が所定の閾値以上となる領域で、かつ前記画質の評価が所定の閾値以上である画素からなる領域を、前記対象物の点検に利用可能な領域と評価することを特徴とする請求項７に記載の情報処理装置。
9. 前記複数の画像を撮像するカメラの位置と姿勢を推定する位置姿勢推定手段と、
   前記構造物の三次元形状を推定する形状推定手段と、
   をさらに有し、
   前記位置姿勢推定手段は、前記抽出手段で抽出された特徴点に基づいて、前記カメラの位置と姿勢を推定し、
   前記形状推定手段は、前記位置姿勢推定手段で推定されたカメラの位置と姿勢と、前記複数の画像とに基づいて、前記三次元形状を推定することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記画像合成手段は、前記形状推定手段で推定された三次元形状に対し、前記位置姿勢推定手段で推定されたカメラの位置と姿勢に基づいて、前記複数の画像を前記画質評価手段での評価に基づいて投影し、前記投影した画像を合成することを特徴とする請求項９に記載の情報処理装置。
11. 表示手段をさらに有し、
    前記表示手段は、前記画像合成手段で合成された画像を表示することを特徴とする請求項１０に記載の情報処理装置。
12. 前記画像に写った対象物の変状を検知する検知手段と、
    表示手段と、
    をさらに有し、
    前記検知手段は、前記複数の画像から前記対象物の変状を検知し、
    前記表示手段は、前記検知された変状の情報を表示することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
13. 前記表示手段は、前記検知手段により前記変状としてひび割れを検知した検知結果と前記画質評価手段での評価で算出された対象物上での解像度とに基づいて、前記ひび割れの幅の推定誤差を推定して表示することを特徴とする請求項１２に記載の情報処理装置。
14. 前記画像合成手段によって合成された画像に基づいて、前記構造物を正面から見た点検用画像を生成する生成手段を更に備えることを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
15. 前記点検用画像に写った対象物の変状を検知する検知手段をさらに有し、
    前記検知手段は、前記点検用画像から前記対象物の変状を検知することを特徴とする請求項１４に記載の情報処理装置。
16. 前記構造物とは、コンクリート壁面を持つインフラ構造物であり、前記点検作業とは、前記コンクリート壁面に生じている変状を特定する作業であることを特徴とする請求項１から１５のいずれか１項に記載の情報処理装置。
17. 情報処理装置が実行する情報処理方法であって、
    抽出手段により、構造物を複数の視点から撮影した複数の画像のそれぞれから特徴点を抽出する抽出工程と、
    前記複数の画像のそれぞれから抽出された前記特徴点の位置の分布の尖度と前記特徴点の数とを評価する特徴評価工程と、
    画質評価手段により、前記複数の画像に含まれる画像について、所定の指標に基づく画質が、前記構造物の点検作業のための許容条件を満たすかを評価する画質評価工程と、
    画像合成手段により、前記画質評価工程で前記許容条件を満たすと評価された画質の画像の少なくとも一部を、前記抽出工程で抽出された前記特徴点に基づく位置関係で合成する画像合成工程と、
    を有し、
    前記画質評価工程では、前記複数の画像のうち、前記特徴評価工程による前記特徴点の評価結果を示す値が所定の閾値以上であった画像に対して、前記所定の指標に基づく画質が、前記構造物の点検作業のための許容条件を満たすかを評価することを特徴とする情報処理方法。
18. コンピュータを、請求項１から１６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images