JP7357717B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、撮影画像を合成する技術に関するものである。

従来、橋梁、ダム、及びトンネル等のコンクリート壁面の点検では、調査技術者がコンクリート壁面に接近し、ひび割れなどの変状を目視で確認している。ただし、このような近接目視と呼ばれる点検作業は作業コストが高いという問題点がある。特許文献１では、トンネル内のコンクリート壁をカメラで撮影し、得られた撮影画像に基づいてひび割れを検知する技術を開示している。

特開２００２－３１０９２０号公報

しかしながら、上述の従来技術においては、コンクリート壁面などの点検対象物と撮影を行うカメラとの間に障害物が存在する場合、当該障害物により遮蔽される部分の画像を得ることができないという問題がある。そのため、当該部分のコンクリート壁面におけるひび割れなどの変状を見逃してしまうおそれがある。

本発明はこのような問題を鑑みてなされたものであり、点検対象物とカメラとの間に障害物が存在する状況において、より好適な変状検知を可能とする画像を生成する技術を提供することを目的とする。

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
第１の視点位置から対象物を含むシーンを撮影した第１の画像と、前記第１の視点位置と異なる第２の視点位置から前記対象物を含むシーンを撮影した第２の画像と、を取得する取得手段と、
前記第１の画像上における前記対象物の特徴の位置に相当する座標位置と前記第２の画像上における前記対象物の特徴の位置に相当する座標位置と、を対応付ける対応付け手段と、
前記対応付け手段による対応付けに基づいて、前記第１の画像における所与の領域に対応する前記第２の画像における部分領域を決定する決定手段と、
前記第１の画像における前記所与の領域の画像を前記決定手段により決定された部分領域の画像を用いて置換し合成画像を生成する生成手段と、
前記対象物に生じた変状を表す変状データを前記生成手段によって生成された前記合成画像に重畳して表示させる表示制御手段と、
を有する。

本発明によれば、より好適な変状検知を可能とする画像を生成する技術を提供することができる。

橋梁下方から観察した際の床版の見え方を例示的に示す図である。 異なる視点位置から撮影した同一の床版領域の画像を例示的に示す図である。 画像処理装置の機能構成の一例を示すブロック図である。 画像処理装置のハードウェア構成の一例を示すブロック図である。 画像処理装置の動作を説明するフローチャートである。 合成画像の生成を説明する図である。 画像処理装置の動作を説明するフローチャートである。 差替領域の指定をユーザから受付けるＧＵＩを例示的に示す図である。 合成画像に対する修正をユーザから受付けるＧＵＩを例示的に示す図である。 床版を撮影する環境の一例を表す模式図である。 合成画像に対して変状検知を行った後の画面を例示的に示す図である。 合成画像に対して変状検知を行う際の画像処理装置の動作を説明するフローチャートである。 画像処理装置の機能構成の一例を示すブロック図である。 画像処理装置の動作を説明するフローチャートである。 メイン画像と切抜画像の位置ずれを補正する処理を段階的に表す図である。 メイン画像と切抜画像の境界部をブレンドする方法の一例を表す図である。

以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、互いに異なる２つの視点位置から橋梁の床版を撮影して得られる２つの画像を合成する画像処理装置を例に挙げて以下に説明する。

＜橋梁の床版の撮影＞
図１は、橋梁下方から観察した際の床版１００の見え方を例示的に示す図である。なお、床版（しょうばん）とは、橋の上を通る車両等の重みを橋桁や橋脚に伝えるための構造物である。ここでは、コンクリート製の床版１００を格子状の鋼鉄の橋桁１１０が支える構造となっており、鋼鉄の橋桁１１０の、床版１００と接しない側には斜材１２０が配されている。そのため、下方向から観察した場合、床版１００の手前を斜材１２０が横切ることになる。

カメラは、鋼鉄の橋桁による格子に囲まれた床版領域を対象物として撮影を行う。特に、以下では説明を簡単にするために、各格子に囲まれた床版領域の鉛直真下の視点位置からカメラで撮影を行うことを想定する。また、各撮影画像には、中心となる床版領域と共に隣接する床版領域の画像が合わせて撮影されているものとする。なお、ここでは、カメラを移動することにより異なる視点位置から撮影を行うことを想定する。

図１０は、床版を撮影する環境の一例を表す模式図である。変状１００１は、床版１００の表面に現れるひび割れなどの変状であり、撮影画像に収めるべき対象である。また、グレーの矩形で示す空間１００２は、変状１００１の鉛直真下の視点位置に設置されたカメラ１００３ａが真上に向けて撮影した場合に、斜材１２０により視界が遮られる空間領域である。つまり、変状１００１は、カメラ１００３ａが撮影する画像には写らない。カメラ１００３ａは、例えば三脚や雲台に固定して利用され、地面から１メール前後の高さに固定される。図１０に示す例では、カメラ１００３ａは、床版１００の１０メートル下に位置する。図１０に示されるように、床版１００と斜材１２０とが２ｍほど離れた位置関係にある場合、変状１００１を撮影するためには、撮影の視点位置を水平方向に約２．５ｍ移動すれば十分である。カメラ１００３ｂは、カメラ１００３ａを水平方向に約２．５ｍ移動させた位置に設置した状態を表している。カメラ１００３ｂは、床版に対して角度をつけて（斜め方向から）撮影を行うことにより、撮影した画像には変状１００１が写ることになる。なお、ここでは、カメラを移動することにより異なる視点位置から撮影を行うことを想定したが、複数のカメラを用いて撮影を行ってもよい。

図１の範囲１３０ａ及び１３０ｂは、それぞれ、床版領域１００ａ及び１００ｂの鉛直真下の視点位置から撮影した場合のシーンの撮影範囲を例示的に示している。図１から理解されるように、床版領域１００ａ及び１００ｂは、範囲１３０ａ及び１３０ｂの双方に含まれることになる。

図２は、異なる視点位置から撮影した同一の床版領域１００ａの画像を例示的に示す図である。画像２００ａは、床版領域１００ａの鉛直真下の視点位置から撮影した場合の床版領域１００ａの画像を例示的に示している。画像２００ａには、ひび割れ２１０ａが写っている。一方、画像２００ｂは、床版領域１００ｂの鉛直真下の視点位置から撮影した場合の床版領域１００ａの画像を例示的に示している。画像２００ｂには、ひび割れ２１０ｂが写っている。以下で説明するように、ひび割れ２１０ａ及びひび割れ２１０ｂは、実際には同じひび割れを示すものであるためひび割れ２１０と記述する。

図１及び図２から理解されるように、画像２００ａは、床版領域１００ａを正面から撮影したものに相当し、画像２００ｂは、床版領域１００ａを斜め左方向から撮影したものに相当する。そのため、斜材１２０とひび割れ２１０との位置関係が画像２００ａと画像２００ｂとでは異なったものとなっている。また、縦方向の鋼鉄の橋桁１１０の写り方が画像２００ａと画像２００ｂとでは異なったものとなっている。

すなわち、画像２００ａと画像２００ｂとでは、視差により、斜材によって遮蔽される床版の領域が異なるため、ひび割れ２１０の写り方が異なるものとなっている。そこで、第１実施形態では、画像２００ａと画像２００ｂを合成することにより、遮蔽領域の少ない床版領域１００ａの画像を生成する。これにより、ひび割れ２１０のような変状をより好適に検知可能な画像とすることが出来る。

＜画像処理装置の構成＞
図３は、画像処理装置３００の機能構成を示すブロック図である。図４は、画像処理装置３００のハードウェア構成を示すブロック図である。ここでは、画像処理装置３００が一般的なパーソナルコンピュータ（ＰＣ）で構成される例を示している。

以下の説明においては、図３に示す画像処理装置３００の各機能部をＣＰＵがソフトウェアプログラムを実行することによって実現する形態について説明する。ただし、図３に示す画像処理装置３００の各機能部の一部又は全部を、特定用途向け集積回路（ＡＳＩＣ）やＦＰＧＡなどのハードウェアにより処理するよう構成してもよい。ここで、ＦＰＧＡは、field programmable gate arrayの略である。

ＣＰＵ３２０は、画像処理装置３００を統括的に制御する。ＣＰＵ３２０は、例えばＲＯＭ３２２やハードディスクドライブ（ＨＤＤ）３２６に格納された制御プログラムを実行することにより図３に示される各機能部を実現する。

ＨＤＤ３２６は、例えば、画像処理装置３００で利用されるアプリケーションプログラムあるいは各種の制御プログラムを記憶する。また、ＨＤＤ３２６には、上述のカメラによる撮影画像（例えば、範囲１３０ａ及び１３０ｂにより示される撮影画像）及び後述の設計図面が格納されている。さらに、ＨＤＤ３２６には、アプリケーションプログラムあるいは各種の制御プログラムに関連する各種情報も記憶される。なお、一時的に各種情報を記憶するためにＲＡＭ３２１も利用される。キーボード３２５及びマウス３２４は、ユーザからの指示入力を受付ける機能部である。また、ディスプレイ３２３は、ユーザに対して視覚的に各種情報を提供する機能部である。

画像データ記憶部３０１は、例えばＨＤＤ３２６や、ＳＳＤ（solid state drive）、またはそれらの組み合わせなどで構成される。上述したように、複数の視点位置からカメラにより撮影された撮影画像を記憶している。また、対象の橋梁の設計図等に基づいて作成された、橋梁の下方からみた正射投影図である設計図面を記憶している。

なお、以下の説明では、撮影画像として、範囲１３０ａ及び１３０ｂにより示されるような撮影画像を想定するが、それぞれの撮影画像は、複数の撮影画像（１ショット撮影画像）をスティッチ合成したものでもよい。すなわち、精密なひび割れ検知を行うため、床版を高解像度（例えば、撮影画像の１画素が床版における０．５ｍｍに対応）で撮影を行う必要がある。このとき、例えば２４００万画素（横６０００画素×縦４０００画素）のカメラで撮影を行う場合、１ショット画像は、横３ｍ×縦２ｍの範囲となり、上述の撮影画像の条件（＝隣接する床版画像を含む）を満たすことが出来ない。そのため、複数の１ショット画像をスティッチ合成などにより合成し、上述の撮影画像の条件を満たす画像として生成しておくとよい。

画像データ管理部３０２は、上述のＨＤＤ３２６に格納された画像データを管理する。例えば、複数の撮影画像がそれぞれどの視点位置により撮影されたものであるかを管理している。また、後述の位置合わせ部３０３により導出された画像間の対応付け情報を管理する。

位置合わせ部３０３は、２つ（あるいはそれ以上）の画像間の位置座標の対応付けを決定する機能部である。例えば、２つの画像をディスプレイ３２３にグラフィカル・ユーザ・インタフェース（ＧＵＩ）として表示し、ユーザから、当該２つの画像において対応する座標の指定をキーボード３２５及び／又はマウス３２４を介して受付ける。そして、画像間の座標を相互に対応付けるための座標変換パラメータを導出する。ここでは、座標変換パラメータとして公知のホモグラフィー行列を導出することを想定するが、他の座標変換パラメータを算出するよう構成してもよい。なお、ここでは、床版領域は２次元平面で近似できるものとする。また、床版領域を取り囲む鋼鉄の桁の床版と接している部分は床版領域と略同一平面上にあると仮定する。

なお、一般にホモグラフィー行列を導出するには、４つのペア座標の指定が必要となる。ただし、さらに多くのペア座標を指定して導出してもよい。その場合には、例えば各ペア座標の座標値を座標変換した結果の誤差の合計を算出し、その値が最小になるようにパラメータを最適化するなどの処理をおこなう。実際には座標ペアは多いほど精度が向上する傾向がある。

差替領域指定部３０４は、合成を行う２つの画像のうちベースとなる画像（以下ではメイン画像と呼ぶ）に対して、遮蔽により床版が写っていない領域を受付ける機能部である。すなわち、合成を行う２つの画像のうちのもう一方の画像（以下ではサブ画像と呼ぶ）で差替える領域を指定する。例えば、メイン画像をディスプレイ３２３にＧＵＩとして表示し、ユーザから、メイン画像に含まれる斜材の画像領域の指定をキーボード３２５及び／又はマウス３２４を介して多角形や円、楕円等の任意形状の領域として受付ける。なお、差替領域を１つの領域で指定するだけでなく２以上の領域の組み合わせとして指定してもよい。その場合は、当該組み合わせに対する論理和（ＯＲ）や論理積（ＡＮＤ）を更に指定する。

なお、ひび割れ等の検知処理においては、床版に正対する位置から撮影した画像であることが望ましい。そのため、以下の説明では、床版領域１００ａを正面から撮影して得られた画像２００ａ（範囲１３０ａ）をメイン画像として用い、床版領域１００ａを斜め左方向から撮影して得られた画像２００ｂ（範囲１３０ｂ）をサブ画像として用いている。ただし、画像処理としては、処理対象となる床版領域が写っている画像であれば何れの画像をメイン画像としてもよい。

図８は、差替領域の指定をユーザから受付けるＧＵＩを例示的に示す図である。これらのＧＵＩは、差替領域指定部３０４が、ディスプレイ３２３のような表示部の表示制御を行うことにより表示される。ＧＵＩ８０１は、メイン画像（画像２００ａ）とサブ画像（画像２００ｂ）とを並べて表示するＧＵＩである。メイン画像に対してマウスカーソル８１０を介して差替領域を指定すると、サブ画像において、差替領域に対応する領域が連動して表示されるよう構成されている。

一方、ＧＵＩ８０２は、メイン画像とサブ画像とを重畳表示して表示するＧＵＩである。ここではサブ画像の透明度が”８０％”の状態で重畳されている状態を示している。なお、サブ画像の透明度指定を行えるよう構成してもよい。なお、複数のサブ画像が存在している場合には、表示するサブ画像を切り替え可能なよう構成してもよい。また、半透明処理がなされた複数のサブ画像を重畳して表示してもよい。

このようなＧＵＩとして構成することにより、メイン画像に対して指定した差替領域がサブ画像においてどのような領域に対応するかを直感的に知ることが可能となる。なお、ＧＵＩ８０１およびＧＵＩ８０２には、ユーザからの操作を受け付けるためのボタン等が配されている。例えば、メイン画像を選択するボタン、サブ画像を選択するプルダウンリスト、メイン画像上での差替領域指定を開始するボタン、サブ画像上の差替領域に対応する領域の切り抜きを実行するボタンが配されている。

画像切抜部３０５は、差替領域指定部３０４により指定された差替領域に対応するサブ画像における領域の画像を切り抜く機能部である。例えば、差替領域指定部３０４により指定された差替領域の座標を、位置合わせ部３０３により導出された座標変換パラメータを利用してサブ画像における座標に変換し、変換により得られた座標に相当する領域の画像をサブ画像から切り抜く。

画像合成部３０６は、差替領域指定部３０４により指定された差替領域に対して、画像切抜部３０５により切り抜かれた切抜画像を上書きし、合成画像を生成する機能部である。例えば、メイン画像に対してサブ画像から切り抜かれた切抜画像を重畳表示した画像を生成する。

なお、様々な要因により、メイン画像と切抜画像との間に位置ずれが発生し得る。そのため、切抜画像を編集可能なオブジェクト画像としてＧＵＩ表示し、ユーザから切抜画像の編集（拡縮などの変形）をキーボード３２５及び／又はマウス３２４を介して受付けるよう構成してもよい。

図９は、合成画像に対する修正をユーザから受付けるＧＵＩを例示的に示す図である。ウィンドウ９００では、メイン画像に対して切抜画像が編集可能なオブジェクト画像として重畳表示されている。ユーザは、マウスカーソル９０１を介して、切抜画像の拡縮・移動などの変形操作を行うことが可能である。

変状検知部３０７は、画像合成部３０６により生成された合成画像に対して、変状検知処理を行う機能部である。ここで、変状検知処理とは、画像における変状（ひび割れなど）を検知し、検知した変状を記録する処理である。例えば、合成画像をＧＵＩに表示し、マウス等を用いたトレース操作によりひび割れの位置をユーザから受付け、トレース箇所またはトレースされた軌跡を表す位置データをひび割れデータ（変状データ）として記録する。あるいは、機械学習等のアルゴリズムを用いた画像解析処理により自動的にひび割れを検知し、その検知箇所をひび割れデータとして記録する。なお、取り扱いを容易にするため、ひび割れデータは、ひび割れの軌跡を示すベクタデータとして記録するとよい。

本実施形態では、ひび割れデータは、独立したグラフィックデータとして利用可能である。例えば、合成画像上のひび割れデータの重畳表示をＯＮ／ＯＦＦ切り替え可能なユーザインタフェースを提供することができる。このように重畳表示を切り替えながら合成画像を確認することにより、ユーザは、変状検知処理の正誤の確認や補足の作業をより容易に行うことができる。また、ひび割れ検知データを保存しておき、所定の期間が過ぎた後で同じ橋梁の同じ床版を撮影して得られる合成画像に対して重畳表示を行うことにより、ひび割れの伸長の有無をユーザが目視確認する作業が容易となる。このとき、ひび割れ検知データの重畳のＯＮ／ＯＦＦ可能に構成してもよい。特に、本実施形態によれば、遮蔽物により隠れた領域を補完した合成画像を変状検知処理の対象とすることができるため、変状検知処理をより簡易に行うことが可能となる。すなわち、撮影位置が異なる複数の画像それぞれに対して変状検知処理を行い、当該複数の画像に対する結果に対して重複する部分とそうではない部分を区別するといった煩雑な作業が不要となる。

図１１は、変状検知部３０７により検知された変状を、合成画像上に重畳表示した画面の一例を示す図である。ウィンドウ１１００には、ウィンドウ９００とは異なる部分に関する合成画像が表示されている。太線１１０１は、変状検知部３０７により検知された床版１００上のひび割れデータの一部である（１本分のひび割れに対応する）。このようにひび割れデータは、太線や、破線、色のついた線により、合成画像に写るひび割れ１１０２との識別及び比較が容易であるように強調表示されるのが好ましい。

＜画像処理装置の動作＞
図５は、第１実施形態における画像処理装置の動作を説明するフローチャートである。なお、以下の説明では、メイン画像として範囲１３０ａの撮影画像、サブ画像として範囲１３０ｂの撮影画像を用いる場合を例に説明を行う。より具体的には、画像２００ａにおける斜材の画像領域を、画像２００ｂにおける対応する位置に写る床版の部分画像で差替えた合成画像を生成する例について説明する。

Ｓ５０１では、位置合わせ部３０３は、合成の対象となるメイン画像と１以上のサブ画像とを画像データ記憶部３０１から取得する。例えば、処理対象の床版領域１００ａを正面（真下）から撮影した撮影画像を画像データ記憶部３０１からメイン画像として読み出す。そして、画像データ管理部３０２に対して、床版領域１００ａの左右に隣接する床版領域を正面から撮影した撮影画像を問い合わせ、対応する撮影画像を画像データ記憶部３０１からサブ画像として読み出す。ここでは、左側に隣接する床版領域１００ｂを正面から撮影した撮影画像をサブ画像として読み出す。

Ｓ５０２では、位置合わせ部３０３は、設計図面を画像データ記憶部３０１から読み出す。上述したように、設計図面は、橋梁の下方からみた正射投影図であり、例えば、図１に示されるような画像である。

Ｓ５０３では、位置合わせ部３０３は、メイン画像と設計図面との間の座標の対応関係をユーザから受付け、当該画像間の座標変換パラメータであるホモグラフィー行列を導出する。また、サブ画像と設計図面との間の座標の対応関係をユーザから受付け、当該画像間の座標変換パラメータであるホモグラフィー行列を導出する。これにより、メイン画像やサブ画像（カメラで撮影された中心投影画像）を正射投影画像に変換（正射変換）することが可能となる。また、結果として、メイン画像とサブ画像との間の座標の関係が対応付けられることになる。

ここでは、ユーザは、画像２００ａにおける床版領域１００ａの特徴点である四隅の４頂点と、設計図面上における床版領域１００ａの特徴点である四隅の４頂点とを対応付ける。また、画像２００ｂにおける床版領域１００ａの４頂点と、設計図面上における床版領域１００ａの四隅の４頂点とを対応付ける。ただし、画像２００ｂにおける左側の２頂点は鋼鉄の橋桁により遮蔽されていることが予想される。そのため、このことを念頭に入れた２頂点を指定するとよい。例えば、床版領域１００ａの四隅ではなく、略同一平面上にあると仮定する橋桁の角を指定しても良い。また例えば、橋桁の裏側に存在するその隠れた２頂点の画像上の位置を、見えている残り２頂点や橋桁の角等を頼りに補助線を引くなどして特定し、その特定した点を指定しても良い。また、頂点以外の特徴点があればそれを指定してもよい。ただし、床版と略同一平面に存在する特徴点であることが望ましい。

Ｓ５０４では、差替領域指定部３０４は、メイン画像に対して、差替領域の指定をユーザから受付ける。上述したように、差替領域とは、メイン画像において、遮蔽により床版が写っていない領域である。ここでは、画像２００ａにおける斜材の領域を指定する。なお、合成後に画像編集が必要になる場合も想定し、斜材の領域より広い領域を指定してもよい。また、差替領域を直接指定する代わりに、差替領域の画像特徴（テクスチャなど）の指定を受付けてもよい。この場合、差替領域指定部３０４は、指定された画像特徴に類似するメイン画像内の領域を選択し、差替領域として指定する。

Ｓ５０５では、画像切抜部３０５は、Ｓ５０４により指定された差替領域（所与の領域）に対応するサブ画像における領域の画像を切り抜く。ここでは、差替領域のメイン画像における座標を、位置合わせ部３０３により導出された座標変換パラメータを利用してサブ画像における座標に変換し、変換により得られた座標に相当する切抜領域の画像をサブ画像から切り抜く。なお、合成後に画像編集が必要になる場合も想定し、差替領域から導出された切抜領域より広い領域を切り抜いてもよい。ただし、画像特徴等により、広げた領域に床版でない部分が写っていると判断される場合には、その領域を切り抜き対象から除外するよう構成するとよい。

Ｓ５０６では、画像合成部３０６は、メイン画像において、Ｓ５０４により指定された差替領域に対して、Ｓ５０５により切り抜かれた切抜画像を上書き（置換）し、合成画像を生成する。なお、切抜画像をメイン画像に合成するにあたっては、Ｓ５０３で導出したホモグラフィー行列に基づいて当該切抜画像をメイン画像における座標位置に変換した上で合成する。生成された合成画像は、画像データ記憶部３０１に保持される。

図１２は、メイン画像に切抜画像を合成することにより得られた合成画像に対して、変状検知処理を適用する動作を説明するフローチャートである。Ｓ１２０１では、変状検知部３０７は、変状検知の対象となる合成画像を画像データ記憶部３０１から取得する。Ｓ１２０２では、変状検知部３０７は、Ｓ１２０１で取得した合成画像に対して変状検知処理を適用する。本実施形態では、変状検知部３０７は、機械学習を用いて画像上から自動的にひび割れを検知し、その検知箇所をひび割れデータとして記録する。

図６は、メイン画像に切抜画像を重畳することによる合成画像の生成を説明する図である。図に示されるように、生成された合成画像６００においては、注目床版領域の全域の床版画像が含まれることになる。もちろん、メイン画像にもサブ画像にも映っていない部分領域が存在する場合にはこの限りではない。そのような場合、さらに異なる視点から撮影された１以上の画像を利用した合成処理により、注目床版領域のより広い範囲を写す１つの合成画像を生成し、変状検知処理の対象とすることができる。なお、上述したように、メイン画像と切抜画像との位置ずれを修正可能とすべく、切抜画像を編集可能なオブジェクト画像として表示し、ユーザから拡縮などの変形操作を受付けてもよい。

以上説明したとおり第１実施形態によれば、異なる２つの視点位置から撮影した撮影画像を合成する。この処理により、点検対象物（床版）とカメラとの間に障害物（斜材）が存在する状況においても、変状検知処理に好適な画像を生成することが可能となる。

なお、上述の説明においては、１つのメイン画像に対して１つのサブ画像を利用する形態について説明したが、２以上のサブ画像を利用してもよい。例えば、左側に隣接する床版領域を正面から撮影した撮影画像（画像２００ｂ）に併せて、右側に隣接する床版領域を正面から撮影した撮影画像を併せてサブ画像を利用してもよい。

（変形例１）
変形例１では、複数の視点位置からの複数の撮影画像間の対応付けを直接行う形態について説明する。なお、装置構成については第１実施形態とほぼ同様であるため説明は省略する。

＜画像処理装置の動作＞
図７は、変形例１における画像処理装置の動作を説明するフローチャートである。なお、以下の説明では、第１実施形態と同様に、メイン画像として範囲１３０ａの撮影画像、サブ画像として範囲１３０ｂの撮影画像を用いる場合を例に説明を行う。

Ｓ７０１では、位置合わせ部３０３は、合成の対象となるメイン画像と１以上のサブ画像とを画像データ記憶部３０１から読み出す。Ｓ７０２では、位置合わせ部３０３は、メイン画像とサブ画像との間の座標の対応関係をユーザから受付け、当該画像間の座標変換パラメータであるホモグラフィー行列を導出する。

ここでは、ユーザは、画像２００ａにおける床版領域１００ａの四隅の４頂点と、画像２００ｂにおける床版領域１００ａの四隅の４頂点とを対応付ける。ただし、画像２００ｂにおける左側の２頂点は鋼鉄の橋桁により遮蔽されていることが予想される。そのため、このことを念頭に入れた２頂点を指定するとよい。また、頂点以外の特徴点があればそれを指定してもよい。ただし、床版と略同一平面に存在する特徴点であることが望ましい。

Ｓ７０３～Ｓ７０５については、第１実施形態におけるＳ５０４～Ｓ５０６と同様であるため説明は省略する。

以上説明したとおり変形例１によれば、設計図面を使用することなく、異なる２つの視点位置から撮影した撮影画像を合成することが可能となる。この処理により、点検対象物（床版）とカメラとの間に障害物（斜材）が存在する状況においても、変状検知処理に好適な画像を生成することが可能となる。

（変形例２）
第１実施形態では、サブ画像から切り抜いた画像にメイン画像との位置ずれが生じた場合は、図９に示したようなＧＵＩにより、ユーザが拡縮・移動の編集を行うことが可能であった。ただし、メイン画像と切抜き画像に生じるずれは、拡縮・移動による編集だけで補い切れるとは限らない。変形例２では、第１実施形態または変形例１により、メイン画像に対して切抜画像を重畳表示した場合（およびそれらを合成した場合）に、境界部分に発生する変状やテクスチャの位置ずれを補正する処理について説明する。

図１３は、画像処理装置３００の機能構成を示すブロック図である。機能構成については、第１の実施形態と同様である部分については説明を省略する。切抜画像補正部１３０１は、メイン画像と切抜画像の境界部における変状やテクスチャ、色合いのずれを補正すべく、切抜画像に対して画像処理を適用する機能部である。

図１４は、変形例２における画像処理装置の動作の例を説明するフローチャートである。この処理は、図５（Ｓ５０６）または図７（Ｓ７０５）の画像合成処理の事前処理として実行される。あるいは、図１２（Ｓ１２０２）の変状検知処理において、処理対象の合成画像を最適化する処理として実行される。なお、以下の説明では、第１実施形態と同様に、メイン画像として範囲１３０ａの撮影画像、サブ画像として範囲１３０ｂの撮影画像を用いる場合を例に説明を行う。

Ｓ１４０１では、変状検知部３０７は、メイン画像および切抜画像に対して、ひび割れの検知処理を実行する。図１５（ａ）は、メイン画像に切抜画像が重畳されている様子を表す図である。メイン画像１５０１、切抜画像１５０２のそれぞれでひび割れ１５０３が検知されている。Ｓ１４０２では、切抜画像補正部１３０１は、差替領域指定部３０４で指定した領域の境界に載るひび割れの端点を取得する。図１５（ｂ）は、メイン画像１５０１と切抜画像１５０２の境界上のひび割れの端点が特定された様子を表す図である。ここでは、特定された８つの端点を丸印で示している。Ｓ１４０３では、切抜画像補正部１３０１は、Ｓ１４０２で取得したメイン画像のひび割れの端点と切抜画像のひび割れの端点について、所定の範囲に収まる端点同士でペアを作る。図１５（ｃ）は、メイン画像１４０１上のひび割れの端点と切抜画像１４０２上のひび割れの端点をペアにした様子を表す図である。ここでは、ペアにした２つの端点をそれぞれ点線で示す円１５０４で囲み、４つのペアが設定された状態を示している。Ｓ１４０４では、切抜画像補正部１３０１は、メイン画像のひび割れの端点と切抜画像のひび割れの端点からなるペアの数が４つ以上存在するかを判定する。ペアの数が４つ未満の場合、Ｓ１４０５に進む。ペアの数が４つ以上の場合、Ｓ１４０６に進む。

Ｓ１４０５では、切抜画像補正部１３０１は、切抜画像上とメイン画像との間の座標の対応関係をユーザから受付け、入力された２つの座標からペアを作る。これは、合計４つ以上のペアに基づいて、後述する幾何変換を実行可能とするためにペアを補充する処理である。例えば、位置合わせ部３０３にて決定されるメイン画像およびサブ画像を位置合わせするために対応付ける座標のペア（Ｓ５０３またはＳ７０２）を用いればよい。もしくは、ユーザがメイン画像および切抜画像の任意の位置を改めて選んで対応付けた座標のペアを用いても良い。なお、切抜画像上で指定される座標は、後述するＳ１４０６で行われる切抜画像の幾何変換において、変換の影響を抑えたい領域上の座標を指定するのが望ましい。また、Ｓ１４０３において、４つ以上のペアを生成できている場合においても、変換の影響を抑えたい領域を指定する目的で、ユーザのペアの入力を受け付けてもよい。なお、ここでは、ホモグラフィー行列による幾何変換を想定しＳ１４０３においてペアの数が「４つ以上」であることを判定している。ただし、他の幾何変換を用いる場合、当該幾何変換に必要な個数であればよく、「４つ以上」でなくてもよい。

Ｓ１４０６では、切抜画像補正部１３０１は、メイン画像上の座標と切抜画像上の座標のペアを用いて、ホモグラフィー行列を導出する。そして、導出したホモグラフィー行列による幾何変換を切抜画像に適用する。図１５（ｄ）は、Ｓ１４０６において、幾何変換を適用した切抜画像をメイン画像に重畳表示した様子を表す図である。以上のようにして幾何変換された切抜画像は、例えば、合成画像に上書きされ、変状検知処理において利用することができる。また例えば、幾何変換された切抜画像を合成画像に重畳表示する、あるいは重畳表示をＯＮ／ＯＦＦすることが可能なユーザインタフェースを提供することができる。例えば、合成画像（またはメイン画像）に重畳されている切抜画像を編集可能なオブジェクト画像として表示し、ユーザから拡縮などの変形操作を受付けることで、位置ずれをさらに修正可能としてもよい。

なお、メイン画像と切抜画像の境界部では、変状やテクスチャの位置ずれのみならず、色合いのずれ（色ずれ）が発生する場合もある。以下では、境界部の色ずれを補正する２つの方法を述べる。１つは、メイン画像の色ヒストグラムの分布に対して、切抜画像の色ヒストグラムの分布をマッチさせるヒストグラムマッチングによる方法である。もう１つは、切抜画像の境界部付近に対して、中心から外側へ向けて連続的に変化させた透明度を設定し、メイン画像にブレンドする方法である。

図１６は、メイン画像と切抜画像の境界部をブレンドする方法を表す図である。図１６の（ａ）～（ｄ）には、それぞれ、メイン画像と切抜画像の位置関係を横から見た場合と上から見た場合の模式図が示されている。図１６（ａ）は、メイン画像１６０１に写る斜材領域１６０２（つまり差替領域）上に切抜画像１６０３を重畳している様子を表す図である。また、画像１６１１は、境界部における色ずれの発生を例示的に示している。

図１６（ｂ）は、切抜画像に対して、中心部分の透明度を０％とし、外側である境界部へ向かうにつれて透明度を１００％に変化させた状態を表す図である。なお、この場合、切抜画像のふちにおいて透明度が１００％になる。そのため、切抜画像１６０３の幅と斜材領域１６０２の幅とが同程度である場合、メイン画像１６０１に写る斜材領域１６０２が透けて見えてしまうことになる。画像１６１２は、斜材領域１６０２が透けて見えている状態を例示的に示している。そのため、サブ画像から切抜画像１６０３を切り抜く際に、斜材領域１６０２の範囲よりも大きめに領域を切り抜くとよい。このような切抜画像１６０３に対して０％から１００％に変化させた透明度を設定することにより、斜材を透けさせることなくブレンドすることができる。

図１６（ｃ）は、サブ画像における、差替領域に対応する画像領域を切り抜く際に、周辺領域１６０４を含めて切抜画像１６０３を切り抜いた様子を表す図である。つまり、差替領域よりも広い拡張部分領域を切り抜いた様子を表している。また、画像１６１３は、この場合の周辺領域１６０４とメイン画像との境界部における色ずれの発生を例示的に示している。図１６（ｄ）は、大きめに切り抜かれた切抜画像（拡張部分領域）において、斜材領域１６０２（つまり差替領域）に対応する部分の透明度を０％とし、周辺領域１６０４の変化させた状態を表す図である。ここでは、周辺領域１６０４の透明度を、切抜画像１６０３に接する側から外側（メイン画像との境界へ向かう側）につれて０％から１００％に連続的に変化させた例を示している。また、画像１６１４は、この処理により境界部における色ずれが目立たなくなった状態を例示的に示している。

メイン画像に切抜画像の境界部に変状やテクスチャの位置や色合い等にずれが発生した場合、変状検知処理において、ひび割れの本数を誤ったり、境界線をひび割れとみなしてしまうような誤検知が生じる可能性がある。変形例２によれば、そのような誤検知の発生を低減することができる。なお、変形例２では、位置ずれ及び色合いのずれについて補正方法を説明したが、画像処理はこれに限らない。同様に、メイン画像とサブ画像のいずれかの色相・彩度・明度のいずれかもしくは全てを基準にして、もう片方の画像における部分領域の色相・彩度・明度のいずれかを調節して、合成画像に反映することができる。これにより、後続して実行される変状検知処理の精度を向上させることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１ 画像データ記憶部； ３０２ 画像データ管理部； ３０３ 位置合わせ部； ３０４ 差替領域指定部； ３０５ 画像切抜部； ３０６ 画像合成部； ３０７ 変状検知部

Claims (20)

1. 第１の視点位置から対象物を含むシーンを撮影した第１の画像と、前記第１の視点位置と異なる第２の視点位置から前記対象物を含むシーンを撮影した第２の画像と、を取得する取得手段と、
   前記第１の画像上における前記対象物の特徴の位置に相当する座標位置と前記第２の画像上における前記対象物の特徴の位置に相当する座標位置と、を対応付ける対応付け手段と、
   前記対応付け手段による対応付けに基づいて、前記第１の画像における所与の領域に対応する前記第２の画像における部分領域を決定する決定手段と、
   前記第１の画像における前記所与の領域の画像を前記決定手段により決定された部分領域の画像を用いて置換し合成画像を生成する生成手段と、
   前記対象物に生じた変状を表す変状データを前記生成手段によって生成された前記合成画像に重畳して表示させる表示制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記合成画像の解析に基づいて前記対象物に生じた変状を検知する検知手段を更に有し、
   前記表示制御手段は、前記検知手段によって検知された変状を表す前記変状データを前記合成画像に重畳して表示させる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記対象物の設計図面を更に取得し、
   前記対応付け手段は、前記第１の画像上における前記対象物の特徴の位置に相当する座標位置と前記設計図面上における前記対象物の特徴の位置に相当する座標位置とを対応付け、前記第２の画像上における前記対象物の特徴の位置に相当する座標位置と前記設計図面上における前記対象物の特徴の位置に相当する座標位置とを対応付け、
   前記決定手段は、前記第１の画像上における座標位置と前記設計図面上における座標位置との対応付け、および、前記第２の画像上における座標位置と前記設計図面上における座標位置との対応付け、に基づいて、前記第１の画像における所与の領域に対応する前記第２の画像における部分領域を決定する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の画像に対して前記所与の領域を指定する指定手段を更に有する
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記第１の画像に対して任意形状の領域の指定をユーザから受付ける受付手段を更に有し、
   前記指定手段は、前記任意形状の領域を前記所与の領域として指定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記受付手段は、複数の任意形状の領域を受付け可能に構成されており、
   前記指定手段は、前記複数の任意形状の領域の論理和又は論理積により得られる領域を前記所与の領域として指定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 画像特徴の指定をユーザから受付ける受付手段を更に有し、
   前記指定手段は、前記第１の画像において前記画像特徴と類似した領域を前記所与の領域として指定する
   ことを特徴とする請求項４に記載の画像処理装置。
8. 前記第１の画像と前記第２の画像とを並べて表示部に表示する制御手段を有し、
   前記制御手段は、前記所与の領域に連動して、前記第２の画像に対して前記決定手段により決定された前記部分領域を表示するよう制御する
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 半透明処理した前記第２の画像を前記第１の画像に重畳して表示部に表示する制御手段を有し、
   前記制御手段は、前記対応付け手段による対応付けに基づいて前記半透明処理した前記第２の画像を前記第１の画像に重畳して表示するよう制御する
   ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
10. 前記半透明処理における透明度を指定する透明度指定手段を更に有する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記合成画像における前記部分領域と前記第１の画像との間に生じるずれを補正するための画像処理を実行する補正手段を更に有する
    ことを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
12. 前記補正手段は、前記所与の領域の境界から特定された座標と前記部分領域の境界から特定された座標との対応関係に基づいて前記部分領域の画像に対する変形を行うことにより、前記部分領域と前記第１の画像との間に生じる位置ずれを補正する
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記対象物に生じた変状とは、構造物に生じたひび割れであり、
    前記補正手段は、前記第１の画像から検知されたひび割れの前記所与の領域の境界上の端点と、前記第２の画像から検知されたひび割れの前記部分領域の境界上の端点と、を特定し、特定された端点のうち所定の範囲に収まる端点同士の対応付けに基づいて、前記部分領域を変形する
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記補正手段は、前記第１の画像の色相・彩度・明度のいずれかもしくは全てを基準にして、前記部分領域の色相・彩度・明度のいずれかもしくは全てを調節することにより、前記部分領域と前記第１の画像との間に生じる色ずれを補正する
    ことを特徴とする請求項１１に記載の画像処理装置。
15. 前記補正手段は、前記部分領域の色相・彩度・明度のいずれかもしくは全てを基準にして、前記第１の画像の色相・彩度・明度のいずれかもしくは全てを調節することにより、前記部分領域と前記第１の画像との間に生じる色ずれを補正する
    ことを特徴とする請求項１１に記載の画像処理装置。
16. 前記生成手段は、透明度が設定された前記部分領域の画像を前記第１の画像の前記所与の領域に重畳することにより前記合成画像を生成し、
    前記補正手段は、前記部分領域において、中心から外側にかけて連続的に高くなる透明度を設定することにより、前記部分領域と前記第１の画像との間に生じる色ずれを補正する
    ことを特徴とする請求項１１に記載の画像処理装置。
17. 前記生成手段は、前記決定手段により決定された部分領域より広い拡張部分領域の画像を前記第１の画像の前記所与の領域に重畳することにより前記合成画像を生成し、
    前記補正手段は、前記拡張部分領域のうち前記部分領域に対して拡張された領域において、前記部分領域に接する側から前記拡張部分領域の外側にかけて連続的に高くなる透明度を設定することにより、前記部分領域と前記第１の画像との間に生じる色ずれを補正する
    ことを特徴とする請求項１６に記載の画像処理装置。
18. 前記対応付け手段による対応付けに基づいて、前記第１の画像に含まれる前記対象物における座標位置と前記第２の画像に含まれる前記対象物における座標位置とを相互に変換する座標変換パラメータを導出する導出手段を更に有し、
    前記決定手段は、前記座標変換パラメータに基づいて、前記第１の画像における所与の領域に対応する前記第２の画像における部分領域を決定する
    ことを特徴とする請求項１乃至１７の何れか１項に記載の画像処理装置。
19. 画像処理装置における制御方法であって、
    第１の視点位置から対象物を含むシーンを撮影した第１の画像と、前記第１の視点位置と異なる第２の視点位置から前記対象物を含むシーンを撮影した第２の画像と、を取得する取得工程と、
    前記第１の画像上における前記対象物の特徴の位置に相当する座標位置と前記第２の画像上における前記対象物の特徴の位置に相当する座標位置と、を対応付ける対応付け工程と、
    前記対応付け工程による対応付けに基づいて、前記第１の画像における所与の領域に対応する前記第２の画像における部分領域を決定する決定工程と、
    前記第１の画像における前記所与の領域の画像を前記決定工程により決定された部分領域の画像を用いて置換し合成画像を生成する生成工程と、
    前記対象物に生じた変状を表す変状データを前記合成画像に重畳して表示させる表示制御工程と、
    を含むことを特徴とする画像処理装置の制御方法。
20. コンピュータを、請求項１乃至１８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images