以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
第1の実施形態に係る情報処理装置は、例えば、橋梁、ダム、トンネル等のコンクリート構造物の壁面等の点検・管理の支援のために、壁面を撮影した撮影画像を記憶、表示する。さらに、情報処理装置は、点検・管理において、管理者の目視による確認が必要な確認対象となる変状領域を表示する。
なお、管理対象は、コンクリート構造物の壁面に限定されるものではない。点検、管理の対象の他の例としては、道路のアスファルトが挙げられる。また、管理対象の変状領域とは、変状すなわち状態変化が生じている領域である。変状としては、コンクリート構造物では、ひび割れ、遊離石灰の析出、ジャンカ、コールドジョイント、鉄筋露出等が挙げられる。変状は実施形態に限定されるものではない。また、撮影画像は、可視光画像(RGB画像)であるものとするが、画像の種類はこれに限定されるものではない。他の例としては、撮影画像は、赤外線カメラで撮影した熱画像やラインセンサカメラで撮影した画像等でもよい。なお、コンクリート構造物の壁面の撮影画像は、画像の一例である。
図1は、情報処理装置のGUIアプリケーションのウィンドウの表示例を示す図である。図1を参照しつつ、本実施形態に係る情報処理装置の概要について説明する。図1(A)に示すウィンドウ100には、コンクリート壁面の撮影画像101が表示されており、撮影画像101には、ひび割れの変状領域102が存在している。
また、図1(B)に示すウィンドウ110には、図1(A)の撮影画像101から自動検知処理により得られた変状データ111、112が可視化され、表示されている。ここで、変状データ111に対応する撮影画像101の領域には実際には変状が存在せず、変状データ111は誤った検知結果であるものとする。なお、本実施形態の図では、細い線はコンクリート壁面画像上で観測できる実際のひび割れを示し、太い線はアプリケーションウィンドウに表示した変状データを示すものとする。紙面の表示の都合上、変状データを太い線で表しているが、実際のアプリケーションウィンドウ上では、色を付けて表示するなどの表示方法で表示することが好ましい。変状データは、画像に含まれる領域に関する関連データの一例である。
変状の管理者やデータ入力者等のユーザは、変状データを目視し、変状データが撮影画像の変状に対応しているか否かを確認する作業を行う。この時、撮影画像の変状と、可視化された変状データとをユーザが同時に閲覧するためには、撮影画像上に変状データを可視化して、重畳表示するのが好ましい。図1(C)に示すウィンドウ120には、図1(A)の撮影画像101に変状データ111、112が可視化され、重畳された画像が表示されている。ここで、撮影画像中の実際のひび割れに対応する変状領域102と変状データ111は、ほぼ重なっており、ユーザは撮影画像中のひび割れの領域を確認することが困難である。同様に、誤った検知結果に対応する変状データ112に対応する撮影画像の領域も閲覧し難い状態となっている。
図1(D)に示すウィンドウ130には、変状データ111、112の表示位置を矢印131の方向に移動させた上で、撮影画像101に重畳された画像が表示されている。図1(D)のように表示することで、変状領域102や、変状データ112の画像部分が閲覧しやすくなる。このように変状データを移動させて重畳表示するオフセット表示は、有効な表示方法である。しかし、図1(D)のように変状データを移動させて表示する場合に、撮影画像や変状データに応じて、適切な移動方向や移動量(図1(D)では矢印131)を設定して、変状データを移動させる必要がある。これに対し、本実施形態に係る情報処理装置は、自動的又は半自動的に、変状データの適切な表示位置を決定し、表示位置に変状データを重畳した撮影画像を表示する。
図2は、第1の実施形態にかかる情報処理装置200のハードウェア構成を示す図である。情報処理装置200は、CPU201と、ROM202と、RAM203と、HDD204と、表示部205と、入力部206と、通信部207とを有している。CPU201は、ROM202に記憶された制御プログラムを読み出して各種処理を実行する。RAM203は、CPU201の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD204は、各種データや各種プログラム等を記憶する。なお、後述する情報処理装置200の機能や処理は、CPU201がROM202又はHDD204に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。表示部205は、各種情報を表示する。入力部206は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。他の例としては、入力部206をペンタブレットとしてもよく、表示部205と入力部206とを併せてタブレットとして構成してもよい。
図3は、情報処理装置200のソフトウェア構成を示す図である。情報処理装置200は、撮影画像記憶部301と、変状データ記憶部302と、受付部303と、検知部304と、データ管理部305と、表示制御部306と、選択部307と、決定部308と、を有している。撮影画像記憶部301は、撮影画像を記憶している。本実施形態においては、撮影画像は、コンクリート壁面に正対した正対画像、すなわちコンクリート壁面に垂直な方向を撮影方向として撮影された画像であるものとする。構造物の撮影時の位置や向きによっては、コンクリート壁面に正対した画像が撮影できないことも多い。この場合には、情報処理装置200は、画像の幾何変換処理によって、正対画像を作成し、これを撮影画像として撮影画像記憶部301に記憶しておくものとする。
変状データ記憶部302は、変状データを記憶している。変状データ記憶部302は、図4に示すように、IDと、変状種類と、表示位置とを対応付けて記憶している。ここで、IDは、変状データの識別情報である。変状種類は、変状の種類を示す情報であり、ひび割れや析出物等がある。座標は、変状が検知された撮影画像上の位置を特定する情報であり、具体的には、撮影画像の座標系における座標値である。
ひび割れの変状に対しては、(xC001_1,yC001_1)から(xC001_n,yC001_n)のn点の2次元座標の値が記録される。なお、座標値は、撮影画像の座標系における座標に限定されるものではなく、構造物が存在する実空間の座標系の値であってもよい。さらに、変状種類がひび割れの変状データには、備考として、ひび割れ太さの情報も記憶されている。
ID=E001は析出物の変状である。析出物はひび割れと異なり、領域を持つ変状となる。したがって、表示位置には、座標(xE001_1,yE001_1)から(xE001_q,yE001_q)が記録され、変状データの範囲は、これらの座標で囲まれる範囲(図5のE001の
範囲)となる。
次に、図5を参照しつつ、撮影画像と変状データの関係について説明する。撮影画像は、ひび割れ等の微少な変状を観測するために高解像度の画像となる。従って、ある構造物の全体の撮影画像は、一般的にデータサイズの非常に大きな画像となる。図5に示す撮影画像500は、構造物壁面の大きな画像(例えば、10万×10万画素以上の画像)で、x軸とy軸の画像座標系を持つ。なお、このような大きな撮影画像500の全体を閲覧しても、コンクリート壁面の微細な変状を確認することは困難である。そこで、通常は、撮影画像500の一部を拡大して閲覧することになる。
例えば、図5のウィンドウ510は、アプリケーションソフトで、撮影画像500の一部分のみを表示する。ウィンドウ510においては、撮影画像500の一部が拡大表示され、これに対応して、変状領域に重畳された変状データC002も拡大表示される。したがって、ユーザは、詳細な状態を確認することができる。通常、変状の確認作業時には、ユーザは、このようにコンクリート壁面画像の任意の部分を拡大して閲覧する。情報処理装置200は、ユーザによる確認作業時には、ウィンドウには撮影画像の一部の領域を拡大して表示するものとする。
図5に示す、ひび割れC001は、(xC001_1,yC001_1)から(xC001_n,yC001_n)等のn点(図では6点)の座標値により定まるポリラインで表現されている。このように、本実施形態においては、ひび割れの変状データは、ポリラインで表現されるものとする。また、ひび割れの変状データは、ひび割れ太さに応じた太さの線で表現されてもよく、また太さに応じた色の線で表現されてもよい。なお、変状データは、ポリラインに限らず、曲線で表現されるものであってもよい。変状データを曲線で表現する場合、詳細な画像表現が可能になるが、データ容量が増加する。
図3に戻り、受付部303は、撮影画像の入力を受け付け、撮影画像を撮影画像記憶部301に格納する。なお、撮影画像は、外部機器からネットワーク等を介して入力されてもよく、また他の例としては、情報処理装置200は撮影部(不図示)を有し、撮影部から入力されてもよい。
検知部304は、撮影画像から変状領域を自動的に検知する。変状領域の自動検知方法は、特に限定されるものではないが、例えば、特許文献1に記載されているような従来技術を用いることができる。また、自動検知方法の他の例としては、変状の画像により予め変状の特徴を学習しておき、この学習結果に基づいて変状を検知する手法を用いてもよい。学習に基づく変状の自動検知手法としては、例えば、以下の文献を参照することができる。
Zhang, Wenyu, et al. "Automatic crack detection and classification method for subway tunnel safety monitoring." Sensors 14.10 (2014): 19307-19328.
データ管理部305は、検知部304による検知結果に基づいて、変状領域に係る情報を変状データとして変状データ記憶部302に記録する。具体的には、データ管理部305は、変状データに対して、新規IDを割り当て、新規IDを変状データ記憶部302に記録する。さらに、データ管理部305は、検知された変状の形状に基づいて、変状種別を特定し、特定した変状データを新規IDに対応付けて変状データ記憶部302に記録する。データ管理部305はまた、撮影画像における変状領域の位置を特定し、これを新規IDに対応付けて変状データ記憶部302に記録する。
なお、他の例として、変状領域は、ユーザの操作入力に応じて特定されてもよい。この場合、情報処理装置200は、ユーザ操作に応じて変状データを記録する。具体的には、表示部205が撮影画像を表示する。そして、ユーザは、ひび割れ等の変状の位置を目視により確認し、入力部206を介して撮影画像上の位置を指定することにより変状領域を指定する。そして、データ管理部305は、ユーザにより指定された変状領域に係る情報を変状データとして変状データ記憶部302に記録する。なお、変状データ記憶部302は変状データを記憶するものではればよく、変状データの生成手法は実施形態に限定されるものではない。変状データ記憶部302は、自動検知やユーザ入力などの異なる手法により得られた複数の変状データを記憶していてもよい。
ユーザは、これらの変状データが正しいか否かを確認する作業を実施する。例えば、ユーザが変状データ入力後に入力結果が正しいか確認したり、変状自動検知処理の後に、自動検知結果が正しいかを確認したりする必要がある。また、変状データの入力作業中にも、ユーザ自身が入力した変状データの確認を行いたいケースがある。この場合、入力済みの変状データを元に、以降で説明する処理を実行して表示画像を作成して、ユーザに提示してもよい。この場合、情報処理装置200は、ユーザが表示変更を命令すると、入力済みの変状データを元に、表示パラメータを算出し、撮影画像と変状データを閲覧するための表示を行うようにする。
表示制御部306は、表示部205への画像表示を制御する。選択部307は、撮影画像上に重畳して表示されている複数の変状データから少なくとも一つの変状データを選択する。選択部307により選択される変状データは、変状データの表示パラメータを算出する処理において参照される変状データである。以下、選択部307により選択された変状データを対象変状データと称することとする。ここで、対象変状データは、対象データ及び対象関連データの一例である。また、撮影画像上に表示中の変状データで、対象変状データ以外の変状データ(対象データ以外の関連データ)を他の変状データ(他の関連データ)と称することとする。なお、対象変状データは、処理対象の対象データの一例である。決定部308は、対象変状データに基づいて、表示パラメータを算出する。
図6は、情報処理装置200による表示処理を示すフローチャートである。なお、本処理の前提として、撮影画像記憶部301には撮影画像が記憶されており、この撮影画像に対応する変状データが変状データ記憶部302に記憶されているものとする。S601において、表示制御部306は、撮影画像記憶部301から撮影画像を読み込む。表示制御部306は、また変状データ記憶部302から変状データを読み込む。次に、S602において、表示制御部306は、変状データに基づいて、撮影画像の変状領域上に、対応する変状データを重畳表示する。具体的には、表示制御部306は、変状データの座標の位置に変状データを重畳する。なお、このとき、表示部205に表示される変状データは、例えば、図1(B)に示すように変状領域上に重畳されている。このため、撮影画像の変状領域が見え難い状態になっている。
次に、S603において、CPU201は、入力部206へのユーザ操作に応じて表示変更命令を受け付けたか否かを確認する。本処理は、変更命令の受付処理の一例である。CPU201は、表示変更命令を受け付けた場合には(S603でYes)、処理をS604へ進める。CPU201は、表示変更命令を受け付けなかった場合には(S603でNo)、表示状態を継続する。S604において、選択部307は、ユーザの閲覧状態又はユーザ指示に基づいて、複数の変状データの中から、対象変状データを選択する。S605において、決定部308は、オフセットパラメータを決定する。ここで、オフセットパラメータは、表示パラメータの一例であり、変状データの表示位置を移動させる際の移動方向及び移動量を示す値である。
次に、S606において、表示制御部306は、オフセットパラメータにより定まる、撮影画像の表示位置に変状データを移動して、重畳して表示するよう制御する。表示制御部306は、複数の変状データが表示されている場合には、複数の変状データそれぞれについて、移動して重畳表示するよう制御する。本処理は、表示制御処理の一例である。次に、S607において、CPU201は、入力部206へのユーザ操作に応じて表示変更終了命令を受け付けたか否かを確認する。CPU201は、表示変更終了命令を受け付けた場合には(S607でYes)、処理をS608へ進める。CPU201は、表示変更終了命令を受け付けなかった場合には(S607でNo)、表示状態を継続する。
S608において、表示制御部306は、変状データの表示位置を移動前の表示位置に戻す。次に、S609において、CPU201は、入力部206へのユーザ操作に応じて、表示終了命令を受け付けたか否かを確認する。CPU201は、表示終了命令を受け付けた場合には(S609でYes)、表示処理を終了する。CPU201は、表示終了命令を受け付けなかった場合には(S609でNo)、処理をS603へ進める。
以下、表示処理の詳細について説明する。S603で受け付ける表示変更命令及びS607で受け付ける表示変更終了命令は、それぞれ所定のキーを押すというユーザ操作と、押下状態の所定のキーを離すというユーザ操作であってもよい。また、他の例としては、CPU201は、ユーザがキーを1度押した場合に表示変更命令を受け付け、再度キーを押した場合に表示変更終了命令を受け付けることとしてもよい。
なお、各命令を入力するためのユーザ操作は、実施形態に限定されるものではない。他の例としては、CPU201は、キーではなく、所定のGUI上のアイコンを、マウス等でクリックした場合に表示変更命令を受け付けてもよい。また、ユーザは、詳細に閲覧したい変状データをクリックやマウスオーバーすることにより指定してもよい。この場合、CPU201は、変状データの指定を含む表示変更命令を受け付けることとなり、S604においては、選択部307は、指定に係る変状データを対象変状データとして選択する。
次に、S604における変状データ選択処理について説明する。例えば、図5に示すように、撮影画像上には複数の変状データが重畳される。これらすべての変状データを考慮してオフセットパラメータを設定すると、必ずしもユーザが着目している変状データに適した表示にならない。そこで、S604においては、これらの複数の変状データの中から、オフセットパラメータを決定する際に利用する変状データを対象変状データとして選択する。
選択部307は、例えば、表示変更命令が入力された時の、ユーザの閲覧状態に基づいて、対象変状データを選択する。図5において説明したように、撮影画像500のうち、ユーザが閲覧しているのは、変状データC002である。この場合、選択部307は、変状データC002を対象変状データとして選択する。すなわち、選択部307は、表示中の変状データを対象変状データとして選択する。このように、対象変状データをユーザの閲覧状態に応じて選択することにより、対象変状データに応じたオフセットパラメータを決定することができる。
対象変状データの選択方法は、上記に限らず、他の方法を用いてもよい。図7は、対象変状データの選択方法の他の例の説明図である。図7(A)のウィンドウ710及び図7(B)のウィンドウ720には、それぞれコンクリート壁面の撮影画像が表示されている。図7(A)のウィンドウ710に表示される撮影画像には、ひび割れ712、713、714が存在している。これに対し、選択部307は、表示中の撮影画像と、各変状データの表示位置との関係に基づいて対象変状データを選択してもよい。例えば、選択部307は、ウィンドウ710の中心と表示位置の距離に応じて対象変状データを選択する。図7(A)の例においては、表示位置が中心領域715に重なるひび割れの変状データ712、713が対象変状データとして選択される一方で、変状データ714は選択されない。
ユーザは、特に着目している変状データや変状領域を、ウィンドウの中心に配置して閲覧を行う傾向にあると考えられる。従って、このように表示中の撮影画像の中心付近に存在する変状データを選択することとする。これにより、ユーザが特に注目している変状データを対象変状データとして選択することができる。
また、他の例としては、情報処理装置200は、さらにカメラ(不図示)を備え、選択部307は、撮影画像からユーザの視線方向を取得し、視線方向の先に表示されている変状データを対象変状データとして選択してもよい。
また、他の例としては、選択部307は、ユーザ操作に応じて対象変状データを選択してもよい。ユーザがマウスカーソルで変状データを選択した場合には、選択部307は、選択された変状データを対象変状データとして選択する。さらに、前述のように、ユーザが変状データを選択(クリック)又はマウスオーバーした場合に、情報処理装置200は、表示変更命令を受け付け、さらに、選択等された変状データを対象変状データとして選択してもよい。
また、対象データは1つに限定されるものではない。選択部307は、例えば、表示部205に表示されている複数の変状データすべてを対象変状データとして選択してもよい。また、ユーザが範囲指定により複数の変状データを選択した場合には、選択されたすべての変状データを対象変状データとして選択してもよい。
また、他の例としては、選択部307は、ユーザによる変状データの選択に応じて、選択された変状データに関連する他の変状データをさらに対象変状データとして選択してもよい。選択部307は、例えば、選択された変状データに重複する変状データ及び隣接する変状データを対象変状データとして選択する。図7(B)のウィンドウ720に表示される撮影画像には、ひび割れ722、723、724と、析出物725が存在している。これに対し、ユーザがひび割れ722を選択したとする。この場合、選択部307は、ひび割れ722以外に、ひび割れ722と重複する析出物725の変状データを対象変状データとして選択する。また、ユーザが析出物の変状データ725を選択した場合には、選択部307は、変状データ725だけでなく、変状データ725と重複するひび割れの変状データ722、723を対象変状データとして選択する。
また、他の例としては、選択部307は、ユーザにより選択された変状データとの連続性を考慮して、他の変状データをさらに対象変状データとして選択してもよい。例えば、図7(B)の例において、ひび割れの変状データ722、723は、端点が近く、向きが似ているため、実際は連続したひび割れである可能性がある。このような隣接したひび割れが存在する場合には、ユーザがひび割れの変状データ722を選択した場合に、選択部307は、ひび割れの変状データ722だけでなく、変状データ723も対象変状データとして選択する。
次に、S605におけるオフセットパラメータの決定処理について説明する。オフセットパラメータpは、変状データが撮影画像の平面内を移動するパラメータで、(式1)のように定義される。
図8は、オフセットパラメータpの説明図である。図8の点線で示す変状データ800の表示位置をA、移動先の位置をBとすると、Bの位置は、Aからの移動量r及び移動方向θにより特定することができる。決定部308は、適切なオフセットパラメータ(ユーザが撮影画像と変状データを比較しながら閲覧しやすくなるオフセット)を求めるために、オフセットパラメータpに基づいて、オフセットコストC
n(p)を算出する。そして、決定部308は、(式2)によりオフセットコストが最小となるオフセットパラメータpを求める。
Cn(p)は、以下で説明する複数の異なる基準のオフセットコストである。wnは各種類のオフセットコストへの重みである。以下、本実施例では、Cn(p)の例として、3種類のオフセットについて説明するが、オフセットコストの算出方法はこれらに限らず、他の方法を用いてもよい。
まず、1つ目のオフセットコストC1(p)について説明する。1つ目のオフセットコストC1(p)は、対象変状データの元の位置との重複コストとして定義する。対象変状データの表示位置を移動するのは、対象変状データが重畳した領域の撮影画像を閲覧しやすくすることである。従って、対象変状データを元の位置から移動させると共に、移動先が対象変状データに対応する変状領域であったり、または他の変状データに対応する変状領域であったりするのは好ましくない。そこで、オフセットコストC1(p)は、オフセットパラメータpで対象変状データを移動させたときに、移動後の表示位置と移動前の表示位置との重複画素数に比例する値とする。
図9は、オフセットパラメータpとオフセットコストC1(p)の関係を説明するための図である。まず、図9(A)、(B)それぞれにおいて、点線で示す位置901、902は、変状領域に対応する表示位置である。これに対し、図9(A)において実線で示す位置911、912は、対象変状データのオフセットパラメータp1に応じた移動後の位置である。同様に、図9(B)において実線で示す位置921、922は、オフセットパラメータp2に応じた移動後の位置である。オフセットコストC1(p)は、図9(A)、(B)それぞれにおいて、移動後の位置に配置された対象変状データと変状領域との重複画素数に比例した値となる。
図9の例では、図9(B)の位置921、922の方が図9(A)の位置911、912に比べて重複画素数が多い。したがって、図9(A)の例に対応するオフセットコストと、図9(B)の例に対応するオフセットコストを、それぞれC1(p1)、C1(p2)とすると、C1(p1)<C1(p2)の関係となる。すなわち、図8(A)のオフセットパラメータp1の方が望ましいパラメータであることがわかり、式(2)で表すように、最終的には、オフセットコストを低くするオフセットパラメータp1が選ばれる。
次に、2つ目のオフセットコストC2(p)について説明する。2つ目のオフセットコストC2(p)は、変状データの移動後の位置における画像エッジの位置に基づいて、算出される値で、エッジ部分との重なりが大きい程大きい値になる。コンクリート壁面の撮影画像の画像エッジ部分は、ひび割れや析出物等の変状である可能性がある。従って、このような画像エッジ部分はユーザが観測したい画像部分である可能性が高く、変状データが重畳されないことが好ましい。
オフセットコストC2(p)を算出するためには、まず、撮影画像のエッジ画素を特定する必要がある。このために、情報処理装置200は、まず撮影画像に対してエッジ検出処理を行う。エッジ検出手法は、SobelフィルタやCanny等既知の手法を用いればよい。決定部308は、オフセットパラメータpで移動した変状データと、エッジ画素の重複画素数に比例する値を、オフセットコストC2(p)の出力値とする。
次に、3つ目のオフセットコストC3(p)について説明する。3つ目のオフセットコストC3(p)は、変状データに対応する変状領域との距離に応じて算出される。変状データの移動量rが少ないと変状領域との重なりが解消しない場合がある。一方、移動量rが大きすぎると、変状領域と変状データの対応関係がわかり難く、両画像の比較が困難となる。オフセットコストC3(p)は、変状データの移動量を所定の範囲内の値になるように調整するコストである。
オフセットコストC
3(p)は例えば、(式3)により算出することができる。
(式3)においてβは標準的な移動量で、定数として与えられる。βは、どのように設定してもよい。例えば、決定部308は、撮影画像及び変状データの閲覧中の解像度(表示倍率)に従って決めてもよい。具体的には、決定部308は、拡大して表示している場合には、βを比較的大きな値に設定し、縮小して表示している場合には、βを比較的小さな値に設定するようにしてもよい。
他の例としては、決定部308は、オフセットパラメータpは、計算の簡略化のため、予め決められたオフセットパラメータpの中から最適なオフセットパラメータpを選択することとしてもよい。例えば、図10に示すようにp1~pmのm個のオフセットパラメータがHDD204等に予め設定されており、決定部308は、m個のオフセットパラメータの中から、(式2)を最小とするオフセットパラメータpを求める。
オフセットパラメータC1(p)とC2(p)では、オフセットパラメータpの移動量r及び移動方向θを求める構成としたが、他の例としては、決定部308は、一方を固定値として、オフセットパラメータを算出してもよい。例えば、決定部308は、移動方向θは常に固定で、移動量rを最適化するようにしてオフセットパラメータpを求めてもよい。また、移動方向θはユーザが指定し、決定部308は、ユーザ指定の移動方向θに対し、移動量rのみを算出してもよい。また逆に、移動量はユーザが指定し、決定部308は、ユーザ指定の移動量rに対し、移動方向θのみを算出してもよい。
次に、S606における対象変状データの表示位置変更処理について説明する。S606において、表示制御部306は、S605において決定したオフセットパラメータにより定まる表示位置に変状データを移動する。なお、本実施形態においては、表示制御部306は、表示中のすべての変状データを移動させることとする。
なお、他の例としては、表示制御部306は、対象変状データのみを移動させることとしてもよい。また、他の例としては、表示制御部306は、変状データに替えて撮影画像をオフセットパラメータpに従って移動させることにより、撮影画像と変状データの位置関係を変更してもよい。
作成した表示画像は、表示部205に表示される。図11は、表示画像をアプリケーションウィンドウ1100に表示した例である。図1(C)と比べると、図11の変状データ111、112は、オフセットパラメータpに従ってオフセット表示された状態にある。この結果、単純な重複表示(図1(C))では、確認が難しかった、変状領域102の部分が閲覧しやすい状態になっている。このため、ユーザは、コンクリート壁面の撮影画像の変状領域102と対応する変状データ111を対比して確認することができる。また、ユーザは、誤検知に対応する変状データ112に対応する撮影画像の領域についても、変状データ112と対比して確認することができる。
さらに、表示制御部306は、変状データを、オフセットパラメータ等の情報と共に表示してもよい。図11の例においては、移動量と移動方向を矢印1110の向きと長さで示している。表示制御部306は、オフセット表示した変状データの元の位置との対応を示す情報をさらに表示してもよい。図11の例においては、小さな矢印1111でオフセット表示した変状データの元の位置との関係を示している。また、表示制御部306は、図11に示すように、移動量を示す数値「5pixel」を表示してもよい。他の例としては、表示制御部306は、移動量の大小を輝度や色で表してもよい。
以上のように、本実施形態に係る情報処理装置200は、変状データの中から対象変状データを選択し、対象変状データに基づいて、対象変状データの移動後の表示位置を決定し、決定した表示位置に対象変状データ移動して表示する。これにより、ユーザは、変状領域と、対応する変状データとを対比して確認することができる。すなわち、情報処理装置200は、ユーザによる煩雑な操作を要することなく、画像中の領域と、領域に対応する関連データとの確認作業を容易に行うことができるようなユーザインタフェースを提供することができる。
第1の実施形態の第1の変更例としては、情報処理装置200は、撮影画像の変状領域と、対応する変状データに限らず、撮影画像の所定の領域と、所定の領域に関連付けられた関連データに対し、実施形態に係る処理を行うことができる。
また、第2の変更例としては、情報処理装置200は、複数のオフセットパラメータpを参照し、変状データの表示位置を切り替えてを表示してもよい。例えば、決定部308は、図10で示したm個のオフセットパラメータ候補それぞれについてオフセットコストを算出する。そして、コストが所定以下のオフセットパラメータを、コストが低い順にランク付けする。そして、表示制御部306は、まず、最もコストが低いオフセットパラメータに基づいて表示位置を決定し、この表示位置に変状データを配置した画像を表示するよう制御する。
ここで、ユーザからオフセット表示の変更指示を受け付けると、表示制御部306は、2番目のオフセットパラメータに基づいて表示位置を決定し、この表示位置に変状データを配置した画像を表示するよう制御する。このように、表示制御部306は、ユーザから指示を受け付ける度に、ランク順にオフセットパラメータを替えることにより、変状データの表示位置を変更してもよい。これにより、ユーザは、所望の位置に変状データを表示させることができる。
また、第3の変更例としては、情報処理装置200は、対象変状データが複数選択された場合に、対象変状データ毎に個別にオフセットパラメータを算出してもよい。そして、情報処理装置200は、各変状データに対しそれぞれに対応するオフセットパラメータを用いて変状データの移動後の表示位置を決定してもよい。図12のウィンドウ1200の変状データ111、112は、それぞれに適切なオフセットパラメータに基づいて移動している。これは、例えば、コンクリート壁面の撮影画像の画像エッジの影響等により、変状データ112は、変状データ111と反対向きのオフセットパラメータが算出されたケースである。
また、第4の変更例としては、決定部308は、自動算出したオフセットパラメータをユーザ操作に応じて修正してもよい。表示制御部306は、自動算出されたオフセットパラメータの移動量rと移動方向θをGUI上のフィールドに表示する。自動算出されたオフセットパラメータと異なるオフセットパラメータでの変状データの表示を希望するユーザは、フィールドに表示された移動量rと移動方向θの値を変更するための入力を行う。これにより、ユーザが、自動算出されたオフセットパラメータを修正して、閲覧を行うことができるようになる。また、ユーザによるオフセットパラメータの修正に係る処理は、GUIフィールドへの数値入力に限定されない。他の例としては、表示制御部306は、パラメータをGUIのバーで表示し、ユーザはバーを移動させることでパラメータ修正を行うことができるようにしてもよい。
(第2の実施形態)
次に、第2の実施形態に係る情報処理装置200について説明する。第2の実施形態に係る情報処理装置200は、対象変状データの主線方向を求め、主線方向に基づいてオフセットパラメータを算出する。以下、ひび割れを例に説明する。なお、第2の実施形態に係る情報処理装置200は、移動量rを固定とし、移動方向θを求めることにより、オフセットパラメータpを決定する。
図13は、ひび割れの対象変状データ1300が選択された場合の、オフセットパラメータpの算出方法の説明図である。決定部308は、まず、対象変状データ1300の主線方向を算出する。図13には、対象変状データ1300の主線方向を点線1301で示している。主線方向1301は、どのように算出してもよいが、例えば、対象変状データ1300の始点と終点を繋ぐことで、簡易的に求めることができる。
そして、決定部308は、移動方向θとして、主線方向1301と直交する向きを求める。ひび割れ1300に対しては2つの移動方向が求まり、これらに対応し、図13に示すようにオフセットパラメータp3、p4が算出される。
その後、表示制御部306は、いずれか一方のオフセットパラメータにより変状データを移動させた画像を作成し、表示部205に表示するよう制御する。その後、ユーザがオフセットパラメータの変更の入力を行うと、表示制御部306は、他方のオフセットパラメータにより変状データを移動させた画像を作成し、これを表示するよう制御する。
なお、第2の実施形態に係る情報処理装置200のこれ以外の構成及び処理は、第1の実施形態に係る情報処理装置200の構成及び処理と同様である。以上のように、本実施形態に係る情報処理装置200は、変状の主線方向に応じてオフセットパラメータを決定することができる。したがって、適切な位置に変状データを表示することができる。
第2の実施形態の変更例としては、複数の変状データが対象変状データとして選択されてもよい。この場合、決定部308は、複数の対象変状データ(ひび割れ)それぞれの主線方向を算出する。そして、決定部308は、これら複数の主線方向から得られる統計的な主線方向と直交する方向を移動方向θとするオフセットパラメータpを決定する。ここで、統計的な主線方向は、例えば、複数の主線方向の平均値や中央値により得られる方向である。
(第3の実施形態)
次に、第3の実施形態に係る情報処理装置200について説明する。第3の実施形態に係る情報処理装置200は、変状データの属性に基づいて、対象変状データを自動的に選択する。参照する変状データの属性としては、以下のものが挙げられる。まず、変状がひび割れで、各ひび割れが図4のようにひび割れ太さ属性情報を有しているとする。この場合、選択部307は、太さ属性を参照し、比較的細いひび割れを対象変状データとして選択する。細いひび割れは、ひび割れか否かの判断が難しいため、入力者のミスや自動検知のミスが発生しやすく、詳細に確認するべき変状であるためである。
また、析出物等と重複しているひび割れも、ひび割れか否か判断が難しいケースが多い。そこで、決定部308は、析出物との重複の有無を示す属性情報を参照し、重複を有するひび割れを対象変状データとして選択する。なお、この場合、変状データ記憶部302には、変状データとして、析出物との重複の有無を示す属性情報が記憶されているものとする。
また、検知部304が変状データを自動検知し、さらに、検知結果の信頼度を示すスコアを求めることとし、選択部307は、スコアが閾値未満である等、比較的低いスコアの変状領域に対応する変状データを対象変状データとして選択してもよい。信頼度スコアが低い場合、自動検知結果をユーザが確認することが好ましい。対応する変状データを対象変状データとして選択することで、優先的に詳細な確認を行うことができる。
なお、第3の実施形態に係る情報処理装置200のこれ以外の構成及び処理は、他の実施形態に係る情報処理装置200の構成及び処理と同様である。第3の実施形態に係る情報処理装置200によれば、ユーザ操作を要することなく、適切な変状領域を選択することができる。
第3の実施形態の変更例としては、選択部307は、ユーザの閲覧状態に合わせて、対象変状データを選択する際に参照する属性情報を決定してもよい。例えば、選択部307は、高解像度で(拡大して)撮影画像を閲覧している場合には、ひび割れの変状データを選択し、低解像度で(縮小して)撮影画像を閲覧している場合には、析出物等の領域を有する変状データを選択する。高解像度で閲覧している場合には、ユーザはひび割れ等の細かい変状を確認している可能性が高い。また逆に、低解像度で閲覧している場合は、広い領域を閲覧しているため、析出物等の広がりを持つ変状を確認している可能性が高い。これに対し、ユーザの閲覧状態に合わせて、選択する対象データを変更することができる。
(第4の実施形態)
次に、第4の実施形態に係る情報処理装置200について説明する。第4の実施形態では、オフセットパラメータ以外の表示パラメータの例として、透明度αについて説明する。表示制御部306は、表示パラメータとして透明度αを算出し、対象変状データの周辺の変状データの透明度を変更する。これにより、ユーザは、対象変状データを閲覧し易くなる。ここで、表示パラメータは、対象変状データと、の他の変状データの表示態様を異ならせるためのパラメータである。
図14には、この実施形態を説明する図を示す。図14(A)は、複数の変状データが近接して表示されている例を示す図であり、ひび割れの変状データ1401、1402、1403及び析出物の変状データ1404が近接して表示されている。ここで、ユーザ選択等により変状データ1401が対象変状データとして選択されたとする。これに対し、表示制御部306は、対象変状データ以外の変状データ、すなわち他の変状データに対し、透明度αの表示パラメータを設定する。透明度αは、ユーザが数値入力で設定したり、GUI上のパラメータバーで入力したりするものであるとする。透明度αは、透過表示の程度を示す値で、0%~100%の値を持つパラメータである。表示制御部306は、他の変状データの透明度αを、事前に設定された値(例えば、50%)に設定する。これにより、他の変状データが透過した表示画像を作成することができる。
図14(B)には、このような処理により、対象変状データ1411以外が、透過の状態で表示されている様子を示す図である。点線で示す他の変状データ1412、1413、1414は、これら他の変状データが透過の状態で表示されていることを示している。このように表示することで、ユーザは、対象変状データ1411のみを詳細に確認することができるようになる。特に、対象変状データ1411は、他の変状データ(析出物)1414と重複しており、他の変状データ1414の表示を透過させることにより、重複部分を詳細に確認することができるようになる。
表示制御部306はさらに、透明度αを、対象変状データと他の変状データの距離に応じて設定してもよい。表示制御部306は、例えば、対象変状データとの距離が近い程、より高い透明度を設定する。これにより、表示制御部306は、対象変状データの近傍の他の変状データを透明(非表示)にしつつ、周辺に離れるに従って、他の変状データが表示されていく表示画像を作成することができる。これにより、ユーザは、対象変状データを閲覧しやすく、且つ、周辺の変状データも確認することができる。なお、第4の実施形態に係る情報処理装置200のこれ以外の構成及び処理は、他の実施形態に係る情報処理装置200の構成及び処理と同様である。以上のように、第4の実施形態に係る情報処理装置200は、他の変状データの透明度を高めることにより、対象変状データの見易さを向上させることができる。
第4の実施形態の第1の変更例としては、表示制御部306は、他の変状データの透明度を変更するのに替えて、対象変状データの透明度を変更してもよい。このように、対象変状データと他の変状データの透明度を異ならせればよい。また、他の例としては、表示制御部306は、ユーザ指示に応じて、透明度の変更対象を、対象変状データとするか、他の変状データとするかを選択してもよい。
以上、第4の実施形態では、オフセットパラメータ以外の表示パラメータとして、透明度αを用いた例を説明した。第2の変更例としては、オフセットパラメータ以外の表示パラメータは透明度αに限定されるものではなく、他のパラメータを用いても良い。例えば、情報処理装置200は、表示パラメータとしてぼかしの強さσを変更してもよい。ぼかし強さσは、ガウシアンフィルターの幅を示すパラメータで、大きな値を設定するほど、ぼけた画像を作成することができる。表示制御部306は、他の変状データのぼかし強さσを、対象変状データからの距離が近いほど大きな値を設定する。これにより、他の変状データがぼけた表示画像を作成することができる。
(第5の実施形態)
次に、第5の実施形態に係る情報処理装置200について説明する。第5の実施形態に係る情報処理装置200では、まず、決定部308は、オフセットパラメータpを算出する。この時、オフセットパラメータpの移動量rが小さな値となることもある。移動量rが小さな値となると変状データが元の位置からほとんど移動しない。したがって、変状データに重畳された領域の撮影画像を閲覧し難い。これに対し、本実施形態においては、表示制御部306は、移動量rが閾値以下である場合には、対象変状データの透明度αを変更することとする。
表示制御部306は、例えば、移動量rが小さいほど高い透明度αを対象変状データに対して設定する。ここで、移動量rが小さいほど高い透明度αを設定するのは、対象変状データが重畳した領域の撮影画像を閲覧し易くするためである。これにより、対象変状データはオフセットパラメータpに従って少し移動し、且つ、透明度αに従って透明の状態で表示される。これにより、元の位置からの移動量が少ない場合でも、対象変状データが重畳された領域の撮影画像を閲覧し易くすることができる。
なお、第5の実施形態に係る情報処理装置200のこれ以外の構成及び処理は、他の実施形態に係る情報処理装置200の構成及び処理と同様である。以上のように、第5の実施形態に係る情報処理装置200は、オフセットパラメータの変更と同時に、対象変状データの透明度も変更することにより、対象変状データが重畳された領域の撮影画像を閲覧し易くすることができる。
第5の実施形態の変更例としては、表示パラメータは透明度αに限定されない。他の例としては、ぼかしの強さσが挙げられる。また、他の表示パラメータとしては、表示制御部306は、対象表示画像を周期的にオン・オフする周期表示フラグを用いてもよい。この場合、表示制御部306は、移動量rが小さいオフセットパラメータが算出された場合、対象変状データの周期表示をオンに設定し、対象変状データを点滅表示するよう制御する。これにより、移動量rが少ない場合にも対象変状データが重畳された領域の撮像画像を閲覧し易くすることができる。
(第6の実施形態)
次に、第6の実施形態に係る情報処理装置200について説明する。第6の実施形態に係る情報処理装置200は、異なるソースの複数の変状データを変状領域の近傍に並べて表示する。図15は、異なる時期に作成した変状データを並べてオフセット表示する例を示す図である。例えば、2012年、2014年、2016年と、2年毎の検知結果に対応する対象建造物のコンクリート壁面の変状データが記憶されているものとする。構造物の経年劣化を確認するために、このように異なる時期で変状データが記録される。このような、異なるソースの変状データが、変状データ記憶部302に格納されているものとする。
図15(A)では、まず、コンクリート壁面画像の変状領域1500に対し、2016年に記録した変状データに対応する変状データ1510が重畳表示されている。図15(B)は、図15(A)で変状データ1510が対象変状データとして選択されている状態で、ユーザが表示変更命令を行った結果、表示される表示画像である。図15(B)では、変状領域1500に対し、3つの変状データ1510、1511、1512が表示されている。変状データ1511は、2014年の記録に対応する変状データであり、変状データ1512は、2012年の記録に対応する変状データである。変状データ1510、1511、1512は、記録年の順にオフセット表示されている。
第6の実施形態の情報処理装置200は、第1の実施形態において説明した処理により最新の記録に対応する変状データ1510のオフセットパラメータpを算出し、変状データ1510を表示する。さらに、情報処理装置200は、変状データ1510オフセットパラメータpの移動方向θの方向に、さらにオフセットさせて過去の変状データ1511、1512を表示する。複数の過去の変状データが複数存在する場合には、図15(B)に示すように、複数の変状データを時系列順に表示することが好ましい。
さらに、情報処理装置200は、時系列に沿った複数の変状データの間が等間隔になるように表示してもよいし、各変状データの撮影時期に応じた間隔になるように表示してもよい。これにより、ユーザは、変状領域の経年変化を容易に確認することができる。なお、第6の実施形態に係る情報処理装置200のこれ以外の構成及び処理は、他の実施形態に係る情報処理装置200の構成及び処理と同様である。
第6の実施形態の変更例について説明する。情報処理装置200は、同一の変状領域に対し、入力作業者の入力結果と自動検知結果が、それぞれ記録されている場合において、これら2つの検知結果に対応する2つの変状データを表示してもよい。図16は、撮影画像中の変状領域1600に対して、入力作業者が入力した変状データに対応する変状データ1610と自動検知結果に対応する変状データ1611を同時にオフセット表示した例を示す図である。
図16では、変状データ1610、1611を変状領域1600に対して反対側に表示している。このように2つの変状データを表示するためには、例えば、第2の実施形態において説明したオフセットパラメータp3、p4を適用すればよい。また他の例としては、情報処理装置200は、第7の実施形態において説明したように、入力作業者が入力した変状データに対応する変状データ1610と自動検知結果に対応する変状データ1611を同一方向に並べて表示してもよい。
なお、同時に並べて表示する対象となる変状データは実施形態に限定されるものではない。他の例としては、情報処理装置200は、複数の異なる入力作業者の入力した変状データを同時に表示するようにしてもよい。これにより、作成工程の異なる複数の変状データを比較して確認することができる。
第2の変更例としては、情報処理装置200は、異なる時期に作成した変状データ、または、異なるソースの変状データをオフセット表示以外の表示方法で表示してもよい。例えば、情報処理装置200は異なる時期に作成した変状データ、または、異なるソースの変状データに対し、それぞれ、異なる色を割り当てて表示するようにしてもよい。具体的な例としては、情報処理装置200は、例えば、異なる時期に作成した変状データを色分けした上で、新しい変状データを下層レイヤに設定し、古い変状データを上層レイヤに設定して表示する。これにより、変状の進展状況を確認することができるようになる。
以上、上述した各実施形態によれば、ユーザによる煩雑な操作を要することなく、画像中の領域と、領域に対応する関連データとの確認作業を容易に行うことができるようなユーザインタフェースを提供するこことができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、第2の実施形態に第1の実施形態の第2の変更例を組み合わせ、複数の対象領域それぞれに対し、主線方向に応じた個別のオフセットパラメータを設定する等、上述の実施形態の一部を適宜組み合わせてもよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。