JP7005799B2 - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents

情報処理装置、情報処理装置の制御方法及びプログラム Download PDF

Info

Publication number
JP7005799B2
JP7005799B2 JP2021014942A JP2021014942A JP7005799B2 JP 7005799 B2 JP7005799 B2 JP 7005799B2 JP 2021014942 A JP2021014942 A JP 2021014942A JP 2021014942 A JP2021014942 A JP 2021014942A JP 7005799 B2 JP7005799 B2 JP 7005799B2
Authority
JP
Japan
Prior art keywords
data
deformation
information processing
processing apparatus
deformation data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021014942A
Other languages
English (en)
Other versions
JP2021073463A (ja
Inventor
敦史 野上
守 吉本
伸明 ▲桑▼原
裕輔 御手洗
康弘 小森
優和 真継
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021014942A priority Critical patent/JP7005799B2/ja
Publication of JP2021073463A publication Critical patent/JP2021073463A/ja
Application granted granted Critical
Publication of JP7005799B2 publication Critical patent/JP7005799B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関する。
従来、橋梁、ダム、トンネル等のコンクリート壁面の点検では、調査技術者がコンクリート壁面に接近し、ひび割れ等の変状を目視により記録している。このような近接目視と呼ばれる点検作業は作業コストが高い。そのため、コンクリート表面を撮影した画像から変状を自動的に検知する方法が提案されている。特許文献1には、ウェーブレット変換を用いて、コンクリート壁面画像からひび割れを自動検知する技術が開示されている。
さらに、このような自動検知の精度は十分ではなく、誤検知や未検知が発生する。このため、調査技術者や調査責任者が、自動検知の結果を示す変状データとコンクリート壁面画像を確認し、適宜修正を行う必要がある。この確認・修正作業において、コンクリート壁面画像と変状データを同時に閲覧するために、一般的にコンクリート壁面画像に変状データが重畳して表示される。
特許文献2には、医療画像において抽出した臓器の輪郭線が正しいかどうか判断するために、ユーザの移動指示操作に基づいて、輪郭線を移動、変形して表示させる技術が開示されている。
特開2014-228357号公報 特開平10-105678号公報
しかしながら、変状データを画像に重畳表示することにより、変状データに対応する部分の画像の閲覧が難しくなり、変状データが正しいか否かの判断が行い難くなる場合がある。特許文献2の方法を用いて、変状データを移動、変形することで、閲覧を行い易くすることもできるが、特許文献2の方法では、輪郭線の移動、変形のパラメータをユーザが手動で調整する必要がある。そのため、表示中の画像に対して、閲覧を行いやすくする適切なパラメータをユーザが毎回調整する必要があり、ユーザの閲覧作業が繁雑になる。
本発明はこのような問題点に鑑みなされたもので、ユーザによる煩雑な操作を要することなく、画像中の領域と、領域に対応する変状を示すデータとの確認作業を容易に行うことができるようなユーザインタフェースを提供することを目的とする。
本発明の情報処理装置は、構造物に生じた変状であって、第1の時間で撮影された第1の変状を示す第1のデータと、前記第1の時間より前の第2の時間に撮影された前記第1の変状に対応する第2のデータとを取得する取得手段と、前記構造物における前記第1の変状を含む領域を特定するための領域情報と、前記第1のデータと、前記第2のデータとを表示させる表示制御手段であって、前記第1のデータと、前記第2のデータとを重ならないように表示させる表示制御手段と、を有することを特徴とする。
本発明によれば、ユーザによる煩雑な操作を要することなく、画像中の領域と、領域に対応する変状を示すデータとの確認作業を容易に行うことができるようなユーザインタフェースを提供することができる。
情報処理装置のGUIアプリケーションのウィンドウの表示例を示す図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置のソフトウェア構成を示す図である。 変状データの説明図である。 撮影画像と変状データの関係の説明図である。 表示処理を示すフローチャートである。 対象変状データの選択方法の他の例の説明図である。 オフセットパラメータの説明図である。 オフセットパラメータとオフセットコストの関係の説明図である。 オフセットパラメータの決定方法の他の例の説明図である。 表示ウィンドウの一例を示す図である。 表示ウィンドウの一例を示す図である。 オフセットパラメータの算出方法の説明図である。 表示ウィンドウの一例を示す図である。 表示ウィンドウの一例を示す図である。 表示ウィンドウの一例を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
第1の実施形態に係る情報処理装置は、例えば、橋梁、ダム、トンネル等のコンクリート構造物の壁面等の点検・管理の支援のために、壁面を撮影した撮影画像を記憶、表示する。さらに、情報処理装置は、点検・管理において、管理者の目視による確認が必要な確認対象となる変状領域を表示する。
なお、管理対象は、コンクリート構造物の壁面に限定されるものではない。点検、管理の対象の他の例としては、道路のアスファルトが挙げられる。また、管理対象の変状領域とは、変状すなわち状態変化が生じている領域である。変状としては、コンクリート構造物では、ひび割れ、遊離石灰の析出、ジャンカ、コールドジョイント、鉄筋露出等が挙げられる。変状は実施形態に限定されるものではない。また、撮影画像は、可視光画像(RGB画像)であるものとするが、画像の種類はこれに限定されるものではない。他の例としては、撮影画像は、赤外線カメラで撮影した熱画像やラインセンサカメラで撮影した画像等でもよい。なお、コンクリート構造物の壁面の撮影画像は、画像の一例である。
図1は、情報処理装置のGUIアプリケーションのウィンドウの表示例を示す図である。図1を参照しつつ、本実施形態に係る情報処理装置の概要について説明する。図1(A)に示すウィンドウ100には、コンクリート壁面の撮影画像101が表示されており、撮影画像101には、ひび割れの変状領域102が存在している。
また、図1(B)に示すウィンドウ110には、図1(A)の撮影画像101から自動検知処理により得られた変状データ111、112が可視化され、表示されている。ここで、変状データ111に対応する撮影画像101の領域には実際には変状が存在せず、変状データ111は誤った検知結果であるものとする。なお、本実施形態の図では、細い線はコンクリート壁面画像上で観測できる実際のひび割れを示し、太い線はアプリケーションウィンドウに表示した変状データを示すものとする。紙面の表示の都合上、変状データを太い線で表しているが、実際のアプリケーションウィンドウ上では、色を付けて表示するなどの表示方法で表示することが好ましい。変状データは、画像に含まれる領域に関する関連データの一例である。
変状の管理者やデータ入力者等のユーザは、変状データを目視し、変状データが撮影画像の変状に対応しているか否かを確認する作業を行う。この時、撮影画像の変状と、可視化された変状データとをユーザが同時に閲覧するためには、撮影画像上に変状データを可視化して、重畳表示するのが好ましい。図1(C)に示すウィンドウ120には、図1(A)の撮影画像101に変状データ111、112が可視化され、重畳された画像が表示されている。ここで、撮影画像中の実際のひび割れに対応する変状領域102と変状データ111は、ほぼ重なっており、ユーザは撮影画像中のひび割れの領域を確認することが困難である。同様に、誤った検知結果に対応する変状データ112に対応する撮影画像の領域も閲覧し難い状態となっている。
図1(D)に示すウィンドウ130には、変状データ111、112の表示位置を矢印131の方向に移動させた上で、撮影画像101に重畳された画像が表示されている。図1(D)のように表示することで、変状領域102や、変状データ112の画像部分が閲覧しやすくなる。このように変状データを移動させて重畳表示するオフセット表示は、有効な表示方法である。しかし、図1(D)のように変状データを移動させて表示する場合に、撮影画像や変状データに応じて、適切な移動方向や移動量(図1(D)では矢印131)を設定して、変状データを移動させる必要がある。これに対し、本実施形態に係る情報処理装置は、自動的又は半自動的に、変状データの適切な表示位置を決定し、表示位置に変状データを重畳した撮影画像を表示する。
図2は、第1の実施形態にかかる情報処理装置200のハードウェア構成を示す図である。情報処理装置200は、CPU201と、ROM202と、RAM203と、HDD204と、表示部205と、入力部206と、通信部207とを有している。CPU201は、ROM202に記憶された制御プログラムを読み出して各種処理を実行する。RAM203は、CPU201の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD204は、各種データや各種プログラム等を記憶する。なお、後述する情報処理装置200の機能や処理は、CPU201がROM202又はHDD204に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。表示部205は、各種情報を表示する。入力部206は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。他の例としては、入力部206をペンタブレットとしてもよく、表示部205と入力部206とを併せてタブレットとして構成してもよい。
図3は、情報処理装置200のソフトウェア構成を示す図である。情報処理装置200は、撮影画像記憶部301と、変状データ記憶部302と、受付部303と、検知部304と、データ管理部305と、表示制御部306と、選択部307と、決定部308と、を有している。撮影画像記憶部301は、撮影画像を記憶している。本実施形態においては、撮影画像は、コンクリート壁面に正対した正対画像、すなわちコンクリート壁面に垂直な方向を撮影方向として撮影された画像であるものとする。構造物の撮影時の位置や向きによっては、コンクリート壁面に正対した画像が撮影できないことも多い。この場合には、情報処理装置200は、画像の幾何変換処理によって、正対画像を作成し、これを撮影画像として撮影画像記憶部301に記憶しておくものとする。
変状データ記憶部302は、変状データを記憶している。変状データ記憶部302は、図4に示すように、IDと、変状種類と、表示位置とを対応付けて記憶している。ここで、IDは、変状データの識別情報である。変状種類は、変状の種類を示す情報であり、ひび割れや析出物等がある。座標は、変状が検知された撮影画像上の位置を特定する情報であり、具体的には、撮影画像の座標系における座標値である。
ひび割れの変状に対しては、(xC001_1,yC001_1)から(xC001_n,yC001_n)のn点の2次元座標の値が記録される。なお、座標値は、撮影画像の座標系における座標に限定されるものではなく、構造物が存在する実空間の座標系の値であってもよい。さらに、変状種類がひび割れの変状データには、備考として、ひび割れ太さの情報も記憶されている。
ID=E001は析出物の変状である。析出物はひび割れと異なり、領域を持つ変状となる。したがって、表示位置には、座標(xE001_1,yE001_1)から(xE001_qyE001_q)が記録され、変状データの範囲は、これらの座標で囲まれる範囲(図5のE001の
範囲)となる。
次に、図5を参照しつつ、撮影画像と変状データの関係について説明する。撮影画像は、ひび割れ等の微少な変状を観測するために高解像度の画像となる。従って、ある構造物の全体の撮影画像は、一般的にデータサイズの非常に大きな画像となる。図5に示す撮影画像500は、構造物壁面の大きな画像(例えば、10万×10万画素以上の画像)で、x軸とy軸の画像座標系を持つ。なお、このような大きな撮影画像500の全体を閲覧しても、コンクリート壁面の微細な変状を確認することは困難である。そこで、通常は、撮影画像500の一部を拡大して閲覧することになる。
例えば、図5のウィンドウ510は、アプリケーションソフトで、撮影画像500の一部分のみを表示する。ウィンドウ510においては、撮影画像500の一部が拡大表示され、これに対応して、変状領域に重畳された変状データC002も拡大表示される。したがって、ユーザは、詳細な状態を確認することができる。通常、変状の確認作業時には、ユーザは、このようにコンクリート壁面画像の任意の部分を拡大して閲覧する。情報処理装置200は、ユーザによる確認作業時には、ウィンドウには撮影画像の一部の領域を拡大して表示するものとする。
図5に示す、ひび割れC001は、(xC001_1,yC001_1)から(xC001_n,yC001_n)等のn点(図では6点)の座標値により定まるポリラインで表現されている。このように、本実施形態においては、ひび割れの変状データは、ポリラインで表現されるものとする。また、ひび割れの変状データは、ひび割れ太さに応じた太さの線で表現されてもよく、また太さに応じた色の線で表現されてもよい。なお、変状データは、ポリラインに限らず、曲線で表現されるものであってもよい。変状データを曲線で表現する場合、詳細な画像表現が可能になるが、データ容量が増加する。
図3に戻り、受付部303は、撮影画像の入力を受け付け、撮影画像を撮影画像記憶部301に格納する。なお、撮影画像は、外部機器からネットワーク等を介して入力されてもよく、また他の例としては、情報処理装置200は撮影部(不図示)を有し、撮影部から入力されてもよい。
検知部304は、撮影画像から変状領域を自動的に検知する。変状領域の自動検知方法は、特に限定されるものではないが、例えば、特許文献1に記載されているような従来技術を用いることができる。また、自動検知方法の他の例としては、変状の画像により予め変状の特徴を学習しておき、この学習結果に基づいて変状を検知する手法を用いてもよい。学習に基づく変状の自動検知手法としては、例えば、以下の文献を参照することができる。

Zhang, Wenyu, et al. "Automatic crack detection and classification method for subway tunnel safety monitoring." Sensors 14.10 (2014): 19307-19328.
データ管理部305は、検知部304による検知結果に基づいて、変状領域に係る情報を変状データとして変状データ記憶部302に記録する。具体的には、データ管理部305は、変状データに対して、新規IDを割り当て、新規IDを変状データ記憶部302に記録する。さらに、データ管理部305は、検知された変状の形状に基づいて、変状種別を特定し、特定した変状データを新規IDに対応付けて変状データ記憶部302に記録する。データ管理部305はまた、撮影画像における変状領域の位置を特定し、これを新規IDに対応付けて変状データ記憶部302に記録する。
なお、他の例として、変状領域は、ユーザの操作入力に応じて特定されてもよい。この場合、情報処理装置200は、ユーザ操作に応じて変状データを記録する。具体的には、表示部205が撮影画像を表示する。そして、ユーザは、ひび割れ等の変状の位置を目視により確認し、入力部206を介して撮影画像上の位置を指定することにより変状領域を指定する。そして、データ管理部305は、ユーザにより指定された変状領域に係る情報を変状データとして変状データ記憶部302に記録する。なお、変状データ記憶部302は変状データを記憶するものではればよく、変状データの生成手法は実施形態に限定されるものではない。変状データ記憶部302は、自動検知やユーザ入力などの異なる手法により得られた複数の変状データを記憶していてもよい。
ユーザは、これらの変状データが正しいか否かを確認する作業を実施する。例えば、ユーザが変状データ入力後に入力結果が正しいか確認したり、変状自動検知処理の後に、自動検知結果が正しいかを確認したりする必要がある。また、変状データの入力作業中にも、ユーザ自身が入力した変状データの確認を行いたいケースがある。この場合、入力済みの変状データを元に、以降で説明する処理を実行して表示画像を作成して、ユーザに提示してもよい。この場合、情報処理装置200は、ユーザが表示変更を命令すると、入力済みの変状データを元に、表示パラメータを算出し、撮影画像と変状データを閲覧するための表示を行うようにする。
表示制御部306は、表示部205への画像表示を制御する。選択部307は、撮影画像上に重畳して表示されている複数の変状データから少なくとも一つの変状データを選択する。選択部307により選択される変状データは、変状データの表示パラメータを算出する処理において参照される変状データである。以下、選択部307により選択された変状データを対象変状データと称することとする。ここで、対象変状データは、対象データ及び対象関連データの一例である。また、撮影画像上に表示中の変状データで、対象変状データ以外の変状データ(対象データ以外の関連データ)を他の変状データ(他の関連データ)と称することとする。なお、対象変状データは、処理対象の対象データの一例である。決定部308は、対象変状データに基づいて、表示パラメータを算出する。
図6は、情報処理装置200による表示処理を示すフローチャートである。なお、本処理の前提として、撮影画像記憶部301には撮影画像が記憶されており、この撮影画像に対応する変状データが変状データ記憶部302に記憶されているものとする。S601において、表示制御部306は、撮影画像記憶部301から撮影画像を読み込む。表示制御部306は、また変状データ記憶部302から変状データを読み込む。次に、S602において、表示制御部306は、変状データに基づいて、撮影画像の変状領域上に、対応する変状データを重畳表示する。具体的には、表示制御部306は、変状データの座標の位置に変状データを重畳する。なお、このとき、表示部205に表示される変状データは、例えば、図1(B)に示すように変状領域上に重畳されている。このため、撮影画像の変状領域が見え難い状態になっている。
次に、S603において、CPU201は、入力部206へのユーザ操作に応じて表示変更命令を受け付けたか否かを確認する。本処理は、変更命令の受付処理の一例である。CPU201は、表示変更命令を受け付けた場合には(S603でYes)、処理をS604へ進める。CPU201は、表示変更命令を受け付けなかった場合には(S603でNo)、表示状態を継続する。S604において、選択部307は、ユーザの閲覧状態又はユーザ指示に基づいて、複数の変状データの中から、対象変状データを選択する。S605において、決定部308は、オフセットパラメータを決定する。ここで、オフセットパラメータは、表示パラメータの一例であり、変状データの表示位置を移動させる際の移動方向及び移動量を示す値である。
次に、S606において、表示制御部306は、オフセットパラメータにより定まる、撮影画像の表示位置に変状データを移動して、重畳して表示するよう制御する。表示制御部306は、複数の変状データが表示されている場合には、複数の変状データそれぞれについて、移動して重畳表示するよう制御する。本処理は、表示制御処理の一例である。次に、S607において、CPU201は、入力部206へのユーザ操作に応じて表示変更終了命令を受け付けたか否かを確認する。CPU201は、表示変更終了命令を受け付けた場合には(S607でYes)、処理をS608へ進める。CPU201は、表示変更終了命令を受け付けなかった場合には(S607でNo)、表示状態を継続する。
S608において、表示制御部306は、変状データの表示位置を移動前の表示位置に戻す。次に、S609において、CPU201は、入力部206へのユーザ操作に応じて、表示終了命令を受け付けたか否かを確認する。CPU201は、表示終了命令を受け付けた場合には(S609でYes)、表示処理を終了する。CPU201は、表示終了命令を受け付けなかった場合には(S609でNo)、処理をS603へ進める。
以下、表示処理の詳細について説明する。S603で受け付ける表示変更命令及びS607で受け付ける表示変更終了命令は、それぞれ所定のキーを押すというユーザ操作と、押下状態の所定のキーを離すというユーザ操作であってもよい。また、他の例としては、CPU201は、ユーザがキーを1度押した場合に表示変更命令を受け付け、再度キーを押した場合に表示変更終了命令を受け付けることとしてもよい。
なお、各命令を入力するためのユーザ操作は、実施形態に限定されるものではない。他の例としては、CPU201は、キーではなく、所定のGUI上のアイコンを、マウス等でクリックした場合に表示変更命令を受け付けてもよい。また、ユーザは、詳細に閲覧したい変状データをクリックやマウスオーバーすることにより指定してもよい。この場合、CPU201は、変状データの指定を含む表示変更命令を受け付けることとなり、S604においては、選択部307は、指定に係る変状データを対象変状データとして選択する。
次に、S604における変状データ選択処理について説明する。例えば、図5に示すように、撮影画像上には複数の変状データが重畳される。これらすべての変状データを考慮してオフセットパラメータを設定すると、必ずしもユーザが着目している変状データに適した表示にならない。そこで、S604においては、これらの複数の変状データの中から、オフセットパラメータを決定する際に利用する変状データを対象変状データとして選択する。
選択部307は、例えば、表示変更命令が入力された時の、ユーザの閲覧状態に基づいて、対象変状データを選択する。図5において説明したように、撮影画像500のうち、ユーザが閲覧しているのは、変状データC002である。この場合、選択部307は、変状データC002を対象変状データとして選択する。すなわち、選択部307は、表示中の変状データを対象変状データとして選択する。このように、対象変状データをユーザの閲覧状態に応じて選択することにより、対象変状データに応じたオフセットパラメータを決定することができる。
対象変状データの選択方法は、上記に限らず、他の方法を用いてもよい。図7は、対象変状データの選択方法の他の例の説明図である。図7(A)のウィンドウ710及び図7(B)のウィンドウ720には、それぞれコンクリート壁面の撮影画像が表示されている。図7(A)のウィンドウ710に表示される撮影画像には、ひび割れ712、713、714が存在している。これに対し、選択部307は、表示中の撮影画像と、各変状データの表示位置との関係に基づいて対象変状データを選択してもよい。例えば、選択部307は、ウィンドウ710の中心と表示位置の距離に応じて対象変状データを選択する。図7(A)の例においては、表示位置が中心領域715に重なるひび割れの変状データ712、713が対象変状データとして選択される一方で、変状データ714は選択されない。
ユーザは、特に着目している変状データや変状領域を、ウィンドウの中心に配置して閲覧を行う傾向にあると考えられる。従って、このように表示中の撮影画像の中心付近に存在する変状データを選択することとする。これにより、ユーザが特に注目している変状データを対象変状データとして選択することができる。
また、他の例としては、情報処理装置200は、さらにカメラ(不図示)を備え、選択部307は、撮影画像からユーザの視線方向を取得し、視線方向の先に表示されている変状データを対象変状データとして選択してもよい。
また、他の例としては、選択部307は、ユーザ操作に応じて対象変状データを選択してもよい。ユーザがマウスカーソルで変状データを選択した場合には、選択部307は、選択された変状データを対象変状データとして選択する。さらに、前述のように、ユーザが変状データを選択(クリック)又はマウスオーバーした場合に、情報処理装置200は、表示変更命令を受け付け、さらに、選択等された変状データを対象変状データとして選択してもよい。
また、対象データは1つに限定されるものではない。選択部307は、例えば、表示部205に表示されている複数の変状データすべてを対象変状データとして選択してもよい。また、ユーザが範囲指定により複数の変状データを選択した場合には、選択されたすべての変状データを対象変状データとして選択してもよい。
また、他の例としては、選択部307は、ユーザによる変状データの選択に応じて、選択された変状データに関連する他の変状データをさらに対象変状データとして選択してもよい。選択部307は、例えば、選択された変状データに重複する変状データ及び隣接する変状データを対象変状データとして選択する。図7(B)のウィンドウ720に表示される撮影画像には、ひび割れ722、723、724と、析出物725が存在している。これに対し、ユーザがひび割れ722を選択したとする。この場合、選択部307は、ひび割れ722以外に、ひび割れ722と重複する析出物725の変状データを対象変状データとして選択する。また、ユーザが析出物の変状データ725を選択した場合には、選択部307は、変状データ725だけでなく、変状データ725と重複するひび割れの変状データ722、723を対象変状データとして選択する。
また、他の例としては、選択部307は、ユーザにより選択された変状データとの連続性を考慮して、他の変状データをさらに対象変状データとして選択してもよい。例えば、図7(B)の例において、ひび割れの変状データ722、723は、端点が近く、向きが似ているため、実際は連続したひび割れである可能性がある。このような隣接したひび割れが存在する場合には、ユーザがひび割れの変状データ722を選択した場合に、選択部307は、ひび割れの変状データ722だけでなく、変状データ723も対象変状データとして選択する。
次に、S605におけるオフセットパラメータの決定処理について説明する。オフセットパラメータpは、変状データが撮影画像の平面内を移動するパラメータで、(式1)のように定義される。
Figure 0007005799000001
図8は、オフセットパラメータpの説明図である。図8の点線で示す変状データ800の表示位置をA、移動先の位置をBとすると、Bの位置は、Aからの移動量r及び移動方向θにより特定することができる。決定部308は、適切なオフセットパラメータ(ユーザが撮影画像と変状データを比較しながら閲覧しやすくなるオフセット)を求めるために、オフセットパラメータpに基づいて、オフセットコストCn(p)を算出する。そして、決定部308は、(式2)によりオフセットコストが最小となるオフセットパラメータpを求める。
Figure 0007005799000002
n(p)は、以下で説明する複数の異なる基準のオフセットコストである。wnは各種類のオフセットコストへの重みである。以下、本実施例では、Cn(p)の例として、3種類のオフセットについて説明するが、オフセットコストの算出方法はこれらに限らず、他の方法を用いてもよい。
まず、1つ目のオフセットコストC1(p)について説明する。1つ目のオフセットコストC1(p)は、対象変状データの元の位置との重複コストとして定義する。対象変状データの表示位置を移動するのは、対象変状データが重畳した領域の撮影画像を閲覧しやすくすることである。従って、対象変状データを元の位置から移動させると共に、移動先が対象変状データに対応する変状領域であったり、または他の変状データに対応する変状領域であったりするのは好ましくない。そこで、オフセットコストC1(p)は、オフセットパラメータpで対象変状データを移動させたときに、移動後の表示位置と移動前の表示位置との重複画素数に比例する値とする。
図9は、オフセットパラメータpとオフセットコストC1(p)の関係を説明するための図である。まず、図9(A)、(B)それぞれにおいて、点線で示す位置901、902は、変状領域に対応する表示位置である。これに対し、図9(A)において実線で示す位置911、912は、対象変状データのオフセットパラメータp1に応じた移動後の位置である。同様に、図9(B)において実線で示す位置921、922は、オフセットパラメータp2に応じた移動後の位置である。オフセットコストC1(p)は、図9(A)、(B)それぞれにおいて、移動後の位置に配置された対象変状データと変状領域との重複画素数に比例した値となる。
図9の例では、図9(B)の位置921、922の方が図9(A)の位置911、912に比べて重複画素数が多い。したがって、図9(A)の例に対応するオフセットコストと、図9(B)の例に対応するオフセットコストを、それぞれC1(p1)、C1(p2)とすると、C1(p1)<C1(p2)の関係となる。すなわち、図8(A)のオフセットパラメータp1の方が望ましいパラメータであることがわかり、式(2)で表すように、最終的には、オフセットコストを低くするオフセットパラメータp1が選ばれる。
次に、2つ目のオフセットコストC2(p)について説明する。2つ目のオフセットコストC2(p)は、変状データの移動後の位置における画像エッジの位置に基づいて、算出される値で、エッジ部分との重なりが大きい程大きい値になる。コンクリート壁面の撮影画像の画像エッジ部分は、ひび割れや析出物等の変状である可能性がある。従って、このような画像エッジ部分はユーザが観測したい画像部分である可能性が高く、変状データが重畳されないことが好ましい。
オフセットコストC2(p)を算出するためには、まず、撮影画像のエッジ画素を特定する必要がある。このために、情報処理装置200は、まず撮影画像に対してエッジ検出処理を行う。エッジ検出手法は、SobelフィルタやCanny等既知の手法を用いればよい。決定部308は、オフセットパラメータpで移動した変状データと、エッジ画素の重複画素数に比例する値を、オフセットコストC2(p)の出力値とする。
次に、3つ目のオフセットコストC3(p)について説明する。3つ目のオフセットコストC3(p)は、変状データに対応する変状領域との距離に応じて算出される。変状データの移動量rが少ないと変状領域との重なりが解消しない場合がある。一方、移動量rが大きすぎると、変状領域と変状データの対応関係がわかり難く、両画像の比較が困難となる。オフセットコストC3(p)は、変状データの移動量を所定の範囲内の値になるように調整するコストである。
オフセットコストC3(p)は例えば、(式3)により算出することができる。
Figure 0007005799000003
(式3)においてβは標準的な移動量で、定数として与えられる。βは、どのように設定してもよい。例えば、決定部308は、撮影画像及び変状データの閲覧中の解像度(表示倍率)に従って決めてもよい。具体的には、決定部308は、拡大して表示している場合には、βを比較的大きな値に設定し、縮小して表示している場合には、βを比較的小さな値に設定するようにしてもよい。
他の例としては、決定部308は、オフセットパラメータpは、計算の簡略化のため、予め決められたオフセットパラメータpの中から最適なオフセットパラメータpを選択することとしてもよい。例えば、図10に示すようにp1~pmのm個のオフセットパラメータがHDD204等に予め設定されており、決定部308は、m個のオフセットパラメータの中から、(式2)を最小とするオフセットパラメータpを求める。
オフセットパラメータC1(p)とC2(p)では、オフセットパラメータpの移動量r及び移動方向θを求める構成としたが、他の例としては、決定部308は、一方を固定値として、オフセットパラメータを算出してもよい。例えば、決定部308は、移動方向θは常に固定で、移動量rを最適化するようにしてオフセットパラメータpを求めてもよい。また、移動方向θはユーザが指定し、決定部308は、ユーザ指定の移動方向θに対し、移動量rのみを算出してもよい。また逆に、移動量はユーザが指定し、決定部308は、ユーザ指定の移動量rに対し、移動方向θのみを算出してもよい。
次に、S606における対象変状データの表示位置変更処理について説明する。S606において、表示制御部306は、S605において決定したオフセットパラメータにより定まる表示位置に変状データを移動する。なお、本実施形態においては、表示制御部306は、表示中のすべての変状データを移動させることとする。
なお、他の例としては、表示制御部306は、対象変状データのみを移動させることとしてもよい。また、他の例としては、表示制御部306は、変状データに替えて撮影画像をオフセットパラメータpに従って移動させることにより、撮影画像と変状データの位置関係を変更してもよい。
作成した表示画像は、表示部205に表示される。図11は、表示画像をアプリケーションウィンドウ1100に表示した例である。図1(C)と比べると、図11の変状データ111、112は、オフセットパラメータpに従ってオフセット表示された状態にある。この結果、単純な重複表示(図1(C))では、確認が難しかった、変状領域102の部分が閲覧しやすい状態になっている。このため、ユーザは、コンクリート壁面の撮影画像の変状領域102と対応する変状データ111を対比して確認することができる。また、ユーザは、誤検知に対応する変状データ112に対応する撮影画像の領域についても、変状データ112と対比して確認することができる。
さらに、表示制御部306は、変状データを、オフセットパラメータ等の情報と共に表示してもよい。図11の例においては、移動量と移動方向を矢印1110の向きと長さで示している。表示制御部306は、オフセット表示した変状データの元の位置との対応を示す情報をさらに表示してもよい。図11の例においては、小さな矢印1111でオフセット表示した変状データの元の位置との関係を示している。また、表示制御部306は、図11に示すように、移動量を示す数値「5pixel」を表示してもよい。他の例としては、表示制御部306は、移動量の大小を輝度や色で表してもよい。
以上のように、本実施形態に係る情報処理装置200は、変状データの中から対象変状データを選択し、対象変状データに基づいて、対象変状データの移動後の表示位置を決定し、決定した表示位置に対象変状データ移動して表示する。これにより、ユーザは、変状領域と、対応する変状データとを対比して確認することができる。すなわち、情報処理装置200は、ユーザによる煩雑な操作を要することなく、画像中の領域と、領域に対応する関連データとの確認作業を容易に行うことができるようなユーザインタフェースを提供することができる。
第1の実施形態の第1の変更例としては、情報処理装置200は、撮影画像の変状領域と、対応する変状データに限らず、撮影画像の所定の領域と、所定の領域に関連付けられた関連データに対し、実施形態に係る処理を行うことができる。
また、第2の変更例としては、情報処理装置200は、複数のオフセットパラメータpを参照し、変状データの表示位置を切り替えてを表示してもよい。例えば、決定部308は、図10で示したm個のオフセットパラメータ候補それぞれについてオフセットコストを算出する。そして、コストが所定以下のオフセットパラメータを、コストが低い順にランク付けする。そして、表示制御部306は、まず、最もコストが低いオフセットパラメータに基づいて表示位置を決定し、この表示位置に変状データを配置した画像を表示するよう制御する。
ここで、ユーザからオフセット表示の変更指示を受け付けると、表示制御部306は、2番目のオフセットパラメータに基づいて表示位置を決定し、この表示位置に変状データを配置した画像を表示するよう制御する。このように、表示制御部306は、ユーザから指示を受け付ける度に、ランク順にオフセットパラメータを替えることにより、変状データの表示位置を変更してもよい。これにより、ユーザは、所望の位置に変状データを表示させることができる。
また、第3の変更例としては、情報処理装置200は、対象変状データが複数選択された場合に、対象変状データ毎に個別にオフセットパラメータを算出してもよい。そして、情報処理装置200は、各変状データに対しそれぞれに対応するオフセットパラメータを用いて変状データの移動後の表示位置を決定してもよい。図12のウィンドウ1200の変状データ111、112は、それぞれに適切なオフセットパラメータに基づいて移動している。これは、例えば、コンクリート壁面の撮影画像の画像エッジの影響等により、変状データ112は、変状データ111と反対向きのオフセットパラメータが算出されたケースである。
また、第4の変更例としては、決定部308は、自動算出したオフセットパラメータをユーザ操作に応じて修正してもよい。表示制御部306は、自動算出されたオフセットパラメータの移動量rと移動方向θをGUI上のフィールドに表示する。自動算出されたオフセットパラメータと異なるオフセットパラメータでの変状データの表示を希望するユーザは、フィールドに表示された移動量rと移動方向θの値を変更するための入力を行う。これにより、ユーザが、自動算出されたオフセットパラメータを修正して、閲覧を行うことができるようになる。また、ユーザによるオフセットパラメータの修正に係る処理は、GUIフィールドへの数値入力に限定されない。他の例としては、表示制御部306は、パラメータをGUIのバーで表示し、ユーザはバーを移動させることでパラメータ修正を行うことができるようにしてもよい。
(第2の実施形態)
次に、第2の実施形態に係る情報処理装置200について説明する。第2の実施形態に係る情報処理装置200は、対象変状データの主線方向を求め、主線方向に基づいてオフセットパラメータを算出する。以下、ひび割れを例に説明する。なお、第2の実施形態に係る情報処理装置200は、移動量rを固定とし、移動方向θを求めることにより、オフセットパラメータpを決定する。
図13は、ひび割れの対象変状データ1300が選択された場合の、オフセットパラメータpの算出方法の説明図である。決定部308は、まず、対象変状データ1300の主線方向を算出する。図13には、対象変状データ1300の主線方向を点線1301で示している。主線方向1301は、どのように算出してもよいが、例えば、対象変状データ1300の始点と終点を繋ぐことで、簡易的に求めることができる。
そして、決定部308は、移動方向θとして、主線方向1301と直交する向きを求める。ひび割れ1300に対しては2つの移動方向が求まり、これらに対応し、図13に示すようにオフセットパラメータp3、p4が算出される。
その後、表示制御部306は、いずれか一方のオフセットパラメータにより変状データを移動させた画像を作成し、表示部205に表示するよう制御する。その後、ユーザがオフセットパラメータの変更の入力を行うと、表示制御部306は、他方のオフセットパラメータにより変状データを移動させた画像を作成し、これを表示するよう制御する。
なお、第2の実施形態に係る情報処理装置200のこれ以外の構成及び処理は、第1の実施形態に係る情報処理装置200の構成及び処理と同様である。以上のように、本実施形態に係る情報処理装置200は、変状の主線方向に応じてオフセットパラメータを決定することができる。したがって、適切な位置に変状データを表示することができる。
第2の実施形態の変更例としては、複数の変状データが対象変状データとして選択されてもよい。この場合、決定部308は、複数の対象変状データ(ひび割れ)それぞれの主線方向を算出する。そして、決定部308は、これら複数の主線方向から得られる統計的な主線方向と直交する方向を移動方向θとするオフセットパラメータpを決定する。ここで、統計的な主線方向は、例えば、複数の主線方向の平均値や中央値により得られる方向である。
(第3の実施形態)
次に、第3の実施形態に係る情報処理装置200について説明する。第3の実施形態に係る情報処理装置200は、変状データの属性に基づいて、対象変状データを自動的に選択する。参照する変状データの属性としては、以下のものが挙げられる。まず、変状がひび割れで、各ひび割れが図4のようにひび割れ太さ属性情報を有しているとする。この場合、選択部307は、太さ属性を参照し、比較的細いひび割れを対象変状データとして選択する。細いひび割れは、ひび割れか否かの判断が難しいため、入力者のミスや自動検知のミスが発生しやすく、詳細に確認するべき変状であるためである。
また、析出物等と重複しているひび割れも、ひび割れか否か判断が難しいケースが多い。そこで、決定部308は、析出物との重複の有無を示す属性情報を参照し、重複を有するひび割れを対象変状データとして選択する。なお、この場合、変状データ記憶部302には、変状データとして、析出物との重複の有無を示す属性情報が記憶されているものとする。
また、検知部304が変状データを自動検知し、さらに、検知結果の信頼度を示すスコアを求めることとし、選択部307は、スコアが閾値未満である等、比較的低いスコアの変状領域に対応する変状データを対象変状データとして選択してもよい。信頼度スコアが低い場合、自動検知結果をユーザが確認することが好ましい。対応する変状データを対象変状データとして選択することで、優先的に詳細な確認を行うことができる。
なお、第3の実施形態に係る情報処理装置200のこれ以外の構成及び処理は、他の実施形態に係る情報処理装置200の構成及び処理と同様である。第3の実施形態に係る情報処理装置200によれば、ユーザ操作を要することなく、適切な変状領域を選択することができる。
第3の実施形態の変更例としては、選択部307は、ユーザの閲覧状態に合わせて、対象変状データを選択する際に参照する属性情報を決定してもよい。例えば、選択部307は、高解像度で(拡大して)撮影画像を閲覧している場合には、ひび割れの変状データを選択し、低解像度で(縮小して)撮影画像を閲覧している場合には、析出物等の領域を有する変状データを選択する。高解像度で閲覧している場合には、ユーザはひび割れ等の細かい変状を確認している可能性が高い。また逆に、低解像度で閲覧している場合は、広い領域を閲覧しているため、析出物等の広がりを持つ変状を確認している可能性が高い。これに対し、ユーザの閲覧状態に合わせて、選択する対象データを変更することができる。
(第4の実施形態)
次に、第4の実施形態に係る情報処理装置200について説明する。第4の実施形態では、オフセットパラメータ以外の表示パラメータの例として、透明度αについて説明する。表示制御部306は、表示パラメータとして透明度αを算出し、対象変状データの周辺の変状データの透明度を変更する。これにより、ユーザは、対象変状データを閲覧し易くなる。ここで、表示パラメータは、対象変状データと、の他の変状データの表示態様を異ならせるためのパラメータである。
図14には、この実施形態を説明する図を示す。図14(A)は、複数の変状データが近接して表示されている例を示す図であり、ひび割れの変状データ1401、1402、1403及び析出物の変状データ1404が近接して表示されている。ここで、ユーザ選択等により変状データ1401が対象変状データとして選択されたとする。これに対し、表示制御部306は、対象変状データ以外の変状データ、すなわち他の変状データに対し、透明度αの表示パラメータを設定する。透明度αは、ユーザが数値入力で設定したり、GUI上のパラメータバーで入力したりするものであるとする。透明度αは、透過表示の程度を示す値で、0%~100%の値を持つパラメータである。表示制御部306は、他の変状データの透明度αを、事前に設定された値(例えば、50%)に設定する。これにより、他の変状データが透過した表示画像を作成することができる。
図14(B)には、このような処理により、対象変状データ1411以外が、透過の状態で表示されている様子を示す図である。点線で示す他の変状データ1412、1413、1414は、これら他の変状データが透過の状態で表示されていることを示している。このように表示することで、ユーザは、対象変状データ1411のみを詳細に確認することができるようになる。特に、対象変状データ1411は、他の変状データ(析出物)1414と重複しており、他の変状データ1414の表示を透過させることにより、重複部分を詳細に確認することができるようになる。
表示制御部306はさらに、透明度αを、対象変状データと他の変状データの距離に応じて設定してもよい。表示制御部306は、例えば、対象変状データとの距離が近い程、より高い透明度を設定する。これにより、表示制御部306は、対象変状データの近傍の他の変状データを透明(非表示)にしつつ、周辺に離れるに従って、他の変状データが表示されていく表示画像を作成することができる。これにより、ユーザは、対象変状データを閲覧しやすく、且つ、周辺の変状データも確認することができる。なお、第4の実施形態に係る情報処理装置200のこれ以外の構成及び処理は、他の実施形態に係る情報処理装置200の構成及び処理と同様である。以上のように、第4の実施形態に係る情報処理装置200は、他の変状データの透明度を高めることにより、対象変状データの見易さを向上させることができる。
第4の実施形態の第1の変更例としては、表示制御部306は、他の変状データの透明度を変更するのに替えて、対象変状データの透明度を変更してもよい。このように、対象変状データと他の変状データの透明度を異ならせればよい。また、他の例としては、表示制御部306は、ユーザ指示に応じて、透明度の変更対象を、対象変状データとするか、他の変状データとするかを選択してもよい。
以上、第4の実施形態では、オフセットパラメータ以外の表示パラメータとして、透明度αを用いた例を説明した。第2の変更例としては、オフセットパラメータ以外の表示パラメータは透明度αに限定されるものではなく、他のパラメータを用いても良い。例えば、情報処理装置200は、表示パラメータとしてぼかしの強さσを変更してもよい。ぼかし強さσは、ガウシアンフィルターの幅を示すパラメータで、大きな値を設定するほど、ぼけた画像を作成することができる。表示制御部306は、他の変状データのぼかし強さσを、対象変状データからの距離が近いほど大きな値を設定する。これにより、他の変状データがぼけた表示画像を作成することができる。
(第5の実施形態)
次に、第5の実施形態に係る情報処理装置200について説明する。第5の実施形態に係る情報処理装置200では、まず、決定部308は、オフセットパラメータpを算出する。この時、オフセットパラメータpの移動量rが小さな値となることもある。移動量rが小さな値となると変状データが元の位置からほとんど移動しない。したがって、変状データに重畳された領域の撮影画像を閲覧し難い。これに対し、本実施形態においては、表示制御部306は、移動量rが閾値以下である場合には、対象変状データの透明度αを変更することとする。
表示制御部306は、例えば、移動量rが小さいほど高い透明度αを対象変状データに対して設定する。ここで、移動量rが小さいほど高い透明度αを設定するのは、対象変状データが重畳した領域の撮影画像を閲覧し易くするためである。これにより、対象変状データはオフセットパラメータpに従って少し移動し、且つ、透明度αに従って透明の状態で表示される。これにより、元の位置からの移動量が少ない場合でも、対象変状データが重畳された領域の撮影画像を閲覧し易くすることができる。
なお、第5の実施形態に係る情報処理装置200のこれ以外の構成及び処理は、他の実施形態に係る情報処理装置200の構成及び処理と同様である。以上のように、第5の実施形態に係る情報処理装置200は、オフセットパラメータの変更と同時に、対象変状データの透明度も変更することにより、対象変状データが重畳された領域の撮影画像を閲覧し易くすることができる。
第5の実施形態の変更例としては、表示パラメータは透明度αに限定されない。他の例としては、ぼかしの強さσが挙げられる。また、他の表示パラメータとしては、表示制御部306は、対象表示画像を周期的にオン・オフする周期表示フラグを用いてもよい。この場合、表示制御部306は、移動量rが小さいオフセットパラメータが算出された場合、対象変状データの周期表示をオンに設定し、対象変状データを点滅表示するよう制御する。これにより、移動量rが少ない場合にも対象変状データが重畳された領域の撮像画像を閲覧し易くすることができる。
(第6の実施形態)
次に、第6の実施形態に係る情報処理装置200について説明する。第6の実施形態に係る情報処理装置200は、異なるソースの複数の変状データを変状領域の近傍に並べて表示する。図15は、異なる時期に作成した変状データを並べてオフセット表示する例を示す図である。例えば、2012年、2014年、2016年と、2年毎の検知結果に対応する対象建造物のコンクリート壁面の変状データが記憶されているものとする。構造物の経年劣化を確認するために、このように異なる時期で変状データが記録される。このような、異なるソースの変状データが、変状データ記憶部302に格納されているものとする。
図15(A)では、まず、コンクリート壁面画像の変状領域1500に対し、2016年に記録した変状データに対応する変状データ1510が重畳表示されている。図15(B)は、図15(A)で変状データ1510が対象変状データとして選択されている状態で、ユーザが表示変更命令を行った結果、表示される表示画像である。図15(B)では、変状領域1500に対し、3つの変状データ1510、1511、1512が表示されている。変状データ1511は、2014年の記録に対応する変状データであり、変状データ1512は、2012年の記録に対応する変状データである。変状データ1510、1511、1512は、記録年の順にオフセット表示されている。
第6の実施形態の情報処理装置200は、第1の実施形態において説明した処理により最新の記録に対応する変状データ1510のオフセットパラメータpを算出し、変状データ1510を表示する。さらに、情報処理装置200は、変状データ1510オフセットパラメータpの移動方向θの方向に、さらにオフセットさせて過去の変状データ1511、1512を表示する。複数の過去の変状データが複数存在する場合には、図15(B)に示すように、複数の変状データを時系列順に表示することが好ましい。
さらに、情報処理装置200は、時系列に沿った複数の変状データの間が等間隔になるように表示してもよいし、各変状データの撮影時期に応じた間隔になるように表示してもよい。これにより、ユーザは、変状領域の経年変化を容易に確認することができる。なお、第6の実施形態に係る情報処理装置200のこれ以外の構成及び処理は、他の実施形態に係る情報処理装置200の構成及び処理と同様である。
第6の実施形態の変更例について説明する。情報処理装置200は、同一の変状領域に対し、入力作業者の入力結果と自動検知結果が、それぞれ記録されている場合において、これら2つの検知結果に対応する2つの変状データを表示してもよい。図16は、撮影画像中の変状領域1600に対して、入力作業者が入力した変状データに対応する変状データ1610と自動検知結果に対応する変状データ1611を同時にオフセット表示した例を示す図である。
図16では、変状データ1610、1611を変状領域1600に対して反対側に表示している。このように2つの変状データを表示するためには、例えば、第2の実施形態において説明したオフセットパラメータp3、p4を適用すればよい。また他の例としては、情報処理装置200は、第7の実施形態において説明したように、入力作業者が入力した変状データに対応する変状データ1610と自動検知結果に対応する変状データ1611を同一方向に並べて表示してもよい。
なお、同時に並べて表示する対象となる変状データは実施形態に限定されるものではない。他の例としては、情報処理装置200は、複数の異なる入力作業者の入力した変状データを同時に表示するようにしてもよい。これにより、作成工程の異なる複数の変状データを比較して確認することができる。
第2の変更例としては、情報処理装置200は、異なる時期に作成した変状データ、または、異なるソースの変状データをオフセット表示以外の表示方法で表示してもよい。例えば、情報処理装置200は異なる時期に作成した変状データ、または、異なるソースの変状データに対し、それぞれ、異なる色を割り当てて表示するようにしてもよい。具体的な例としては、情報処理装置200は、例えば、異なる時期に作成した変状データを色分けした上で、新しい変状データを下層レイヤに設定し、古い変状データを上層レイヤに設定して表示する。これにより、変状の進展状況を確認することができるようになる。
以上、上述した各実施形態によれば、ユーザによる煩雑な操作を要することなく、画像中の領域と、領域に対応する関連データとの確認作業を容易に行うことができるようなユーザインタフェースを提供するこことができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、第2の実施形態に第1の実施形態の第2の変更例を組み合わせ、複数の対象領域それぞれに対し、主線方向に応じた個別のオフセットパラメータを設定する等、上述の実施形態の一部を適宜組み合わせてもよい。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
200 情報処理装置
304 検知部
306 表示制御部
307 選択部
308 決定部

Claims (21)

  1. 構造物に生じた変状であって、第1の時間で撮影された第1の変状を示す第1のデータと、前記第1の時間より前の第2の時間に撮影された前記第1の変状に対応する第2のデータとを取得する取得手段と、
    前記構造物における前記第1の変状を含む領域を特定するための領域情報と、前記第1のデータと、前記第2のデータとを表示させる表示制御手段であって、前記第1のデータと、前記第2のデータとを重ならないように表示させる表示制御手段と、
    を有することを特徴とする情報処理装置。
  2. 前記第1の変状は、前記構造物に生じたひび割れを含むことを特徴とする請求項1に記載の情報処理装置。
  3. 前記第1の変状は、前記構造物に生じたひび割れであり、
    前記表示制御手段は、前記第1のデータ及び前記第2のデータを、前記第1のデータ及び前記第2のデータそれぞれが示す前記第1の変状のひび割れ幅に応じた色により描画して表示することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記取得手段は、前記第2の時間より前の第3の時間で撮影されたに撮影された前記第1の変状に対応する第3のデータを更に取得し、
    前記表示制御手段は、前記第1のデータ、前記第2のデータと、前記第3のデータとを、それぞれのデータが示す前記第1の変状の撮影された時期に応じた順で表示させることを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。
  5. 前記領域情報は、前記第1の時間で前記第1の変状を撮影した画像であることを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
  6. 前記表示制御手段は、前記領域情報に含まれる前記第1の変状と、前記第1のデータ及び前記第2のデータとが重ならないように、前記領域情報と、前記第1のデータと、前記第2のデータとを表示させることを特徴とする請求項5に記載の情報処理装置。
  7. 前記表示制御手段は、前記第1のデータ及び前記第2のデータを前記領域情報に重畳させて表示させることを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。
  8. 前記第1のデータまたは前記第2のデータを前記領域情報における前記第1の変状の位置において重畳した場合と比べて、前記第1のデータまたは前記第2のデータと前記領域情報における前記第1の変状との重なりが少なくなるように、前記第1のデータ及び前記第2のデータを前記領域情報に重畳させて表示する際の位置関係を決定する決定手段を更に有し、
    前記表示制御手段は、前記決定手段により決定された位置関係に従って、前記領域情報と、前記第1のデータと、前記第2のデータとを表示させることを特徴とする請求項7に記載の情報処理装置。
  9. 前記決定手段は、前記領域情報における前記第1の変状の位置から、当該第1の変状の主線方向に基づいて決定される方向にずらした位置を、前記第1のデータまたは前記第2のデータを前記領域情報に重畳させる位置として決定することを特徴とする請求項8に記載の情報処理装置。
  10. 前記領域情報における前記第1の変状と前記第1のデータまたは前記第2のデータとの位置関係に係るスコアを導出する導出手段を更に有し、
    前記決定手段は、前記スコアに基づいて、前記第1のデータまたは前記第2のデータを前記領域情報に重畳させる位置を決定することを特徴とする請求項8または9に記載の情報処理装置。
  11. 前記導出手段は、複数の候補それぞれの前記スコアを導出し、
    前記決定手段は、前記複数の候補それぞれの前記スコアに基づいて選択した候補が示す位置を、前記第1のデータまたは前記第2のデータを前記領域情報に重畳させる位置として決定することを特徴とする請求項10に記載の情報処理装置。
  12. 前記スコアは、前記領域情報に含まれる前記第1の変状と前記第1のデータまたは前記第2のデータとの重なりに係る値と、前記領域情報に含まれる前記第1の変状と前記第1のデータまたは前記第2のデータとの距離に係る値と、のうちの少なくとも1つに基づいて導出されることを特徴とする請求項10または11に記載の情報処理装置。
  13. 前記領域情報が示す領域のうちの所定の領域を特定する特定手段を更に有し、
    前記取得手段は、前記特定手段により特定された前記所定の領域に含まれる前記第1の変状を示すデータを取得することを特徴とする請求項1から12のいずれか1項に記載の情報処理装置。
  14. 前記特定手段は、ユーザが前記領域情報において指定した領域に基づいて、前記所定の領域を特定することを特徴とする請求項13に記載の情報処理装置。
  15. 前記第1のデータまたは前記第2のデータは、画像から変状を検知する所定の検知処理の検知結果を示すデータであることを特徴とする請求項1から14のいずれか1項に記載の情報処理装置。
  16. 前記第1のデータまたは前記第2のデータは、変状を描画するためのデータであり、
    前記表示制御手段は、前記第1のデータまたは前記第2のデータを、当該データに従った描画を行うことにより表示させることを特徴とする請求項1から15のいずれか1項に記載の情報処理装置。
  17. 前記表示制御手段は、前記第1のデータと前記第2のデータとで互いに対応する点の間を前記第1の時間と前記第2の時間との差に応じた間隔を取って、前記第1のデータと前記第2のデータとを表示させることを特徴とする請求項1から16のいずれか1項に記載の情報処理装置。
  18. 前記取得手段は、前記第2の時間より前の第3の時間で撮影された前記第1の変状に対応する第3のデータを更に取得し、
    前記表示制御手段は、前記第1のデータと前記第2のデータとで互いに対応する点の間と、前記第2のデータと前記第3のデータとで互いに対応する点の間とを等しい間隔を取って、前記第1のデータと前記第2のデータと前記第3のデータとを表示させることを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。
  19. 前記表示制御手段は、前記第1のデータ及び前記第2のデータが示す前記第1の変状の撮影時期に基づいて、前記第1のデータと前記第2のデータとを異なる色で描画して表示させることを特徴とする請求項1から17のいずれか1項に記載の情報処理装置。
  20. 構造物に生じた変状であって、第1の時間で撮影された第1の変状を示す第1のデータと、前記第1の時間より前の第2の時間に撮影された前記第1の変状に対応する第2のデータとを取得し、
    前記構造物における前記第1の変状を含む領域を特定するための領域情報と、前記第1のデータと、前記第2のデータとを表示させる際に、前記第1のデータと、前記第2のデータとを重ならないように表示させることを特徴とする情報処理装置の制御方法。
  21. コンピュータを、請求項1から19のいずれか1項に記載された情報処理装置の各手段として機能させるためのプログラム。
JP2021014942A 2021-02-02 2021-02-02 情報処理装置、情報処理装置の制御方法及びプログラム Active JP7005799B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021014942A JP7005799B2 (ja) 2021-02-02 2021-02-02 情報処理装置、情報処理装置の制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021014942A JP7005799B2 (ja) 2021-02-02 2021-02-02 情報処理装置、情報処理装置の制御方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016134421A Division JP6833366B2 (ja) 2016-07-06 2016-07-06 情報処理装置、情報処理装置の制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021073463A JP2021073463A (ja) 2021-05-13
JP7005799B2 true JP7005799B2 (ja) 2022-02-10

Family

ID=75802404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021014942A Active JP7005799B2 (ja) 2021-02-02 2021-02-02 情報処理装置、情報処理装置の制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7005799B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007178129A (ja) 2005-12-26 2007-07-12 Digital Electronics Corp 目視検査支援装置、目視検査支援プログラムおよびそのプログラムを記録した記録媒体
JP2010253243A (ja) 2008-12-04 2010-11-11 Fujifilm Corp 関節裂隙幅計測システム及び関節裂隙幅計測方法及びプログラム
JP2012207948A (ja) 2011-03-29 2012-10-25 Hitachi Ltd 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム
JP2014182113A (ja) 2013-03-21 2014-09-29 Mitsubishi Heavy Ind Ltd 点検支援装置、点検支援方法およびプログラム
JP2014190700A (ja) 2013-03-26 2014-10-06 Fujifilm Corp 目視照合支援装置およびその制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02239852A (ja) * 1989-03-13 1990-09-21 Fujitsu Ltd 超音波診断装置
JPH05228153A (ja) * 1992-02-21 1993-09-07 Ken Ishihara 超音波診断装置
JPH11132961A (ja) * 1997-10-29 1999-05-21 Nikon Corp 構造物用検査装置
JP5765913B2 (ja) * 2010-10-14 2015-08-19 株式会社東芝 医用画像診断装置及び医用画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007178129A (ja) 2005-12-26 2007-07-12 Digital Electronics Corp 目視検査支援装置、目視検査支援プログラムおよびそのプログラムを記録した記録媒体
JP2010253243A (ja) 2008-12-04 2010-11-11 Fujifilm Corp 関節裂隙幅計測システム及び関節裂隙幅計測方法及びプログラム
JP2012207948A (ja) 2011-03-29 2012-10-25 Hitachi Ltd 設備異常経時変化判定装置、設備異常変化判定方法、およびプログラム
JP2014182113A (ja) 2013-03-21 2014-09-29 Mitsubishi Heavy Ind Ltd 点検支援装置、点検支援方法およびプログラム
JP2014190700A (ja) 2013-03-26 2014-10-06 Fujifilm Corp 目視照合支援装置およびその制御方法

Also Published As

Publication number Publication date
JP2021073463A (ja) 2021-05-13

Similar Documents

Publication Publication Date Title
JP6833366B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP7330710B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4537557B2 (ja) 情報呈示システム
JP6412474B2 (ja) クラック幅計測システム
JP6609057B2 (ja) 画像処理装置
WO2006022184A1 (ja) カメラキャリブレーション装置及びカメラキャリブレーション方法
JP7051616B2 (ja) 画像表示システムおよび方法
JP7163601B2 (ja) 情報処理装置および情報処理方法
JP2021196705A (ja) 画像処理装置、画像処理方法およびプログラム
WO2019009214A1 (ja) 画像から変状を検知する画像処理装置、画像処理方法及びプログラム
EP3734540A1 (en) Image processing apparatus and control method therefor
JP7005799B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2005310044A (ja) データ処理装置、データ処理方法、及びデータ処理プログラム
JP2005174151A (ja) 三次元画像表示装置及び方法
JP7282541B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP2449340B1 (en) Vehicle measurement system with user interface
JP2010078424A (ja) 画像処理装置および画像上の欠陥検出に係るパラメータの設定を支援する方法
JP7329951B2 (ja) 画像処理装置およびその制御方法
JP6833356B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020187557A (ja) 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム
JP7401478B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP3821397B2 (ja) 画像切り抜き装置
JP2019200452A (ja) 図面管理装置、図面管理方法及び図面管理プログラム
CN115309303B (zh) 施工区域的管控方法、装置、电子设备及可读存储介质
JP2023010394A (ja) 画像生成装置、画像生成装置の制御方法及び画像生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220105

R151 Written notification of patent or utility model registration

Ref document number: 7005799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151