JP7336268B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7336268B2 JP7336268B2 JP2019108841A JP2019108841A JP7336268B2 JP 7336268 B2 JP7336268 B2 JP 7336268B2 JP 2019108841 A JP2019108841 A JP 2019108841A JP 2019108841 A JP2019108841 A JP 2019108841A JP 7336268 B2 JP7336268 B2 JP 7336268B2
- Authority
- JP
- Japan
- Prior art keywords
- identification result
- data
- result data
- identification
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
しかし、識別対象データは、これから識別器で識別を実施する対象のデータであるため、一般的に、識別対象データに正解データが用意されていることはない。したがって、識別結果データを指標で比較することができず、好ましい識別結果データを選択するためには、ユーザーが目視で複数の識別結果データを確認し、識別対象データの識別結果データとして好ましい結果を選択する必要がある。
実施形態1では、ある識別対象データに対して複数の識別方法により複数の識別結果データが得られる場合に、各識別方法による識別結果データから、目視比較によって好ましい識別結果データを選択する状況を想定する。なお、実施形態1において識別対象データは、識別対象となる複数の個別データのことを指す。また、識別結果データは、1つの識別方法で、識別対象データの個別データ毎に識別を行って得た複数の識別結果をまとめたデータのことを指す。
図1は、情報処理装置100のハードウェア構成の一例を示す図である。情報処理装置100は、ハードウェア構成として、CPU10と、記憶部11と、操作部12と、表示部13と、通信部14と、を含む。CPU10は、情報処理装置100の全体を制御する。CPU10が記憶部11に記憶されたプログラムに基づき処理を実行することによって、後述する図2及び図12の情報処理装置100の構成が実現される。また、CPU10が記憶部11に記憶されたプログラムに基づき処理を実行することによって、後述する図5、図10、図13のフローチャートの処理が実現される。記憶部11は、プログラム、CPU10がプログラムに基づき処理を実行する際に用いるデータ等を記憶する。情報処理装置100には、ユーザーの操作を受け付けるための操作部12、及び、ユーザーが画像及び対象データを閲覧するための表示部13が接続されている。実施形態1では、操作部12をキーボード及びマウスとし、表示部13をディスプレイとするが、これらの構成はこれに限らず、他の構成としてもよい。例えば、操作部12をペンタブレッドとしてもよいし、操作部12と表示部13とを合わせてタブレットとしてもよい。通信部14は、情報処理装置100をネットワークに接続し、他の装置の通信を制御する。
図2は、情報処理装置100及び情報処理装置100に関連する構成についての示す図である。情報処理装置100は、機能構成として、識別部101、基準データ設定部102、関係性算出部103、決定部104を含む。
識別部101は、識別対象データに対して複数の識別方法によって識別処理を行い、識別方法毎に識別結果データを算出する。基準データ設定部102は、関係性算出部103で用いる基準データを設定する。関係性算出部103は、基準データ設定部102で設定された基準データを受け取り、その基準データと識別部101から受け取った複数の識別結果データとの関係性を、識別結果データ毎に算出する。決定部104は、関係性算出部103から受け取った関係性に基づいて、識別結果データの表示方法を決定する。画像格納部112には、コンクリート構造物の壁面画像を格納する。識別対象データ格納部113には、重畳画像生成部111で得られた識別対象データが格納されている。識別モデル格納部114には、予め学習された識別モデルが格納されている。重畳画像生成部111は、画像格納部112に格納された画像に基づき、識別対象データを生成する。画像格納部112、識別対象データ格納部113、識別モデル格納部114は、記憶部11に記憶されていてもよいし、情報処理装置100が取得可能であれば、ネットワークを介して通信可能な他の装置に記憶されていてもよい。受付部121は、操作部12を介して入力された操作情報を受け付ける。また、表示制御部122は、表示部13に表示させるための画像データを生成し、出力する機能部である。情報処理装置100は、受付部121及び表示制御部122を更に含んでもよい。
以下では、識別対象データの取得と識別処理について説明する。
識別対象データについて、図3を用いて説明する。識別対象データは、識別対象となる複数の個別データのことを指す。実施形態1では、識別対象データは、コンクリート構造物の壁面画像のひび割れ1本毎に、ひび割れ領域を内包するように抽出した局所画像群を指す。壁面画像300は、コンクリート構造物の壁面画像であり、301、302、303はそれぞれ異なる3本のひび割れC1、C2、C3の画素領域を表している。
局所画像を抽出するためには、画像中のひび割れ領域が特定されている必要がある。このひび割れ領域は、ユーザーが操作部12を介して、画像中のひび割れ位置を入力する方法がある。また、重畳画像生成部111がひび割れ検出手法によりひび割れ領域を特定する方法を用いて取得してもよい。ひび割れ検出手法として、ウェーブレット変換により、画像エッジを抽出することで、ひび割れ領域を特定してもよい。また、ひび割れ領域の画像特徴を学習して、ひび割れ検出モデルを作成するような、機械学習の方式を用いてもよい。
ひび割れの検出では、重畳画像生成部111は、ひび割れの画素を特定した上で、ひび割れを1本毎に311のように連続する複数の短い線分で表現するものとする。以下、連続する複数の線分で構成される線分をポリラインと呼ぶ。ひび割れ検出処理を行うと、ひび割れ1本毎に壁面画像300における312のようなポリラインの頂点の座標リストが得られる。ここで、壁面画像300は、x軸とy軸の座標を持つとする。ポリラインの頂点座標は、例えばC1で(XC1_1、YC1_1)から(XC1_n、YC1_n)までのn点の2次元座標のように表されているように、各座標に1つの数値が対応する。XC1_1等の座標値は、壁面画像の画像座標系の座標値でも、実際の壁面における表面座標値の何れでもよい。
ポリラインの頂点座標データが得られたら、壁面画像300からひび割れが存在する部分の局所画像が抽出される。抽出処理は、320のひび割れ毎のポリライン頂点座標リストが用いられる。ひび割れの全体を含むように、ひび割れ1本に付き局所画像が1枚抽出される。330は、壁面画像300から抽出されたひび割れの局所画像群である。331、332、333は、それぞれひび割れ画素領域C1、C2、C3を含む局所画像である。実施形態1は、この局所画像群330を識別対象データとする。これらの手法により取得した識別対象データは、図2の識別対象データ格納部113に格納される。
識別対象データから識別部101が識別結果データを取得する識別処理について、図4を用いて説明する。実施形態1において、識別結果データは、1つの識別方法で、識別対象データの個別データ毎に識別を行って得た複数の識別結果をまとめたデータを指す。実施形態1では、1つの識別方法で、複数のひび割れのひび割れ幅識別結果を含むデータが、1つの識別結果データとなる。図4(A)は、ひび割れ幅の識別処理の一連の流れを示している。識別処理は、ひび割れ検出によって得られたひび割れの局所画像群330に対して行われる。識別部101は、局所画像群330の中の各画像を、識別方法410に入力してひび割れ毎に幅を識別する。
ひび割れ幅の識別方法は、機械学習による方法や画像処理による方法により実現できる。機械学習による方法では、ひび割れの画像と、そのひび割れのひび割れ幅の教師データとがセットになった学習データを用いて、予めひび割れ幅の識別モデルを学習しておく。より具体的には、例えば、識別部101は、画像からHOG特徴量やLBP特徴量等のエッジ系の特徴量を抽出し、SVM等の識別器で識別モデルを学習する。ひび割れ幅を識別するときには、識別部101は、予め学習したモデルを識別対象データの画像に対して適用し、ひび割れ幅を識別する。画像処理による方法では、識別部101は、ひび割れの線と直交する方向の画素の輝度値を測定して、しきい値以上の輝度値を取る画素数を算出する等でひび割れ幅を識別する。
そこで、実施形態1では、予め複数の識別方法を準備しておく。例えば、機械学習による方式では、画像条件や壁面質感の分類毎に学習した複数の識別モデルを、複数の識別方法として準備すればよい。また、画像処理による方式では、輝度値のしきい値を複数設定しておき、それぞれを異なる複数の識別方法としてもよい。このように、複数の識別方法は、同一の処理内容でパラメータ設定が異なるものを含んでもよい。更に、機械学習による方法においても、前処理や後処理等のパラメータ設定が異なるものを複数の識別方式としてもよい。
複数の識別方法は、以上で説明した識別方法の何れを含んでもよい。以下の説明では、複数の識別方法は、機械学習による方法において、複数の識別モデルを準備したものであるとして説明する。識別モデルは、識別モデル格納部114に予め学習して格納されているものとする。また、実施形態1では、各ひび割れの幅の識別結果は、ひび割れ幅の数値として出力されるものとする。
なお、リスト420の識別結果データのひび割れ幅は実数値であるが、関係性が算出できるのであれば、例えば、太いひび割れ、普通のひび割れ、細いひび割れといったような、離散値で表現可能なものでもよい。
図5は、情報処理装置100で実行する処理に関するフローチャートである。以下、図5を参照しながら実施形態1の処理の概要を説明する。なお、以下の説明では、各工程(ステップ)について先頭にSを付けて表記することで、工程(ステップ)の表記を省略する。
S201において、識別部101は、識別モデル格納部114に格納されている識別モデルを読み込んで、識別方法を構成する。S202において、識別部101は、識別対象データ格納部113から識別対象データを読み込む。S203において、識別部101は、複数の識別方法によって、識別対象データの識別を行い、複数の識別結果データを取得する。S204において、基準データ設定部102は、関係性算出における基準データの設定を行う。S205において、関係性算出部103は、基準データを基準にして、複数の識別結果データとそれぞれの関係性を算出する。関係性には複数の指標があり、関係性算出部103は、少なくとも1つの指標を用いて関係性を算出する。S206において、決定部104は、S205で算出した関係性に基づいて識別結果データの表示方法を決定する。S207において、表示制御部122は、S206で決定した表示方法に基づいて識別結果データを表示するための画像データを生成し、表示部13に出力して表示させる。そして、決定部104は、処理を終了する。
基準データは、関係性算出部103で行う関係性算出において、識別結果データとの関係性算出の基準として用いるデータである。実施形態1では、情報処理装置100は、基準データと各識別結果データとの関係性を算出し、関係性に基づいた表示を行うことで、基準データと各識別結果データとの目視比較を効率化する。実施形態1では、情報処理装置100は、基準データと複数の識別結果データとを比較する場合において、基準データとの関係性に基づいて識別結果データを表示する順番を決定する。
実施形態1では、ユーザーが、複数の識別結果データの中から識別結果データを1つ選択して、基準データに設定するものとする。1つの識別結果データが基準データに設定されると、情報処理装置100は、その識別結果データと関係性の高い識別結果データから順に表示する。したがって、ユーザーは、目視比較することができる。なお、識別結果データを選択する方法は限定せず、他の複数の識別結果データと比較を行いたい任意の識別結果データを基準データに設定してよい。
実施形態1における関係性は、2つの識別結果データの傾向がどの程度類似しているかを示す指標であるとする。関係性を算出すると、決定部104において、関係性に基づいて識別結果データの表示方法を決定することが可能になる。傾向が類似している識別結果データ同士で目視比較を行うと、データ間の変化が小さくなり、比較が行いやすくなる。
関係性の算出について図6を用いて説明する。500は、図3の壁面画像300の基準データと1つの識別結果データのひび割れ毎の幅の識別結果である。501は基準データDrのひび割れ毎の基準幅を示している。502はある識別結果データDcのひび割れ毎の識別幅を示している。リスト500では、基準データと識別結果データのひび割れIDがCiのひび割れの幅をそれぞれWri、Wciとしている。503は、DrとDcの同一IDのひび割れの幅の比較結果を示している。関係性算出部103は、これらの比較結果から、識別結果データ間の関係性を算出する。
図7を用いて、識別結果データの重畳画像生成について説明する。図7の600は、320のひび割れ毎のポリライン頂点座標リストと、図4のリスト420のひび割れ幅の識別結果データを組み合わせたリストである。リスト600の情報を基に、図3の壁面画像300に識別結果データを重畳した画像が生成される。
リスト600で各ひび割れは、IDとポリライン頂点座標と幅の識別結果の数値情報を持つ。0.1mm等の数値は、対応するひび割れIDのひび割れの幅の識別結果を表す数値とする。
また、識別結果データの表示は、ポリラインの側に値を表示してもよく、この場合は離散化しなくてもよい。
実施形態1では、ユーザーは、これらの重畳画像を比較することによって、好ましい識別結果データを選択する。
識別結果データの表示方法を、図8を用いて説明する。決定部104及び表示制御部122は、関係性算出部103から受け取った関係性に基づいて、識別結果データの表示方法を決定する。図8(A)のD1、D2、D3、D4は、図3(D)の局所画像群330の各ひび割れ画像に対して異なる識別方法で識別を行って得た識別結果データの重畳画像である。図8(A)では、D1の識別結果データが基準データに設定されている。700はD2、D3、D4を含む識別結果データの重畳画像群であり、基準データと複数の識別結果データの関係性のリストと重畳画像を用いた表示方法を決定する。
実施形態1では、基準データと識別結果データの重畳画像の表示と、各識別結果データの関係性のリストの表示を行う。705は基準データの重畳画像、707は識別結果データの重畳画像の表示領域であり、2つの画像を並べて表示することで比較できる。ここでは、画像表示領域705に識別結果データD1、画像表示領域707に識別結果データD3の重畳画像が表示されている。706、708に、画像表示領域705、707に現在設定されている識別結果データのIDがそれぞれ表示されている。なお、実施形態1では、708に設定する識別結果データを比較データと呼ぶ。
713と714は表示画像を切り替えるボタンで、ボタン713又はボタン714がクリックされると画像表示領域707に表示される重畳画像が、別の識別結果データの重畳画像に切り替わる。このときの画像の切り替わる順番は、リスト709の結果データのソートされた順番である。ボタン713では関係性が大きい方向に切り替わり、ボタン714では関係性が小さい方向に切り替わる。これにより、基準データに対して関係性が高い順に識別結果データの重畳画像を閲覧することができる。更に、関係性が一番高い識別結果データを表示している状態でボタン714がクリックされたときに、循環して一番関係性が低い識別結果データが表示されるようにすることで、関係性が一番低い識別結果データの重畳画像から順に閲覧することもできる。また、関係性算出部103において、図6(A)のリスト500のように、ひび割れ毎に二乗差を算出した結果を保持している場合は、重畳画像で、二乗差が大きい、又は小さいひび割れを強調して表示してもよい。
715、716は、クリックされるとそれぞれ基準データと比較データを好ましい識別結果データとしてそれぞれ確定するボタンであり、ユーザーからの識別結果データの選択の指示を受け付ける。
図8(B)の717は基準データを変更するボタンで、クリックされるとその時点で画像表示領域707に指定されている比較データが新しい基準データに設定され、画像表示領域705と重畳画像が交換される。すると、新しい基準データを用いて関係性算出部103で関係性の再計算が行われ、リスト709が更新される。これは、リスト709が元々保持している関係性のデータが、元のソートの順はD1の識別結果データを基準としたときの関係性でソートしたものであり、D3と関係性が高い順にソートされているわけではないためである。これにより、比較データの中に基準データよりも好ましい画像を見つけたときに、その比較データを基準データに設定して他の識別結果データと比較を行うことができる。
また、比較対象となる識別結果データの数を減らすために、以下の処理を行うようにしてもよい。即ち、決定部104は、一度基準データに設定した識別結果データや、既に重畳画像を閲覧した識別結果データを、基準データが変更された場合に、リスト709から除外して、画像表示領域707に重畳画像を表示しないようにしてもよい。なお、この関係性の再計算は、基準データの変更時の処理時間の短縮のために、予め全ての識別結果データを基準データとしたときの関係性の計算をそれぞれ行った結果を保持しておいてもよい。その場合、基準データを変更したら、決定部104は、その基準データに対応する関係性の算出結果を代入する。
識別結果データが多数存在する場合、中には明らかに選択したい識別結果データとは傾向が異なる識別結果データが存在する。それらの重畳画像を含めてすべての重畳画像を比較するのは煩雑なため、比較対象とする識別結果データの数を減らすことが望ましい。そこで、実施形態1では、関係性に基づいて、比較対象とする識別結果データの絞り込みを行う。
図8(C)の720は、絞り込み処理の決定画面の例である。リスト721は、709と同様に、複数の識別結果データの関係性のリストである。722は、関係性に基づいて識別結果データを絞り込むための関係性のしきい値を示している。ボタン723、724がクリックされることで、722のしきい値の値が変化する。リスト721において、725のように黒塗りで現れている行のデータは、関係性がしきい値を下回り、707で重畳画像を表示する候補から除外された識別結果データである。726は、しきい値処理で現在残っている識別結果データの個数を示している。そして、ボタン727がクリックされるとしきい値が確定し、しきい値処理の結果がリスト709に反映される。しきい値を調整し、識別結果データを絞り込むことで、基準データと類似している識別結果データのみを比較することができる。
このように、識別結果データが類似している順に、複数の識別結果データを閲覧できるようにすることで、複数の識別結果データの閲覧効率が高い閲覧が可能になる。
変形例1で扱う識別対象データは、実施形態1と同様に、コンクリート構造物の壁面画像のひび割れ1本毎に、ひび割れ領域を内包するように抽出した局所画像群とする。また、識別結果データはひび割れ毎の幅の識別結果とする。実施形態1では決定部104において、基準データに対する識別結果データの関係性をリストで表示する方法を説明したが、変形例1では他の表示方法を用いる。より具体的には、関係性算出部103において、少なくとも1種類の指標の関係性を算出する。そして、決定部104及び表示制御部122によりグラフ上に識別結果データの関係性を描画する。これにより、視覚的に各識別結果データの関係性の大小関係が分かる。また、グラフを用いて識別結果データを絞り込むことや、関係性として用いる指標の選択も行う。
変形例1では、実施形態1と同様の構成、及び処理については説明を省略する。処理内容の説明をする前に、関係性の指標の種類について説明する。
実施形態1での関係性は、類似度を算出して、これを関係性とした。変形例1では、類似度だけでなく、識別結果データの統計量も関係性として用いる処理について説明する。
まず、類似度は、実施形態1の式(3)に示されるひび割れ毎の幅の平均二乗差の逆数や、相関係数等が当てはまる。ひび割れ毎に識別した幅の差分を計算しているため、基準データと識別結果データがひび割れ毎にどの程度類似しているかを定量的に表現している。
一方、変形例1における検出結果の統計量は、検出対象画像の全ひび割れについて、識別した幅の平均や分散等を算出することで、ある識別結果データの統計量を求めるものとする。このように、統計量は基準データを用いずに、1つの識別結果データだけで算出することができる指標のことである。この統計量を、識別結果データの関係性として用いることができる。より具体的には、識別結果データの幅の平均を関係性とした場合、平均(関係性)が近い識別結果データは、全体的に幅を太く判別しているのか、細く判別しているのか、という、傾向が近い識別結果データを示していることになる。
変形例1では、類似度と統計量を用いることで、ひび割れ毎の類似度に加えて、全体の分布の類似度も比較することで、基準データと類似している識別結果データを、より選択しやすくしている。
処理内容を、図9を用いて説明する。まず、関係性算出部103において、2種類の関係性を算出し、図9(A)の800のようなリストを得る。変形例1では、関係性として、識別幅の平均と、式(3)の類似度rを算出している。関係性の指標としては、正負の値を取るものと、正又は負の値のみを取るものの何れを用いてもよい。なお、変形例1においては、式(3)のような(0、1]の値域を取る類似度の指標は、グラフで描画するために逆数を取ったものを用いて、何れの関係性の指標でも絶対値が0に近いほど関係性が高くなるように指標を定義する。
そして、表示制御部122において、関係性算出部103で算出した関係性を用いてグラフを生成し、表示部13に表示する。図9(B)は、実施形態1の図8(B)と同様に、基準結果データと識別結果データを壁面画像に重畳した画像を比較する画面である。818、819に、それぞれ基準データと比較データとの重畳画像が表示されている。図8(B)と異なるのは、図8(B)はリスト709を表示して識別結果データの関係性を表示しているのに対し、図9(B)ではグラフ810を表示して、グラフ上のデータ点の位置で識別結果データの関係性を表現している部分である。グラフ810は、2つの関係性の軸811、812を持つ平面グラフである。変形例1では、横軸811に識別結果データの識別幅の平均の基準データとの差分値、縦軸812に式(3)の類似度rを設定している。
また、決定部104は、図9(A)の関係性のリスト800を保持しておき、実施形態1と同様に、ボタン群816のボタンがクリックされると関係性に基づいて順次比較データを選択するようにしてもよい。このとき、表示の順番は、どちらかの軸に基づいて算出するか、又はそれぞれの関係性を重みづけして順番を決定するというように両方の軸に基づいて算出してもよい。
グラフの軸として用いる関係性の指標を変更できるようにしてもよい。例えば、ひび割れ毎の識別幅のばらつきが小さい場合は識別幅の平均を、ばらつきが大きい場合は識別幅の分散を関係性の指標とすることで、基準データと各識別結果データの関係性を効果的に求めることができる。
ボタン817がクリックされると、表示制御部122は、図9(C)のグラフの軸に用いる関係性を選択する画面を表示する。図9(C)では、軸毎に用いる関係性の指標を選択することができる。821、822は、2つの軸の関係性として用いることができる指標のリストである。チェックマーク823は、同じ行の指標が現在選択されていることを示している。決定ボタン824がクリックされると、グラフ810の関係性の軸811、812が変更され、各識別結果データの関係性のデータ点が再描画される。識別結果データの関係性は、指標を変更した時点で、関係性算出部103でそれらの指標を用いて再計算を行うか、又は指標リスト821、822で候補に挙がる指標については関係性算出部103で初めにすべての指標について計算して保持しておいてもよい。
実施形態1で説明した識別結果データの絞り込みを、グラフを用いて行うこともできる。図9(D)の830は、グラフを用いた識別結果データの絞り込みを行う画面である。830には、810と同様の識別結果データ毎の2種類の関係性のデータ点が描画されている。この画面上で、マウスカーソル832の操作によって、識別結果データとして残す範囲を指定することができる。図9(D)では、ドラッグで始点833と終点834が指定され、長方形の領域831を設定した例を示している。836等の領域831の外部にあるデータ点は、識別対象データから除外される。一方、835等の領域831の内部にあるデータ点は識別対象データとして残すデータとなり、そのデータの数がカウントされて837に表示されている。
このようにグラフを用いることで、2つ以上の関係性の値を考慮した絞り込みを行うことができる。ボタン群816のボタンがクリックされたときに表示するデータを、絞り込みで残したデータのみに限定することで、基準データと類似している基準データのみを順次表示することができる。
このように、複数の関係性に基づいて視覚的に各識別結果データを表示することで、直観的に識別結果データの類似度が把握でき、効率的に識別結果データの閲覧が可能になる。
変形例2で扱う識別対象データは、実施形態1及び変形例1と同様に、コンクリート構造物の壁面画像のひび割れ1本毎に、ひび割れ領域を内包するように抽出した局所画像群とする。また、識別結果データはひび割れ毎の幅の識別結果とする。実施形態1及び変形例1では決定部104において、基準データに対する比較するデータの削減をするために識別結果データの絞り込みをする方法を説明したが、変形例2では他の表示方法を用いて比較するデータを削減する。より具体的には、情報処理装置100は、複数の識別結果データを、関係性に基づいてクラスタリングして、クラスタ毎に代表データとなる識別結果データを設定する。ユーザーは、各クラスタの代表データを目視比較して選択を行う。ユーザーは、代表データの中から1つ選択する。すると、情報処理装置100は、選択された代表データを基準データに設定し、基準データと各代表データとの関係性を算出し、関係性に基づいて基準代表データとその他の代表データの重畳画像の表示を行う。ユーザーは、表示されたものに対して目視で比較を行う。クラスタリングとは、部分集合に分割することである。
複数の識別結果データのクラスタリングを行い、クラスタ毎の代表データから選択を行うことにより、目視比較するデータの数が削減され、目視比較による好ましい識別結果データの選択が容易になり、効率性を向上させることができる。
変形例2では、実施形態1及び変形例1と同様の構成、及び処理については説明を省略する。
図10は、変形例2の情報処理装置100で実行する処理に関するフローチャートである。以下、図10を参照しながら変形例2の処理の概要を説明する。
S201からS204までは、実施形態1で説明した処理と同様なので省略する。S205において、関係性算出部103は、識別結果データ毎の関係性を算出する。また、変形例1と同様に、関係性算出部103は、複数の種類の関係性の指標を算出してもよい。関係性が算出できたら、S208において、関係性算出部103は、識別結果データのクラスタリングを行う。S209において、関係性算出部103は、クラスタ毎に代表データの設定を行う。S210において、関係性算出部103は、各クラスタで設定した代表データの中から、基準データの設定を行う。S211において、関係性算出部103は、基準データと複数の代表データとの関係性を算出する。S212において、決定部104及び表示制御部122は、関係性に基づいて代表データの表示方法を決定する。S213において、決定部104は、代表データを表示して処理を終了する。S210からS213までの処理は、図5におけるS204からS207までの処理と同様の処理であり、異なる点は、取り扱うデータが識別結果データではなく代表データである点である。
クラスタリングについて、図11(A)を用いて説明する。図11(A)のグラフ1000は、2種類の関係性1004、1005の軸で構成される平面のグラフである。より具体的には、例えば、各識別結果データの平均と分散で軸を構成する。図面の都合上、2軸のそこに、S205で算出された各識別結果データの関係性のデータ点が描画されている。これらのデータ点を、関係性算出部103は、2種類の関係性の値に基づいてクラスタリングする。クラスタリングをすることによって、関係性の値が近い識別結果データ毎にまとめることができ、クラスタ間の比較やクラスタ内での識別結果データの比較を行うことができる。
クラスタリングは、k-means法やMean-shiftクラスタリング等の技術を用いて自動で行うことができる。又は、変形例1で説明したように、図9(C)の830のような関係性のグラフをユーザーに提示して、マウスカーソル832の操作によってクラスタリングの境界の手動の描画を受け付けてもよい。自動でクラスタリングを行うと、定量的な基準で分割を行える上に、クラスタ数が多くなる分割にも対応できる。一方、手動でクラスタリングを行うと、全てのデータ点を何れかのクラスタに所属させるのではなく、一部のデータ点のみをクラスタに所属させ、それ以外のデータ点は識別結果データの選択の候補から除外できる。例えば、個別のひび割れの識別幅の平均を関係性の指標として設定している場合に、グラフ上で全体的に細すぎると判断したデータ点を除外することで、データ点及びクラスタの数を削減して、代表データの比較を効率化することができる。
代表データの選択について、図11(A)を用いて説明する。各クラスタで代表データを設定することで、クラスタ間の比較を行うことができる。図11(A)のグラフ1000では、複数の識別結果データが、1001、1002、1003の3つのクラスタに分割されている。3つのクラスタ1001、1002、1003について、それぞれ代表データR1、R2、R3の設定を行う。
代表データの設定方法は、クラスタリング結果に基づいて、ユーザーが設定する方法と、自動的に代表データを決定する方法がある。まず、ユーザーが設定する方法では、図11(A)のように、識別結果データのクラスタリング結果を表示部13に表示する。ユーザーは、各クラスタについて、任意の1つのデータ点を選択することで、関係性算出部103は、各クラスタの代表データを設定する。一方、自動的に代表データを決定する方法では、関係性算出部103は、各クラスタ中心に最も近い識別結果データを選択することで、自動的に代表データを決定することができる。更にまた、関係性算出部103は、各クラスタの識別結果データの平均的な識別結果を算出して、代表データとしてもよい。より具体的には、関係性算出部103は、クラスタ内の識別結果データを集計し、ひび割れ毎に識別結果のひび割れ幅の平均値を算出したデータを作成して、代表データとする。このように、複数の識別結果データから算出したデータを新しい識別結果データとしてもよい。
複数の代表データの比較方法について、図11を用いて説明する。前提として、複数の識別結果データがクラスタリングされており、クラスタ毎に代表データが設定されているものとする。
図11(B)の1010は、複数の代表データを目視比較して1つ選択する画面を示している。これは、図8(B)の関係性に基づいて基準データと比較データの重畳画像を表示して比較する画面と同様の処理を行う画面である。図8(B)と異なる点は、基準データと比較するデータが識別結果データではなく、各クラスタの代表データである点である。1010では、代表データから選択した基準データと比較するデータのことをそれぞれ基準代表データ、比較代表データと記載している。
このように、複数の識別結果データをクラスタリングして、クラスタ毎に代表データを設定し、各クラスタの代表データの重畳画像を比較して選択することで、比較対象が削減されるため、効率的に重畳画像を比較して選択することができる。
変形例3で扱う識別対象データは、実施形態1、変形例1及び変形例2と同様に、コンクリート構造物の壁面画像のひび割れ1本毎に、ひび割れ領域を内包するように抽出した局所画像群とする。また、識別結果データはひび割れ毎の幅の識別結果とする。実施形態1、変形例1及び変形例2では、画像全体の識別結果データを比較及び選択する実施形態を説明したが、変形例3では、画像中の部分領域毎に識別結果データを比較及び選択する実施形態について説明する。このために、変形例3では、関係性算出部103は、画像の部分領域毎に、識別結果データの関係性を算出する。このように、画像を領域分割して、領域毎に識別結果データを比較することで、壁面の質感が領域毎に異なる画像でも、好ましい識別結果データを決定することができる。
変形例3では、実施形態1、変形例1及び変形例2と同様の構成、及び処理については説明を省略する。
図12に、変形例3における情報処理装置1200及び情報処理装置1200に関連する構成について示す図である。情報処理装置1200の構成の大部分は図1の情報処理装置100と共通している。異なるのは、識別部101、基準データ設定部102、関係性算出部103、決定部104に加えて、領域分割部1205が含まれている点である。領域分割部1205は、画像の特徴に応じて領域分割処理を行う。基準データ設定部102では、領域毎に基準データの設定を行う。関係性算出部103では、領域毎に関係性の算出を行う。決定部104では、領域毎に算出した関係性に基づいて識別決定データの表示方法を決定する。
図13は、変形例3の情報処理装置1200で実行する処理に関するフローチャートである。以下、図13を参照しながら変形例3の処理の概要を説明する。
S201、S202、S203は図5、図9と同様で、識別対象データに対し、複数の識別方法で識別を行い、複数の識別結果データを生成する。そして、S214において、領域分割部1205は、画像を領域分割し、各領域に属するひび割れ毎に各識別結果データを複数のグループに分割する。S215において、基準データ設定部102は、領域毎に基準データを設定する。そして、S216において、関係性算出部103は、図14(B)に示すように領域毎に基準データと各識別結果データの関係性を算出する。1311、1312、1313は、領域SG1、SG2、SG3のそれぞれにおいて基準データD1に対する各識別結果データの関係性を算出した結果である。S206において、決定部104は、領域毎に算出した関係性に基づいて、識別結果データの表示方法を決定する。S207において、表示制御部122は、識別結果データを表示する画像データを生成し、表示部13に表示させる。そして、決定部104は、処理を終了する。
領域分割処理について、図14を用いて説明する。図14(A)の1300は、画像格納部112から読み込んだコンクリート構造物の壁面画像である。識別結果データを、1305のような各ひび割れの識別幅を太さで表現したポリラインを壁面画像に重畳して表現している。この重畳画像に対応する壁面画像で、領域分割処理を行う。領域分割は、壁面の質感等、壁面画像の特徴の変化に基づいて行われる。この領域分割の処理は、グラフカットやMean-shift等の技術を用いて実施することができるので、詳細な説明は省略する。1304は、領域分割処理によって算出された領域分割の境界線であり、この境界線によって、画像が3つの領域SG1、SG2、SG3に分割されている。1301、1302、1303は、それぞれ領域SG1、SG2、SG3を指している。識別対象データは、この画像の領域分割結果に基づき、ひび割れ画素が所属する画像領域毎に、識別結果データを個別のひび割れ単位でグループに分割する。なお、変形例3では、複数の領域に跨っているひび割れについては、その領域に含まれるひび割れの長さが最も長い領域のグループに所属させるが、どの領域に所属させるかを決定する方法は限定しない。
識別結果データの比較について、図14の(C)を用いて説明する。変形例3では、壁面画像を複数の領域に分割し、領域毎に好ましい識別結果データを選択する。1320は、領域毎に識別結果データの重畳画像を表示して比較するための画面である。基本的な表示方法は、図8(B)の実施形態1の識別結果データの表示方法と同様である。1321に、現在着目している領域が表示されており、変形例3では、領域SG2に着目している。変形例3では、関係性のリスト1322で、全ひび割れの識別結果データの関係性ではなく、現在着目している領域に含まれるひび割れの識別結果データで算出した関係性が用いられている。また、画像表示領域1323、1324には、着目領域SG2のひび割れを内包する重畳画像をして表示している。ボタン群1325のボタンがクリックされると、着目領域SG2における関係性の順に識別結果データの重畳画像が表示され、好ましい識別結果データの選択を行う。これらの操作を全ての領域毎に行い、領域毎の識別結果データを組み合わせて、全領域の識別結果データを生成する。以上の処理により、領域毎に質感が異なる壁面画像であっても、全領域で好ましい識別結果データを取得することができる。
このようにすることで、領域数が多い場合でも識別結果データを選択する時間を増やさずに、領域毎の関係性を考慮した識別結果データの比較を行うことができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
11 記憶部
100 情報処理装置
Claims (18)
- 識別対象データに基づいて、複数の識別方法によって、複数の識別結果データを生成する識別手段と、
前記複数の識別結果データに基づいて、基準データを設定する設定手段と、
前記基準データと前記複数の識別結果データそれぞれとの関係性を算出する算出手段と、
前記算出された複数の関係性に基づいて、前記複数の識別結果データの表示方法を決定する決定手段と、
を有することを特徴とする情報処理装置。 - 前記識別対象データに、前記基準データを重畳した第1の重畳画像を表示部に表示する表示制御手段を更に有することを特徴とする請求項1に記載の情報処理装置。
- 前記表示制御手段は、前記決定手段により決定された表示方法で前記複数の識別結果データを前記表示部に表示することを特徴とする請求項2に記載の情報処理装置。
- 前記表示制御手段は、前記複数の識別結果データと、前記複数の識別結果データそれぞれと前記基準データとの関係性と、を一覧で前記表示部に表示することを特徴とする請求項2又は3に記載の情報処理装置。
- 前記決定手段は、前記複数の関係性に基づいて、前記複数の識別結果データを並び替え、
前記表示制御手段は、並び替えられた順番に基づいて、前記識別対象データに、識別結果データを重畳した第2の重畳画像を、前記表示部に表示することを特徴とする請求項4に記載の情報処理装置。 - 前記表示制御手段は、前記複数の識別結果データと、前記複数の識別結果データそれぞれと前記基準データとの関係性と、をグラフで前記表示部に表示することを特徴とする請求項2又は3に記載の情報処理装置。
- 前記設定手段は、前記複数の識別結果データのうち、ユーザーによって選択された識別結果データを前記基準データに設定することを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
- 前記基準データが変更されると、
前記算出手段は、前記複数の関係性を再び算出し、
前記決定手段は、前記複数の関係性に基づいて、前記複数の識別結果データの表示方法を決定することを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。 - 前記決定手段は、前記関係性に基づいて、前記複数の識別結果データのうち、表示する対象の識別結果データの範囲を狭めることを特徴とする請求項4に記載の情報処理装置。
- 前記決定手段は、ユーザーの操作によって前記関係性の指標の種類を変更することを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。
- 前記決定手段は、ユーザーのグラフの操作によって、前記複数の識別結果データのうち、表示する対象の識別結果データの範囲を狭めることを特徴とする請求項6に記載の情報処理装置。
- 前記算出手段は、前記複数の関係性に基づき、前記複数の識別結果データをクラスタに分割し、分割した後の各クラスタに代表データを設定し、複数の代表データの中から基準データを設定し、前記基準データと前記複数の代表データそれぞれとの関係性を算出し、
前記決定手段は、前記算出された複数の関係性に基づいて、前記複数の代表データの表示方法を決定することを特徴とする請求項1乃至11の何れか1項に記載の情報処理装置。 - 前記識別対象データを複数の領域に分割する分割手段を更に有し、
前記設定手段は、前記複数の識別結果データに基づいて、前記複数の領域ごとに前記基準データを設定し、
前記算出手段は、前記複数の領域ごとの前記基準データと、前記複数の識別結果データそれぞれとの関係性を算出することを特徴とする請求項1乃至12の何れか1項に記載の情報処理装置。 - 前記決定手段は、前記複数の領域ごとの、前記算出された複数の関係性に基づいて、前記複数の識別結果データの表示方法を決定することを特徴とする請求項13に記載の情報処理装置。
- 識別対象データに基づいて、複数の識別方法によって、複数の識別結果データを生成する識別手段と、
前記複数の識別結果データに基づいて、基準データを設定する設定手段と、
前記基準データに対する前記複数の識別結果データそれぞれの関係性を求め、前記関係性に基づいて前記複数の識別結果データを表示部に表示する表示制御手段と、
を有することを特徴とする情報処理装置。 - 情報処理装置が行う情報処理方法であって、
識別対象データに基づいて、複数の識別方法によって、複数の識別結果データを生成する識別工程と、
前記複数の識別結果データに基づいて、基準データを設定する設定工程と、
前記基準データと前記複数の識別結果データそれぞれとの関係性を算出する算出工程と、
前記算出された複数の関係性に基づいて、前記複数の識別結果データの表示方法を決定する決定工程と、
を含むことを特徴とする情報処理方法。 - 情報処理装置が行う情報処理方法であって、
識別対象データに基づいて、複数の識別方法によって、複数の識別結果データを生成する識別工程と、
前記複数の識別結果データに基づいて、基準データを設定する設定工程と、
前記基準データに対する前記複数の識別結果データそれぞれの関係性を求め、前記関係性に基づいて前記複数の識別結果データを表示部に表示する表示制御工程と、
を含むことを特徴とする情報処理方法。 - コンピュータを、請求項1乃至15の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019108841A JP7336268B2 (ja) | 2019-06-11 | 2019-06-11 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019108841A JP7336268B2 (ja) | 2019-06-11 | 2019-06-11 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020201758A JP2020201758A (ja) | 2020-12-17 |
JP7336268B2 true JP7336268B2 (ja) | 2023-08-31 |
Family
ID=73743424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019108841A Active JP7336268B2 (ja) | 2019-06-11 | 2019-06-11 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7336268B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016165064A (ja) | 2015-03-06 | 2016-09-08 | 日本電気株式会社 | 識別装置、識別方法及び識別装置のプログラム |
JP2016189162A (ja) | 2015-03-30 | 2016-11-04 | オムロン株式会社 | 個人識別装置、識別閾値設定方法、およびプログラム |
JP2018185552A (ja) | 2017-04-24 | 2018-11-22 | 公益財団法人鉄道総合技術研究所 | 画像解析装置および画像解析方法、ならびにプログラム |
JP2018198053A (ja) | 2017-05-22 | 2018-12-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2019
- 2019-06-11 JP JP2019108841A patent/JP7336268B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016165064A (ja) | 2015-03-06 | 2016-09-08 | 日本電気株式会社 | 識別装置、識別方法及び識別装置のプログラム |
JP2016189162A (ja) | 2015-03-30 | 2016-11-04 | オムロン株式会社 | 個人識別装置、識別閾値設定方法、およびプログラム |
JP2018185552A (ja) | 2017-04-24 | 2018-11-22 | 公益財団法人鉄道総合技術研究所 | 画像解析装置および画像解析方法、ならびにプログラム |
JP2018198053A (ja) | 2017-05-22 | 2018-12-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020201758A (ja) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109918969B (zh) | 人脸检测方法及装置、计算机装置和计算机可读存储介质 | |
EP2980755B1 (en) | Method for partitioning area, and inspection device | |
CN109409398B (zh) | 图像处理装置、图像处理方法以及存储介质 | |
US9519660B2 (en) | Information processing apparatus, clustering method, and recording medium storing clustering program | |
JP5283088B2 (ja) | 画像検索装置および同画像検索装置に適用される画像検索用コンピュータプログラム | |
JP6122814B2 (ja) | 情報処理装置、プログラム、及びデジタル検版方法 | |
WO2007055359A1 (ja) | クラスタリングシステム、及び、それを備える画像処理システム | |
JP2018142097A (ja) | 情報処理装置、情報処理方法及びプログラム | |
EP2846309B1 (en) | Method and apparatus for segmenting object in image | |
WO2006082979A1 (ja) | 画像処理装置および画像処理方法 | |
IL198507A (en) | Analyze media data of consecutive sections in the article | |
US9569146B2 (en) | Information processor and automatic page replacement method | |
CN112613384A (zh) | 手势识别方法、手势识别装置及交互显示设备的控制方法 | |
JP3708042B2 (ja) | 画像処理方法及びプログラム | |
US8971669B2 (en) | Method and apparatus for image processing | |
JP7336268B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2003203090A (ja) | 画像空間表示方法 | |
RU2458396C1 (ru) | Способ редактирования статических цифровых комбинированных изображений, включающих в себя изображения нескольких объектов | |
JP6546385B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
CN105868768A (zh) | 一种识别图片是否带有特定标记的方法及系统 | |
WO2020208955A1 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
US8606494B2 (en) | Map generation apparatus, map generation method and computer readable medium | |
JP7252591B2 (ja) | 幾何学形状のマッチングによる画像処理方法及び画像処理装置 | |
Stritt et al. | Supervised Machine Learning Methods for Quantification of Pulmonary Fibrosis. | |
Ferilli et al. | A run length smoothing-based algorithm for non-Manhattan document segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7336268 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |