JP7330710B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、スケール画像を表示する情報処理装置に関する。

橋梁、ダム、トンネルなどの構造物のコンクリート壁面の劣化を検査するインフラ点検では、コンクリート壁面を撮影した画像からひび割れ等の異常領域の大きさを推定する。調査技術者や調査責任者が推定した結果をコンクリート壁面が撮影された画像とともに確認し、必要に応じて修正を行う必要がある。この作業では、コンクリート壁面の画像とスケールを同時に閲覧するため、一般的にコンクリート壁面の画像とスケール画像を重畳して表示する。この時、ひび割れや剥がれといった異常領域を正確に観測するために、スケール画像を異常領域に合わせて表示するよい。特許文献１には、観測対象である画像にスケール画像をユーザー操作によって表示方向を調整する方法を示している。

特開２００９－８５７８５号公報

Ｚｈａｎｇ．Ａｕｔｏｍａｔｉｃ ｃｒａｃｋ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｅｔｈｏｄｆｏｒ ｓｕｂｗａｙ ｔｕｎｎｅｌ ｓａｆｅｔｙ ｍｏｎｉｔｏｒｉｎｇ．ＳＥＮＳＯＲＳ １４．２０１４

しかし、特許文献１の方法では、ひび割れの向きに合わせてスケール画像の向きをユーザーが手動で設定する必要がある。しかしながら、ひび割れには屈曲や分岐が多く、計測する為にそれぞれの屈曲や分岐に対してスケールを回転させて表示させる手間がかかっていた。

そこで、本発明は、容易な操作で注目する画像を適切に表示することを目的とする。

上記課題を解決する本発明にかかる情報処理装置は、検査対象物の画像における領域の幅を計測するための表示を行う情報処理装置であって、前記画像から前記領域を近似した線の屈曲が所定の条件を満たす屈曲位置を取得する取得手段と、前記屈曲位置に基づいて前記画像を分割した複数の部分画像を、所定の方向に揃えて表示させる表示制御手段とを有することを特徴とする。

本発明によれば、容易な操作で注目する画像を適切に表示できる。

ひび割れの画像の表示例を示す図 情報処理装置が行う各工程におけるスケール画像の表示例 情報処理システムの構成例を示す図 対象データおよび検査対象の画像の一例を示す図 情報処理装置が行う処理の流れを説明するフローチャート 注目対象データの一例を示す図 表示パラメータの一例を示す図である。 スケール画像の表示の一例を示す図 複数のスケール画像の表示の一例を示す図 検査対象の画像の表示の一例を示す図 変換した画像の表示の一例を示す図 矢印の表示の一例を示す図 透過したスケール画像の一例を示す図 比較対象の画像の表示の一例を示す図 外観検査における画像の一例を示す図 医療診断における画像の一例を示す図 ハードウェアの構成例を示す図

本発明にかかる実施例を説明するのに先立ち、用語の定義について説明する。

スケール画像は、対象の計測する為の目盛りや指標を含んだスケールの画像である。スケール画像には、画像の解像度に合わせて、実際の幅の大きさと対応した指標となる幅（例えば、０．２ｍｍの幅、０．５ｍｍの幅、１．０ｍｍの幅）が左から右に向かって昇順になるよう表示される。この大きさの基準と、画像に映った異常領域の幅を比較して、異常領域の幅の大きさを計測できる。この場合は、異常領域の幅の中心と、比較したい基準の中心を一致させるようにスケール画像を表示するとよい。これ以外にも、例えば、実測値に対応する目盛り（例えば０ｍｍ～１０．０ｍｍが０．１ｍｍ刻みで表示される）でもよい。この場合は、０ｍｍになる位置を異常領域の幅の端点を一致させるように表示するとよい。なお、スケール画像は、長さ、面積等を示す画像であれば何でもよい。

検査対象物とは、例えば、橋などの建築物の経年劣化を点検するようないわゆるインフラ点検の場合は、コンクリート構造物を指す。検査対象物を撮像した画像から、表面に異常がないか、異常領域を検査する。異常領域とは、何等かの異常が発生している領域を指す。例えば、コンクリート構造物の場合、コンクリートのひび割れの他、コンクリートの浮き、剥落（コンクリ表面のはがれ）がある。他にも、コールドジョイント（コンクリの接合面に出てくるひび割れのような模様）、エフロレッセンス（ひび割れ部分から流れ出るコンクリ構造物の石灰成分）、鉄筋露出（構造物内の鉄筋が見えている部分）、錆汁といった異常がある領域を指す。特に、ユーザーが確認したい異常領域の部分を注目対象とする。

対象データとは、異常領域が存在する位置を示す位置情報である。具体的には、画像またはベクターデータである。ここでは、異常領域の幅の中心を結んだ画像であるとする。対象データの取得方法は、後述する。インフラ点検における対象データは、例えば、ユーザーが目視によって、ひび割れを推定した線で表現した位置情報を指す。または情報処理装置による自動検知処理の結果でもよい。対象データは座標、数値、種類といった項目毎の情報が紐づけられており、データテーブルとして保持される。このデータテーブルについては、図４の説明で詳細に説明する。

表示パラメータとは、対象データ毎にスケール画像を適切に表示するための、スケール画像の基準位置からの移動量または回転量を示すパラメータである。例えば、スケール画像の重心を軸にした回転量を示す角度パラメータや、ある座標系におけるスケール画像を表示させる位置を示す位置パラメータである。

以下、図面を用いて本発明を適用した実施例について説明する。

（実施例１）
図１及び図２を用いて本発明をインフラ点検に適用した場合の実施例の概要を説明する。

図１は、ＧＵＩアプリケーションのウインドウ１３０に、コンクリート壁面を写した画像、異常領域を推定した結果を示す対象データ、スケール画像を表示した様子を示す図である。まず、図１（Ａ）は、点検対象であるコンクリート壁面の画像１のみを表示した状態である。この画像１には、ひび割れ（異常領域）１１０が存在している。次に、図１（Ｂ）は図１（Ａ）の画像１から自動検知処理により取得された対象データ１２０を表示した状態を示している。そして図１（Ｃ）は、図１（Ａ）の画像１に、図１（Ｂ）の対象データ１２０を重ねて表示した図である。図１（Ｃ）では、画像中の実際のひび割れ１１０と対象データ１２０は重なっており、ユーザーは画像中のひび割れ１１０の部分を正しく確認することが困難である。なお、本実施例の図では、アプリケーションに表示した対象データを細い線で示すことにする。紙面の表示の都合上、対象データを細い線で表しているが、実際のアプリケーション上では、ひび割れ幅に合わせて太さを変える、色を付ける、線の種類を変える等の表示方法を変更して表示することが好ましい。

対象データの入力者や調査責任者（以下、ユーザーとする）は、対象データ（本実施例では検出したひびの幅）が正しいかどうか、画像を確認する作業を行う。このとき、対象を計測・判定するために、スケール画像を画像に重畳表示するとよい。そこで、図１（Ｄ）のように、図１（Ａ）の画像１に、スケール画像１２１を重ねて表示させる。ここで、ひび割れ１１０の先端１２２が確認したい箇所であるとする。しかし、画像１中のひび割れの先端１２２とスケール画像１２１の向きが合っておらず、計測しにくいため、幅を確認することが困難である。したがって、対象データが正しいかどうかを判断しやすいように、スケール画像１２１の表示方法を調整する必要がある。ここで、ユーザーはひび割れ１１０の端１２２の太さを推定するものとする。図１（Ｅ）は、図１（Ｄ）スケール画像１２１を矢印１３１の方向に移動させ、先端部１２２の向きに合わせて方向１３２へ回転させたうえで、画像１に重畳表示した様子を示している。ここで、スケール画像の目盛は、注目している対象データの値（太さ）に合わせて、比較しやすいような目盛が設定されている。図１（Ｅ）のようにスケール画像を表示させることで、ひび割れ１１０の先端部１２２の幅確認がしやすくなる。このようにスケール画像の表示方法を調整して重畳表示するのが、有効な表示方法である。

しかし、図１（Ｅ）のようにスケール画像を表示する場合に、選択する対象データに合わせて適切な角度を設定しスケール画像を回転させる必要がある。また、異常領域が複数ある場合は、観測したい向きはユーザーが注目している箇所毎に変わるため、スケール画像の向きを異常がある領域毎に設定する必要がある。そのため、従来の方法では、スケール画像を注目する領域毎に適切に表示することが容易ではなかった。この角度を、注目しているデータに合わせて毎回ユーザーが設定することは非常に煩雑な作業となる。そこで、本実施例では、スケール画像に関する適切な表示パラメータを、自動的、あるいは半自動的に導出して画像とスケール画像を重畳表示する。まず、図２を用いて、本実施例での情報処理装置における表示制御部が実行する処理の流れを説明する。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。

まず、図２のＳ２０１では、表示制御部が、表示部１０９に、対象データを画像中の基本的な位置で重畳表示させるよう制御する。この時のアプリケーションの表示１４１では、図１（Ｃ）と同様に、コンクリート壁面画像と対象データが完全に重複した状態で、対象データと重なった位置の画像が視認しづらい状態である。次の、Ｓ２０２では、表示制御部が、表示部１０９に、ユーザーが選択した対象データと、スケール画像表示の命令がある間はスケール画像を表示させるよう制御する。図２の例では、対象データ１２２の先端を選択し、その後所定のキー操作（例えばＣｏｎｔｒｏｌキー）を押す。すると、選択した対象データに合わせてスケール画像が表示される。ユーザーの入力に従って、表示１４２のように、対象データを非表示にすると同時に適切な位置に移動したスケール画像が重畳表示される。一方、表示１４３は、固定位置にスケール画像を表示した例を示している。表示１４３のようにスケール画像を表示した場合には、対象データの部分の画像と比較しにくいままである。本実施例では、表示しているデータに合わせて適切な角度（以下、角度パラメータと呼ぶ）を自動的に導出する。図２の例では、角度１５１が自動的に導出される適切な角度パラメータである。これにより、ユーザーは、角度パラメータを入力することなく、単に対象データのどのひび割れかを選択または指定するだけで、画像上の対象の計測・判定に適した表示させる画像を得ることができる。なお、図２のＳ２０３では、表示制御部が、操作部からユーザーが終了を命令する操作（例えば、キーを離す）を受け付けると、表示部にスケール画像の表示を終了させるよう制御する。スケール画像表示前の表示１４４に戻る。

ここで本発明にかかる実施形態を実行する前段階の作業を説明する。図３に、本発明を適用した情報処理装置１００を含む情報処理システム３１００のブロック図を示す。ここでは、ひび割れ検査を行った結果を用意する必要がある。入力部１０１と検知部１０２はひび割れ検査を行うための機能構成である。画像保持部１０３は、検査対象であるコンクリート壁面画像が保持されている。入力部１０１は、入力作業者によって推定されたひび割れの推定結果が入力され、入力された情報から対象データを生成する。検知部１０２は、画像から自動的に異常領域を検知し、検知された情報から対象データを生成する。図３のデータ保持部１０４には、入力部１０１，または検知部１０２で得られた対象データが保持されているものとしている。

入力部１０１は、画像保持部１０３から読みだした画像を参照して入力作業者が異常領域を推定した結果を入力する。対象データは、コンクリート壁面のひび割れなどの対象の自動検出結果、または人間による入力結果を記録した情報である。対象データは、以下のような手段で取得することができる。まず、人手で対象データを収集する方法について説明する。この方法では、初めに、入力部１０１が画像保持部１０３から画像を取得する。対象データを入力する入力作業者は、コンクリート壁面の画像を確認しながら、ひび割れ等の対象の位置とひび割れ幅などの情報を入力する。この作業により生成された構造物のコンクリート壁面の対象データを、データ保持部１０４が保持する。なお、この入力作業中にも、入力作業者が自身の入力した対象データの確認を行いたいケースがある。この場合、入力済みの対象データを基に、以降で説明する処理を実行して表示させる画像を生成して、入力作業者に提示してもよい。この場合、入力作業者が、表示変更を命令もしくは、予めひび割れ幅計測モードに設定する。マウスオーバー等の操作により、ポインタの矢印を計測・判定を行いたい箇所に置くと、選択された入力済対象データを基に、スケール画像の表示パラメータを導出し、対象データ付近の画像を計測・判定するための基準の表示を行うようにする。

検知部１０２は、画像に基づいて異常領域の自動検知を行う。検知部１０２は画像保持部１０３からコンクリート壁面の画像を取得する。検知部１０２は、この画像から異常領域を自動検知する。この検知結果を対象データとしてデータ保持部１０４が保持する。対象データの自動検知方法は、従来技術を用いればよい。例えば、あらかじめ対象データが入力された画像から対象の画像特徴を学習しておき、この学習結果に基づいて対象を検知する手法を用いてもよい。学習に基づく変状の自動検知手法としては、例えば、非特許文献１のような手法が開示されている。

画像保持部１０３は、検査対象であるコンクリート壁面を撮像した画像を保持している。本実施例では、撮像装置で撮像されたＲＧＢカラー画像を用いる。なお、画像は、異常領域が観測可能なデータであれば何でもよい。例えば、グレースケールカメラや、赤外線カメラや、広角レンズカメラや、パノラマカメラで撮像された画像であってもよい。
データ保持部１０４は、上記の手法により取得した対象データを保持している。また、実際に構造物を近接目視により観察することで記録した対象データをデータ保持部１０４に保持してもよい。さらにまた、これらの異なる手法により取得した対象データが混在した対象データをデータ保持部１０４に保持するようにしてもよい。また、データ保持部１０４は、上記の手法により取得した対象データを、座標、数値、種類といった項目毎の情報と紐づけたデータテーブルとして保持する。

ここで、図４に基づいて、データテーブルについて説明する。データテーブルとは、画像に含まれる異常領域を検知した結果（対象データ）と関連したデータ（座標等）を表すテーブルである。図４（Ａ）に、対象データに関する情報を表すデータテーブルの例を示す。図４（Ａ）の対象データを並べたデータテーブルは、ＩＤ、異常領域の種類、画像における座標、推定結果を示す数値といった項目毎の情報を持つ。具体的には、図４（Ａ）のデータテーブルは、図４（Ｂ）に示す画像３００における異常領域を検知したすべての対象データ（座標と数値に相当）と、その属性（ＩＤ、種類、備考に相当）を表している。ここで、データテーブルの各項目について概要を説明する。ＩＤとは、検知された異常領域毎に割り当てられた一意のコードである。例えば、ユーザーが入力した順番や、対象データを検知するアプリケーションによって自動的に割り当てられる数である。種類とは、検査対象の画像から検知すべき異常領域の分類である。インフラ点検の場合は、前述したひび割れや剥落等の異常を指す。これらの種類は、ユーザーまたはアプリケーションによって推定される。座標とは、対象データが存在する座標を表す。本実施例では、画像座標系の座標値であるとする。例えば、ＩＤがＣ００１のひび割れ対象データの座標は、（Ｘｃ００１＿１、Ｙｃ００１＿１）から（Ｘｃ００１＿ｎ、Ｙｃ００１＿ｎ）のｎ点の２次元座標で表されており、各座標に１つの数値が対応する。Ｘｃ００１＿１などの座標値は、コンクリート壁面の画像の画像座標系の座標値でも、実際の構造物における表面座標値のいずれでもよい。数値は、対応する座標における異常領域の大きさ（例えば、ひび割れの太さ）を表す数値とする。この数値は、異常領域の種類毎に異なる意味としてもよい。例えば、ＩＤがＨ００１の剥落における数値は、対応する座標における剥落幅とする。なお、対象データには、これらの項目以外の情報を保持してもよい。例えば、図４（Ａ）では、備考としてＩＤ毎の数値（最大のひび割れ幅や剥落幅）が記録されているとしている。

また、図４（Ｂ）には、コンクリート壁面の画像とデータテーブルの関係を示す。コンクリート壁面の画像は、ひび割れなどの微小な対象を観測するために高解像度な画像となる。したがって、ある構造物全体の壁面画像は、一般的に非常に大きな画像となる。図４（Ｂ）の画像３００は、構造物壁面の大きな画像（例えば、１０万×１０万画素以上の画像）で、ｘ軸とｙ軸の画像座標系を持つ。なお、このような大きな構造物画像３００の全体を表示しても、コンクリート壁面の微細な対象を確認することは困難であるため、通常は画像３００の一部を拡大して表示することになる。例えば、図４（Ｂ）の表示ウインドウ３０１は、アプリケーションソフトで、画像３００の一部分のみを表示している状態を示している。これにより、ひび割れＣ００２を拡大し、詳細な計測・判定を行うことができる。通常、対象データの確認作業時には、ユーザーは、このようにコンクリート壁面画像の任意の部分を拡大して表示する。以降、実施例や図面で示すアプリケーションウインドウに表示される画像は、図４（Ｂ）の表示ウインドウ３０１のように、全体のコンクリート壁面画像３００の一部を拡大表示した状態であるとする。

図４（Ｂ）には、ひび割れＣ００１が、（ＸＣ００１＿１、ＹＣ００１＿１）から（ＸＣ００１＿ｎ、ＹＣ００１＿ｎ）などのｎ点からなる連続画素である位置情報で表されていることを示す。このひび割れの対象データは、例えば、０．２ｍｍ未満は緑色、０．２ｍｍ～０．５ｍｍは青色、といったようにひび割れ幅の数値に応じて色を変化させて表示するようにしてもよい。さらにまた、対象データの表現は、複数点から構成されるポリラインや曲線などのベクターデータで表現するようにしてもよい。対象データをベクターデータで表現する場合、データ容量が減少し、より簡略的な表現となる。図４に示す他の例として、ＩＤがＨ００１の剥落の対象がある。剥落をポリラインで表現する場合、ポリラインで囲まれた領域を持つ対象となる。なお、図４は、図面の都合上、白黒の表現で対象データを表示しているが、実際には、対象データの種類や属性（幅など）値などにより、色を変化させて対象データを表示することが好適な実施形態である。以上で本実施形態の前段階の作業を説明した。

図３には、情報処理装置の機能構成例の図を示す。情報処理装置１００は、検査対象物の画像における異常領域を部分毎に計測するスケール画像を表示させる。情報処理装置１００は、取得部１１０、決定部１０５、導出部１０６、表示制御部１０７で構成される。これらの機能構成部が実行する処理についての詳細はフローチャートの部分で後述する。情報処理装置１００及び関連する構成は、ネットワークまたは各種情報記録媒体を介して取得したソフトウェア（プログラム）を、ＣＰＵ、メモリ、ストレージデバイス、入出力装置、バス、表示装置などにより構成される計算機によって実行することで実現できる。なお、計算機については、汎用の計算機を使用してもよいし、ソフトウェアに最適設計されたハードウェアを用いてもよい。情報処理装置１００には、ユーザーの操作を受け付けるための操作部１０８、および、ユーザーが画像及び対象データを閲覧するための表示部１０９が接続されている。本実施例では、操作部１０８をキーボード及びマウスとし、表示部１０９をディスプレイとするが、これらの構成はこれに限らず、他の構成としてもよい。例えば、操作部１０８をペンタブレッドとしてもよいし、操作部１０８と表示部１０９を合わせてタブレットで構成してもよい。

ここから、ユーザーは用意された対象データの推定結果が正しいかどうかを確認する作業を行う。例えば、入力作業者が対象データ入力後に入力結果が正しいか確認したり、自動検知処理の後に、自動検知結果が正しいかを確認したりする必要がある。以下、本実施例では、画像と対象データが画像保持部１０３及びデータ保持部１０４に保持された状態での実施形態について説明する。

図５は、情報処理装置１００が実行する処理に関するフローチャートである。以下、図２及び図５を参照しながら概要を説明し、詳細は後述する。ただし、情報処理装置１００は必ずしもこのフローチャートで説明するすべてのステップを行わなくてもよい。

まず、Ｓ５０１では、取得部１１０が、画像保持部１０３とデータ保持部１０４から画像と異常領域が存在する位置を示す対象データを取得する。

次に、Ｓ５０２では、表示制御部１０７が、表示部１０９に対して、基本的な表示状態として、Ｓ５０１で取得した画像に対象データを重畳して表示画面に表示させる指示を行う。このＳ５０２での重畳表示は、対象データが持つ座標値を元に画像に重畳表示した表示で、画像の対象データ位置に対象データが重複して表示されている。これは、例えば、図２の表示１４１のように、重複表示した対象データにより、元の画像が確認しづらい状態である。

Ｓ５０３では、決定部１０５が、ユーザーの指示または画面の表示に基づいて、対象データのうちユーザーが異常領域の幅を計測する注目対象データ（第１の位置）を決定する。ここで、注目対象データとは、ユーザーによる確認作業を行う異常領域に対応した対象データのうち、異常領域の幅を計測する位置を示すデータであるとする。対象データは通常、図４のように、画像に対して複数かつ連続的に存在する。これらすべての対象データを考慮して角度パラメータ等の表示パラメータを設定すると、必ずしもユーザーが注目している異常領域の部分毎に計測・判定に適した表示にならない。したがって、図５のＳ５０３は、これらの複数の対象データから、ユーザーの指示または画面の表示状態に基づいて注目対象データを決定する。

図６を用いて、注目対象データを決定する方法を説明する。図６は、アプリケーションウインドウ６０１、６０２に、画像１の一部が表示している状態を示している。まず、ユーザー選択に基づいて注目対象データを決定する方法について述べる。つまり、ユーザーによって入力された画像における座標を注目対象データ（第１の位置）に決定する。図６（Ａ）には、ひび割れを示す対象データとして、対象データ６２１、６２２、６２３が存在している。図６（Ａ）では、ユーザーがマウスカーソル６１１で、ひび割れ６２１のうちの１点（ＸＣ６２１＿ｓ、ＹＣ６２１＿ｓ）をクリックまたはマウスオーバーなどにより選択した状態であるとする。ユーザー選択による注目対象データの選択方法のもっとも単純な例は、この選択した対象データ（ＸＣ６２１＿ｓ、ＹＣ６２１＿ｓ）を注目対象データとして決定する。このように、対象データを選択した状態で、ユーザーから決定指示が入力されると、決定部１０５は選択中の対象データを注目対象データとして決定する。なお、注目対象データに含まれる一点を決定する方法は、ユーザーが選択したポイントを使うほか、対象データの重心にしてもよいし、対象データの端を使ってもよい。

次に、画面の表示に基づいて注目対象データを決定する方法を述べる。すなわち、画像が表示される画面における中心からの距離がより小さい位置を注目対象データ（第１の位置）に決定する。例えば、ユーザーは、特に注目している異常領域を、ウインドウの中心に配置して表示する傾向にあると考えられる。したがって、ウインドウの中心付近にある対象データに合わせてスケール画像を調整することによって、表示されている画像の中心付近に存在する異常領域を計測・判定しやすくできるようになる。この例について、図６（Ｂ）を用いて説明する。図６（Ｂ）には、画像の一部に含まれるひび割れを示す対象データとして、対象データ６３１、６３２、６３３が存在している。図６（Ｂ）は、ウインドウ６０２に表示されている画面のうち、特に、中心の領域に重みをつけた注目領域から注目対象データを決定する例を示す図である。この例では、ウインドウ６０２の中心部分の領域６１２に含まれる対象データの中から注目対象データを決定する。図６（Ｂ）では、具体的には、対象データ６３３のうち、中心に近い点（ＸＣ６３３＿ｒ、ＹＣ６３３＿ｒ）を注目対象データとして決定する。また、中心領域を中心から半径ｒの領域の内側に設定して、その領域に含まれる対象データを注目対象データとして決定してもよい。中心の領域に含まれる対象データを複数抽出した中から、中心からの距離が最も小さい位置を注目対象データとして決定してもよい。注目領域は、ウインドウ６０２の中心部分の領域を例としたがこれに限らず、他の領域を設定するようにしてもよい。例えば、表示部１０９に撮像デバイスなどを備えており、ユーザーの視線方向を取得して、視線方向の周辺領域を注目領域として使うようにしてもよい。なお、注目対象データに含まれる一点を決定する方法は、中心からの最短距離を取る対象データ上の点を使うほか、上記に限らず、他の方法を用いてもよい。例えば、抽出された対象データの重心にしてもよいし、対象データの端点を使ってもよい。

以上では、１つの対象データを注目対象データとして決定する実施形態について説明したが、複数の対象データを注目対象データとして決定できるようにしてもよい。つまり、導出部１０６は、決定部１０５で複数の注目対象データ（第１の位置）が決定された場合に、複数の注目対象データ（第１の位置）それぞれに対して表示パラメータを導出する。このとき、表示制御部は、ユーザーの指示によって、複数の表示パラメータから１つを選択してスケール画像を表示させる。例えば、ユーザーが注目対象データを決定する場合では、例えば、Ｓｈｉｆｔキーなどの所定のキーを押しながらマウスで対象データをクリック、マウスオーバーしながら対象データをなぞる、などの操作で複数の注目対象データを決定する。また、画像の表示に基づく注目対象データの決定では、例えば、画面内に表示される対象データの中から、両端や中央部を注目対象データとして決定してもよい。このように、複数の注目対象データを決定した場合の表示パラメータは、後述する方法に従って、１つの注目対象データだけで導出してもよいし、注目対象データ毎に導出してもよい。コンクリート壁面を検査する場合、近くの領域に同じような太さのひび割れが発生している可能性があるため。それぞれの傾きを同時に導出することで、ユーザーは１度の操作でスケール画像を多様に表示できる。

Ｓ５０４は、情報処理装置１００が、Ｓ５０３で決定された注目対象データに合わせてスケール画像を調整した表示を行う指示があるか判断する。ユーザーからの指示は操作部１０８から入力される。ＹＥＳの場合は、Ｓ５０５へ進む。ＮＯの場合にはＳ５０３へ戻り、注目対象データを決定し直す。Ｓ５０４で受け付けるユーザーからの指示は、例えば、Ｓ５０３において、キーを押し続けている間表示を変更する場合は、キーを離す操作が指示となる。また、キーを一度押すことが開始を示す操作であれば、再度キーを押したことが終了を示す操作である。ユーザーによる指示は、これらの操作に限らず、他の操作方法でもよい。例えば、キーではなく、所定のＧＵＩ上のアイコンを、マウス等のインターフェース装置でクリックする操作でもよい。また、詳細に計測・判定したい注目対象データをクリック、またはマウスオーバーする操作を指示としてもよい。なお、Ｓ５０３においてユーザーが手動で注目データを決定した場合はＳ５０４をスキップしてもよい。

Ｓ５０５は、導出部１０６が、注目対象データの傾きや位置に合わせてスケール画像を表示させる表示パラメータを導出する。すなわち、注目対象データ（第１の位置）と、データの少なくとも１点（第２の位置）とから、画像を表示する表示画面に水平な方向に対する異常領域の傾きを導出する。表示パラメータは、スケール画像を、異常領域の部分の幅を計測可能な位置または角度に表示させるパラメータである。本実施例では、異常領域の部分毎の傾きに対して、スケール画像を回転させる角度パラメータである。後述する画像の表示では、ここで導出する角度パラメータに従ってスケール画像を回転させ、画像上の対象データの近傍にスケール画像を重畳して表示させる。角度パラメータは、例えば、注目対象データの情報に基づいて求めることができる。図７（Ａ）は、ひび割れを示す対象データ８２１を表示した図である。ここで、Ｓ５０３において、対象データ８２１の中の画素８３１が注目対象画素として決定されている。対象画素（第２の位置）を、注目対象画素８３１と隣接する８つの画素のうち、対象データに含まれる画素から決める。この注目対象画素８３１と対象画素８３２を結ぶ直線８１１の方向８１２が、注目対象データ８３１の主線方向となる。この方向８１２のなす角度θ１は、以下の式で求めることができる。

ここで、（ＸＣ８２１＿８３１、ＹＣ８２１＿８３１）と（ＸＣ８２１＿８３２、ＹＣ８２１＿８３２）は、それぞれ注目対象画素８３１と対象画素８３２の座標値を表している。この注目対象データの主線方向（角度θ１）から、スケール画像の基本の向きからの回転量を示す角度パラメータθを導出する。なお、スケール画像の基本の向きまたは位置は既知であるものとする。例えば、スケール画像の向きの基準は、前記画像を表示する表示画面に水平な方向であるとする。ここでは図４（Ｂ）における画像１のｘ軸方向とスケール画像の長辺が平行でかつ小さいメモリが原点方向にある向きを基本の向きとする。この角度パラメータθは、例えば、注目対象データの主線方向に直交する方向のなす角度として求めることができる。図７（Ｂ）では、方向８１２（注目対象の主線方向）に対して直交する方向８４１のなす角度θが、求める角度パラメータである。この角度パラメータθを用いて、スケール画像を画像に表示することで、注目対象データの主線方向とスケール画像の目盛の表示方向が一致するため比較しやすくなる。

以上では、注目対象データの画素および隣接する対象データの画素から、角度パラメータを導出する方法を説明した。隣接する対象データの画素が複数存在する場合は、必ずしも一意にはならない。図７（Ｃ）に、注目対象画素８５１と隣接する２つの対象画素８５２、８５３を図示する。図７（Ｃ）では、注目対象画素８５１に隣接する対象画素８５２、８５３から、それぞれ異なる角度パラメータθ８５２、θ８５３を導出する。その場合は、例えば、図７（Ｄ）のように、候補となる角度の統計量（中央値、平均値等）を求めた結果を表示させるなどして、ユーザーに適切な角度パラメータを選択させるようにしてもよい。つまり、導出部１０６は、複数の対象画素（第２の位置）から複数の表示パラメータを導出する。このとき、表示制御部１０７は、ユーザーの指示によって、複数の表示パラメータから１つを選択してスケール画像を表示させる。

以上、図７を用いて、角度パラメータを導出する方法を説明した。上記では、注目対象データおよび注目対象データに隣接する画素を用いたが、他のデータを用いて角度パラメータを導出してもよい。例えば、ベクターデータの場合は、注目対象データと隣接していないが連続する領域内の対象位置（第２の位置）を用いて、角度を導出することもできる。位置情報のうち、注目対象データに最も近い位置を第２の位置として用いる。または、予め設定された距離または範囲に含まれる位置を第２の位置として用いる。または、対象データの特徴的な点を第２の位置として用いる。例えば、対象データの中心または端点を第２の位置とする。さらに、例えば、注目対象データ周辺の対象データに対し、二次元座標に関する主成分分析を用いてもよい。この主成分分析を用いた方法では、求めた主成分を注目対象データの主線方向とみなすことができる。その主成分に直交する方向が、求めたい角度パラメータとなる。

また、導出部１０６のかわりに、学習部では、ひび割れを含む画像（と対象データ）を学習済みの学習モデルに入力することによって角度パラメータを導出することが出来る。ここでは、角度パラメータを、ユーザーによって設定され、異常領域の幅に対して所定の条件を満たすようなスケール画像の回転量であるとする。学習部では、ひび割れを含む画像が学習済みモデルに入力され、所定の条件を満たすようスケール画像を回転させる角度パラメータを出力する。具体的には、例えば、ユーザーによって設定される角度パラメータ（ひび割れの幅に対して直交するスケール画像の回転量）を正解値として学習させる。導出部１０６に学習モデルを用いることによって、ユーザーにとって見やすいスケール表示ができる。

以上、対象データが連続画素で表現されている場合の実施形態について説明した。他の実施形態として、例えば、対象データがポリラインで表現されている場合は、ポリライン情報から角度パラメータを求めることができる。具体的には、選択した位置付近のポリラインの方向を注目対象の主線方向とみなし、その主線方向に直交する方向を角度パラメータとする。

Ｓ５０６は、表示制御部１０７が、表示部１０９に対して、Ｓ５０５で導出した表示パラメータに基づいて調整されたスケール画像を、Ｓ５０１で取得された画像に重畳して表示するように指示する。すなわち、表示制御部１０７が、導出部１０６によって導出された傾きから、異常領域とスケール画像とが所定の角度を成すように、画像にスケール画像を表示させる。所定の角度とは、直角から±５度程度であるとする。異常領域の幅を計測するためには、スケール画像を異常領域の幅に対して直交するように置くと比較しやすいが、スケール画像を表示させる角度は、ユーザーが自由に設定できるようにしてもよい。この角度パラメータに従って、スケール画像を回転させたうえで、画像の注目対象データ付近に重畳した画像を表示する。ここで、表示するスケール画像は、注目対象データの位置に重畳させてもよいし、ユーザーの指示に基づいて注目対象データからずらすようにオフセットさせて合成させてもよい。スケール画像をオフセットさせて合成するケースは、例えば、画像上の対象と対象データの座標が一致しない場合に、ユーザーが表示位置を微調整するケースが考えられる。また、スケール画像の持つ複数の目盛（太さのパターン）は、注目対象データの数値（太さ）に合わせて設定しておく。このようにすることで、スケール画像の目盛を調整する作業が効率化される。

Ｓ５０７は、情報処理装置１００が、ユーザーから画像の表示を終了させる指示を受け付けたか判断する。ＹＥＳの場合にはＳ５０８へ進む。ＮＯの場合にはＳ５０６へ戻り、導出した表示パラメータに基づいて生成した画像の表示を継続する。

Ｓ５０８では、情報処理装置１００が、データの表示を終了する指示をユーザーから受け付けて判断する。ＹＥＳの場合は表示制御部０７が画像と対象データの表示を終了させる。ＮＯの場合は、改めて注目対象データを決定して確認作業を継続するようにＳ５０３へ戻る。

なお説明上、Ｓ５０３とＳ５０４という順序で実行することになっているが、この順番は逆にしてもよい。

上記処理で生成された表示させる画像は、表示部１０９に表示される。図８は、表示させる画像をアプリケーションのウインドウ９００に表示した例である。図１（Ｄ）と比べると、図８のスケール画像１２３は、対象データ１１０における注目対象データに対応するひび割れの部分領域１２２付近に位置し、角度パラメータθ（ここでは３０度）に従って回転された状態にある。この結果、単純な重複表示（図１（Ｄ））では、確認が難しかった異常領域を計測・判定しやすい状態になっている。例えば、ひび割れ１１０の部分領域１２２とスケールの画像１２３を比較しやすくなっている。表示させる画像は、角度パラメータなどの情報をあわせて表示するようにしてもよい。例えば、図８では、回転方向を矢印９１０で示している。また、図８の例では、角度を数値で表しているが、角度の大小を輝度や色で表すようにしてもよい。

導出部１０６は、表示パラメータとして角度パラメータθを導出したが、表示パラメータとしてスケール画像を表示させる位置パラメータを導出してもよい。注目対象データの位置を位置パラメータとして導出すると、スケール画像を計測したい異常領域の位置に表示出来る為、容易な操作でスケール画像を表示できる。

図５のＳ５０５において、角度パラメータθを１つだけ導出する実施形態について説明したが、これを複数の角度パラメータ候補を導出するようにしてもよい。例えば、まず、図７（Ｄ）で示した複数の角度パラメータを、角度パラメータの昇順にＳ５０６の表示制御部１０７に入力する。表示制御部１０７では、まず、最も小さな角度パラメータに基づいてスケール画像を表示させ、ユーザーに提示する。ここで、ユーザー入力を受け付けて、ユーザーが別の角度での表示を希望する場合には、２番目の値の角度パラメータで表示させる。ユーザー操作と合わせて説明すると、例えば、ユーザーが角度の変更のキーを押すたびに、パラメータ値の昇順に角度パラメータを変化させて表示させる制御を行う。このようにすることで、ユーザーは複数の表示パラメータから、容易な操作で、適切な表示方法を選択することができる。

図５のＳ５０５において、導出部１０６は、表示させる画像は１つの表示パラメータで生成していた。注目対象データが複数選択された場合に、注目対象データ毎に個別に表示パラメータを導出してもよい。さらに同時に複数の表示パラメータを用いて、表示してもよい。図９には、対象データ１０１０における注目対象データ１０２１、対象データ１０１１における注目対象データ１０２２毎に導出した角度パラメータを用いて、２つのスケール画像１０３１、１０３２をウインドウ１０００表示させた例を示す。このように、２つの注目対象１０２１、１０２２は、それぞれ個々のスケール画像１０３１、１０３２と比較しやすい表示となっている。

図５のＳ５０５において角度パラメータを導出する実施形態について説明したが、この導出した角度パラメータをユーザーが修正できる構成としてもよい。具体的には、まず、導出された角度パラメータθをＧＵＩ上のフィールドに表示する。導出された角度パラメータと異なる角度パラメータでの表示を希望するユーザーには、フィールドに表示された角度量θの値を変更する入力を行えるようにする。このようにすることで、ユーザーが導出された角度パラメータを修正して、表示を行うことができるようになる。また、ユーザーによる角度パラメータの修正は、ＧＵＩフィールドへの数値入力だけでなく、ユーザーが画面上に表示されるスケール画像をマウス等で操作し、スケール画像を直接回転させることで角度パラメータを修正できるようにしてもよい。さらには、パラメータをＧＵＩのバーで表示し、ユーザーがバーを移動させることでパラメータを修正できるようにしてもよい。

以上の実施形態では、ある注目対象データに対するスケール画像の向きや位置を決定する実施形態について説明したが、ユーザーが他の注目対象データに変更できる構成にしてもよい。具体的には、まず、スケール画像を表示させた画像をＧＵＩ上のフィールドに表示させる。次に、注目対象データを変更したいユーザーには、フィールドに表示されたスケール画像を、マウス等のインターフェース装置で移動させて、注目対象データを変更できるようにする。このようにすることで、ユーザーが、表示させる画像の閲覧を継続しながら、注目対象データを変更することができる。

また、スケール画像の表示後に、注目対象データの数値を修正できる構成にしてもよい。具体的には、まず、生成された表示させる画像をＧＵＩ上のフィールドに表示させる。次に、注目対象データの持つ数値を修正したいユーザーには、フィールド上に表示されたスケール画像を、マウスなどのインターフェース装置を用いて、表示角度を維持したままスライドできるようにする。注目対象データの位置に重畳させたスケール画像の目盛を変更することで、注目対象データの持つ数値を修正できるようにする。このようにすることで、ユーザーが、表示させる画像を閲覧しながら、注目対象データの持つ数値を修正することができる。以上の処理により、ユーザーの負荷を低減させながら、修正作業を行うことが出来る。また、以上の修正作業を教師データとして学習する構成を情報処理装置が有してもよい。図示しない学習部は、異常領域を含む画像とその検出結果であるベクターデータとを入力とし、スケール画像または表示画像の角度パラメータを出力する学習モデルである。なお、学習モデルはニューラルネットワークとその結合重み付けパラメータから構成され、具体的にはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。学習部は、回転表示の実行時には、導出部１０６のかわりに、ひび割れを含む画像（と対象データ）を学習済みの学習モデルに入力することによって角度パラメータを導出することが出来る。ここでは、角度パラメータを、ユーザーによって設定され、異常領域の幅に対して所定の条件を満たすようなスケール画像の回転量を指すこととする。なお、学習モデルは、異常領域を含む画像に対して角度パラメータ（例えば、スケール画像の回転量）をユーザーが入力することで教師データを生成し、それらを用いて予め学習をさせておく。学習モデルは、表示画像に対する正解値（真値）としてユーザーによって設定された角度パラメータを教師データとして学習する。なお、結合重み付けパラメータの更新とは、学習モデルの入力側の層に画像を設定し、出力画像の層に画像に対する正解値を設定する。ニューラルネットワークを経由して算出される出力が設定した正解値に近づくようにニューラルネットワークの結合重み付けパラメータを調整する処理を指す。ユーザーが角度パラメータを設定するごとに学習部は正しい回転量を出力できるようになる為、ユーザーにとってより見やすくスケール画像を表示できるようになる。

＜変形例１＞
変形例１では、決定部１０５が、対象データの属性や状態を表したデータテーブルに基づいて、注目対象データを自動的または半自動的に決定する方法について説明する。この処理のために、変形例１では、対象データに関する情報を持ったデータテーブルを利用する。これにより、各対象データに対応した異常領域に適したスケールを簡単に表示できる。

図４に基づいて説明する。決定部１０５は、前述のデータテーブルを参照することで注目対象データを決定する。例えば、太いひび割れは、剥落や析出物を伴っていることが多く、太さの判断が難しいため、入力者のミスや検知のミスが発生しやすい。この場合、ひび割れの中でも、ひび割れの幅が大きい対象データを優先的に確認したい。このとき、決定部１０５は、画像１中の複数の対象データから、対象データの種類がひび割れで、かつひび割れ幅の数値が最大となる対象データを注目対象データとして決定する。剥落の幅を確認するときは、画像１中の複数の対象データから、対象データの種類が剥落で、かつ剥落の幅の数値が最大となる対象データを注目対象データとして決定する。最大値以外にも、最小値や、平均値、中央値、最頻値を取る位置を使っても良い。容易な操作で効率的に検査をしたい場合は、ひび割れの幅が最頻値である対象データを注目対象データとして決定するとよい。なお、図５におけるＳ５０３の前に、ユーザーが確認する異常領域の種類を予めユーザーが入力しておくことで、より効率的に注目対象データを決定できる。

また、他の例として、ユーザーがＩＤ単位で対象データを選択しているときに（１本単位でひび割れを選択しているときに）、選択中のＩＤの中で、最大ひび割れ幅をもつ座標を注目対象データとするようにしてもよい。さらにまた、他の例として、データテーブルに検知結果の確からしさを示す信頼度の項目を含む場合には、信頼度が低い対象データを注目対象データとするようにしてもよい。信頼度が低い対象データは、検知結果をユーザーが確認することが好ましく、このような対象データを注目対象データとして決定することで、優先的に詳細な確認を行うことができる。このように注目対象データを決定することで、画像中の詳細に確認するべき対象データに対応する異常領域を計測しやすくなる。

また、さらに画面の表示状態に合わせて、注目対象データとする対象データの属性を決定するようにしてもよい。例えば、画像を高解像度で（拡大して）表示している場合には、ひび割れ幅の値が最大となる画素を注目対象データとする。低解像度で（縮小して）表示している場合には、剥落の幅が最大となる画素を注目対象データとする。高解像度で画像を表示している場合には、ユーザーはひび割れなどの細かい異常領域を詳細に確認している可能性が高い。また、逆に、低解像度で表示している場合には、剥落のような大きな異常領域を確認している可能性が高い。この場合、異常領域の種類と、その領域の計測に適した解像度のデータセットを予め用意しておき、そのデータセットと図４のデータテーブルとを参照することで、注目対象データを決定する。

＜変形例２＞
変形例２では、表示パラメータに基づいて画像の表示方法を調整する方法を説明する。表示パラメータは、実施例１の説明と同じく角度パラメータとする。通常、ひび割れは様々な方向に進行し、屈曲していることが多い。そのため、ひび割れの太さの判断は難しく、入力者のミスや検知のミスが発生しやすい。そこで、ひび割れの幅（特に最大幅）が正しいかどうかを確認するため、スケールと比較しながら画像を表示する。このとき、ひび割れ上の注目している箇所に合わせてスケールの向きを調整すると、注目位置を変更するたびにスケールが回転するため、１本のひび割れにおける幅の推移を確認しづらい。このような時には、スケール表示の向きを固定し、画像を回転させる。屈曲しているひび割れの場合には、ひび割れを直線化するように画像を幾何変換する。このように表示することにより、ひび割れの向きや形状によらず、ひび割れの幅を確認しやすくなる。

図１０に基づいて、１つの角度パラメータを用いて画像を回転させる方法を説明する。まず、図１０（Ａ）は、ウインドウ１１００に画像２を表示した状態で、この画像２には異常領域１１１０が存在している。次に、図１０（Ｂ）は図１０（Ａ）の画像２から検知処理もしくはユーザーの入力処理により取得された対象データ１１２０を表示している。ここで、画像を回転させる角度パラメータは、実施例１のスケール画像を回転させる角度パラメータの導出方法と同じ方法で求める。例えば、図１０（Ｂ）において、対象データ１１２０の両端（（ＸＣ１１２０＿１、ＹＣ１１２０＿１）と（ＸＣ１１２０＿ｔ、ＹＣ１１２０＿ｔ））を結ぶ直線１１０１の方向１１０２を求める。その方向１１０２に直交する方向１１０３のなす角度θが、画像を回転させる角度パラメータである。図１０（Ｃ）は、角度パラメータθに従って、画像２を回転させてスケール画像１１４０を重畳した図である。ここでは、注目対象データは、異常領域１１３２の先端（ＸＣ１１３２＿ｔ、ＹＣ１１３２＿ｔ）に対応する画素とする。図１０（Ｃ）では、回転前の異常領域を示す１１３１と比較して、回転後の異常領域を示す１１３２は、スケール画像１１４０と比較しやすくなっている。このように、画像の表示方法を調整して表示させることによって、アプリケーションの利便性を向上させる。

その後、ユーザーが注目対象データを変更するケースを想定する。図１０のような直線的な対象を計測・判定している場合は、注目対象データを変更しても、追加で画像を回転させる必要はなく、注目対象データの座標に合わせて画像を平行移動させればよい。図１０（Ｄ）は、注目対象データを、対象１１３２の中央付近（ＸＣ１１３２＿ｋ、ＹＣ１１３２＿ｋ）に変更したときの表示させる画像を示した図である。このように、対象が直線的な場合は、注目対象データを変更した後も、１つの角度パラメータだけで注目対象データとスケール画像が比較しやすい状態を維持できる。

一方で、図１１（Ａ）では、屈曲点を持つ異常領域１２１０がウインドウ１２００に表示されている。屈曲点（屈曲位置）とは、大きく屈曲している箇所（例えば、４５度以上の屈曲）を指す。この場合には、１つの角度パラメータだけでひび割れの画像を回転させても、異常領域全体を計測しやすい表示にできない。例えば、図１１（Ｂ）を確認するときは、屈曲点１２３１、１２３２を跨いで注目対象データを変更すると、画像の回転角度を再度調整する必要が出てくる。このような場合は、あらかじめ、複数の角度パラメータを用いて、異常領域を直線化するように注目対象データ周辺の画像（（Ｅ）の小領域１２５２～１２５４）を含めて部分的に幾何変換させる。図１１を用いて、この方法の具体例を説明する。

図１１（Ｂ）は、図１１（Ａ）の画像から自動検知処理またはユーザー入力処理により取得された対象データ１２２１を表示している。まず、図１１（Ｂ）の対象データ１２２１を、屈曲点１２３１、１２３２で切断する。対象データの切断方法として、例えば、図７と同様に、対象データの中から、注目対象データ（第１の位置）と、他の少なくとも１点（第２の位置）を選択する。図１１（Ｂ）の例では、対象データ１２２１上の点１２１１を注目対象データ、点１２１２をもう１つの点とする。これらの選択した点に基づいて、注目対象データ１２１１における水平方向に対する異常領域の傾きを取得する。そして、対象データ１２２１上で、これら２点を選択しなおし、傾き取得を繰り返す。取得した傾きが大きく変化する箇所（例えば、４５度以上）の注目対象データを、切断位置として設定する。なお、屈曲であるか否かの条件として所定の大きさ以上であることをユーザが予め設定しておく。対象データを切断する方法として、他の方法を用いてもよい。例えば、対象データの一部に対して最小二乗法を用いて近似直線を求める。近似直線から離れる直前の位置を切断位置とし、この切断位置の対象データの一部に対して、近似直線の導出を繰り返すことで、すべての切断位置を決めることができる。

図１１（Ｃ）は、屈曲点１２３１、１２３２で切断した後の対象データ１２２２、１２２３、１２２４を表示している。次に、対象データに基づいて角度パラメータを導出する。角度パラメータの導出方法は、例えば、図１０と同様に、対象データの両端を結ぶ線分に基づいて角度パラメータを導出すればよい。

図１１（Ｄ）は、各対象データ（１２２２，１２２３、１２２４）から求めた各角度パラメータ（θ１２２２、θ１２２３、θ１２２４）を表示する図である。続いて、これら角度パラメータを用いて異常領域付近の画像を回転させる。回転させる画像は、例えば、図１１（Ｅ）に示すように、各対象データを中心に囲む矩形領域１２５２、１３５３、１２５４とする。ここで、説明のため、矩形領域の縦方向および横方向を、それぞれ、対象データの両端を結ぶ線分方向およびその直交方向と定義する。

図１１（Ｅ）の矩形領域１２５４では、矢印１２５５が縦方向、矢印１２５６が横方向となる。各矩形領域の縦の長さは、対象データの両端を結ぶ線分の長さに基づいて決定する。また、横の長さは、固定長を基本とするが、他の方法で決定してもよい。例えば、矩形領域の縦横比をあらかじめ設定しておき、縦方向の長さに基づいて自動的に決定する方法や、対象データのもつ値（異常領域の大きさ）に基づいて、異常領域が大きいほど横の辺を長くする方法が考えられる。その後求めた角度パラメータ（θ１２２２、θ１２２３、θ１２２４）を用いて、図１１（Ｅ）の矩形領域１２５２、１２５３、１２５４を、対象データ（異常領域）の向きが揃うように回転させる。矩形領域１２５４の例では、矩形領域の角１２５７を回転中心とし、反時計回り方向に角度θ１２２４だけ回転させる。そして最後に、対象データの順序を維持するように、矩形領域を並進移動して連結する。以上の処理により、対象データを直線化するように画像を幾何変換し、対象データが直線化された画像を表示できる。

図１１（Ｆ）は、ウインドウ１２０２に、幾何変換後の画像１２４１とスケール画像１２４０を重畳して表示している図である。スケール画像１２４０の表示位置は、注目対象データの位置であり、対象データの下端１２４２を初期選択の注目対象データとしている。また、スケール画像の目盛は、注目対象データの持つ値（大きさ）に合わせてセットする。図１１（Ｆ）の画像１２４１は、異常領域が直線的に表示されているため、異常領域の大きさの変化が確認しやすく、幅が最大となる箇所を見つけやすい。注目対象データを変更する場合においても、異常領域とスケールの向きが揃っているため、スケール画像または異常領域の画像のいずれかを並進移動するだけでよく回転させる必要がないため、異常領域の大きさの推移を確認しやすい。このように、屈曲点を持つ異常領域を計測する場合には、対象データから複数の角度パラメータを導出し、対象を直線化させるような幾何変換を行うことで、ユーザーにとって異常領域全体を確認しやすい表示ができる。また、ある基準より大きい幅をもつ異常領域を抽出したい場合は、ある一定の基準を設定し、その基準を満たす異常領域の部分画像を並べて表示してもよい。より注目したい異常領域の基準がある場合に、ユーザーにとって確認しやすい表示に出来る。以上の幾何変換画像の連結処理では、対象データの属性に基づき、矩形領域の連結順を変更してもよい。例えば、矩形領域毎に対象データの最大値を算出し、算出した値の昇順で矩形領域を連結する。

図１１（Ｇ）は、図１１（Ｅ）の各矩形領域（１２５２、１２５３、１２５４）を回転させ、対象データの最大値を算出した後、昇順で領域を連結した画像１２４３を示している。ここで、各矩形領域（１２５２、１２５３、１２５４）における対象データの最大値は、それぞれ０．４ｍｍ、０５ｍｍ、０．２ｍｍとしている。このように矩形領域を対象データの最大値順に連結することにより、異常領域の大きさの推移を確認しやすくなる。

以上の幾何変換画像の表示では、必ずしもスケールを表示する必要はない。例えば、１つの異常領域の中で最大の箇所を見つけたい場合には、幾何変換した矩形領域を並べて表示する方法が有効である。図１１（Ｈ）は、幾何変換した矩形領域（部分画像）を並べて表示する例を説明する図である。図１１（Ｈ）には、図１１（Ｅ）の各矩形領域（１２５２、１２５３、１２５４）を、対象データの向きが揃うように回転させた後、並べて表示している。このように表示することにより、分割した異常領域間の相対的な大きさを判断しやすくなるため、異常領域が最大の箇所を見つけやすい。このとき、矩形領域の表示順は、対象データの属性に基づいて、比較しやすいように並び替えてもよい。例えば、矩形領域毎の対象データの最大値を算出し、異常領域の大きさに従って昇順（または降順）で矩形領域（部分画像）を並べて表示する。対象データの最大値の近い矩形領域（異常領域）が隣接するため、異常領域の大きさを比較しやすくなる。

ひび割れ検査においては、ひび割れの幅が大きいほど注意しなくてはならないため、幅の大きい異常領域を見つけやすくする表示が有効である。例えば、変換した部分画像のうち、最も大きい異常領域を含む部分画像に対して、スケール画像を表示するようにしてもよい。さらに、異常領域の最大値が正しいかどうか判断したい場合には、最大値が同じ（または近い値）の異なる異常領域を含む画像を、比較表示する方法も有効である。また、図１１（Ｉ）は、幾何変換後の画像１２４１と、異なる異常領域を含む画像１２６１を、比較表示している図である。比較表示する画像は、対象データの最大値が同一（この例では０．５ｍｍ）の画像であり、画像保持部１０３から取得し、同様に幾何変換して表示する。このとき、最大値の位置を示す目印として、例えば、矢印１２６２、１２６３、１２６４を表示する。このように、異常領域の最大値が同じ（近い値）画像を、異常領域の向きを揃えて表示することにより、異常領域の最大値が正しいかどうか判断しやすくなる。また、幅を計測する箇所は必ずしも最大幅でなくてもよい。例えば、ひびの割ける（広がる）方向がわかる場合は、その方向に基づいて計測する位置（第２の位置）を決める。こうすることによって、より正確にひび割れの幅を計測できる。

部分画像がきれいに揃えて表示できなかった場合、ユーザーが表示を修正してもよい。例えば、複数の部分画像のうち一部の部分画像におけるひび割れの傾きが誤って取得された場合、部分画像の表示が整列でなくなる可能性がある。また、部分画像によって、ひび割れの位置が微妙に異なることから、直線的に整列したときに、ひび割れ領域がまっすぐに連なるとは限らない。このような場合に、ユーザーはＧＵＩを使って部分画像の位置を微調整する。ユーザーによる表示の修正は、ユーザーが画面上に表示される部分画像をマウス等で操作し、部分画像を直接回転させることで修正できるようにしてもよい。また、これらの修正作業を教師データとして学習する構成を情報処理装置が有してもよい。図示しない学習部は、異常領域を含む画像とその検出結果であるベクターデータとを入力とし、表示画像を屈曲位置で区切った部分画像毎に角度パラメータを出力する学習モデルである。なお、学習モデルはニューラルネットワークとその結合重み付けパラメータであり、具体的にはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であるとする。学習部では、ひび割れを含む画像（と第１の位置）が学習済みモデルに入力され、所定の条件を満たすようスケール画像を回転させる角度パラメータを出力する。なお、学習モデルは、異常領域を含む画像に対して角度パラメータ（例えば部分画像毎の回転量）をユーザーが入力することで教師データを生成し、それらを用いて予め学習をさせておく。具体的には、例えば、ユーザーによって設定される角度パラメータ（例えば、ひび割れの幅に対して直交するスケール画像の回転量）を正解値として学習させる。ユーザーが修正をするごとに学習部は正しい回転量を出力できるようになる為、ユーザーにとってより見やすく部分画像を表示できるようになる。

＜変形例３＞
変形例３では、スケール画像の表示方法として、スケール以外の表示方法について説明する。スケール以外の表示方法として、例えば、矢印による表示方法がある。図１２は、矢印による表示方法の例を説明する図である。図１２では、ウインドウ１３００上に、異常領域１３１０を含む画像と矢印１３２０、１３２１を重畳表示している。矢印による表示方法では、例えば、矢印１３２０のように、注目している対象を挟み込むように表示させる方法がある。矢印の向きは、スケールを用いた場合の回転方法と同じく、注目対象データに基づく角度パラメータを用いて回転させればよい。また、注目対象データの値（図中では太さ）に合わせて矢印間の間隔を調整するとともに、注目対象データの値を併記するとユーザーにとってわかりやすい表示となる。他にも、注目対象データの属性や状態、値などに合わせて、矢印の大きさや形状、色などを変更させてもよい。表示する矢印は、複数である必要はなく、例えば、矢印１３２１のように、一方向から矢印を１つ表示させてもよい。

以上の矢印による表示方法は、画像上で表現できない情報を表す際にも有効である。例えば、コンクリート壁面の画像のひび割れの深さを確認する場合において、画面の奥行方向のひび割れ深さは、二次元画像上に表示することが難しい。この場合、例えば、注目している対象の位置に、矢印とひび割れ深さを示す数値を表示させる。他にも、ひび割れ深さに合わせて、矢印の長さや色、大きさなどを変更してもよい。矢印を表示させることによって、異常領域に関する付加的な情報を表示出来る為、ユーザーにとって利便性が高い。

＜変形例４＞
変形例４では、角度パラメータ以外の表示パラメータについて説明する。具体的には、表示パラメータとして、透明度α（透過パラメータ）を導出する例を示す。スケール画像の背景を透明にすることで、異常領域とスケール画像を比較しやすくする。

図１３に、この実施形態を説明する図を示す。図１３（Ａ）は、複数の異常領域が近接して存在している状態を示す画像をウインドウ１４００に表示した様子である。具体的には、ひび割れ１４０１、剥落１４０２が存在している。図１３（Ｂ）は、図１３（Ａ）に対応する対象データ１４１１、１４１２を示している。図１３では、ユーザー選択などにより対象データ１４１１の座標（ＸＣ１４１１＿ｖ、ＹＣ１４１１＿ｖ）が注目対象データとして決定されている。ここで、変形例４では、スケール画像の背景（目盛り以外の領域）に対して、透明度αを設定する。透明度αは、ユーザーが数値入力で設定したり、ＧＵＩ上のパラメータバーで入力したりするものであるとする。

この透明度αを、表示パラメータとして用いる場合について説明する。透明度αはスケール画像の背景を透過表示するときのアルファ値で、０％～１００％の値を持つパラメータである。導出部１０６では、スケール画像の背景の透明度αを、事前に設定されたアルファ値（例えば、５０％）に設定する。これにより、スケール画像は背景が透明度αだけ透過して表示される。

図１３（Ｃ）に、スケール画像１４３１の背景が透過されて表示された様子を示す。異常領域１４０１、１４０２のスケール画像と重なった部分（点線で囲われた部分）は、スケール画像の背景が透過表示されていることを示している。このように表示することで、ユーザーはスケール画像と重なった部分も含めて異常領域を詳細に確認できる。

上記では、導出部では、事前に設定した値を透明度αに設定する例について説明した。これを、注目対象データの主線方向からの距離に応じて設定するようにしてもよい。例えば、注目対象データの主線に近い部分のスケール画像の背景は透明度を高く設定し、注目対象データの主線から距離が離れるにしたがって、透明度を低く設定する。この結果、注目対象データの近傍では、背景が透明になり、離れるにしたがって背景が表示される。このようにすることで、注目対象データの近傍の画像が見やすく、かつスケール画像も確認できる。

＜変形例５＞
変形例５では、異常領域同士の比較のために、参照している異常領域以外の画像を表示させる方法について説明する。対象データが正しいかどうか、画像を確認する作業を行うときには、関連する情報と比較しながら画像を表示する。通常、コンクリート壁面の画像に映ったひび割れなどの微小な対象を計測するときには、画像の一部を拡大させて表示する。画像を拡大させると表示範囲が狭くなるため、注目している異常領域と比較に適したスケールを同時に表示させることは難しい。そのような場合には、異常領域を含む部分画像と、注目対象データに関連する部分画像を並べて表示させる。これによって、ユーザーにとって確認しやすい表示が可能になる。

図１４を用いて具体例を説明する。図１４（Ａ）は、ウインドウ１５０１上に、複数の異常領域を含むコンクリート壁面の画像と、矢印によるスケール画像を重ねて表示させた図である。具体的には、複数のひび割れ１５１１、１５１２、１５１３が存在している。図１４では、ユーザー選択などにより、ひび割れ１５１１の座標（Ｘｃ１５１１＿Ｂ、Ｙ１５１１＿Ｂ）が注目対象データとして選択されているものとする。ここで、注目対象データ（Ｘｃ１５１１＿Ｂ、Ｙ１５１１＿Ｂ）部分の太さを確認するために、類似する太さを持つひび割れと比較する。しかし、図１４（Ａ）には、同程度の太さのひび割れが存在しないため、ウインドウ１５０１上で、ひび割れ同士を比較して太さを判断することは難しい。このようなときは、注目対象データの太さに近い画像部分を、画像保持部１０３とデータ保持部１０４から検索する。検索により得られた画像と、注目対象部分の画像を並べて表示させることで、ユーザーにとって確認しやすい表示させる画像となる。図１４（Ｂ）は、注目対象１５１１周辺の画像１５２１と、類似する太さを持つひび画像１５２２、１５２３、１５２４をウインドウ１５０２に、並べて表示している様子である。このとき、画像１５２２、１５２３、１５２４は、画像１５２１上の注目対象と向きを合わせるよう、角度パラメータを用いて画像を回転させるのが好ましい実施形態である。

＜その他の実施例＞
以上の実施例では、コンクリート壁面画像を用いたひび割れなどの対象を確認する作業の実施形態について説明した。しかし、これに限定されず、他の目的で用いてもよい。工場などで製品の画像からキズなどの欠陥を確認する作業（外観検査）と、病院などで人体の撮影画像から血管の狭窄などの病変を確認する作業（医療診断）において、本発明を用いる例について説明する。

まず外観検査で本発明を用いる例を説明する。外観検査では、工場等で製造する製品の外観が要求品質を満たすかどうかを判定する。この検査では、製品画像を用いた自動あるいは手動での検知処理を行い、製品表面の微小なキズや汚れなどを欠陥として検知する。検査対象物は製品で、異常領域はキズや破損がある箇所とする。この検知結果を確認する作業において、作業者は検知結果と画像を確認して、必要に応じて結果の修正を行う。このような画像確認作業において本発明を適用した情報処理装置を用いることで作業の効率化を図ることができる。

図１５は、外観検査の例を説明する図である。図１５（Ａ）は、外観検査対象となる部品や製品などの物体１６１１の画像であり、この画像は画像保持部１０３に保持される。物体１６１１の外観には、キズなどの欠陥１６１２、１６１３が存在している。これらの欠陥を含む画像から、自動検知処理や入力作業者の入力処理により、欠陥に関する位置や種類などの欠陥データが生成される。生成された欠陥データは、データ保持部１０４に保持される。図１５（Ｂ）は、図１５（Ａ）の画像から生成した欠陥データをウインドウ１６００に表示している図である。

図５に基づいて、外観検査における情報処理装置１００が実行する処理の流れを説明する。Ｓ５０１では、取得部１１０が、画像保持部１０３から対象データを、データ保持部１０４から画像と欠陥データを取得する。Ｓ５０２では、表示制御部１０７が、取得した画像と対象データを重畳して表示部１０９に表示させる。図１５（Ｃ）は、図１５（Ａ）の製品画像と図１５（Ｂ）の欠陥データを重畳表示させた状態である。この図１５（Ｃ）は、図２の表示１４１と同じく、製品画像が欠陥データと重なり、計測・判定しにくい。次に、Ｓ５０３では、決定部１０５が、ユーザーの指示等に基づいて、注目対象データを決定する。ここで、対象データ１６２３の先端１６４１を、注目対象データとして決定しているものとする。続いて、Ｓ５０５では、導出部１０６が、注目対象データに基づいて表示パラメータを導出する。最後に、Ｓ５０６では、表示制御部１０７が、求めた表示パラメータを用いて製品画像にスケール画像を重畳して表示部１０９に表示する。図１５（Ｄ）は、生成された画像を表示させた様子を示している。図１５（Ｄ）は、図２の表示１４２と同じく、注目対象データ１６４１に合わせてスケール画像１６４２が表示され、確認しやすい状態となっている。以上の処理は、使用する画像と対象データが異なるだけで、処理内容はこれまでの実施例と同様であるため、個々の詳細な処理説明は割愛している。

次に、医療画像診断で本発明を適用した情報処理装置を説明する。医療画像診断では、Ｘ線装置やＣＴスキャン等の医療診断装置を用いて患者に関する画像と情報を取得する。医師は、取得した画像を用いて病変の有無や兆候等を確認し、患者の健康状態を診断する。この診断では、取得された画像の中にそれらの兆候や異変がないか、自動検知処理あるいは手動による検知処理を行う。医師などの専門家は、この検知結果が正しいどうかを確認する作業において、検知結果と画像を用いて確認し、必要に応じて修正を行う。このような作業に対し本発明を適用した情報処理装置を用いることで、診断作業の効率化を図ることができる。

図１６は、医療診断の例を説明するための図である。検査対象物は、人体であり、異常領域は病変箇所であるとする。図１６（Ａ）は、医療診断対象の例として患者内部の血管断面１７０１をＣＴスキャン等で撮影した画像をウインドウ１７００に表示している。この画像は、画像保持部１０３に保持される。断面１７０１には、血管壁の厚さなどの医用情報１７０１が存在している。この画像から、自動検知処理や入力作業者の入力処理により、医用情報に関する位置や種類などの医用データが生成される。生成された医用データは、データ保持部１０４に保持される。図１６（Ｂ）は、図１６（Ａ）の画像から生成した医用データを表示している図である。

図５に基づいて、医療診断における情報処理装置１００が実行する処理の流れを説明する。まず、Ｓ５０１では、取得部１１０が、画像保持部１０３とデータ保持部１０４から画像と医用データを取得する。Ｓ５０２では、表示制御部１０７が、それらを重畳して表示部１０９に表示させる。図１６（Ｃ）は、図１６（Ａ）の血管画像と図１６（Ｂ）の医用データを重畳表示させた状態である。この図１６（Ｃ）は、図２の表示１４１と同じく、血管の断面が医用データと重なり、計測・判定しにくい。次に、Ｓ５０３では、決定部１０５が、ユーザーの指示等に基づいて、注目対象データを決定する。ここで、対象データ１７１１の薄い部分データ１７４１を、注目対象データとして決定しているものとする。続いて、Ｓ５０５では、導出部１０６が、注目対象データに基づいて表示パラメータを導出する。最後に、Ｓ５０６では、表示制御部１０７が、表示パラメータを用いて血管の断面画像にスケール画像を重畳して表示部１０９に表示させる。図１６（Ｄ）は、生成された画像を表示させた図である。注目対象データ１７４１に合わせてスケール画像１７４２が表示され、確認しやすい状態となっている。医療診断の上記処理においても、外観検査のときと同様、使用する画像と対象データを変えるだけで本発明を適用した情報処理装置を用いることができる。

情報処理装置１００は、図１７に示す一般のＰＣ（パーソナルコンピュータ）や組み込みハードウェアやＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）を用いて実現することができる。１０はバス、１１はＣＰＵ、１２はＲＯＭ、１３はＲＡＭ、１６は通信Ｉ／Ｆである。各部の機能をＰＣや組み込みハードウェアやＰＬＣのＣＰＵに実行させるためのコンピュータプログラムやデータをこのハードディスク装置に保持しておく。ＣＰＵは、ハードディスク装置やフラッシュメモリ装置に保持されているコンピュータプログラムやデータを適宜ＲＡＭ等のメモリにロードし、該コンピュータプログラムやデータを用いて処理を実行できる。これにより、結果としてＰＣや組み込みハードウェアやＰＬＣは、情報処理装置１００の機能を実現することができる。また、図示したハードウェア以外にも、表示装置や入力装置を含む構成でもよい。表示装置は、例えばディスプレイである。入力装置は、例えば、マウスやキーボードであり、ユーザーの操作を受け付ける。

１００ 情報処理装置
１０１ 入力部
１０２ 検知部
１０３ 画像保持部
１０４ データ保持部
１０５ 決定部
１０６ 導出部
１０７ 表示制御部
１０８ 操作部
１０９ 表示部
１１０ 取得部

Claims (19)

1. 検査対象物の画像における領域の幅を計測するための表示を行う情報処理装置であって、
   前記画像から前記領域を近似した線の屈曲が所定の条件を満たす屈曲位置を取得する取得手段と、
   前記屈曲位置に基づいて前記画像を分割した複数の部分画像を、所定の方向に揃えて表示させる表示制御手段とを有することを特徴とする情報処理装置。
2. 前記領域の対象データまたはベクターデータは、前記画像から前記領域がのびる方向と前記領域の幅を示す情報を有することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記屈曲位置に基づいて前記画像を分割した複数の部分画像に対して、前記部分画像に対応する部分領域の幅を計測するスケール画像を前記部分領域がのびる方向に対して所定の方向に表示させることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記表示制御手段は、前記領域の幅が最大となる位置に前記スケール画像を表示させることを特徴とする請求項３に記載の情報処理装置。
5. 前記領域の対象データまたはベクターデータのうち幅を計測する位置を第１の位置、前記画像から前記領域の対象データまたはベクターデータに含まれてかつ前記第１の位置とは異なる位置を第２の位置として決定する決定手段と、
   前記画像を表示する表示画面に水平な方向に対して、前記第１の位置と前記第２の位置とが成す傾きを導出する導出手段とをさらに有し、
   前記表示制御手段は、前記導出した傾きに基づいて、前記第１の位置に、前記領域と前記スケール画像とが所定の角度を成すように、前記スケール画像を表示させることを特徴とする請求項３に記載の情報処理装置。
6. 前記決定手段は、前記領域の対象データまたはベクターデータのうち、前記表示画面の所定の領域に含まれる位置を前記第１の位置に決定することを特徴とする請求項５に記載の情報処理装置。
7. 前記決定手段は、前記領域の対象データまたはベクターデータのうち、前記第１の位置との距離が所定の値である位置を前記第２の位置として決定することを特徴とする請求項５または６に記載の情報処理装置。
8. 前記導出手段は、前記第１の位置との距離が所定の値である複数の前記第２の位置から複数の傾きを導出することを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。
9. 前記表示制御手段は、ユーザーの指示によって選択された前記第２の位置に従って前記スケール画像を表示させることを特徴とする請求項５乃至８のいずれか１項に記載の情報処理装置。
10. 前記スケール画像は、前記領域の幅を示す指標を有し、
    前記表示制御手段は、前記スケール画像の指標と前記第１の位置の幅の大きさとを対応させて前記スケール画像を表示することを特徴とする請求項５乃至９のいずれか１項に記載の情報処理装置。
11. 前記表示制御手段は、それぞれ異なる幅の大きさを示す指標を複数有する前記スケール画像の複数の指標のうち基準となる指標と前記第１の位置の前記領域の幅の大きさとを対応させて前記スケール画像を表示することを特徴とする請求項１０に記載の情報処理装置。
12. 前記導出手段のかわりに、前記領域を含む画像が入力されたとき、前記領域に対する前記スケール画像の回転量を出力する学習手段をさらに備え、
    前記学習手段は、ユーザーによって設定された回転量を正解値として学習することを特徴とする請求項５乃至１１のいずれか１項に記載の情報処理装置。
13. 前記領域を含む画像が入力されたとき、該領域に対する前記スケール画像の回転量を出力する学習手段をさらに有し、
    前記表示制御手段は、前記学習手段によって出力された回転量に基づいて、前記領域を部分毎に計測するスケール画像を表示させることを特徴とする請求項３に記載の情報処理装置。
14. 前記検査対象物は、コンクリート構造物であり、
    前記領域は前記コンクリート構造物の表面に存在するひび割れを示すことを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記表示制御手段は、前記部分画像に対応する前記領域の対象データまたはベクターデータが直線を成すように該部分画像を並べて表示させることを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. 前記表示制御手段は、前記部分画像に対応する前記領域の対象データまたはベクターデータが互いに平行になるように該部分画像を並べて表示させることを特徴とする請求項１乃至１５のいずれか１項に記載の情報処理装置。
17. 前記表示制御手段は、前記部分画像に対応する前記領域の対象データまたはベクターデータの幅に基づいて所定の順序になるように該部分画像を並べて表示させることを特徴とする請求項１６に記載の情報処理装置。
18. コンピュータを請求項１乃至１７の何れか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
19. 検査対象物の画像における領域を計測するための表示を行う情報処理方法であって、
    前記画像から前記領域を近似した線の屈曲が所定の条件を満たす屈曲位置を取得する取得工程と、
    前記屈曲位置に基づいて前記画像を分割した複数の部分画像を、所定の方向に揃えて表示させる表示制御工程とを有することを特徴とする情報処理方法。

Images