JP7385192B2 - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

画像処理装置、画像処理方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP7385192B2
JP7385192B2 JP2019174579A JP2019174579A JP7385192B2 JP 7385192 B2 JP7385192 B2 JP 7385192B2 JP 2019174579 A JP2019174579 A JP 2019174579A JP 2019174579 A JP2019174579 A JP 2019174579A JP 7385192 B2 JP7385192 B2 JP 7385192B2
Authority
JP
Japan
Prior art keywords
crack
area
candidate
image processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019174579A
Other languages
English (en)
Other versions
JP2021051597A (ja
Inventor
文敬 山崎
高志 狩野
一也 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IXS Co Ltd
Original Assignee
IXS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IXS Co Ltd filed Critical IXS Co Ltd
Priority to JP2019174579A priority Critical patent/JP7385192B2/ja
Publication of JP2021051597A publication Critical patent/JP2021051597A/ja
Application granted granted Critical
Publication of JP7385192B2 publication Critical patent/JP7385192B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関する。
我が国の高度成長期において高速道路や鉄道網等の社会インフラ整備に伴い、多くの建造物が建築されたが、近年ではこれらの建造物の経年劣化が社会問題となっている。
経年劣化による事故を避けるためには、対象となる建造物を定期的に点検・メンテナンスすることが必要不可欠である。
このような背景を鑑みて、建造物の点検・メンテナンスに係る作業コストを軽減することを目的とする発明が種々提案されている。
例えば、特許文献1には、表示装置に表示している点検対象の設備に係る画像に対して、ひび割れ、剥離、腐蝕の状態などを示す情報(対象設備損傷情報)をユーザの操作に基づいて対応付けるシステムが開示されている。
特開2018-5661号公報
特許文献1には、入力画面に表示されている画像に撮影されているひび割れの位置を入力する際に、そのひび割れの位置をユーザの指でなぞることが記載されている。
しかし、この方法でひび割れの位置を特定すると、ユーザの誤操作によって間違った位置が登録されることが懸念される。また、ひび割れの位置の全部を指でなぞらなくては正確な位置が登録できないため、作業コストの観点からも未だ改善の余地を残していた。
本発明は、上記の課題に鑑みなされたものであり、構造物等に生じたひび割れが撮影されている画像を用いた点検に係る作業効率や作業精度を向上させることができる画像処理装置、画像処理方法、及びコンピュータプログラムを提供するものである。
第一の本発明によれば、ユーザが任意に指定する操作を受け付けて、表示装置が表示している画像のうち特定の箇所に対して小領域を設定する小領域設定手段と、前記小領域設定手段によって設定した複数の前記小領域に撮影されている輪郭を抽出する輪郭抽出手段と、前記輪郭抽出手段によって抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、前記表示装置が表示している画像の一部を当該画像に撮影されているひび割れ部分の候補として特定するひび割れ特定処理を実行するひび割れ特定手段と、を備え、前記ひび割れ特定手段は、前記輪郭抽出手段によって抽出された輪郭に、第一面積以上の領域が含まれるか否かを前記チューニングパラメータとする第一の前記ひび割れ特定処理を実行し、前記第一面積以上の領域をひび割れ部分の候補として特定し、特定したひび割れ部分の候補を引き伸ばし、引き伸ばしたひび割れ部分の候補と別のひび割れ部分の候補が重複すると、単独のひび割れ部分の候補として統合し、前記輪郭抽出手段は、統合したひび割れ部分の候補から輪郭を抽出し、前記ひび割れ特定手段は、統合したひび割れ部分の候補から抽出された輪郭に、前記第一面積より大きい第二面積以上の領域が含まれるか否かを前記チューニングパラメータとする第二の前記ひび割れ特定処理を実行し、前記第二面積以上の領域をひび割れ部分の候補として特定し、特定したひび割れ部分の候補に基づいて、当該画像に撮影されているひび割れ部分を定める、
画像処理装置が提供される。
第二の本発明によれば、ユーザが任意に指定する操作を受け付けて、表示装置が表示している画像のうち特定の箇所に対して、画像処理装置が小領域を設定する第一ステップと、前記第一ステップにおいて設定した複数の前記小領域に撮影されている輪郭を、前記画像処理装置が抽出する第二ステップと、前記第二ステップにおいて抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、前記表示装置が表示している画像の一部を当該画像に撮影されているひび割れ部分の候補として特定するひび割れ特定処理を、前記画像処理装置が実行する第三ステップと、を含み、前記画像処理装置は、抽出した輪郭に、第一面積以上の領域が含まれるか否かを前記チューニングパラメータとする第一の前記ひび割れ特定処理を実行し、前記第一面積以上の領域をひび割れ部分の候補として特定し、特定したひび割れ部分の候補を引き伸ばし、引き伸ばしたひび割れ部分の候補と別のひび割れ部分の候補が重複すると、単独のひび割れ部分の候補として統合し、統合したひび割れ部分の候補から輪郭を抽出し、統合したひび割れ部分の候補から抽出した輪郭に、前記第一面積より大きい第二面積以上の領域が含まれるか否かを前記チューニングパラメータとする第二の前記ひび割れ特定処理を実行し、前記第二面積以上の領域をひび割れ部分の候補として特定し、特定したひび割れ部分の候補に基づいて、当該画像に撮影されているひび割れ部分を定める、
画像処理方法が提供される。
第三の本発明によれば、ユーザが任意に指定する操作を受け付けて、表示装置が表示している画像のうち特定の箇所に対して小領域を設定する小領域設定処理と、前記小領域設定処理によって設定した複数の前記小領域に撮影されている輪郭を抽出する輪郭抽出処理と、前記輪郭抽出処理によって抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、前記表示装置が表示している画像の一部を当該画像に撮影されているひび割れ部分の候補として特定するひび割れ特定処理と、をコンピュータに実行させ、前記コンピュータは、抽出した輪郭に、第一面積以上の領域が含まれるか否かを前記チューニングパラメータとする第一の前記ひび割れ特定処理を実行し、前記第一面積以上の領域をひび割れ部分の候補として特定し、特定したひび割れ部分の候補を引き伸ばし、引き伸ばしたひび割れ部分の候補と別のひび割れ部分の候補が重複すると、単独のひび割れ部分の候補として統合し、統合したひび割れ部分の候補から輪郭を抽出し、統合したひび割れ部分の候補から抽出した輪郭に、前記第一面積より大きい第二面積以上の領域が含まれるか否かを前記チューニングパラメータとする第二の前記ひび割れ特定処理を実行し、前記第二面積以上の領域をひび割れ部分の候補として特定し、特定したひび割れ部分の候補に基づいて、当該画像に撮影されているひび割れ部分を定める、コンピュータプログラムが提供される。
上記の発明によれば、ユーザの任意の操作を受け付けて、表示装置が表示している画像に撮影されているひび割れ部分の小領域設定によって大まかに指定した上で、画像処理装置がひび割れ部分を詳細に特定するように構成されているので、当該画像に撮影されているひび割れの位置を特定する作業の効率や精度を向上させることができる。
本発明によれば、構造物等に生じたひび割れが撮影されている画像を用いた点検に係る作業効率や作業精度を向上させることができる画像処理装置、画像処理方法、及びコンピュータプログラムが提供される。
本発明の実施形態におけるシステム構成図である。 ひび割れ部分を特定する一連の処理のフローチャートである。 ひび割れ部分を特定する処理による対象画像の変化を示す模式図である。 ひび割れ部分を特定する処理による対象画像の変化を示す模式図である。 ひび割れ部分を特定する処理による対象画像の変化を示す模式図である。 本発明に係る画像処理前の画像を示す図である。 本発明に係る画像処理後の画像を示す図である。 図6に示す画像の撮影環境を示す模式図である。
以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。
<本発明のシステム構成について>
先ず、本発明のシステム構成について説明する。
図1は、本発明の実施形態におけるシステム構成図である。
本発明は、画像処理装置10と、表示装置20と、入力装置30を用いて実施される。
画像処理装置10は、プロセッサ11、メモリ12、ストレージ13、及び入出力IF14を有しており、後述する種々の処理を実行するコンピュータ(情報処理装置)である。
表示装置20は、画像処理装置10が実行する処理のユーザーインターフェイスとして機能する装置であり、例えば、液晶ディスプレイ装置等によって構成される。
入力装置30は、画像処理装置10が実行する処理についてユーザの操作を受け付ける装置であり、例えば、キーボードやポインティングデバイス等によって構成される。
プロセッサ11は、ストレージ13に記憶されている種々のプログラムや各種データをメモリ12にロードし、ロードしたプログラムを実行する。
メモリ12は、プロセッサ11が実行するプログラムやプログラムの実行中に生成される各種データを格納するために用いられ、例えば、DRAM等によって構成される。
ストレージ13は、プログラムや各種データ(表示装置20に表示させる画像データを含む)を記憶しており、例えば、磁気ディスクドライブ等によって構成される。
入出力IF14は、上述の表示装置20及び入力装置30の他、不図示の周辺機器(例えば、スピーカ、マイク等)と電気的に接続可能に構成される。
なお、本実施形態では、画像処理装置10と、表示装置20と、入力装置30と、を別々の構成として説明するが、これらのうち複数が一体の装置(例えば、タッチパネルを備えるコンピュータ装置)として実現されてもよい。
また、本実施形態では、画像処理装置10に内蔵されているストレージ13に格納されている画像データを表示装置20に表示させるものとして説明するが、画像処理装置10は外部に設けられたサーバ装置(不図示)から読み込んだ画像データを表示装置20に表示させてもよい。
<ひび割れ部分を特定する処理について>
次に、画像処理装置10がひび割れ部分を特定する処理について説明する。
図2は、ひび割れ部分を特定する一連の処理のフローチャートである。図3~図5は、ひび割れ部分を特定する処理による対象画像の変化を示す模式図である。
最初に、画像処理装置10は、ユーザが任意に指定する操作(入力装置30が受け付けた操作)を受け付けて、表示装置20が表示している画像のうち特定の箇所を四角の領域で囲って指定する(この四角の領域を、以下の説明では小領域と称する)(ステップS11)。
次に、画像処理装置10は、ステップS11において設定した複数の小領域に撮影されている輪郭を抽出する(ステップS13)。
更に、画像処理装置10は、ステップS13において抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、表示装置20が表示している画像の一部を当該画像に撮影されているひび割れ部分の候補として特定する(以下、この処理をひび割れ特定処理と称する)(ステップS15)。
画像処理装置10は、所定の処理が終了するまで(ステップS17がNOである間)、ステップS13とステップS15を繰り返す。このとき、画像処理装置10は、ひび割れ特定処理ごとに異なるチューニングパラメータを用いて複数回のひび割れ特定処理を実行し、ひび割れ特定処理のそれぞれにおいて特定されたひび割れ部分の候補に基づいて、当該画像に撮影されているひび割れ部分を定める。
このように、本実施形態に係るひび割れ部分を特定する処理は、ユーザの手動で設定される小領域に基づく処理(ステップS11の処理)と、画像処理装置10が自動的に行う処理(ステップS13及びステップS15の処理)と、を組み合わせたものであり、半自動処理と言うこともできる。
半自動処理である為、全て手動でひび割れ部分を特定する処理に比べて、ユーザの作業コストを低減させることができる。また、半自動処理であるため、完全に自動でひび割れ部分を特定する処理に比べて、少ない処理負荷で高い精度で画像に撮影されているひび割れ部分を特定することができる。
<ひび割れ部分を特定する処理の具体例>
例えば、図3(a)に示す画像が表示装置20に表示され、当該画像に対して画像処理装置10が図2に図示する各処理を行ってひび割れ部分を特定するケースについて説明する。
先ず、画像処理装置10は、ステップS11の処理(小領域設定処理)において、ユーザによる任意操作によって小領域P1を設定したものとする。このとき、設定された小領域P1は、表示装置20に表示された画像に重畳して図3(b)のように表示される。
なお、本実施形態では、設定された小領域が表示装置20に表示されるように説明するが、小領域については画像処理装置10が処理可能に設定されれば足り、必ずしもユーザが視認可能に表示装置20に表示されなくてもよい。
また、本実施形態では、小領域を設定する際に、四角の領域で囲うように説明するが、本発明の実施はこれに限られない。言い換えれば、小領域は表示装置20に表示されている画像の一部(画像全体より狭い領域)として指定するものであればよく、小領域の形状は四角であることに限られない。
そして、画像処理装置10は、最終的にひび割れ部分を特定するまで、ステップS13の処理(輪郭抽出処理)と、ステップS15の処理(ひび割れ特定処理)と、を繰り返す。
なお、本実施形態では、輪郭抽出処理とひび割れ特定処理とをそれぞれ4回繰り返すように、以下説明するが、本発明の実施はこれに限られない。
本発明の実施については、ひび割れ特定処理が複数回実行されれば足り、輪郭抽出処理の実行回数は1回でもよい。また、ひび割れ特定処理は2回以上実行されればよく、4回より少ない実行回数であってもよいし、4回より多い実行回数であってもよい。
先ず、最初に行われる輪郭抽出処理とひび割れ特定処理について説明する。
画像処理装置10は、手動で小領域を設定した画像から輪郭を抽出し、抽出した輪郭のうち或る面積以上の領域をひび割れの候補として特定する。なお、この処理の閾値として用いられる面積を、以下の説明では第一面積と称する場合がある。
例えば、図3(b)に例示した画像に対してこの処理を実行した結果を、図4(a)に図示する。なお、図4(a)において、図3(b)に比べて太線で図示されている箇所(撮影物S1、撮影物S2、撮影物S3)が、この処理によって特定されたひび割れの候補である。
次に、画像処理装置10は、上記の処理によって特定されたひび割れの候補に係る領域と、それに隣接するピクセルの明度が似ていれば、隣接するピクセルもひび割れの候補とする。この処理を実行することによって、輪郭抽出処理によって輪郭として抽出できなかったピクセル、又は、輪郭抽出処理によって輪郭のうち第一面積未満のものの中から、新たなひび割れの候補を抽出することができる。
なお、本実施形態では、図4(a)に例示した画像に対してこの処理を実行した結果としてひび割れの候補となるピクセルの変動はなかったものとする。
続いて、画像処理装置10は、設定した小領域の明度に基づいて閾値を算出し、当該閾値よりも小さい(明度が暗い)ピクセルをひび割れの候補として残す。ここで、画像処理装置10が算出する閾値は特に制限されないが、例えば、設定した小領域の明度の平均値と当該明度の標準偏差の差分などを閾値として算出することが好ましい。この処理を実行することによって、輪郭抽出処理によって輪郭として抽出され且つ第一面積以上のものであっても、明度が明るいものについてはひび割れの候補から除外することができる。
なお、本実施形態では、図4(a)に例示した画像に対してこの処理を実行した結果としてひび割れの候補となるピクセルの変動はなかったものとする。
更に、画像処理装置10は、ひび割れの候補を長さ方向に引き伸ばし、引き伸ばした部分に別のひび割れの候補があれば一つのひび割れの候補としてまとめる。
例えば、図4(a)に例示した画像に対してこの処理を実行した結果を、図4(b)に図示する。具体的には、図4(b)は、ひび割れの候補として特定されている撮影物S1、撮影物S2、及び撮影物S3の撮影領域を長さ方向(各々の撮影物の延在方向)に引き伸ばしている状態を図示するものである。
そして、引き伸ばした撮影物S1、撮影物S2、及び撮影物S3は、互いに延在方向に存在するので、それぞれが統合されて単独の撮影物S4になる。図5(a)は、統合後の撮影物S4を図示するものである。
この処理を実行することによって、面積や明度をチューニングパラメータとする処理では拾えないピクセル(本実施形態の事例で言えば、撮影物S1、撮影物S2、及び撮影物S3の間に存在する極小の領域)も、ひび割れの候補として特定することができる。
また、ひび割れは、構造物の内部に生じるものであるため、表面上は複数に分かれていても、実際には単独のひび割れであるケースが多々ある。このようなケースであっても、実態に即した特定をすることができる。
次に、2回目に行われる輪郭抽出処理とひび割れ特定処理について説明する。
画像処理装置10は、1回目のひび割れ特定処理を経た画像(図5(a)に図示する画像)に対して、再び輪郭抽出処理を行い、抽出した輪郭のうち、或る面積以上(但し、上記の第一面積より大きい面積)の領域を抽出してひび割れの候補とする。なお、この処理に用いる面積を、以下の説明では第二面積と称する場合がある。
なお、本実施形態では、図5(a)に例示した画像における撮影物S4は、第二面積以上であるので、上記の処理を実行した結果としてひび割れの候補となるピクセルは、図5(a)に例示した画像と同じく撮影物S4であったものとする。
次に、3回目に行われる輪郭抽出処理とひび割れ特定処理について説明する。
画像処理装置10は、2回目のひび割れ特定処理を経た画像(図5(a)に図示する画像)に対して、再び輪郭抽出処理を行い、抽出した輪郭のうち、或る面積以上(但し、上記の第二面積より大きい面積)、かつアスペクト比が所定値未満の領域を抽出してひび割れの候補とする。ここで所定値は、0を超える値であって1未満であることが好まく、例えば、所定値=0.5とすることができる。また、この処理に用いる面積を、以下の説明では第三面積と称する場合がある。
なお、本実施形態では、図5(a)に例示した画像における撮影物S4は、第三面積以上であってアスペクト比が所定値(0.5)以下であるので、上記の処理を実行した結果としてひび割れの候補となるピクセルは、図5(a)に例示した画像と同じく撮影物S4であったものとする。
次に、4回目に行われる輪郭抽出処理とひび割れ特定処理について説明する。
画像処理装置10は、3回目のひび割れ特定処理を経た画像(図5(a)に図示する画像)に対して、再び輪郭抽出処理を行い、抽出した輪郭のうち、或る面積以上(但し、上記の第三面積より大きい面積)の領域を抽出してひび割れの候補とする。なお、この処理に用いる面積を、以下の説明では第四面積と称する場合がある。
そして、画像処理装置10は、4回目のひび割れ特定処理において特定されたひび割れの候補を、ひび割れであるものとして最終的に判断する。
なお、本実施形態では、図5(a)に例示した画像における撮影物S4は、第四面積以上であるので、上記の処理を実行した結果としてひび割れの候補となるピクセルは、図5(a)に例示した画像と同じく撮影物S4であったものとする。
以上に説明した輪郭抽出処理とひび割れ特定処理について、整理する。
1回目に行われるひび割れ特定処理は、1回目の輪郭抽出処理によって抽出された輪郭のうち、第一面積以上の領域が含まれるか否かをチューニングパラメータとし、当該領域をひび割れ部分の候補とするので、本発明における「第一のひび割れ特定処理」に相当する処理を含むものと言える。
この処理によって、画像処理装置10は、抽出した輪郭のうち第一面積未満のものを排除するので、ひび割れとしては微細なものを、ひび割れの候補から除くことができる。
2回目の輪郭抽出処理は、1回目のひび割れ特定処理によってひび割れ部分の候補とされた領域に撮影されている輪郭を抽出している。そして、2回目のひび割れ特定処理は、1回目の特定処理(第一のひび割れ特定処理)によってひび割れ部分の候補とされた領域から抽出された輪郭のうち、第二面積以上の領域が含まれるか否かをチューニングパラメータとし、当該領域をひび割れ部分の候補とし、第二面積は、第一面積より大きいので、本発明における「第二のひび割れ特定処理」に相当する処理を含むものと言える。
この処理によって、画像処理装置10は、抽出した輪郭のうち第一面積未満のものを排除いた後に第二面積未満のものを排除する。換言すれば、画像処理装置10は、段階的に判定に用いる面積を広げて、ひび割れの候補を段階的に狭めて、その判定精度(ひび割れと判定する妥当性)の向上を図ることができる。
1回目のひび割れ特定処理におけるひび割れの候補を引き伸ばす処理は、1回目のひび割れ特定処理における第一面積をチューニングパラメータとする処理(第一のひび割れ特定処理)と、2回目のひび割れ特定処理における第二面積をチューニングパラメータとする処理(第二のひび割れ特定処理)と、の間に行われる処理である。そして、1回目のひび割れ特定処理におけるひび割れの候補を引き伸ばす処理は、他のひび割れ特定処理によって特定されたひび割れ部分の候補を引き伸ばし、引き伸ばしたひび割れ部分の候補と別のひび割れ部分の候補が重複すると、統合して単独のひび割れ部分の候補とするので、本発明における「第三のひび割れ特定処理」に相当する処理であると言える。
この処理によって、複数のひび割れの候補を統合して、それ以降のひび割れ特定処理に繋げるので、画像処理装置10は、より包括的な判定によってひび割れの候補を特定することができる。
1回目の特定処理は、1回目のひび割れ特定処理における第一面積をチューニングパラメータとする処理(他のひび割れ特定処理)によってひび割れ部分の候補とされた領域に該当するピクセルと、当該ピクセルに隣接するピクセルと、を比較して明度が近似しているか否かをチューニングパラメータとし、明度が近似しているピクセルをひび割れ部分の候補とするので、本発明における「第四のひび割れ特定処理」に相当する処理を含むであると言える。
この処理によって、面積のみをチューニングパラメータとする処理に比べて、多面的な判定を実現することができ、画像処理装置10は、特定処理の精度を向上させることができる。
1回目のひび割れ特定処理は、1回目のひび割れ特定処理における明度比較をチューニングパラメータとする処理(他のひび割れ特定処理)によってひび割れ部分の候補とされた領域に含まれるピクセルの明度に基づいて算出した閾値をチューニングパラメータとし、算出した閾値より低い明度のピクセルをひび割れ部分の候補とするので、本発明における「第五のひび割れ特定処理」に相当する処理であると言える。
この処理によって、面積のみをチューニングパラメータとする処理に比べて、多面的な判定を実現することができ、画像処理装置10は、ひび割れ特定処理の精度を向上させることができる。
3回目のひび割れ特定処理(ひび割れ特定手段が実行するひび割れ特定処理のうち少なくとも一つ)は、アスペクト比が所定値未満の領域であるか否かをチューニングパラメータに含み、当該領域をひび割れ部分の候補とする処理であると言える。
この処理によって、細長い領域であるものをひび割れ候補として残すことができるので、面積のみをチューニングパラメータとする処理に比べて、よりひびの形状として妥当な4ものをひび割れの候補として残すことができ、画像処理装置10は、ひび割れ特定処理の精度を向上させることができる。
以上に説明したように、画像処理装置10は、各種処理を組み合わせて実行することによって、画像に撮影されているひび割れを、半自動的に特定することができるので、当該画像を用いた点検に係る作業効率や作業精度を向上させることができる。
特に、図3(b)と図5(a)とを対比すれば明らかであるが、表示装置20に表示されている画像の一部を囲うように大まかに小領域を設定すれば、ひび割れ部分の全体を特定することができるので、ユーザは小領域の設定について細やかに気をつかわずとも、正確にひび割れ部分を特定することができる。
なお、上述の各種処理(特に、輪郭抽出処理及びひび割れ特定処理)を実現する為に、既知の人工知能処理(機械学習処理)を適用してもよく、本発明の目的に反しない範囲において、その種別は特に制限されない。
<本発明に係るコンピュータプログラムについて>
以上に説明した画像処理装置10の処理は、画像処理装置10が備えるハードウェア資源(例えば、プロセッサ11)と、メモリ12やストレージ13に記憶されているソフトウェアと、が協働することによって実現する具体的手段と言える。また、図2に図示する処理手順は、画像処理装置10が備えるハードウェア資源(例えば、プロセッサ11)と、メモリ12やストレージ13に記憶されているソフトウェアと、が協働することによって実現する具体的手順と言える。
ここで、これらの処理を実現するために画像処理装置10(ストレージ13)に記憶されているコンピュータプログラムは、以下のような処理を画像処理装置10に実行させるものと言える。
(イ)ユーザが任意に指定する操作を受け付けて、表示装置20が表示している画像のうち特定の箇所に対して小領域を設定する小領域設定処理(ステップS11の処理)
(ロ)小領域設定処理によって設定した複数の小領域に撮影されている輪郭を抽出する輪郭抽手処理(ステップS13の処理)
(ハ)輪郭抽手処理によって抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、表示装置20が表示している画像の一部を当該画像に撮影されているひび割れ部分の候補として特定するひび割れ特定処理(ステップS15の処理)
ここで、ひび割れ特定処理は、異なるチューニングパラメータを用いて複数回実行され、それぞれにおいて特定されたひび割れ部分の候補に基づいて、当該画像に撮影されているひび割れ部分を定める、ことを特徴とする点については、上述した通りである。
<本発明の実施例について>
以下、実際の画像に対して本発明に係る画像処理(図2に図示する一連の処理)を実施した事例について説明する。
図6は、本発明に係る画像処理前の画像を示す図である。図7は、本発明に係る画像処理後の画像を示す図である。図8は、図6に示す画像の撮影環境を示す模式図である。
なお、図8に図示した矢印A1は、図6に示す画像の撮影方向を示すものである。
図6に示す画像は、アスファルト舗装された地面G1と、地面G1より低い位置に存在する地面G2と、の段差に設けられたコンクリート製の縁石C1を撮影した画像である。
縁石C1は、横面C2の一部にひび割れが生じており、撮影方向(矢印A1が示す方向)から視て奥行き方向に侵出しており、その様子が上面C3に生じているひび割れから推定される。
図6に示す画像には、輪郭として抽出され得るものとして、横面C2や上面C3に生じているひび割れの他に、縁石C1の上縁部C4や下縁部C5が撮影されており、多数の細かい線分が撮影されている。
図7に示す画像において、図6に比べて濃い色になっている部分がひび割れ部分として特定された部分である。
図7に示す画像から明らかであるように、本発明に係る画像処理を施せば、ひび割れ部分のみが正確に特定され、その他の輪郭として撮影され得る部分はひび割れ部分として特定されない。
従って、本発明は上述した目的を達成したものと言える。
<変形例>
以上に説明した本発明の実施形態は、本発明の目的と達成する範囲において、種々の変形が可能である。
例えば、図1に図示したシステム構成の全てを備えずとも画像処理装置10のみによって本発明の実施は可能であり、他の構成は必須ではない。
また、図2に基づいて説明した処理手順は、本発明の実施に係る一具体例であって、本発明の目的を達成する範囲において、処理の順序を入れ替える、一部の処理を省く、又は、上述の実施形態で説明していない処理を追加する、等の変更を加えてもよい。
本実施形態は以下の技術思想を包含する。
(1)ユーザが任意に指定する操作を受け付けて、表示装置が表示している画像のうち特定の箇所に対して小領域を設定する小領域設定手段と、前記小領域設定手段によって設定した複数の前記小領域に撮影されている輪郭を抽出する輪郭抽出手段と、前記輪郭抽出手段によって抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、前記表示装置が表示している画像の一部を当該画像に撮影されているひび割れ部分の候補として特定する特定処理を実行するひび割れ特定手段と、を備え、前記ひび割れ特定手段は、前記ひび割れ特定処理ごとに異なる前記チューニングパラメータを用いて複数回の前記ひび割れ特定処理を実行し、前記ひび割れ特定処理のそれぞれにおいて特定されたひび割れ部分の候補に基づいて、当該画像に撮影されているひび割れ部分を定める、画像処理装置。
(2)前記ひび割れ特定手段が実行する第一の前記ひび割れ特定処理は、前記輪郭抽出手段によって抽出された輪郭のうち、第一面積以上の領域が含まれるか否かを前記チューニングパラメータとし、当該領域をひび割れ部分の候補とする、
(1)に記載の画像処理装置。
(3)前記輪郭抽出手段は、前記ひび割れ特定処理によってひび割れ部分の候補とされた領域に撮影されている輪郭を抽出し、前記ひび割れ特定手段が実行する第二の前記ひび割れ特定処理は、前記第一の特定処理によってひび割れ部分の候補とされた領域から抽出された輪郭のうち、第二面積以上の領域が含まれるか否かを前記チューニングパラメータとし、当該領域をひび割れ部分の候補とし、前記第二面積は、前記第一面積より大きい、(2)に記載の画像処理装置。
(4)前記ひび割れ特定手段が前記第一の特定処理と前記第二の特定処理の間に行う第三の前記ひび割れ特定処理は、他の前記ひび割れ特定処理によって特定されたひび割れ部分の候補を引き伸ばし、引き伸ばしたひび割れ部分の候補と別のひび割れ部分の候補が重複すると、統合して単独のひび割れ部分の候補とする、(3)に記載の画像処理装置。
(5)前記ひび割れ特定手段が実行する第四の前記ひび割れ特定処理は、他の前記ひび割れ特定処理によってひび割れ部分の候補とされた領域に該当するピクセルと、当該ピクセルに隣接するピクセルと、を比較して明度が近似しているか否かを前記チューニングパラメータとし、明度が近似しているピクセルを前記ひび割れ部分の候補とする、(1)から(4)のいずれか一つに記載の画像処理装置。
(6)前記ひび割れ特定手段が実行する第五の前記ひび割れ特定処理は、他の前記ひび割れ特定処理によってひび割れ部分の候補とされた領域に含まれるピクセルの明度に基づいて算出した閾値を前記チューニングパラメータとし、算出した閾値より低い明度のピクセルを前記ひび割れ部分の候補とする、(1)から(5)のいずれか一つに記載の画像処理装置。
(7)前記ひび割れ特定手段が実行する前記ひび割れ特定処理のうち少なくとも一つは、アスペクト比が所定値未満の領域であるか否かを前記チューニングパラメータとし、当該領域をひび割れ部分の候補とする、(1)から(6)のいずれか一つに記載の画像処理装置。
(8)ユーザが任意に指定する操作を受け付けて、表示装置が表示している画像のうち特定の箇所に対して、画像処理装置が小領域を設定する第一ステップと、前記第一ステップにおいて設定した複数の前記小領域に撮影されている輪郭を、前記画像処理装置が抽出する第二ステップと、前記第二ステップにおいて抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、前記表示装置が表示している画像の一部を当該画像に撮影されているひび割れ部分の候補として特定する特定処理を実行する第三ステップと、を含み、前記画像処理装置は、異なる前記チューニングパラメータを用いて、前記第三ステップにおける前記ひび割れ特定処理を複数回実行し、前記ひび割れ特定処理のそれぞれにおいて特定されたひび割れ部分の候補に基づいて、当該画像に撮影されているひび割れ部分を定める、画像処理方法。
(9)ユーザが任意に指定する操作を受け付けて、表示装置が表示している画像のうち特定の箇所に対して小領域を設定する小領域設定処理と、前記小領域設定処理によって設定した複数の前記小領域に撮影されている輪郭を抽出する輪郭抽手処理と、前記輪郭抽手処理によって抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、前記表示装置が表示している画像の一部を当該画像に撮影されているひび割れ部分の候補として特定する特定処理を実行するひび割れ特定処理と、をコンピュータに実行させ、前記ひび割れ特定処理は、異なる前記チューニングパラメータを用いて複数回実行され、前記ひび割れ特定処理のそれぞれにおいて特定されたひび割れ部分の候補に基づいて、当該画像に撮影されているひび割れ部分が定まる、コンピュータプログラム。
10 画像処理装置
11 プロセッサ
12 メモリ
13 ストレージ
14 入出力IF
20 表示装置
30 入力装置

Claims (6)

  1. ユーザが任意に指定する操作を受け付けて、表示装置が表示している画像のうち特定の箇所に対して小領域を設定する小領域設定手段と、
    前記小領域設定手段によって設定した複数の前記小領域に撮影されている輪郭を抽出する輪郭抽出手段と、
    前記輪郭抽出手段によって抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、前記表示装置が表示している画像の一部を当該画像に撮影されているひび割れ部分の候補として特定するひび割れ特定処理を実行するひび割れ特定手段と、
    を備え、
    前記ひび割れ特定手段は、
    前記輪郭抽出手段によって抽出された輪郭に、第一面積以上の領域が含まれるか否かを前記チューニングパラメータとする第一の前記ひび割れ特定処理を実行し、前記第一面積以上の領域をひび割れ部分の候補として特定し、
    特定したひび割れ部分の候補を引き伸ばし、引き伸ばしたひび割れ部分の候補と別のひび割れ部分の候補が重複すると、単独のひび割れ部分の候補として統合し、
    前記輪郭抽出手段は、統合したひび割れ部分の候補から輪郭を抽出し、
    前記ひび割れ特定手段は、
    統合したひび割れ部分の候補から抽出された輪郭に、前記第一面積より大きい第二面積以上の領域が含まれるか否かを前記チューニングパラメータとする第二の前記ひび割れ特定処理を実行し、前記第二面積以上の領域をひび割れ部分の候補として特定し、
    特定したひび割れ部分の候補に基づいて、当該画像に撮影されているひび割れ部分を定める、
    画像処理装置。
  2. 前記ひび割れ特定手段は、他の前記ひび割れ特定処理によってひび割れ部分の候補とされた領域に該当するピクセルと、当該ピクセルに隣接するピクセルと、を比較して明度が近似しているか否かを前記チューニングパラメータとする前記ひび割れ特定処理を実行し、明度が近似しているピクセルを前記ひび割れ部分の候補とする、
    請求項1に記載の画像処理装置。
  3. 前記ひび割れ特定手段は、他の前記ひび割れ特定処理によってひび割れ部分の候補とされた領域に含まれるピクセルの明度に基づいて算出した閾値を前記チューニングパラメータとする前記ひび割れ特定処理を実行し、算出した閾値より低い明度のピクセルを前記ひび割れ部分の候補とする、
    請求項1又は2に記載の画像処理装置。
  4. 前記ひび割れ特定手段は、アスペクト比が所定値未満の領域であるか否かを前記チューニングパラメータとする前記ひび割れ特定処理を実行し、アスペクト比が前記所定値未満の領域をひび割れ部分の候補とする、
    請求項1から3のいずれか一項に記載の画像処理装置。
  5. ユーザが任意に指定する操作を受け付けて、表示装置が表示している画像のうち特定の箇所に対して、画像処理装置が小領域を設定する第一ステップと、
    前記第一ステップにおいて設定した複数の前記小領域に撮影されている輪郭を、前記画像処理装置が抽出する第二ステップと、
    前記第二ステップにおいて抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、前記表示装置が表示している画像の一部を当該画像に撮影されているひび割れ部分の候補として特定するひび割れ特定処理を、前記画像処理装置が実行する第三ステップと、
    を含み、
    前記画像処理装置は、
    抽出した輪郭に、第一面積以上の領域が含まれるか否かを前記チューニングパラメータとする第一の前記ひび割れ特定処理を実行し、前記第一面積以上の領域をひび割れ部分の候補として特定し、
    特定したひび割れ部分の候補を引き伸ばし、引き伸ばしたひび割れ部分の候補と別のひび割れ部分の候補が重複すると、単独のひび割れ部分の候補として統合し、
    統合したひび割れ部分の候補から輪郭を抽出し、
    統合したひび割れ部分の候補から抽出した輪郭に、前記第一面積より大きい第二面積以上の領域が含まれるか否かを前記チューニングパラメータとする第二の前記ひび割れ特定処理を実行し、前記第二面積以上の領域をひび割れ部分の候補として特定し、
    特定したひび割れ部分の候補に基づいて、当該画像に撮影されているひび割れ部分を定める、
    画像処理方法。
  6. ユーザが任意に指定する操作を受け付けて、表示装置が表示している画像のうち特定の箇所に対して小領域を設定する小領域設定処理と、
    前記小領域設定処理によって設定した複数の前記小領域に撮影されている輪郭を抽出する輪郭抽出処理と、
    前記輪郭抽出処理によって抽出された輪郭と、複数とおりのチューニングパラメータと、に基づいて、前記表示装置が表示している画像の一部を当該画像に撮影されているひび割れ部分の候補として特定するひび割れ特定処理と、
    をコンピュータに実行させ、
    前記コンピュータは、
    抽出した輪郭に、第一面積以上の領域が含まれるか否かを前記チューニングパラメータとする第一の前記ひび割れ特定処理を実行し、前記第一面積以上の領域をひび割れ部分の候補として特定し、
    特定したひび割れ部分の候補を引き伸ばし、引き伸ばしたひび割れ部分の候補と別のひび割れ部分の候補が重複すると、単独のひび割れ部分の候補として統合し、
    統合したひび割れ部分の候補から輪郭を抽出し、
    統合したひび割れ部分の候補から抽出した輪郭に、前記第一面積より大きい第二面積以上の領域が含まれるか否かを前記チューニングパラメータとする第二の前記ひび割れ特定処理を実行し、前記第二面積以上の領域をひび割れ部分の候補として特定し、
    特定したひび割れ部分の候補に基づいて、当該画像に撮影されているひび割れ部分を定める、
    コンピュータプログラム。
JP2019174579A 2019-09-25 2019-09-25 画像処理装置、画像処理方法、及びコンピュータプログラム Active JP7385192B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019174579A JP7385192B2 (ja) 2019-09-25 2019-09-25 画像処理装置、画像処理方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019174579A JP7385192B2 (ja) 2019-09-25 2019-09-25 画像処理装置、画像処理方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2021051597A JP2021051597A (ja) 2021-04-01
JP7385192B2 true JP7385192B2 (ja) 2023-11-22

Family

ID=75156120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019174579A Active JP7385192B2 (ja) 2019-09-25 2019-09-25 画像処理装置、画像処理方法、及びコンピュータプログラム

Country Status (1)

Country Link
JP (1) JP7385192B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7499210B2 (ja) 2021-04-26 2024-06-13 大成建設株式会社 ひび割れ検出方法とひび割れ検出装置、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003214827A (ja) 2002-01-29 2003-07-30 Ohbayashi Corp 画像処理によるひび割れの計測方法
JP2006162583A (ja) 2004-11-10 2006-06-22 Taisei Corp ひび割れ検出方法
JP2013002839A (ja) 2011-06-13 2013-01-07 Taisei Corp ひび割れ検出方法
JP2016006382A (ja) 2014-06-20 2016-01-14 大日本印刷株式会社 外観検査装置および方法
JP2017053819A (ja) 2015-09-11 2017-03-16 国立大学法人富山大学 コンクリートのひび割れ検出方法及び検出プログラム
JP2017072517A (ja) 2015-10-08 2017-04-13 西日本高速道路エンジニアリング四国株式会社 コンクリートの表面ひび割れの検出方法
JP2017167969A (ja) 2016-03-17 2017-09-21 首都高技術株式会社 損傷抽出システム
JP2019066266A (ja) 2017-09-29 2019-04-25 清水建設株式会社 ひび割れ検出装置、ひび割れ検出方法、および、コンピュータプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01291383A (ja) * 1988-05-19 1989-11-22 Tokyo Electric Power Co Inc:The 画像読取方法
JPH06274630A (ja) * 1993-03-18 1994-09-30 Komatsu Ltd 線状パターン認識装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003214827A (ja) 2002-01-29 2003-07-30 Ohbayashi Corp 画像処理によるひび割れの計測方法
JP2006162583A (ja) 2004-11-10 2006-06-22 Taisei Corp ひび割れ検出方法
JP2013002839A (ja) 2011-06-13 2013-01-07 Taisei Corp ひび割れ検出方法
JP2016006382A (ja) 2014-06-20 2016-01-14 大日本印刷株式会社 外観検査装置および方法
JP2017053819A (ja) 2015-09-11 2017-03-16 国立大学法人富山大学 コンクリートのひび割れ検出方法及び検出プログラム
JP2017072517A (ja) 2015-10-08 2017-04-13 西日本高速道路エンジニアリング四国株式会社 コンクリートの表面ひび割れの検出方法
JP2017167969A (ja) 2016-03-17 2017-09-21 首都高技術株式会社 損傷抽出システム
JP2019066266A (ja) 2017-09-29 2019-04-25 清水建設株式会社 ひび割れ検出装置、ひび割れ検出方法、および、コンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
秦 清治,コンクリートのひび割れ評価技法の開発,電気学会研究会資料、情報処理 産業システム情報化合同研究会,日本,電気学会,2000年12月01日,p21-24

Also Published As

Publication number Publication date
JP2021051597A (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
CN110678901B (zh) 信息处理设备、信息处理方法和计算机可读存储介质
US7978903B2 (en) Defect detecting method and defect detecting device
US11378522B2 (en) Information processing apparatus related to machine learning for detecting target from image, method for controlling the same, and storage medium
US11836961B2 (en) Information processing apparatus, information processing method, and storage medium for determining whether a captured image of a subject is suitable for recognition processing
US10996937B2 (en) Automated software installation using a click area prediction model
JP2009211626A (ja) 画像処理装置及び方法
WO2022134277A1 (zh) 显示屏子像素的图像位置标记方法、设备以及存储介质
JP5849206B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2019009214A1 (ja) 画像から変状を検知する画像処理装置、画像処理方法及びプログラム
JP2021165888A (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
JP2020140518A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2018045396A (ja) 画像処理装置、画像処理方法およびプログラム
JP7385192B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN113012096A (zh) 显示屏子像素定位及亮度提取方法、设备以及存储介质
US20220262040A1 (en) Microstructural image analysis device and microstructural image analysis method
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
JP2008020369A (ja) 画像解析方法、画像解析装置、検査装置、画像解析プログラムおよびコンピュータ読み取り可能な記録媒体
JP6980208B2 (ja) 構造物維持管理業務支援システム
CN112543950B (zh) 图像处理装置、图像处理方法及计算机可读取的记录介质
JP7001265B2 (ja) 映像修復システム、映像修復方法及びプログラム
JP6114559B2 (ja) フラットパネルディスプレイの自動ムラ検出装置
JP5899475B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2018197692A (ja) 損傷状況処理システム
JP7471570B2 (ja) 建物構造物診断システム
JP2018005612A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231031

R150 Certificate of patent or registration of utility model

Ref document number: 7385192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150