JP7187830B2 - 画像処理プログラム、画像処理装置、及び画像処理方法 - Google Patents

画像処理プログラム、画像処理装置、及び画像処理方法 Download PDF

Info

Publication number
JP7187830B2
JP7187830B2 JP2018112612A JP2018112612A JP7187830B2 JP 7187830 B2 JP7187830 B2 JP 7187830B2 JP 2018112612 A JP2018112612 A JP 2018112612A JP 2018112612 A JP2018112612 A JP 2018112612A JP 7187830 B2 JP7187830 B2 JP 7187830B2
Authority
JP
Japan
Prior art keywords
linear region
image
image processing
brightness
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018112612A
Other languages
English (en)
Other versions
JP2019215258A (ja
Inventor
祐輔 中西
英幸 菊地
浩一 及川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018112612A priority Critical patent/JP7187830B2/ja
Priority to US16/416,491 priority patent/US11145045B2/en
Priority to EP19175943.0A priority patent/EP3582180B1/en
Priority to CN201910490721.8A priority patent/CN110610473B/zh
Publication of JP2019215258A publication Critical patent/JP2019215258A/ja
Application granted granted Critical
Publication of JP7187830B2 publication Critical patent/JP7187830B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete

Description

本発明は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。
スス等で汚れているコンクリート壁面におけるひび割れの有無を検知するひび割れ検知装置、及び多色を呈する被検査面におけるひび、傷等の表面欠陥を検出する表面欠陥検出装置が知られている(例えば、特許文献1及び特許文献2を参照)。
特開2014-6219号公報 特開昭58-39936号公報
特許文献1のひび割れ検知装置は、赤色、青色、又は緑色の光のうち少なくとも1つの光を被検体に照射して、被検体を撮影する。そして、ひび割れ検知装置は、得られた画像の各画素についてRGB値から彩度を演算し、演算した彩度に基づいて、被検体の表面におけるひび割れの有無を判別する。
しかしながら、この技術では、コンクリート壁面上の毛髪、黒く汚れた蜘蛛の巣、黒ペンで描かれた黒線等をひび割れと誤認識することがある。
なお、かかる問題は、コンクリート壁面を撮影した画像からひび割れを検知する場合に限らず、他の物体を撮影した画像に含まれる線状領域の種別を特定する場合においても生ずるものである。
1つの側面において、本発明は、物体を撮影した画像に含まれる線状領域の種別を精度良く特定することを目的とする。
1つの案では、画像処理プログラムは、以下の処理をコンピュータに実行させる。
(1)コンピュータは、撮像装置によって撮影された物体の画像から線状領域を抽出する。
(2)コンピュータは、線状領域の長さ方向に離れた複数の位置それぞれにおいて、線状領域を横断する方向における明度変化を求める。
(3)コンピュータは、複数の位置における明度変化に基づいて、線状領域の種別を特定する。
実施形態によれば、物体を撮影した画像に含まれる線状領域の種別を精度良く特定することができる。
画像処理装置の機能的構成図である。 画像処理のフローチャートである。 画像処理システムの機能的構成図である。 撮影対象の物体を示す図である。 光の照射角度を示す図である。 ベクタデータを示す図である。 計算対象位置を示す図である。 分岐を有するベクタデータを示す図である。 計算対象領域を示す図である。 明度情報を示す図である。 画像圧縮処理の具体例を示すフローチャートである。 データベースに登録された黒線領域の種別及び統計値を示す図である。 明度情報が示す明度変化の統計値を示す図である。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
図1は、実施形態の画像処理装置の機能的構成例を示している。図1の画像処理装置101は、記憶部111、抽出部112、及び特定部113を含む。記憶部111は、撮像装置によって撮影された物体の画像121を記憶する。抽出部112及び特定部113は、画像121に対する画像処理を行う。
図2は、図1の画像処理装置101が行う画像処理の例を示すフローチャートである。まず、抽出部112は、画像121から線状領域を抽出する(ステップ201)。次に、特定部113は、抽出部112が抽出した線状領域の長さ方向に離れた複数の位置それぞれにおいて、その線状領域を横断する方向における明度変化を求める(ステップ202)。そして、特定部113は、複数の位置における明度変化に基づいて、線状領域の種別を特定する(ステップ203)。
図1の画像処理装置101によれば、物体を撮影した画像に含まれる線状領域の種別を精度良く特定することができる。
図3は、図1の画像処理装置101を含む画像処理システムの機能的構成例を示している。図3の画像処理システムは、画像処理装置301、撮像装置302、及びサーバ303を含む。
画像処理装置301は、図1の画像処理装置101に対応し、記憶部311、取得部312、抽出部313、特定部314、通信部315、及び出力部316を含む。サーバ303は、データベース331を含む。記憶部311、抽出部313、及び特定部314は、図1の記憶部111、抽出部112、及び特定部113にそれぞれ対応し、画像321は画像121に対応する。
撮像装置302は、例えば、CCD(Charged-Coupled Device)、CMOS(Complementary Metal-Oxide-Semiconductor)等の撮像素子を有するカメラであり、光を照射された物体を撮影して、物体の画像321を取得する。そして、撮像装置302は、物体の画像321を画像処理装置301へ出力する。
画像処理装置301の取得部312は、撮像装置302から画像321を取得して、記憶部311に格納する。抽出部313は、画像321から線状領域を抽出し、抽出した線状領域をベクタデータ322に変換して、記憶部311に格納する。ベクタデータ322は、線状領域を近似する複数の線分を含み、各線分は、その両端の端点の2次元座標によって表される。
特定部314は、ベクタデータ322を用いて、線状領域の長さ方向に離れた複数の位置を、明度変化の計算対象に決定する。そして、特定部314は、各位置において、その線状領域を横断する方向における明度変化を計算し、計算した明度変化を示す明度情報323を記憶部311に格納する。
サーバ303のデータベース331には、過去に撮影された物体の画像に含まれる線状領域の複数の種別それぞれと対応付けて、画像処理装置301が計算した明度変化を示す統計値が登録されている。
通信部315は、通信ネットワークを介してサーバ303と通信し、データベース331から、線状領域の種別と、その種別に対応する統計値とを取得する。特定部314は、記憶部311が記憶する明度情報323と、データベース331から取得した種別及び統計値とを用いて、画像321から抽出された線状領域の種別を特定する。出力部316は、特定部314が特定した線状領域の種別を出力する。
図4は、撮影対象の物体の例を示している。光源402は、赤色、青色、緑色等の複数色の光412をコンクリート壁面401に対して照射し、撮像装置302は、光が照射されたコンクリート壁面401を撮影する。
この場合、コンクリート壁面401を撮影した画像に含まれる線状領域は、例えば、ひび割れ411、毛髪、黒く汚れた蜘蛛の巣、黒ペンで描かれた黒線等が写っている、黒線領域である。特定部314は、画像から抽出された黒線領域の種別が、ひび割れ411又はそれ以外の種別のいずれであるかを特定する。例えば、撮像装置302としては、約0.1mm幅のひび割れ411まで撮影できるカメラを用いることができる。
例えば、青色の光は波長が短いため、空気中で散乱されやすく、赤色の光は波長が長いため、空気中で散乱されにくい。したがって、青色の光を照射してコンクリート壁面401を撮影した画像と、赤色の光を照射してコンクリート壁面401を撮影した画像とでは、ひび割れ411以外の黒線領域の明度分布が大きく異なってくる。
一方、ひび割れ411の場合、光の波長によらずに反射光が弱くなるため、青色の光を照射した場合と赤色の光を照射した場合とで、黒線領域の明度分布はあまり異ならない。したがって、複数色の光それぞれを照射して物体を撮影した画像を用いることで、黒線領域の種別がひび割れ411か否かを特定することができる。
なお、撮影対象の物体は、コンクリート壁面401には限られず、ガラス、セラミック、プラスチック、木材等の別の材質の物体であってもよい。また、物体の画像に含まれる線状領域は、ひび割れ等が写っている黒線領域に限られず、ひび割れに充填された補修材、ロープ、白ペンで描かれた白線等が写っている領域であってもよい。
図5は、光源402が照射する光の照射角度の例を示している。x軸は、コンクリート壁面401の表面に含まれており、y軸は、コンクリート壁面401の表面に垂直な方向を表す。撮像装置302は、y軸上に配置され、コンクリート壁面401の表面を撮影する。
図5(a)は、コンクリート壁面401の表面に対して小さな角度で光を照射する光源402の例を示している。コンクリート壁面401の表面と光の照射方向との間の角度αとしては、例えば、0°~30°の範囲の角度が用いられる。
図5(b)は、コンクリート壁面401の表面に対して大きな角度で光を照射する光源402の例を示している。コンクリート壁面401の表面と光の照射方向との間の角度βとしては、例えば、60°~90°の範囲の角度が用いられる。
光源402は、コンクリート壁面401に対して複数の角度それぞれから光412を照射し、撮像装置302は、光が照射されたコンクリート壁面401を撮影する。例えば、コンクリート壁面401上に毛髪、蜘蛛の巣等の立体物が存在する場合、光412の照射角度が小さいほど影ができやすく、黒線領域が広がりやすい。一方、光412の照射角度が大きいほど影ができにくく、黒線領域が広がりにくい。したがって、複数の角度それぞれから光を照射して物体を撮影した画像を用いることで、黒線領域の種別が立体物か否かを特定することができる。
図6は、ひび割れ411の黒線領域を表すベクタデータ322の例を示している。図6(a)は、折れ線状のベクタデータの例を示している。ベクタデータ601~ベクタデータ604は、コンクリート壁面のひび割れに沿って屈曲した4本の黒線領域を表す。図6(b)は、直線状のベクタデータの例を示している。ベクタデータ605は、コンクリート壁面のひび割れに沿って伸びる1本の黒線領域を表す。ベクタデータ601~ベクタデータ605は、所定間隔の線分に区切られている。
図7は、ベクタデータ322上における計算対象位置の例を示している。図7(a)は、図6(a)のベクタデータ601~ベクタデータ604上における計算対象位置の例を示しており、図7(b)は、図6(b)のベクタデータ605上における計算対象位置の例を示している。
図7(a)及び図7(b)の各計算対象ライン701は、ベクタデータ601~ベクタデータ605上で、黒線領域を横断する方向における明度変化を計算する位置を表す。黒線領域の長さが所定値未満である場合、黒線領域の両端と中央の3箇所に計算対象ライン701を設定してもよい。
図8は、分岐を有するベクタデータ322の例を示している。ベクタデータが分岐している場合、分岐点801以降のベクタデータも、枝毎に所定間隔の線分に区切られる。
図9は、計算対象位置における計算対象領域の例を示している。黒線領域901の計算対象位置902において、黒線領域901を横断する方向に計算対象領域903が設定される。計算対象領域903は、計算対象位置902において、ベクタデータの線分と直交する方向に設定されてもよい。計算対象領域903の長さは、黒線領域901の幅の3倍以上であることが望ましい。図9の例では、黒線領域901の幅は3画素であり、計算対象領域903の長さは15画素である。
図10は、計算対象領域における明度変化を示す明度情報323の例を示している。横軸は、黒線領域を横断する計算対象領域に含まれる画素の位置を表し、縦軸は、各位置の画素の明度を表す。
図10(a)~図10(c)は、図5(b)に示したように、コンクリート壁面に対して大きな角度で青色の光を照射して撮影した画像Bにおける明度変化を示している。また、図10(d)~図10(f)は、図5(a)に示したように、コンクリート壁面に対して小さな角度で赤色の光を照射して撮影した画像Rにおける明度変化を示している。
図10(a)のグラフ1001-1~グラフ1003-1と図10(d)のグラフ1011-1~グラフ1013-1は、3箇所の計算対象位置のうち1番目の計算対象位置における明度変化を示している。図10(b)のグラフ1001-2~グラフ1003-2と図10(e)のグラフ1011-2~グラフ1013-2は、2番目の計算対象位置における明度変化を示している。図10(c)のグラフ1001-3~グラフ1003-3と図10(f)のグラフ1011-3~グラフ1013-3は、3番目の計算対象位置における明度変化を示している。
グラフ1001-i及びグラフ1011-i(i=1~3)は、黒線領域の種別がひび割れである場合のi番目の計算対象位置における明度変化を示している。グラフ1002-i及びグラフ1012-iは、黒線領域の種別が黒ペンで描かれた黒線である場合のi番目の計算対象位置における明度変化を示している。グラフ1003-i及びグラフ1013-iは、黒線領域の種別が毛髪である場合のi番目の計算対象位置における明度変化を示している。
画像Rの場合、波長が長い赤色の光が照射されるため、約0.2mm幅以下のひび割れが写っている画素の明度は、ひび割れ近辺のコンクリートからの反射光によって、黒ペン又は毛髪が写っている画素と同程度の明度になる。一方、画像Bの場合、波長が短い青色の光が照射されるため、ひび割れが写っている画素の明度は、黒ペン又は毛髪が写っている画素の明度よりも小さくなる。
また、ひび割れの場合、最深部において明度が最も小さくなるため、ひび割れの幅方向における明度変化は最小値のみを持ち、最小値以外の極値(極大値又は極小値)を持たない。一方、黒ペン又は毛髪の場合、インクのかすれ又は毛髪の凹凸によって明度が様々に変化し、明度変化が最小値以外の極値を持つ傾向が見られる。例えば、黒ペンのインクがかすれた部分又は毛髪からの反射光が強い部分では、明度が極大値を持つ。
したがって、画像R及び画像Bの3箇所の計算対象位置のいずれにおいても、明度変化が最小値以外の極値を持たない場合、その黒線領域はひび割れである可能性が高い。毛髪の場合、影ができることで明度の小さな部分(暗い部分)が広がる傾向も見られる。
例えば、グラフ1002-1~グラフ1002-3、グラフ1012-2、及びグラフ1012-3は極大値を持つため、これらのグラフに対応する黒線領域の種別はひび割れ以外の種別と判定することができる。同様に、グラフ1013-1~グラフ1013-3も極大値を持つため、これらのグラフに対応する黒線領域の種別もひび割れ以外の種別と判定することができる。
さらに、グラフ1013-iの明度の小さな部分は、グラフ1003-iの明度の小さな部分よりも広がっているため、これらのグラフに対応する黒線領域の種別はひび割れ以外の種別と判定することができる。
計算対象位置の個数は3箇所に限られず、2箇所以上の複数の計算対象位置における明度変化を用いて、黒線領域の種別を判定することができる。計算対象位置の個数が多いほど、判定結果の精度が向上する。
図11は、図3の画像処理システムが行う画像処理の具体例を示すフローチャートである。まず、光源402は、コンクリート壁面401に対して小さな角度で、複数色の光それぞれを照射し、撮像装置302は、複数色の光それぞれが照射されたコンクリート壁面401の画像321を、フラッシュなしで撮影する(ステップ1101)。
次に、光源402は、コンクリート壁面401に対して大きな角度で、複数色の光それぞれを照射し、撮像装置302は、複数色の光それぞれが照射されたコンクリート壁面401の画像321を、フラッシュなしで撮影する(ステップ1102)。
次に、抽出部313は、取得された複数の画像321それぞれに含まれる黒い線状領域を、黒線領域として抽出する(ステップ1103)。そして、特定部314は、複数の画像321それぞれから抽出された黒線領域の幅を比較することで、抽出された黒線領域に影が含まれているか否かをチェックする(ステップ1104)。
例えば、特定部314は、画像Rの黒線領域と画像Bの黒線領域とを重ね合わせ、両方の黒線領域の幅が一致した場合、それらの黒線領域には影が含まれていないと判定する。また、特定部314は、一方の黒線領域の幅が他方の黒線領域の幅よりも太い場合、太い方の黒線領域に影が含まれていると判定する。これにより、影の有無に基づいて、黒線領域の種別が立体物か否かを特定することができる。
黒線領域に影が含まれている場合(ステップ1104,YES)、特定部314は、その黒線領域の種別をひび割れ以外の種別に決定し(ステップ1110)、出力部316は、決定された黒線領域の種別を出力する。
一方、黒線領域に影が含まれていない場合(ステップ1104,NO)、抽出部313は、その黒線領域をベクタデータ322に変換する(ステップ1105)。
次に、特定部314は、各画像321のベクタデータ322上で複数の計算対象位置を決定し、各計算対象位置に計算対象領域を設定する。そして、特定部314は、各計算対象領域における明度変化を示す明度情報323を生成し(ステップ1106)、その明度変化が最小値以外の極値を有するか否かをチェックする(ステップ1107)。
明度変化が最小値以外の極値を有する場合(ステップ1107,YES)、特定部314は、黒線領域の種別をひび割れ以外の種別に決定し(ステップ1110)、出力部316は、決定された黒線領域の種別を出力する。
一方、明度変化が最小値以外の極値を有さない場合(ステップ1107,NO)、特定部314は、通信部315を介して、データベース331から黒線領域の種別及び統計値を取得する。そして、特定部314は、データベース331から取得した種別及び統計値を用いて、明度情報323が示す明度変化がひび割れに対応するか否かを判定する(ステップ1108)。
例えば、特定部314は、明度情報323が示す明度変化の統計値を計算し、計算した統計値を、データベース331から取得した統計値と比較することで、明度変化がひび割れに対応するか否かを判定する。明度変化の統計値としては、計算対象領域における明度の最大値、最小値、中央値、平均値等を用いることができる。
明度変化がひび割れに対応する場合(ステップ1108,YES)、特定部314は、黒線領域の種別をひび割れに決定し(ステップ1109)、出力部316は、決定された黒線領域の種別を出力する。一方、明度変化がひび割れに対応しない場合(ステップ1108,NO)、特定部314は、黒線領域の種別をひび割れ以外の種別に決定し(ステップ1110)、出力部316は、決定された黒線領域の種別を出力する。
図12は、データベース331に登録された黒線領域の種別及び統計値の例を示している。ひび割れ、黒ペン、及び毛髪は、黒線領域の種別を表し、P1~P5は、黒線領域上における計算対象位置を表す。計算対象位置Pj(j=1~5)が示す列の数字は、行が示す種別の黒線領域上の計算対象位置Pjにおける明度変化の最小値を表す。平均値が示す列の数字は、計算対象位置P1~計算対象位置P5の5個の最小値の平均値を表す。
図12(a)は、コンクリート壁面に対して大きな角度で青色の光を照射して撮影した画像から計算された、最小値及び平均値の例を示している。図12(b)は、コンクリート壁面に対して小さな角度で赤色の光を照射して撮影した画像から計算された、最小値及び平均値の例を示している。
図12(a)又は図12(b)のいずれの条件を用いた場合も、ひび割れ、黒ペン、及び毛髪の間で、明度の最小値及び平均値が異なっている。したがって、同じ条件で別のコンクリート壁面を撮影した場合、黒線領域の種別が同じであれば、明度の最小値及び平均値も同様の値になると考えられる。
図13は、明度情報323が示す明度変化の統計値の例を示している。P11~P15は、黒線領域上における計算対象位置を表す。各計算対象位置の数字は、その計算対象位置における明度変化の最小値を表し、平均値は、計算対象位置P11~計算対象位置P15の5個の最小値の平均値を表す。
図13(a)は、コンクリート壁面に対して大きな角度で青色の光を照射して撮影した画像から計算された、最小値及び平均値の例を示している。図13(b)は、コンクリート壁面に対して小さな角度で赤色の光を照射して撮影した画像から計算された、最小値及び平均値の例を示している。
例えば、図12(a)又は図12(b)のいずれかの種別の平均値をAとすると、特定部314は、図13(a)又は図13(b)の平均値がA-Δ~A+Δの範囲内である場合、明度情報323が示す明度変化がその種別に対応すると判定することができる。
Δ=1の場合、図12(a)のひび割れに対応する平均値の範囲R1は36.2~38.2であり、黒ペンに対応する平均値の範囲R2は39.2~41.2であり、毛髪に対応する平均値の範囲R3は41~43である。また、図12(b)のひび割れに対応する平均値の範囲R4は61.4~63.4であり、黒ペンに対応する平均値の範囲R5は64.2~66.2であり、毛髪に対応する平均値の範囲R6は68.2~70.2である。
図13(a)の平均値41.2は、図12(a)のひび割れの範囲R1には含まれず、黒ペンの範囲R2及び毛髪の範囲R3に含まれている。したがって、図13の黒線領域の種別は黒ペン又は毛髪のいずれかであると判定することができる。さらに、図13(b)の平均値68.6は、図12(b)のひび割れの範囲R4又は黒ペンの範囲R5のいずれにも含まれず、毛髪の範囲R6に含まれている。したがって、図13の黒線領域の種別は毛髪に決定される。
このように、明度情報323が示す明度変化の統計値を、データベース331から取得した統計値と比較することで、黒線領域の種別に対する判定精度を高めることができる。同じコンクリート壁面に対して光の色又は照射角度の条件が異なる画像の枚数が増えるほど、判定精度が向上する。
特定部314は、計算した明度変化の統計値を、現場で作業者が確認した黒線領域の種別と対応付けてデータベース331に登録しておき、次回の画像処理で利用することもできる。
図11の画像処理によれば、コンクリート壁面の画像に含まれる黒線領域の種別を自動的に特定できるため、作業者によるコンクリート壁面の点検作業が効率化される。例えば、コンクリート壁面上に毛髪、黒く汚れた蜘蛛の巣、黒ペンで描かれた黒線等が存在する場合であっても、それらの物質とひび割れとを区別することができる。
なお、ステップ1104において複数の画像321の黒線領域の幅を比較することで影の有無をチェックする代わりに、複数の画像321の同じ計算対象位置における明度変化を比較することで影の有無をチェックすることも可能である。この場合、特定部314は、複数の画像321それぞれの同じ計算対象位置における明度変化から、所定値よりも小さな明度を有する領域の幅を求める。そして、2枚の画像321間における領域の幅の差分が閾値よりも大きい場合、特定部314は、幅が広い方の領域に影が含まれていると判定する。
図1の画像処理装置101の構成は一例に過ぎず、画像処理装置101の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図3の画像処理システムの構成は一例に過ぎず、画像処理装置301の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、画像321が事前に記憶部311に格納されている場合は、取得部312を省略することができ、データベース331を利用しない場合は、通信部315を省略することができる。線状領域の種別を出力する必要がない場合は、出力部316を省略することができる。
図2及び図11のフローチャートは一例に過ぎず、画像処理装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図11の画像処理において、画像321が事前に記憶部311に格納されている場合は、ステップ1101及びステップ1102の処理を省略することができる。影の有無をチェックする必要がない場合は、ステップ1104の処理を省略することができ、データベース331を利用しない場合は、ステップ1108の処理を省略することができる。
図4に示したコンクリート壁面401は一例に過ぎず、撮影対象の物体は、別の材質の物体であってもよい。図5に示した光の照射角度は一例に過ぎず、画像処理装置の構成又は条件に応じて別の照射角度を用いてもよい。図6~図8に示した黒線領域、ベクタデータ、及び計算対象ラインは一例に過ぎず、黒線領域、ベクタデータ、及び計算対象ラインは、画像321に応じて変化する。
図9に示した計算対象領域903は一例に過ぎず、画像処理装置の構成又は条件に応じて別の形状又は別のサイズの計算対象領域を用いてもよい。計算対象領域903は、ベクタデータの線分と直交していなくてもよい。図10に示した明度情報323は一例に過ぎず、明度情報323は、画像321に応じて変化する。
図12及び図13に示した最小値及び平均値は一例に過ぎず、明度変化の統計値は、各計算対象位置における明度変化に応じて変化する。
図14は、図1の画像処理装置101及び図3の画像処理装置301として用いられる情報処理装置(コンピュータ)の構成例を示している。図14の情報処理装置は、CPU(Central Processing Unit)1401、メモリ1402、入力装置1403、出力装置1404、補助記憶装置1405、媒体駆動装置1406、及びネットワーク接続装置1407を含む。これらの構成要素はバス1408により互いに接続されている。図3の撮像装置302は、バス1408に接続されていてもよい。
メモリ1402は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ1402は、図1の記憶部111又は図3の記憶部311として用いることができる。
CPU1401(プロセッサ)は、例えば、メモリ1402を利用してプログラムを実行することにより、図1の抽出部112及び特定部113として動作する。CPU1401は、メモリ1402を利用してプログラムを実行することにより、図3の取得部312、抽出部313、及び特定部314としても動作する。
入力装置1403は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置1404は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。出力装置1404は、図3の出力部316として用いることができる。処理結果は、線状領域の種別を示す情報であってもよい。
補助記憶装置1405は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置1405は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置1405にプログラム及びデータを格納しておき、それらをメモリ1402にロードして使用することができる。補助記憶装置1405は、図1の記憶部111又は図3の記憶部311として用いることができる。
媒体駆動装置1406は、可搬型記録媒体1409を駆動し、その記録内容にアクセスする。可搬型記録媒体1409は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体1409は、CD-ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体1409にプログラム及びデータを格納しておき、それらをメモリ1402にロードして使用することができる。
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ1402、補助記憶装置1405、又は可搬型記録媒体1409のような、物理的な(非一時的な)記録媒体である。
ネットワーク接続装置1407は、LAN(Local Area Network)、WAN(Wide Area Network)等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置1407を介して受信し、それらをメモリ1402にロードして使用することができる。ネットワーク接続装置1407は、図3の通信部315として用いることができる。
なお、情報処理装置が図14のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザと対話する必要がない場合は、入力装置1403及び出力装置1404を省略してもよい。可搬型記録媒体1409又は通信ネットワークを使用しない場合は、媒体駆動装置1406又はネットワーク接続装置1407を省略してもよい。
図3のサーバ303としては、図14と同様の情報処理装置を用いることができる。この場合、補助記憶装置1405は、データベース331として用いられる。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
図1乃至図14を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
(付記1)
撮像装置によって撮影された物体の画像から線状領域を抽出し、
前記線状領域の長さ方向に離れた複数の位置それぞれにおいて、前記線状領域を横断する方向における明度変化を求め、
前記複数の位置における明度変化に基づいて、前記線状領域の種別を特定する、
処理をコンピュータに実行させるための画像処理プログラム。
(付記2)
前記複数の位置のいずれかの明度変化において、明度の最小値以外の極値が存在するか否かに基づいて、前記線状領域の種別を特定する処理をコンピュータに実行させることを特徴とする付記1記載の画像処理プログラム。
(付記3)
前記物体に対し複数色の光それぞれが照射され撮影された複数の画像それぞれから線状領域を抽出し、各線状領域の長さ方向に離れた複数の位置それぞれにおいて、各線状領域を横断する方向における明度変化を求め、前記複数の画像それぞれから抽出された線状領域の複数の位置における明度変化に基づいて、前記線状領域の種別を特定する処理をコンピュータに実行させることを特徴とする付記1又は2記載の画像処理プログラム。
(付記4)
前記物体に対し複数の角度それぞれから光が照射され撮影された複数の画像それぞれから線状領域を抽出し、各線状領域の長さ方向に離れた複数の位置それぞれにおいて、各線状領域を横断する方向における明度変化を求め、前記複数の画像それぞれから抽出された線状領域の複数の位置における明度変化に基づいて、前記線状領域の種別を特定する処理をコンピュータに実行させることを特徴とする付記1又は2記載の画像処理プログラム。
(付記5)
前記複数の画像それぞれから抽出された線状領域の幅を比較した比較結果に基づいて、前記線状領域の種別を特定する処理をコンピュータに実行させることを特徴とする付記4記載の画像処理プログラム。
(付記6)
前記複数の画像それぞれから抽出された線状領域の同じ位置における明度変化を比較した比較結果に基づいて、前記線状領域の種別を特定する処理をコンピュータに実行させることを特徴とする付記4記載の画像処理プログラム。
(付記7)
複数の種別それぞれに対応付けて登録された、線状領域の複数の位置における明度変化を示す第1統計値を取得し、取得した第1統計値と、前記複数の画像それぞれから抽出された線状領域の複数の位置における明度変化を示す第2統計値とを比較し、前記第1統計値と前記第2統計値とを比較した比較結果に基づいて、前記線状領域の種別を特定する処理をコンピュータに実行させることを特徴とする付記3乃至6のいずれか1項に記載の画像処理プログラム。
(付記8)
前記物体はコンクリート壁面であり、前記線状領域の種別はひび割れ又はひび割れ以外の種別であることを特徴とする付記1乃至7のいずれか1項に記載の画像処理プログラム。
(付記9)
撮像装置によって撮影された物体の画像を記憶する記憶部と、
前記物体の画像から線状領域を抽出する抽出部と、
前記線状領域の長さ方向に離れた複数の位置それぞれにおいて、前記線状領域を横断する方向における明度変化を求め、前記複数の位置における明度変化に基づいて、前記線状領域の種別を特定する特定部と、
を備えることを特徴とする画像処理装置。
(付記10)
前記特定部は、前記複数の位置のいずれかの明度変化において、明度の最小値以外の極値が存在するか否かに基づいて、前記線状領域の種別を特定することを特徴とする付記9記載の画像処理装置。
(付記11)
前記撮像装置は、複数色の光それぞれが照射された前記物体を撮影することで、前記画像を含む複数の画像を取得し、
前記抽出部は、前記複数の画像それぞれから線状領域を抽出し、
前記特定部は、各線状領域の長さ方向に離れた複数の位置それぞれにおいて、各線状領域を横断する方向における明度変化を求め、前記複数の画像それぞれから抽出された線状領域の複数の位置における明度変化に基づいて、前記線状領域の種別を特定することを特徴とする付記9又は10記載の画像処理装置。
(付記12)
前記撮像装置は、複数の角度それぞれから光が照射された前記物体を撮影することで、前記画像を含む複数の画像を取得し、
前記抽出部は、前記複数の画像それぞれから線状領域を抽出し、
前記特定部は、各線状領域の長さ方向に離れた複数の位置それぞれにおいて、各線状領域を横断する方向における明度変化を求め、前記複数の画像それぞれから抽出された線状領域の複数の位置における明度変化に基づいて、前記線状領域の種別を特定することを特徴とする付記9又は10記載の画像処理装置。
(付記13)
コンピュータにより実行される画像処理方法であって、
前記コンピュータが、
撮像装置によって撮影された物体の画像から線状領域を抽出し、
前記線状領域の長さ方向に離れた複数の位置それぞれにおいて、前記線状領域を横断する方向における明度変化を求め、
前記複数の位置における明度変化に基づいて、前記線状領域の種別を特定する、
ことを特徴とする画像処理方法。
(付記14)
前記コンピュータは、前記複数の位置のいずれかの明度変化において、明度の最小値以外の極値が存在するか否かに基づいて、前記線状領域の種別を特定することを特徴とする付記13記載の画像処理方法。
101、301 画像処理装置
111、311 記憶部
112、313 抽出部
113、314 特定部
121、321 画像
302 撮像装置
303 サーバ
312 取得部
315 通信部
316 出力部
322、601~605 ベクタデータ
323 明度情報
331 データベース
401 コンクリート壁面
402 光源
412 光
701 計算対象ライン
801 分岐点
901 黒線領域
902 計算対象位置
903 計算対象領域
1001-1~1001-3、1002-1~1002-3、1003-1~1003-3、1011-1~1011-3、1012-1~1012-3、1013-1~1013-3 グラフ
1401 CPU
1402 メモリ
1403 入力装置
1404 出力装置
1405 補助記憶装置
1406 媒体駆動装置
1407 ネットワーク接続装置
1408 バス
1409 可搬型記録媒体

Claims (5)

  1. 撮像装置によって撮影された物体の画像から線状領域を抽出し、
    前記線状領域の長さ方向に離れた複数の位置それぞれにおいて、前記線状領域を横断する方向における明度変化を求め、
    前記複数の位置における明度変化に基づいて、前記線状領域の種別を特定する、
    処理をコンピュータに実行させるための画像処理プログラムであって、
    前記物体に対し第1の角度で第1の色の光が照射され撮影された第1の画像から抽出された線状領域と、前記物体に対して前記第1の角度よりも小さな第2の角度で第2の色の光が照射され撮影された第2の画像から抽出された前記線状領域とを重ね合わせて、一方の前記線状領域の幅が、他方の前記線状領域の幅よりも太い場合、太い方の前記線状領域に立体物の影が含まれていると判定する、
    処理を、更にコンピュータに実行させるための画像処理プログラム。
  2. 前記複数の位置のいずれかの明度変化において、明度の最小値以外の極値が存在するか否かに基づいて、前記線状領域の種別を特定する処理をコンピュータに実行させることを特徴とする請求項1記載の画像処理プログラム。
  3. 複数の種別それぞれに対応付けて登録された、線状領域の複数の位置における明度変化を示す第1統計値を取得し、取得した第1統計値と、前記複数の画像それぞれから抽出された線状領域の複数の位置における明度変化を示す第2統計値とを比較し、前記第1統計値と前記第2統計値とを比較した比較結果に基づいて、前記線状領域の種別を特定する処理をコンピュータに実行させることを特徴とする請求項1または2に記載の画像処理プログラム。
  4. 撮像装置によって撮影された物体の画像を記憶する記憶部と、
    前記物体の画像から線状領域を抽出する抽出部と、
    前記線状領域の長さ方向に離れた複数の位置それぞれにおいて、前記線状領域を横断する方向における明度変化を求め、前記複数の位置における明度変化に基づいて、前記線状領域の種別を特定する特定部と、
    を備え、
    前記特定部は、前記物体に対し第1の角度で第1の色の光が照射され撮影された第1の画像から抽出された線状領域と、前記物体に対して前記第1の角度よりも小さな第2の角度で第2の色の光が照射され撮影された第2の画像から抽出された前記線状領域とを重ね合わせて、一方の前記線状領域の幅が、他方の前記線状領域の幅よりも太い場合、太い方の前記線状領域に立体物の影が含まれていると判定することを特徴とする画像処理装置。
  5. コンピュータにより実行される画像処理方法であって、
    前記コンピュータが、
    撮像装置によって撮影された物体の画像から線状領域を抽出し、
    前記線状領域の長さ方向に離れた複数の位置それぞれにおいて、前記線状領域を横断する方向における明度変化を求め、
    前記複数の位置における明度変化に基づいて、前記線状領域の種別を特定する、
    ことを含み、
    前記コンピュータが、前記物体に対し第1の角度で第1の色の光が照射され撮影された第1の画像から抽出された線状領域と、前記物体に対して前記第1の角度よりも小さな第2の角度で第2の色の光が照射され撮影された第2の画像から抽出された前記線状領域とを重ね合わせて、一方の前記線状領域の幅が、他方の前記線状領域の幅よりも太い場合、太い方の前記線状領域に立体物の影が含まれていると判定する、
    ことを更に含む、画像処理方法。
JP2018112612A 2018-06-13 2018-06-13 画像処理プログラム、画像処理装置、及び画像処理方法 Active JP7187830B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018112612A JP7187830B2 (ja) 2018-06-13 2018-06-13 画像処理プログラム、画像処理装置、及び画像処理方法
US16/416,491 US11145045B2 (en) 2018-06-13 2019-05-20 Image processing program, image processing apparatus, and image processing method
EP19175943.0A EP3582180B1 (en) 2018-06-13 2019-05-22 Image processing program, image processing apparatus, and image processing method
CN201910490721.8A CN110610473B (zh) 2018-06-13 2019-06-06 图像处理设备和图像处理方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018112612A JP7187830B2 (ja) 2018-06-13 2018-06-13 画像処理プログラム、画像処理装置、及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2019215258A JP2019215258A (ja) 2019-12-19
JP7187830B2 true JP7187830B2 (ja) 2022-12-13

Family

ID=66826803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018112612A Active JP7187830B2 (ja) 2018-06-13 2018-06-13 画像処理プログラム、画像処理装置、及び画像処理方法

Country Status (4)

Country Link
US (1) US11145045B2 (ja)
EP (1) EP3582180B1 (ja)
JP (1) JP7187830B2 (ja)
CN (1) CN110610473B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112534240A (zh) * 2018-07-24 2021-03-19 玻璃技术公司 用于测量波形玻璃片的表面的系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002022419A (ja) 2000-07-10 2002-01-23 Sankyo Eng Kk クラック幅測定装置
JP2002228417A (ja) 2001-02-01 2002-08-14 Shinei Denshi Keisokki Kk クラック測定装置
JP2006118913A (ja) 2004-10-20 2006-05-11 West Japan Railway Co ひび割れ検出方法及び装置
US20130034298A1 (en) 2011-08-04 2013-02-07 University Of Southern California Image-based crack detection
JP2014006219A (ja) 2012-06-27 2014-01-16 Sumitomo Mitsui Construction Co Ltd ひび割れ検知装置、及びひび割れ検知方法
JP2017211314A (ja) 2016-05-26 2017-11-30 東急建設株式会社 変状部の検出方法及び変状部の検査装置
JP2017227466A (ja) 2016-06-20 2017-12-28 富士フイルム株式会社 計測支援装置及び計測支援方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5839936A (ja) 1981-09-03 1983-03-08 Matsushita Electric Works Ltd 表面欠陥検出装置
JP2002319021A (ja) * 2001-04-19 2002-10-31 Murata Mfg Co Ltd 二値化処理方法、外観検査方法および外観検査装置
KR20090126362A (ko) * 2008-06-04 2009-12-09 한국과학기술원 균열 측정 방법 및 측정 장치
JP2012098045A (ja) * 2010-10-29 2012-05-24 Mitsubishi Electric Corp クラック検出装置及びクラック検出プログラム
JP5645730B2 (ja) * 2011-03-25 2014-12-24 公益財団法人鉄道総合技術研究所 コンクリート表面の閉合ひび割れ検出方法
WO2017061318A1 (ja) * 2015-10-06 2017-04-13 日本碍子株式会社 セラミックス体の表面検査方法
JP6833366B2 (ja) * 2016-07-06 2021-02-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP6702097B2 (ja) * 2016-09-02 2020-05-27 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002022419A (ja) 2000-07-10 2002-01-23 Sankyo Eng Kk クラック幅測定装置
JP2002228417A (ja) 2001-02-01 2002-08-14 Shinei Denshi Keisokki Kk クラック測定装置
JP2006118913A (ja) 2004-10-20 2006-05-11 West Japan Railway Co ひび割れ検出方法及び装置
US20130034298A1 (en) 2011-08-04 2013-02-07 University Of Southern California Image-based crack detection
JP2014006219A (ja) 2012-06-27 2014-01-16 Sumitomo Mitsui Construction Co Ltd ひび割れ検知装置、及びひび割れ検知方法
JP2017211314A (ja) 2016-05-26 2017-11-30 東急建設株式会社 変状部の検出方法及び変状部の検査装置
JP2017227466A (ja) 2016-06-20 2017-12-28 富士フイルム株式会社 計測支援装置及び計測支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hoang-Nam Nguyen,A Novel Automatic Concrete Surface Crack Identification Using Isotropic Undecimated Wavelet Transform,2012 International Symposium on Intelligent Signal Processing and Communicaions Systems, IEEE,2012年11月,p.766-771

Also Published As

Publication number Publication date
US11145045B2 (en) 2021-10-12
EP3582180B1 (en) 2020-10-28
CN110610473A (zh) 2019-12-24
US20190385295A1 (en) 2019-12-19
CN110610473B (zh) 2023-05-09
EP3582180A1 (en) 2019-12-18
JP2019215258A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
TWI787296B (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
CN109993086B (zh) 人脸检测方法、装置、系统及终端设备
US7751639B1 (en) Obtaining intrinsic images
JP5086970B2 (ja) 木材の外観検査装置、木材の外観検査方法
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
JP6052590B2 (ja) 自動車車体の表面検査装置および表面検査方法
CN105718931B (zh) 用于确定采集图像中的杂斑的系统和方法
JP2009133085A (ja) トンネル覆工のひび割れ検査装置
KR101549495B1 (ko) 문자 추출 장치 및 그 방법
TWI512284B (zh) 玻璃氣泡瑕疵檢測系統
JP2018096908A (ja) 検査装置及び検査方法
JP2014067193A (ja) 画像処理装置および画像処理方法
CA3194402A1 (en) A line clearance system
JP2014020926A (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP4322230B2 (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP7187830B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US20150260973A1 (en) Focus determination apparatus, focus determination method, and imaging apparatus
Haik et al. A novel inspection system for variable data printing using deep learning
JP5475167B1 (ja) ワーク検出装置及びワーク検出方法
JP2005241304A (ja) 外観検査方法
TWI510776B (zh) 玻璃氣泡瑕疵檢測處理方法
CN110441315B (zh) 电子部件测试设备和方法
JP4115378B2 (ja) 欠陥検出方法
KR20150009842A (ko) 카메라 모듈용 결함 픽셀 평가 시스템 및 이를 사용한 카메라 모듈용 결함 픽셀 평가 방법
JP2005309717A (ja) マーカ処理方法、マーカ処理装置、プログラム、および、記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220228

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7187830

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150