JP6702097B2 - 画像処理プログラム、画像処理方法および画像処理装置 - Google Patents

画像処理プログラム、画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP6702097B2
JP6702097B2 JP2016172039A JP2016172039A JP6702097B2 JP 6702097 B2 JP6702097 B2 JP 6702097B2 JP 2016172039 A JP2016172039 A JP 2016172039A JP 2016172039 A JP2016172039 A JP 2016172039A JP 6702097 B2 JP6702097 B2 JP 6702097B2
Authority
JP
Japan
Prior art keywords
image
unit
pixels
image processing
crack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016172039A
Other languages
English (en)
Other versions
JP2018036226A (ja
Inventor
悠介 野中
悠介 野中
瀬川　英吾
英吾 瀬川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016172039A priority Critical patent/JP6702097B2/ja
Priority to US15/633,266 priority patent/US10229338B2/en
Priority to CN201710580487.9A priority patent/CN107817246B/zh
Publication of JP2018036226A publication Critical patent/JP2018036226A/ja
Application granted granted Critical
Publication of JP6702097B2 publication Critical patent/JP6702097B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Description

本発明は、画像処理プログラム等に関する。
作業員によって、橋やトンネルなどの構造物の壁面にひび割れがあるか否かの点検が行われている。作業員による点検の負担を減らすために、遠隔から構造物の壁面を撮影し、撮影した画像からひび割れを検出する従来技術がある。画像からひび割れを検出する従来技術の一例として、従来技術１および従来技術２について説明する。
従来技術１では、ひび割れ候補を、長い直線がつながれた折れ線と見立て、折れ線の各局所部分の線分らしさと、各局所部分をつなぎ合わせた場合の折れ線らしさに基づいて、ひび割れ候補が、ひび割れであるか否かを判定する。従来技術１では、線分らしさとして、局所部分の線分と近似直線との類似度を利用し、折れ線らしさとしては、折れ線を構成する各線分の線分らしさを利用する。
従来技術２は、ひび割れ候補の傾きが水平または垂直方向に延びる直線の場合に、ひび割れでないと判定するものである。
特開２００５−１１４６７１号公報 特開２０１３−１１７４０９号公報
しかしながら、上述した従来技術では、対象がひび割れかどうかの判定精度が悪いという問題がある。
例えば、壁面には、ひび割れ以外にも、汚れや構造物の溝など、ひび割れと類似した特徴を持つものがある。図１６は、ひび割れと汚れと構造物の溝の一例を示す図である。図１６に示すように、ひび割れ１ａ、汚れ１ｂ、構造物の溝１ｃは、類似した特徴を有しており、ひび割れを正確に識別することは難しい。
従来技術１では、直線状でない汚れを、ひび割れでないと判定することができるが、構造物の溝のような直線状のものをひび割れであると誤判定する場合がある。また、従来技術１では、ひび割れであっても、折れ線を構成する線分が短いと、局所部分の線分と近似直線との類似度が低くなり、ひび割れの検出に失敗する場合がある。
従来技術２では、壁を撮影する場合に、構造物の溝を水平または垂直に設定していないと、構造物の溝をひび割れであると誤検出する場合がある。
１つの側面では、本発明は、対象がひび割れかどうかの判定精度を向上することができる画像処理プログラム、画像処理方法および画像処理装置を提供することを目的とする。
第１の案では、コンピュータに下記の処理を実行させる。コンピュータは、撮像装置を用いて撮像された画像を二値化して暗領域を特定する。コンピュータは、特定した暗領域を細線化処理することで、暗領域に対応する線画像を生成する。コンピュータは、生成した線画像を構成する画素群の中から所定の閾値以上の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第１の分散を算出する。コンピュータは、線画像を構成する画素群の中から所定の閾値未満の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第２の分散を算出する。コンピュータは、算出した第１の分散と第２の分散とに基づいて、暗領域を評価する。
対象がひび割れかどうかの判定精度を向上することができる。
図１は、本実施例１に係る画像処理装置の構成を示す機能ブロック図である。 図２は、本実施例１に係るラベルテーブルのデータ構造の一例を示す図である。 図３は、生成部の細線化処理の一例を示す図である。 図４は、本実施例１に係る判定部の処理を説明するための図（１）である。 図５は、本実施例１に係る判定部の処理を説明するための図（２）である。 図６は、本実施例１に係る画像処理装置の処理手順を示すフローチャートである。 図７は、本実施例２に係る画像処理装置の構成を示す機能ブロック図である。 図８は、結合部の処理を説明するための図である。 図９は、本実施例２に係る画像処理装置の処理手順を示すフローチャートである。 図１０は、本実施例３に係る画像処理装置の構成を示す機能ブロック図である。 図１１は、本実施例３に係る画像処理装置の処理手順を示すフローチャートである。 図１２は、本実施例４に係る画像処理装置の構成を示す機能ブロック図である。 図１３は、履歴テーブルのデータ構造の一例を示す図である。 図１４は、本実施例４に係る画像処理装置の処理手順を示すフローチャートである。 図１５は、画像処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図１６は、ひび割れと汚れと構造物の溝の一例を示す図である。
以下に、本願の開示する画像処理プログラム、画像処理方法および画像処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図１は、本実施例１に係る画像処理装置の構成を示す機能ブロック図である。図１に示すように、この画像処理装置１００は、撮像部１１０と、通信部１２０と、入力部１３０と、表示部１４０と、記憶部１５０と、制御部１６０とを有する。
撮像部１１０は、撮像範囲に含まれる画像を撮影するカメラである。例えば、撮像部１１０は、ひび割れの検出対象となる物体の画像を撮影する。撮像部１１０は、所定時刻毎に画像を撮影してもよいし、撮影命令を受け付けた場合に、画像を撮影してもよい。また、撮像部１１０を、小型無人航空機に搭載して、画像を撮影しても良い。
撮像部１１０は、撮影した画像の情報を、制御部１６０に出力する。以下の説明では、適宜、撮像部１１０が撮像した画像の情報を、画像データと表記する。図１では説明を省略するが、撮像部１１０は、ネットワークを介して画像処理装置１００に接続し、画像データを画像処理装置１００に送信してもよい。
通信部１２０は、ネットワークを介して、管理者等が使用する外部装置と通信を行う処理部である。通信部１２０は、ＮＩＣ（Network Interface Card）等の通信装置に対応する。
入力部１３０は、各種の情報を制御部１６０に入力するための入力装置である。例えば、入力部１３０は、キーボードやマウス、タッチパネル等に対応する。
表示部１４０は、制御部１６０の処理結果を表示する表示装置である。例えば、表示部１４０は、液晶ディスプレイやタッチパネル等に対応する。
記憶部１５０は、画像テーブル１５１と、ラベルテーブル１５２とを有する。記憶部１５０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。
画像テーブル１５１は、撮像部１１０に撮影された画像データを格納するテーブルである。
ラベルテーブル１５２は、ひび割れラベルに関する情報を格納するテーブルである。ひび割れラベルに関する説明や、ラベルテーブル１５２のデータ構造に関する説明は後述する。
制御部１６０は、取得部１６１と、特定部１６２と、生成部１６３と、算出部１６４と、評価部１６５とを有する。制御部１６０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。
取得部１６１は、撮像部１１０から画像データを取得する処理部である。取得部１６１は、撮像部１１０から画像データを取得する度に、取得した画像データを、画像テーブル１５１に登録する。
特定部１６２は、画像データを画像テーブル１５１から取得し、画像データを二値化して暗領域を特定する処理部である。例えば、特定部１６２は、判別分析法やNiblack法等の技術を用いて、画像データを二値化することで、二値画像を生成する。特定部１５２は、二値画像において、暗領域が連結している部分を同一部分としてラベル付けを行う。以下の説明では、ラベル付けの行われた暗領域が連結している部分をひび割れラベルと表記する。特定部１６２は、ひび割れラベルの情報を、ラベルテーブル１５２に登録する。
図２は、本実施例１に係るラベルテーブルのデータ構造の一例を示す図である。図２に示すように、このラベルテーブル１５２は、ラベル識別情報と、領域情報と、ひび割れ幅と、第１の分散と、第２の分散とを対応付ける。ラベル識別情報は、ひび割れラベルを一意に識別する情報である。領域情報はひび割れラベルに含まれる各画素の位置座標を有する。ひび割れ幅は、ひび割れラベルの幅に対応するものであり、後述する生成部１６３によって算出される。第１の分散および第２の分散は、後述する算出部１６４によって算出される。
生成部１６３は、ラベルテーブル１５２からひび割れラベルの情報を取得し、細線化したひび割れラベルを生成する処理部である。例えば、生成部１６３は、ひび割れラベルの長方向と短方向のうち、短方向の画素数を１に変更することで、ひび割れラベルの細線化を行う。
図３は、生成部の細線化処理の一例を示す図である。図３に示すように、生成部１６３は、ひび割れラベル１０Ａを、短方向の画素数を１にすることで、ひび割れラベル１０Ｂに細線化する。また、生成部１６３は、細線化前のひび割れラベル１０Ａの画素数を、細線化後のひび割れラベ１０Ｂルの画素数で除算することで、ひび割れ幅を算出する。生成部１６３は、細線化後のひび割れラベル１０Ｂによって、ラベルテーブル１５２の領域情報を更新し、対応するひび割れ幅の情報を登録する。生成部１６３は、細線化前のひび割れラベルに対して、上記の細線化処理を繰り返し実行する。以下の説明では、細線化後のひび割れラベルを単に、ひび割れラベルと表記する。
算出部１６４は、ひび割れラベルを構成する画素群から所定の閾値以上の距離離れた２画素の組を複数特定し、特定した組の２画素をつなぐ線の勾配の第１の分散を組毎に算出する。また、算出部１６４は、ひび割れラベルを構成する画素群から所定の閾値未満の距離離れた２画素の組を複数特定し、特定した組の２画素をつなぐ線の勾配の第２の分散を組毎に算出する。
図４および図５は、本実施例１に係る判定部の処理を説明するための図である。図４について説明する。ここでは一例として、選択したひび割れラベルをひび割れラベル２０Ａとする。算出部１６４は、ひび割れラベル２０Ａを構成する画素群から所定の閾値以上の距離離れた２画素の組を特定する。図４に示す例では、算出部１６４は、画素２１ａ，２１ｂの組、画素２２ａ，２２ｂの組、画素２３ａ，２３ｂの組を特定する。画素２１ａと画素２１ｂとをつなぐ線を、線２１ｃとする。画素２２ａと画素２２ｂとをつなぐ線を、線２２ｃとする。画素２３ａと画素２３ｂとをつなぐ線を、線２３ｃとする。
算出部１６４は、線２１ｃ，２２ｃ，２３ｃの勾配の分散を算出することで、第１の分散を算出する。
図５について説明する。ここでは一例として、選択したひび割れラベルをひび割れラベル２０Ａとする。算出部１６４は、ひび割れラベル２０Ａを構成する画素群から所定の閾値未満の距離離れた２画素の組を特定する。図５に示す例では、算出部１６４は、画素３１ａ，３１ｂの組、画素３２ａ，３２ｂの組、画素３３ａ，３３ｂの組と特定する。画素３１ａと画素３１ｂとをつなぐ線を、線３１ｃとする。画素３２ａと画素３２ｂとをつなぐ線を、線３２ｃとする。画素３３ａと画素３３ｂとをつなぐ線を、線３３ｃとする。
算出部１６４は、線３１ｃ，３２ｃ，３３ｃの勾配の分散を算出することで、第２の分散を算出する。
算出部１６４は、ひび割れラベル２０Ａに対応する第１の分散および第２の分散の情報を、ラベルテーブル１５２に登録する。算出部１６４は、他のひび割れラベルについても、上記の第１の分散および第２の分散を算出する処理を繰り返し実行し、算出結果をラベルテーブル１５２に登録する。
評価部１６５は、ラベルテーブル１５２の各ひび割れラベルを評価して、ひび割れに該当するひび割れラベルを特定する処理部である。具体的に、評価部１６５は、第１の分散が基準分散値よりも小さく、かつ、第２の分散が基準分散値よりも大きくなるひび割れラベルを、ひび割れであると判定する。
なお、評価部１６５は、評価対象となるひび割れラベルのひび割れ幅に応じて、基準分散値を調整する。例えば、評価部１６５は、基準分散値とひび割れ幅とを対応付けたテーブル（図示を省略する）と、評価対象となるひび割れラベルのひび割れ幅とを比較して、評価に用いる基準分散値を特定する。なお、テーブルにおいて、基準分散値は、ひび割れ幅が大きいほど、値が大きくなる。
評価部１６５は、各ひび割れラベルについて、評価する処理を繰り返し実行することで、ひび割れとなるひび割れラベルを特定する。評価部１６５は、ひび割れと判定したひび割れラベルの位置を示す画像情報を生成して、表示部１４０に表示する。
次に、本実施例１に係る画像処理装置１００の処理手順について説明する。図６は、本実施例１に係る画像処理装置の処理手順を示すフローチャートである。図６に示すように、画像処理装置１００の取得部１６１は、画像データを取得する（ステップＳ１０１）。画像処理装置１００の特定部１６２は、二値画像データを生成する（ステップＳ１０２）。特定部１６２は、ひび割れラベルを抽出する（ステップＳ１０３）。
画像処理装置１００の算出部１６４は、未選択のひび割れラベルを選択し（ステップＳ１０４）、ひび割れ幅を推定する（ステップＳ１０５）。画像処理装置１００の評価部１６５は、全体の形状に基づくひび割れの判定を行う（ステップＳ１０６）。ステップＳ１０６において、評価部１６５は、選択したひび割れラベルについて、第１の分散が基準分散値よりも小さいか否かを判定する。
評価部１６５は、局所的な形状に基づくひび割れの判定を行う（ステップＳ１０７）。ステップＳ１０７において、評価部１６５は、選択したひび割れラベルについて、第２の分散が基準分散値よりも大きくなるか否かを判定する。
評価部１６５は、判定結果を統合する（ステップＳ１０８）。ステップＳ１０８において、評価部１６５は、第１の分散が基準分散値よりも小さく、かつ、第２の分散が基準分散値よりも大きくなる場合に、選択したひび割れラベルを、ひび割れであると判定する。
評価部１６５は、未選択のひび割れラベルが存在するか否かを判定する（ステップＳ１０９）。評価部１６５は、未選択のひび割れラベルが存在する場合には（ステップＳ１０９，Ｙｅｓ）、ステップＳ１０４に移行する。
一方、評価部１６５は、未選択のひび割れラベルが存在しない場合には（ステップＳ１０９，Ｎｏ）、ひび割れの抽出結果を出力する（ステップＳ１１０）。
次に、本実施例１に係る画像処理装置１００の効果について説明する。画像処理装置１００は、第１の分散が基準分散値よりも小さく、かつ、第２の分散が基準分散値よりも大きくなる場合に、選択したひび割れラベルを、ひび割れであると判定する。これにより、対象がひび割れかどうかの判定精度を向上することができる。
ひび割れは、全体的にみると同一の方向に進んでおり、局所的にみるとばらばらの方向に進む。一方、汚れや構造物の溝は、上記のようなひび割れの特徴を有さない。このため、画像処理装置１００のように、全体的にひび割れラベルを見た場合の第１の分散と、局所的にひび割れラベルを見た場合の第２の分散とを用いることで、ひび割れを正確に特定することができる。
図７は、本実施例２に係る画像処理装置の構成を示す機能ブロック図である。図７に示すように、この画像処理装置２００は、撮像部１１０と、通信部１２０と、入力部１３０と、表示部１４０と、記憶部１５０と、制御部２１０とを有する。撮像部１１０、通信部１２０、入力部１３０、表示部１４０、記憶部１５０に関する説明は、図１で説明した撮像部１１０、通信部１２０、入力部１３０、表示部１４０、記憶部１５０に関する説明と同様である。
制御部２１０は、取得部１６１と、特定部１６２と、生成部１６３と、算出部１６４と、評価部２１１と、結合部２１２とを有する。制御部２１０は、ＣＰＵやＭＰＵなどによって実現できる。また、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。取得部１６１、特定部１６２、生成部１６３、算出部１６４に関する説明は、図１で説明した取得部１６１、特定部１６２、生成部１６３、算出部１６４に関する説明と同様である。
評価部２１１は、ラベルテーブル１５２の各ひび割れラベルを評価して、ひび割れに該当するひび割れラベルを特定する処理部である。評価部２１１が、各ひび割れラベルを評価する処理は、実施例１で説明した評価部１６５の処理と同様である。評価部２１１は、各ひび割れラベルを評価し、ひび割れに該当しないひび割れラベルのラベル識別情報を出力する。
評価部２１１は、後述する結合部２１２の処理結果により結合されたひび割れラベルについて、再度評価を行い、ひび割れに該当するひび割れラベルを特定する処理を実行する。
結合部２１２は、評価部２１１によって、ひび割れに該当しないと評価された複数のひび割れラベルから、２つのひび割れラベルを選択し、選択した各ひび割れラベルが、所定の条件を満たす場合に、選択した各ひび割れラベルを結合する処理部である。
図８は、結合部の処理を説明するための図である。図８において、結合部２１２は、ひび割れラベル４０，４１を選択する場合について説明する。結合部２１２は、ひび割れラベル４０，４１に含まれる画素のうち、最も近い画素の組み合わせを選択する。例えば、結合部２１２は、ひび割れラベル４０内の画素４０Ａと、ひび割れラベル４１内の画素４１Ａとを選択する。結合部２１２は、画素４０Ａと画素４１Ａとの距離が閾値未満である場合に、以降の処理を実行する。
結合部２１２は、画素４０Ａから画素４０Ａの線方向に垂直な方向に伸ばした直線４０Ｂを求める。結合部２１２は、画像４０Ｂから画素４０Ｂの線方向に垂直な方向に伸ばした直線４１Ｂを求める。結合部２１２は、直線４０Ｂと直線４１Ｂとの交点４５を求める。
結合部２１２は、ひび割れラベル４０と、線分４０Ａ，４５上の画素と、線分４５，４１Ａ上の画素と、ひび割れラベル４１とをまとめたものを、１つのひび割れラベル４６として結合する。結合部２１２は、結合したひび割れラベル４６の情報を、ラベルテーブル１５２に登録する。
一方、結合部２１２は、画素４０Ａと画素４１Ａとの距離が閾値以上である場合に、上記の結合する処理をスキップし、他のひび割れラベルの組を選択する。そして、結合部２１２は、最も近い画素の組み合わせを選択し、各画素の距離が閾値以上であるか否かを判定する処理に戻る。
結合部２１２は、未選択となる、ひび割れに該当しないと評価された複数のひび割れラベルの組についても、上記処理を繰り返し実行する。
次に、本実施例２に係る画像処理装置２００の処理手順について説明する。図９は、本実施例２に係る画像処理装置の処理手順を示すフローチャートである。図９に示すように、画像処理装置２００の取得部１６１は、画像データを取得する（ステップＳ２０１）。画像処理装置２００の特定部１６２は、二値画像データを生成する（ステップＳ２０２）。特定部１６２は、ひび割れラベルを抽出する（ステップＳ２０３）。
画像処理装置２００の評価部２１１は、ひび割れ判定処理を実行する（ステップＳ２０４）。ステップＳ２０４に示すひび割れ判定処理は、図６に示したステップＳ１０４〜Ｓ１０９の処理に対応する。
画像処理装置２００の結合部２１２は、ひび割れに該当しないと評価されたひび割れラベルの組を選択する（ステップＳ２０５）。結合部２１２は、ひび割れラベル間で最も距離が近い点（画素）を探索する（ステップＳ２０６）。
結合部２１２は、各点の距離が閾値未満である場合に、２つのひび割れラベルを結合することで、新たな一つのひび割れラベルを生成する（ステップＳ２０７）。評価部２１１は、新たなひび割れラベルについて、ひび割れ判定処理を実行する（ステップＳ２０８）。ステップＳ２０８に示すひび割れ判定処理は、図６に示したステップＳ１０４〜Ｓ１０９の処理に対応する。なお、処理対象となるひび割れラベルは、結合部２１２によって結合された新たなひび割れラベルとなる。評価部２１１は、ひび割れの抽出結果を出力する（ステップＳ２０９）。
次に、本実施例２に係る画像処理装置２００の効果について説明する。画像処理装置２００は、ひび割れに該当しないと判定したひび割れラベルについて、所定の条件を満たす場合に、各ひび割れラベルを結合し、結合したひび割れラベルについて、再度、評価を行う。途切れたひび割れが直線状だった場合には、ひび割れでないと評価されてしまうが、上記結合処理により、途切れたひび割れも検出することができる。
また、本実施例２に係る画像処理装置２００は、ひび割れでないと評価された各ひび割れラベルに含まれる画素のうち、最も近い画素の組み合わせを選択し、選択した画素の距離が閾値未満である場合に、結合する処理を実行する。これにより、ひび割れラベルの誤結合を抑止することができる。また、結合のあり得ないひび割れラベルの組を処理対象から早期に棄却することができるため、処理負荷を軽減することもできる。
図１０は、本実施例３に係る画像処理装置の構成を示す機能ブロック図である。図１０に示すように、この画像処理装置３００は、撮像部１１０と、通信部１２０と、入力部１３０と、表示部１４０と、記憶部１５０と、制御部３１０とを有する。撮像部１１０、通信部１２０、入力部１３０、表示部１４０、記憶部１５０に関する説明は、図１で説明した撮像部１１０、通信部１２０、入力部１３０、表示部１４０、記憶部１５０に関する説明と同様である。
制御部３１０は、取得部１６１と、特定部１６２と、生成部１６３と、算出部１６４と、評価部１６５と、合成部３１１と、出力部３１２とを有する。制御部３１０は、ＣＰＵやＭＰＵなどによって実現できる。また、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。取得部１６１、特定部１６２、生成部１６３、算出部１６４、評価部１６５に関する説明は、図１で説明した取得部１６１、特定部１６２、生成部１６３、算出部１６４、評価部１６５に関する説明と同様である。
合成部３１１は、画像テーブル１５１に格納された各画像データを合成することで、対象物全体の写った１枚の合成画像データを生成する処理部である。例えば、合成部３１１は、文献（「画像特徴に基づくイメージモザイキング」、千葉直樹、蚊野浩、美濃導彦、安田昌司、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ、Ｎｏ．１０、ｐｐ．１５８１−１５８９）に基づいて、各画像データを合成する。合成部３１１は、合成した合成画像データを、画像テーブル１５１に登録する。
特定部１６２、生成部１６３、算出部１６４、評価部１６５の処理は、基本的には、図１で説明した、特定部１６２、生成部１６３、算出部１６４、評価部１６５と同様の処理を実行する。なお、特定部１６２、生成部１６３、算出部１６４、評価部１６５は、合成画像データを構成する複数の画像データそれぞれについて、ひび割れを評価しても良いし、合成画像データを、１枚の画像データとして、ひび割れの評価を行っても良い。
出力部３１２は、評価部１６５の評価結果を取得し、ひび割れと判定されたひび割れラベルを特定する。出力部３１２は、画像テーブル１５１から合成画像データを取得し、合成画像データ上のひび割れと判定されたひび割れラベルの位置に印をつけた出力画像を生成し、生成した出力画像を、表示部１４０に出力して表示させる。例えば、出力部３１２は、合成画像データに対して、ひび割れラベルの部分の画素を所定の色で塗りつぶすことで、合成画像データ上のひび割れを可視化する。
次に、本実施例３に係る画像処理装置３００の処理手順について説明する。図１１は、本実施例３に係る画像処理装置の処理手順を示すフローチャートである。図１１に示すように、画像処理装置３００の取得部１６１は、複数の画像データを取得する（ステップＳ３０１）。画像処理装置３００の合成部３１１は、複数の画像データを合成することで、合成画像データを生成する（ステップＳ３０２）。
画像処理装置３００の特定部１６２は、二値画像データを生成する（ステップＳ３０３）。特定部１６２は、ひび割れラベルを抽出する（ステップＳ３０４）。
画像処理装置３００の評価部１６５は、ひび割れ判定処理を実行する（ステップＳ３０５）。ステップＳ３０５に示すひび割れ判定処理は、実施例１の図６に示したステップＳ１０４〜Ｓ１０９の処理に対応する。
画像処理装置３００の出力部３１２は、出力画像を生成する（ステップＳ３０６）。出力部３１２は、出力画像を表示部１４０に表示させる（ステップＳ３０７）。
次に、本実施例３に係る画像処理装置３００の効果について説明する。画像処理装置３００は、画像テーブル１５１に格納された各画像データを合成することで、対象物全体の写った１枚の合成画像データを生成し、合成画像データに対して、ひび割れの評価を実行する。このため、ひび割れを検出する対象が、１枚の画像データに収まらなくても、対象物全体の合成画像データを生成して、ひび割れの評価結果を通知することができる。
図１２は、本実施例４に係る画像処理装置の構成を示す機能ブロック図である。図１２に示すように、この画像処理装置４００は、撮像部１１０と、通信部１２０と、入力部１３０と、表示部１４０と、記憶部４１０と、制御部４２０とを有する。撮像部１１０、通信部１２０、入力部１３０、表示部１４０に関する説明は、図１で説明した撮像部１１０、通信部１２０、入力部１３０、表示部１４０に関する説明と同様である。
なお、撮像部１１０の撮像範囲は、固定されているものとする。また、撮像部１１０は、画像を撮像した日時の情報を、画像データに添付して、制御部４２０に出力する。
記憶部４１０は、画像テーブル１５１と、ラベルテーブル１５２と、履歴テーブル４１１とを有する。記憶部４１０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。画像テーブル１５１、ラベルテーブル１５２に関する説明は、図１に示した画像テーブル１５１、ラベルテーブル１５２に関する説明と同様である。
履歴テーブル４１１は、ひび割れと評価されたひび割れラベルの情報を、撮影日時の情報と対応付けて格納するテーブルである。図１３は、履歴テーブルのデータ構造の一例を示す図である。図１３に示すように、この履歴テーブル４１１は、撮影日時と、ラベル識別情報と、領域情報とを対応付ける。撮影日時は、画像データを撮影した日時を示すものである。ラベル識別情報は、ひび割れと評価されたひび割れラベルを一意に識別する情報である。領域情報は、ひび割れと評価されたひび割れラベルに含まれる各画素の位置座標を有する。
制御部４２０は、取得部１６１と、特定部１６２と、生成部１６３と、算出部１６４と、合成部３１１と、評価部４２１と、判定部４２２とを有する。制御部４２０は、ＣＰＵやＭＰＵなどによって実現できる。また、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。取得部１６１、特定部１６２、生成部１６３、算出部１６４に関する説明は、図１で説明した取得部１６１、特定部１６２、生成部１６３、算出部１６４に関する説明と同様である。合成部３１１に関する説明は、図１０で説明した合成部３１１に関する説明と同様である。
評価部４２１は、ラベルテーブル１５２の各ひび割れラベルを評価して、ひび割れに該当するひび割れラベルを特定する処理部である。評価部４２１が、ひび割れに該当するひび割れラベルを特定する処理は、図１で説明した評価部１６５の処理と同様である。
評価部４２１は、ひび割れに該当するひび割れラベルのラベル識別情報および領域情報を、撮影日時と対応付けて、履歴テーブル４１１に登録する。評価部４２１は、撮影日時の情報として、撮像部１１０から取得する画像データに添付されている、画像を撮影した日時の情報を利用する。
判定部４２２は、ひび割れに関する過去の評価結果と、現在の評価結果とを基にして、ひび割れと評価されたひび割れラベルの領域が増加しているか否かを判定する処理部である。判定部４２１は、ひび割れラベルの領域が増加している場合に、ひび割れの領域が増加した旨を、通知する。例えば、判定部４２２は、ネットワークを介して管理者の端末装置にひび割れが増加した旨の警告を通知する。
例えば、判定部４２２は、履歴テーブル４１１を参照して、最新の撮影日時に対応する領域情報と、最新の撮影日時より前の撮影日時となる領域情報を比較し、重複する領域が閾値以上となる領域情報の組を特定する。例えば、重複する領域が閾値以上となる領域情報の組は、撮影日時が異なるが、同一のひび割れと言える。判定部４２２は、特定した領域情報の組について、最新の撮影日時より前の領域情報と比較して、最新の日時に対応する領域情報の領域が閾値以上増加している場合に、ひび割れの領域が増加したと判定する。
次に、本実施例４に係る画像処理装置４００の処理手順について説明する。図１４は、本実施例４に係る画像処理装置の処理手順を示すフローチャートである。図１４に示すように、画像処理装置４００の取得部１６１は、複数の画像データを取得する（ステップＳ４０１）。画像処理装置４００の合成部３１１は、複数の画像データを合成することで、合成画像データを生成する（ステップＳ４０２）。
画像処理装置４００の特定部１６２は、二値画像データを生成する（ステップＳ４０３）。特定部１６２は、ひび割れラベルを抽出する（ステップＳ４０４）。
画像処理装置４００の評価部４２１は、ひび割れ判定処理を実行する（ステップＳ４０５）。ステップＳ４０５に示すひび割れ判定処理は、実施例１の図６に示したステップＳ１０４〜Ｓ１０９の処理に対応する。
評価部４２１は、ひび割れ有りか否かを判定する（ステップＳ４０６）。評価部４２１は、ひび割れがない場合には（ステップＳ４０６，Ｎｏ）、処理を終了する。一方、評価部４２１は、ひび割れがある場合には（ステップＳ４０６，Ｙｅｓ）、ステップＳ４０７に移行する。
評価部４２１は、ひび割れと評価したひび割れラベルの情報を、履歴テーブル４１１に登録する（ステップＳ４０７）。画像処理装置４００の判定部４２２は、過去のひび割れ領域と今回のひび割れ領域とを比較する（ステップＳ４０８）。判定部４２２は、ひび割れ領域が増えていない場合には（ステップＳ４０９，Ｎｏ）、処理を終了する。
一方、判定部４２２は、ひび割れ領域が増加している場合には（ステップＳ４０９，Ｙｅｓ）、警告を出力する（ステップＳ４１０）。
次に、本実施例４に係る画像処理装置４００の効果について説明する。画像処理装置４００は、ひび割れに関する過去の評価結果と、現在の評価結果とを比較して、ひび割れの領域が増加している場合に、ひび割れの領域が増加した旨を、通知する。これにより、管理者等は、ひび割れが増加したことを容易に把握することができる。
次に、上記実施例に示した画像処理装置１００，２００，３００，４００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１５は、画像処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図１５に示すように、コンピュータ５００は、各種演算処理を実行するＣＰＵ５０１と、ユーザからのデータの入力を受け付ける入力装置５０２と、ディスプレイ５０３とを有する。また、コンピュータ５００は、記憶媒体からプログラム等を読み取る読み取り装置５０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置５０５とを有する。コンピュータ５００は、カメラ５０６を有する。また、コンピュータ５００は、各種情報を一時記憶するＲＡＭ５０７と、ハードディスク装置５０８とを有する。そして、各装置５０１〜５０８は、バス５０９に接続される。
ハードディスク装置５０８は、取得プログラム５０８ａ、合成プログラム５０８ｂ、特定プログラム５０８ｃ、生成プログラム５０８ｄ、算出プログラム５０８ｅ、評価プログラム５０８ｆ、判定プログラム５０８ｇを有する。ＣＰＵ５０１は、取得プログラム５０８ａ、合成プログラム５０８ｂ、特定プログラム５０８ｃ、生成プログラム５０８ｄ、算出プログラム５０８ｅ、評価プログラム５０８ｆ、判定プログラム５０８ｇを読み出してＲＡＭ５０７に展開する。
取得プログラム５０８ａは、取得プロセス５０７ａとして機能する。合成プログラム５０８ｂは、合成プロセス５０７ｂとして機能する。特定プログラム５０８ｃは、特定プロセス５０７ｃとして機能する。生成プログラム５０８ｄは、生成プロセス５０７ｄとして機能する。算出プログラム５０８ｅは、算出プロセス５０７ｅとして機能する。評価プログラム５０８ｆは、評価プロセス５０７ｆとして機能する。判定プログラム５０８ｇは、判定プロセス５０７ｇとして機能する。
取得プロセス５０７ａの処理は、取得部１６１の処理に対応する。合成プロセス５０７ｂの処理は、合成部３１１の処理に対応する。特定プロセス５０７ｃの処理は、特定部１６２の処理に対応する。生成プロセス５０７ｄの処理は、生成部１６３の処理に対応する。算出プロセス５０７ｅの処理は、算出部１６４の処理に対応する。評価プロセス５０７ｆの処理は、評価部１６５，２１１，４２１の処理に対応する。判定プロセス５０７の処理は、判定部４２２の処理に対応する。
なお、各プログラム５０８ａ〜５０８ｇについては、必ずしも最初からハードディスク装置５０８に記憶させておかなくても良い。例えば、コンピュータ５００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ５００が各プログラム５０８ａ〜５０８ｇを読み出して実行するようにしても良い。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）コンピュータに、
撮像装置を用いて撮像された画像を二値化して暗領域を特定し、
特定した前記暗領域を細線化処理することで、前記暗領域に対応する線画像を生成し、
生成した前記線画像を構成する画素群の中から所定の閾値以上の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第１の分散を算出すると共に、前記線画像を構成する画素群の中から前記所定の閾値未満の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第２の分散を算出し、
算出した前記第１の分散と前記第２の分散とに基づいて、前記暗領域が示す対象を評価する
処理を実行させることを特徴とする画像処理プログラム。
（付記２）前記評価する処理は、前記第１の分散が基準分散値よりも小さく、かつ、前記第２の分散が基準分散値よりも大きい場合に、前記暗領域がひび割れであると評価することを特徴とする付記１に記載の画像処理プログラム。
（付記３）前記暗領域の幅に基づいて、前記基準分散値を調整する処理を更にコンピュータに実行させることを特徴とする付記２に記載の画像処理プログラム。
（付記４）前記暗領域を特定する処理において第１暗領域と第２暗領域を特定した場合に、前記第１暗領域を細線化処理して生成した第１線画像に属する画素と前記第２暗領域を細線化処理して生成した第２線画像に属する画素に対して、最も距離の近い組み合わせとなる第１画素と第２画素とを特定し、前記第１画素から該第１線画像の線方向に垂直な方向に伸ばした直線と、前記第２画素から該第２線画像の線方向に垂直な方向に伸ばした直線との交点を特定し、特定した交点まで前記第１暗領域および前記第２暗領域を延長することで、前記第１暗領域および前記第２暗領域を１つの暗領域に結合する処理を更に実行させることを特徴とする付記１、２または３に記載の画像処理プログラム。
（付記５）前記結合する処理は、前記第１画素と前記第２画素との距離が所定距離未満である場合に、前記第１暗領域および前記第２暗領域を１つの暗領域に結合することを特徴とする付記４に記載の画像処理プログラム。
（付記６）前記撮像装置を用いて撮像された複数の画像を合成することで合成画像を生成する処理を更に実行し、前記特定する処理は、前記合成画像から暗領域を特定することを特徴とする付記１〜５のいずれか一つに記載の画像処理プログラム。
（付記７）暗領域の評価結果を基にして、ひび割れと評価された暗領域の位置を示す画像を出力する処理を更に実行することを特徴とする付記２〜６のいずれか一つに記載の画像処理プログラム。
（付記８）前記撮像装置は、小型無人航空機に搭載されていることを特徴とする付記１〜７のいずれか一つに記載の画像処理プログラム。
（付記９）過去の評価結果と、現在の評価結果とを基にして、ひび割れと評価された暗領域が増加しているか否かを判定し、判定結果を出力する処理を更に実行することを特徴とする付記２〜８のいずれか一つに記載の画像処理プログラム。
（付記１０）コンピュータが実行する画像処理方法であって、
撮像装置を用いて撮像された画像を二値化して暗領域を特定し、
特定した前記暗領域を細線化処理することで、前記暗領域に対応する線画像を生成し、
生成した前記線画像を構成する画素群の中から所定の閾値以上の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第１の分散を算出すると共に、前記線画像を構成する画素群の中から前記所定の閾値未満の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第２の分散を算出し、
算出した前記第１の分散と前記第２の分散とに基づいて、前記暗領域が示す対象を評価する
処理を実行することを特徴とする画像処理方法。
（付記１１）前記評価する処理は、前記第１の分散が基準分散値よりも小さく、かつ、前記第２の分散が基準分散値よりも大きい場合に、前記暗領域がひび割れであると評価することを特徴とする付記１０に記載の画像処理方法。
（付記１２）前記暗領域の幅に基づいて、前記基準分散値を調整する処理を更に実行することを特徴とする付記１１に記載の画像処理方法。
（付記１３）前記暗領域を特定する処理において第１暗領域と第２暗領域を特定した場合に、前記第１暗領域を細線化処理して生成した第１線画像に属する画素と前記第２暗領域を細線化処理して生成した第２線画像に属する画素に対して、最も距離の近い組み合わせとなる第１画素と第２画素とを特定し、前記第１画素から該第１線画像の線方向に垂直な方向に伸ばした直線と、前記第２画素から該第２線画像の線方向に垂直な方向に伸ばした直線との交点を特定し、特定した交点まで前記第１暗領域および前記第２暗領域を延長することで、前記第１暗領域および前記第２暗領域を１つの暗領域に結合する処理を更に実行させることを特徴とする付記１０、１１または１２に記載の画像処理方法。
（付記１４）前記結合する処理は、前記第１画素と前記第２画素との距離が所定距離未満である場合に、前記第１暗領域および前記第２暗領域を１つの暗領域に結合することを特徴とする付記１３に記載の画像処理方法。
（付記１５）前記撮像装置を用いて撮像された複数の画像を合成することで合成画像を生成する処理を更に実行し、前記特定する処理は、前記合成画像から暗領域を特定することを特徴とする付記１０〜１４のいずれか一つに記載の画像処理方法。
（付記１６）暗領域の評価結果を基にして、ひび割れと評価された暗領域の位置を示す画像を出力する処理を更に実行することを特徴とする付記１１〜１５のいずれか一つに記載の画像処理方法。
（付記１７）前記撮像装置は、小型無人航空機に搭載されていることを特徴とする付記１０〜１６のいずれか一つに記載の画像処理方法。
（付記１８）過去の評価結果と、現在の評価結果とを基にして、ひび割れと評価された暗領域が増加しているか否かを判定し、判定結果を出力する処理を更に実行することを特徴とする付記１１〜１７のいずれか一つに記載の画像処理方法。
（付記１９）撮像装置を用いて撮像された画像を二値化して暗領域を特定する特定部と、
特定した前記暗領域を細線化処理することで、前記暗領域に対応する線画像を生成する生成部と、
生成した前記線画像を構成する画素群の中から所定の閾値以上の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第１の分散を算出すると共に、前記線画像を構成する画素群の中から前記所定の閾値未満の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第２の分散を算出する算出部と、
算出した前記第１の分散と前記第２の分散とに基づいて、前記暗領域が示す対象を評価する評価部と
を有することを特徴とする画像処理装置。
（付記２０）前記評価部は、前記第１の分散が基準分散値よりも小さく、かつ、前記第２の分散が基準分散値よりも大きい場合に、前記暗領域がひび割れであると評価することを特徴とする付記１９に記載の画像処理装置。
（付記２１）前記評価部は、前記暗領域の幅に基づいて、前記基準分散値を調整することを特徴とする付記２０に記載の画像処理装置。
（付記２２）前記暗領域を特定する処理において第１暗領域と第２暗領域を特定した場合に、前記第１暗領域を細線化処理して生成した第１線画像に属する画素と前記第２暗領域を細線化処理して生成した第２線画像に属する画素に対して、最も距離の近い組み合わせとなる第１画素と第２画素とを特定し、前記第１画素から該第１線画像の線方向に垂直な方向に伸ばした直線と、前記第２画素から該第２線画像の線方向に垂直な方向に伸ばした直線との交点を特定し、特定した交点まで前記第１暗領域および前記第２暗領域を延長することで、前記第１暗領域および前記第２暗領域を１つの暗領域に結合する結合部を更に有することを特徴とする付記１９、２０または２１に記載の画像処理装置。
（付記２３）前記結合部は、前記第１画素と前記第２画素との距離が所定距離未満である場合に、前記第１暗領域および前記第２暗領域を１つの暗領域に結合することを特徴とする付記２２に記載の画像処理装置。
（付記２４）前記撮像装置を用いて撮像された複数の画像を合成することで合成画像を生成する合成部を更に有し、前記特定部は、前記合成画像から暗領域を特定することを特徴とする付記１９〜２３のいずれか一つに記載の画像処理装置。
（付記２５）暗領域の評価結果を基にして、ひび割れと評価された暗領域の位置を示す画像を出力する出力部を更に有することを特徴とする付記２０〜２４のいずれか一つに記載の画像処理装置。
（付記２６）前記撮像装置は、小型無人航空機に搭載されていることを特徴とする付記１９〜２５のいずれか一つに記載の画像処理装置。
（付記２７）過去の評価結果と、現在の評価結果とを基にして、ひび割れと評価された暗領域が増加しているか否かを判定し、判定結果を出力する判定部を更に有することを特徴とする付記２０〜２６のいずれか一つに記載の画像処理装置。
１００、２００，３００，４００ 画像処理装置
１１０ 撮像部
１２０ 通信部
１３０ 入力部
１４０ 表示部
１５０，４１０ 記憶部
１６０、２１０，３１０，４２０ 制御部

Claims (11)

  1. コンピュータに、
    撮像装置を用いて撮像された画像を二値化して暗領域を特定し、
    特定した前記暗領域を細線化処理することで、前記暗領域に対応する線画像を生成し、
    生成した前記線画像を構成する画素群の中から所定の閾値以上の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第１の分散を算出すると共に、前記線画像を構成する画素群の中から前記所定の閾値未満の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第２の分散を算出し、
    算出した前記第１の分散と前記第２の分散とに基づいて、前記暗領域を評価する
    処理を実行させることを特徴とする画像処理プログラム。
  2. 前記評価する処理は、前記第１の分散が基準分散値よりも小さく、かつ、前記第２の分散が基準分散値よりも大きい場合に、前記暗領域がひび割れであると評価することを特徴とする請求項１に記載の画像処理プログラム。
  3. 前記暗領域の幅に基づいて、前記基準分散値を調整する処理を更にコンピュータに実行させることを特徴とする請求項２に記載の画像処理プログラム。
  4. 前記暗領域を特定する処理において第１暗領域と第２暗領域を特定した場合に、前記第１暗領域を細線化処理して生成した第１線画像に属する画素と前記第２暗領域を細線化処理して生成した第２線画像に属する画素に対して、最も距離の近い組み合わせとなる第１画素と第２画素とを特定し、前記第１画素から該第１線画像の線方向に垂直な方向に伸ばした直線と、前記第２画素から該第２線画像の線方向に垂直な方向に伸ばした直線との交点を特定し、特定した交点まで前記第１暗領域および前記第２暗領域を延長することで、前記第１暗領域および前記第２暗領域を１つの暗領域に結合する処理を更に実行させることを特徴とする請求項１、２または３に記載の画像処理プログラム。
  5. 前記結合する処理は、前記第１画素と前記第２画素との距離が所定距離未満である場合に、前記第１暗領域および前記第２暗領域を１つの暗領域に結合することを特徴とする請求項４に記載の画像処理プログラム。
  6. 前記撮像装置を用いて撮像された複数の画像を合成することで合成画像を生成する処理を更に実行し、前記特定する処理は、前記合成画像から暗領域を特定することを特徴とする請求項１〜５のいずれか一つに記載の画像処理プログラム。
  7. 暗領域の評価結果を基にして、ひび割れと評価された暗領域の位置を示す画像を出力する処理を更に実行することを特徴とする請求項２〜６のいずれか一つに記載の画像処理プログラム。
  8. 前記撮像装置は、小型無人航空機に搭載されていることを特徴とする請求項１〜７のいずれか一つに記載の画像処理プログラム。
  9. 過去の評価結果と、現在の評価結果とを基にして、ひび割れと評価された暗領域が増加しているか否かを判定し、判定結果を出力する処理を更に実行することを特徴とする請求項２〜８のいずれか一つに記載の画像処理プログラム。
  10. コンピュータが実行する画像処理方法であって、
    撮像装置を用いて撮像された画像を二値化して暗領域を特定し、
    特定した前記暗領域を細線化処理することで、前記暗領域に対応する線画像を生成し、
    生成した前記線画像を構成する画素群の中から所定の閾値以上の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第１の分散を算出すると共に、前記線画像を構成する画素群の中から前記所定の閾値未満の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第２の分散を算出し、
    算出した前記第１の分散と前記第２の分散とに基づいて、前記暗領域を評価する
    処理を実行することを特徴とする画像処理方法。
  11. 撮像装置を用いて撮像された画像を二値化して暗領域を特定する特定部と、
    特定した前記暗領域を細線化処理することで、前記暗領域に対応する線画像を生成する生成部と、
    生成した前記線画像を構成する画素群の中から所定の閾値以上の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第１の分散を算出すると共に、前記線画像を構成する画素群の中から前記所定の閾値未満の距離離れた２画素の組を複数特定して、それぞれの組の２画素をつなぐ線の勾配の第２の分散を算出する算出部と、
    算出した前記第１の分散と前記第２の分散とに基づいて、前記暗領域を評価する評価部と
    を有することを特徴とする画像処理装置。
JP2016172039A 2016-09-02 2016-09-02 画像処理プログラム、画像処理方法および画像処理装置 Active JP6702097B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016172039A JP6702097B2 (ja) 2016-09-02 2016-09-02 画像処理プログラム、画像処理方法および画像処理装置
US15/633,266 US10229338B2 (en) 2016-09-02 2017-06-26 Medium storing image processing program, image processing method, and image processing device
CN201710580487.9A CN107817246B (zh) 2016-09-02 2017-07-17 存储图像处理程序的介质、图像处理方法及图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016172039A JP6702097B2 (ja) 2016-09-02 2016-09-02 画像処理プログラム、画像処理方法および画像処理装置

Publications (2)

Publication Number Publication Date
JP2018036226A JP2018036226A (ja) 2018-03-08
JP6702097B2 true JP6702097B2 (ja) 2020-05-27

Family

ID=61281227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016172039A Active JP6702097B2 (ja) 2016-09-02 2016-09-02 画像処理プログラム、画像処理方法および画像処理装置

Country Status (3)

Country Link
US (1) US10229338B2 (ja)
JP (1) JP6702097B2 (ja)
CN (1) CN107817246B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11327004B2 (en) * 2016-03-02 2022-05-10 Arizona Board Of Regents On Behalf Of Arizona State University Live-cell computed tomography
JP7095418B2 (ja) * 2018-06-08 2022-07-05 株式会社リコー 描画装置、診断システム、描画方法、及びプログラム
JP7228341B2 (ja) 2018-06-13 2023-02-24 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP7187830B2 (ja) * 2018-06-13 2022-12-13 富士通株式会社 画像処理プログラム、画像処理装置、及び画像処理方法
CN112655196A (zh) * 2018-09-12 2021-04-13 索尼公司 图像处理设备、程序及图像处理方法
JP7166862B2 (ja) * 2018-09-27 2022-11-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム、記憶媒体
JP7263983B2 (ja) 2019-08-30 2023-04-25 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法
US20230375709A1 (en) * 2020-03-31 2023-11-23 Nec Corporation Detection device, determination method, and non-transitory computer-readable medium

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01112382A (ja) * 1987-10-26 1989-05-01 Komatsu Ltd ひびわれ画像データ処理方法
EP0342242A4 (en) * 1987-10-26 1992-07-15 Kabushiki Kaisha Komatsu Seisakusho Method of processing image data on road surface cracks
JPH07280746A (ja) * 1994-04-11 1995-10-27 Kawasaki Steel Corp 金属板表面疵抽出装置
US5826213A (en) * 1997-02-25 1998-10-20 Kennefick; Christine Method and apparatus for investigating toughening mechanisms and crack advance in lightweight materials
US6028948A (en) * 1997-12-29 2000-02-22 Lockheed Martin Corporation Surface anomaly-detection and analysis method
JP2002174601A (ja) * 2000-12-05 2002-06-21 Matsushita Electric Ind Co Ltd 壁面損傷検出方法及び装置
JP2005114671A (ja) * 2003-10-10 2005-04-28 Lion Engineering Co Ltd 欠陥検査方法
JP4742832B2 (ja) * 2005-11-25 2011-08-10 パナソニック電工株式会社 外観検査方法、外観検査装置、プログラム
CN101256156B (zh) * 2008-04-09 2011-06-08 西安电子科技大学 平板裂缝天线裂缝精密测量方法
JP5351673B2 (ja) * 2009-09-09 2013-11-27 パナソニック株式会社 外観検査装置、外観検査方法
JP5421192B2 (ja) 2010-06-14 2014-02-19 大成建設株式会社 ひび割れ検出方法
JP2012098045A (ja) 2010-10-29 2012-05-24 Mitsubishi Electric Corp クラック検出装置及びクラック検出プログラム
CN102353680B (zh) * 2011-07-08 2013-02-13 中国科学院宁波材料技术与工程研究所 小型工件表面缺陷的评估方法以及检测不合格工件的流程
US8750596B2 (en) * 2011-08-19 2014-06-10 Cognex Corporation System and method for identifying defects in a material
JP5705711B2 (ja) 2011-12-02 2015-04-22 大成建設株式会社 ひび割れ検出方法
JP2013150066A (ja) * 2012-01-17 2013-08-01 Samsung Yokohama Research Institute Co Ltd 画像処理装置、画像処理方法、およびプログラム
CN102680480A (zh) * 2012-05-03 2012-09-19 中南大学 一种混凝土结构裂缝智能化检测方法
CN102692188B (zh) * 2012-05-08 2014-11-12 浙江工业大学 机械视觉疲劳裂纹扩展试验裂纹长度动态测量方法
US10373301B2 (en) * 2013-09-25 2019-08-06 Sikorsky Aircraft Corporation Structural hot spot and critical location monitoring system and method
JP5936239B2 (ja) * 2014-08-19 2016-06-22 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 路面の劣化度合い推定方法およびアルゴリズム（多重解像度画像のガボール・フィルター出力画像を使用した、ひび割れ検出手法）
CN104392224B (zh) * 2014-12-04 2017-07-11 西南交通大学 一种公路路面裂纹检测方法
CN104867130B (zh) * 2015-04-21 2018-09-18 浙江工业大学 一种基于裂纹图像子区灰度均值的自适应分割方法

Also Published As

Publication number Publication date
JP2018036226A (ja) 2018-03-08
US20180068200A1 (en) 2018-03-08
CN107817246B (zh) 2020-06-19
US10229338B2 (en) 2019-03-12
CN107817246A (zh) 2018-03-20

Similar Documents

Publication Publication Date Title
JP6702097B2 (ja) 画像処理プログラム、画像処理方法および画像処理装置
US10937138B2 (en) Crack information detection device, method of detecting crack information, and crack information detection program
US10942130B2 (en) Damage information processing device and damage information processing method
US9477891B2 (en) Surveillance system and method based on accumulated feature of object
US10776910B2 (en) Crack information editing device, method of editing crack information, and crack information editing program
WO2016147644A1 (en) Image processing apparatus, image processing system, method for image processing, and computer program
US9842259B2 (en) Captured image recognition device, captured image recognition system, and captured image recognition method
US20210281748A1 (en) Information processing apparatus
WO2010101227A1 (ja) 物体位置推定用情報作成装置、物体位置推定用情報作成方法およびプログラム
US10762372B2 (en) Image processing apparatus and control method therefor
JP5956248B2 (ja) 画像監視装置
US11210773B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
JP6494418B2 (ja) 画像解析装置、画像解析方法、およびプログラム
JP2021108193A (ja) 画像処理装置、画像処理方法、及びプログラム
US11144590B2 (en) Similar damage search device and a similar damage search method
WO2016116206A1 (en) Object detecting method and object detecting apparatus
JPWO2012133371A1 (ja) 撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラム
JP6506031B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
JP2009123150A (ja) 対象物検出装置及び方法、対象物検出システム、プログラム
JP2008026999A (ja) 障害物検出システム、及び障害物検出方法
JP6960047B2 (ja) 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体
US20220076399A1 (en) Photographing guide device
JP5983033B2 (ja) 位置関係判定プログラム、位置関係判定方法および位置関係判定装置
US20210304417A1 (en) Observation device and observation method
US11216969B2 (en) System, method, and computer-readable medium for managing position of target

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200420

R150 Certificate of patent or registration of utility model

Ref document number: 6702097

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150