JP6777150B2 - 劣化検出装置、劣化検出方法、及びプログラム - Google Patents

劣化検出装置、劣化検出方法、及びプログラム Download PDF

Info

Publication number
JP6777150B2
JP6777150B2 JP2018531022A JP2018531022A JP6777150B2 JP 6777150 B2 JP6777150 B2 JP 6777150B2 JP 2018531022 A JP2018531022 A JP 2018531022A JP 2018531022 A JP2018531022 A JP 2018531022A JP 6777150 B2 JP6777150 B2 JP 6777150B2
Authority
JP
Japan
Prior art keywords
region
momentum
sequence image
deterioration
coincidence point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018531022A
Other languages
English (en)
Other versions
JPWO2018025336A1 (ja
Inventor
シュボジト チャウダリー
シュボジト チャウダリー
中野 学
学 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018025336A1 publication Critical patent/JPWO2018025336A1/ja
Application granted granted Critical
Publication of JP6777150B2 publication Critical patent/JP6777150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、インフラ構造物等の動画像から、その劣化部分を検出するための、劣化検出装置、劣化検出方法に関し、更には、これらを実現するためのプログラムに関する。
従来から、トンネル、橋梁等のインフラ構造物の劣化検出は、検査員による目視検査又は打音検査によって行なわれているが、このような検査を行なう場合は、足場等を設置して検査が可能な環境を整備する必要がある。このため、従来からの劣化検出には、コストが掛かるという問題がある。また、状況によっては、交通規制等を行なう必要があり、経済的機会の損失が生じるという問題もある。
このため、近年においては、動画像を用いた劣化検出が提案されている(例えば、非特許文献1、非特許文献2、及び特許文献1)。具体的には、非特許文献1は、手動で抽出した部分的な画像の特徴を用い、これらの特徴に基づいたモデルを学習し、画像領域をクラック有とクラック無とに分類することによって、画像中のクラックを特定する、システムを開示している。図8は、非特許文献1に開示されたシステムにおける処理を概略的に示す図である。
図8に示すように、非特許文献1に開示されたシステムは、クエリ画像を受け取ると、部分窓をシフトしながら、モデルを用いて、予め設定された特徴を持つ領域を抽出する。そして、当該システムは、クエリ画像の部分毎に、クラックの有無を判定し、各部分を結合して、クエリ画像におけるクラックの位置を特定する。
更に、非特許文献2は、シーケンス画像を用いてクラックを検出するシステムを開示している。図9は、非特許文献2に開示されたシステムにおける処理を概略的に示す図である。
図9に示すように、非特許文献2に開示されたシステムは、予めクラックの位置が特定されているリファレンス画像と、検出対象のシークエンス画像とを取得する。そして、当該システムは、シークエンス画像を構成する画像毎に、リファレンス画像との相違点を特定し、特定された相違点を運動フィールドとして蓄積する。その後、当該システムは、蓄積された運動フィールドを用いて、各相違点について評価を行ない、最も信頼性の高い相違点をクラックに関連する部分(3次元相違点)と判断する。
また、特許文献1は、画像から、構造物上に設定された複数の測定点における振動波形を計測する、ことによって劣化を検出するシステムを提案している。図10は、特許文献1に開示されたシステムにおける処理を概略的に示す図である。
図10に示すように、特許文献1に開示されたシステムは、まず、クエリとして、シークエンス画像(動画像)を取得し、各画像の測定点毎の振動波形を測定し、測定した振動波形の特徴量、具体的には動作ベクトルを算出する。そして、当該システムは、算出した動作ベクトルに基づいて、動作の向きが異なる領域を特定して、シーケンス画像を構成する画像の領域を分割する。その後、当該システムは、分割された領域間の境界上から、クラックを検出する。
特開2015−102363号公報
Han Hu; Quanquan Gu; Jie Zhou, "HTF: a novel feature for general crack detection," in Image Processing (ICIP), 2010 17th IEEE International Conference on , vol., no., pp.1633-1636, 26-29 Sept. 2010 doi: 10.1109/ICIP.2010.5653171 Wang Zhen, et.al., "Crack opening displacement estimation method based on sequence of motion vector field images for civil infrastructure deterioration inspection," IMPS 2014, I-1-17
しかしながら、非特許文献1及び2に示したシステムは、部分的な画像の特徴を利用しており、構造物の表面にある目視可能なクラックの検出のみを目的としているので、構造物の内部の劣化検出、又は微少なクラックの検出に対して、適用が困難である。
一方、特許文献1に開示された方法では、構造物の内部の劣化した部分、又は微少なクラックであっても検出可能である。しかしながら、特許文献1に開示された方法では、検出時にノイズが発生しやすく、クラックが発生している領域とクラックが発生していない領域との分類に誤りが生じ易いという問題がある。
本発明の目的の一例は、上記問題を解消し、対象物の劣化した部分が外部から目視することが難しい場合であっても、高い精度で劣化した部分を検出し得る、劣化検出装置、劣化検出方法、及びプログラムを提供することにある。
本発明の一側面における劣化検出装置は、
前記シークエンス画像における一致点を特定する、一致点特定部と、
特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、運動量算出部と、
時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、劣化領域候補特定部と、
を備えていることを特徴とする。
また、上記目的を達成するため、本発明の一側面における劣化検出方法は、
(a)検出対象物のシークエンス画像を取得する、ステップと、
(b)前記シークエンス画像における一致点を特定する、ステップと、
(c)特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
(d)時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
を有することを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータに、
(a)検出対象物のシークエンス画像を取得する、ステップと、
(b)前記シークエンス画像における一致点を特定する、ステップと、
(c)特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
(d)時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
を実行させることを特徴とする。
以上のように、本発明によれば、対象物の劣化した部分が外部から目視することが難しい場合であっても、高い精度で劣化した部分を検出することができる。
図1は、本発明の実施の形態における劣化検出装置の概略構成を示すブロック図である。 図2は、本発明の実施の形態における劣化検出装置の構成を具体的に示すブロック図である。 図3は、本発明の実施の形態での劣化領域候補特定部による処理を説明する図である。 図4は、本発明の実施の形態で用いられる非線形時空間フィルタの特性を示す図ある。 図5は、本発明の実施の形態でのリファイン処理部による処理を説明する図である。 図6は、本発明の実施の形態における劣化検出装置の動作を示すフロー図である。 図7は、本発明の実施の形態における劣化検出装置を実現するコンピュータの一例を示すブロック図である。 図8は、非特許文献1に開示されたシステムにおける処理を概略的に示す図である。 図9は、非特許文献2に開示されたシステムにおける処理を概略的に示す図である。 図10は、特許文献1に開示されたシステムにおける処理を概略的に示す図である。
(実施の形態)
以下、本発明の実施の形態における、劣化検出装置、劣化検出方法、及びプログラムについて、図1〜図7を参照しながら説明する。
[装置構成]
最初に、図1を用いて、本実施の形態における劣化検出装置の概略構成について説明する。図1は、本発明の実施の形態における劣化検出装置の概略構成を示すブロック図である。
図1に示す、本実施の形態における劣化検出装置10は、コンクリートで形成されたインフラ構造物等における劣化を検出するための装置である。図1に示すように、劣化検出装置10は、画像取得部11と、一致点特定部12と、運動量算出部13と、劣化領域候補特定部14とを備えている。
画像取得部11は、検出対象物のシークエンス画像を取得する。また、一致点特定部12は、画像取得部11によって取得されたシークエンス画像における一致点を特定する。
運動量算出部13は、特定された一致点に基づいて、シークエンス画像を構成するフレーム毎に、各フレームとその前のフレームとの間に生じた運動を特定し、それによって、一致点毎の運動量を時系列に沿って算出する。
また、劣化領域候補特定部14は、時系列に沿って算出された一致点毎の運動量に基づいて、シークエンス画像における劣化が生じている可能性が高い領域(以下「劣化領域候補」と表記する。)を特定する。
このように、本実施の形態では、シークエンス画像から求められた特定の画素の運動量から、劣化領域候補が特定されるので、対象物の劣化した部分が外部から目視することが難しい場合であっても、高い精度で劣化した部分を検出することができる。
続いて、図2〜図5を用いて、本実施の形態における劣化検出装置10の構成を更に具体的に説明する。図2は、本発明の実施の形態における劣化検出装置の構成を具体的に示すブロック図である。
図2に示すように、本実施の形態における劣化検出装置10は、画像取得部11、一致点特定部12、運動量算出部13、及び劣化領域候補特定部14に加えて、領域分割部15と、劣化領域決定部16と、リファイン処理部17とを更に備えている。領域分割部15、劣化領域決定部16、及びリファイン処理部17の機能については後述する。
画像取得部11は、本実施の形態では、例えば、デジタルカメラ、カムコーダといった撮像装置から、検出対象物のシークエンス画像を取得する。また、シークエンス画像は、設定されたフレームレートで連続して撮影された画像データの集合である。よって、画像取得部11は、画像データをフレーム毎に取得し、取得した画像データを、取得した順に一致点特定部12に入力する。
一致点特定部12は、本実施の形態では、時系列が前後する2つの画像データそれぞれの特徴点を比較することで、一致点を特定する。具体的には、一致点特定部12は、シークエンス画像から、画像データを取得すると、まず、取得した画像データの特徴点を抽出する。そして、一致点特定部12は、抽出した特徴点と、その前に取得している画像データから抽出した特徴点とを対比して、一致点を特定する。
運動量算出部13は、本実施の形態では、画像データ毎(フレーム毎)に、各一致点の前回のフレームからの移動量を特定し、特定した移動量から、各一致点の運動量を算出し、算出した運動量を時系列に沿って蓄積する。
ところで、検出対象物にひび等の劣化が生じると、検出対象物に生じた振動等によって、劣化した部分での一致点における運動量に乱れが発生すると考えられる。このため、劣化領域候補特定部14は、本実施の形態では、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、劣化領域候補を特定する。
ここで、本実施の形態で用いられる非線形時空間フィルタについて、図3及び図4を用いて説明する。図3は、本発明の実施の形態での劣化領域候補特定部による処理を説明する図である。図4は、本発明の実施の形態で用いられる非線形時空間フィルタの特性を示す図である。
図3に示すように、劣化領域候補特定部14は、特定の一致点の運動量X(i,j,t)と、その周辺にある別の一致点の運動量X(i+k,j+l,t)それぞれとの組み合わせ毎に、非線形時空間フィルタH(図3右側)を適用する。
図3において、tは時間を示している。但し、tは整数で表現されており、時系列に沿った各フレームに付与された番号に相当する。また、最初の一番目のフレームの時間がt=0となる。そして、蓄積されているフレームの数をNとすると、k及びlは、“−(N−1)/2”〜“+(N−1)/2”の範囲で設定される。
従って、非線形時空間フィルタとしては、下記の数1で表現されるフィルタが挙げられる。下記の数1で表現されるフィルタは、特定の一致点の運動量X(i,j,t)と、その周辺にある別の一致点の運動量X(i+k,j+l,t)との差が大きい程、値が高い応答値Li,jを出力する。応答値Li,jは、劣化の可能性を示す尤度に相当する。なお、下記の数1において、関数fは、特定の一致点の運動量X(i,j,t)と、その周辺にある別の一致点の運動量X(i+k,j+l,t)との差を算出する関数である。
Figure 0006777150
そして、図4に示すように、非線形時空間フィルタによれば、線形フィルタ、ノルムフィルタを用いる場合に比べて、適用対象となる運動量Xが増加した場合のコストの上昇が抑えられる。結果、非線形時空間フィルタによれば、ノイズに対するロバスト性を向上させることが可能となるので、劣化領域候補の特定精度が高められる。
また、本実施の形態では、関数fは上述したものに限られない。関数fとしては、例えば、ロバスト推定手法の一種であるRedescending M-estimatorの任意の関数を用いることもできる。
また、領域分割部15は、時系列に沿って算出された一致点毎の運動の方向に基づいて、シークエンス画像を複数の部分領域に分割する。具体的には、領域分割部15は、フレーム毎に、各一致点の前回のフレームからの移動方向を特定し、特定した移動方向を一致点の運動の方向とする。そして、領域分割部15は、運動の方向が相対し、且つ、隣接している、2つの一致点を特定し、特定した2つの一致点の間の位置を結ぶことによって、各フレームを分割する。
リファイン処理部17は、劣化領域候補特定部14によって特定された劣化領域候補、及び領域分割部15によって分割された部分領域間の境界部分のうち、予め設定された条件を満たさないものを除去する。
具体的には、リファイン処理部17は、図5に示すように、例えば、劣化領域候補及び部分領域間の境界部分を、予め登録されているひびの形状に照合する。そして、リファイン処理部17は、照合の結果、一致しなかった劣化領域候補及び部分領域間の境界部分については、ノイズと判断し、これを除去する。図5は、本発明の実施の形態でのリファイン処理部による処理を説明する図である。
また、照合に用いられるひびの形状は、管理者等が過去のひびを参照して設定した形状であっても良いし、機械学習ツールによって学習された形状であっても良い。このように、リファイン処理部17によれば、劣化した部分の検出精度がより向上されることになる。
また、本実施の形態では、リファイン処理部17における処理は、上記の処理に限定されることはなく、当該処理として、画像処理による一般的なノイズ除去方法が用いられてもよい。例えば、リファイン処理部17における処理としては、ノイズの振る舞いに関する事前知識を利用するノイズ除去方法が用いられてもよい。具体的には、このノイズ除去方法では、検出されたひびと事前知識とが照合され、事前知識と一致しないものはノイズと扱われて除去され、事前知識と一致するものはそのまま保持される。このような画像処理によるノイズ除去方法は、下記の参考文献1及び2に開示されている。
[参考文献1]J. Mairal, M. Elad and G. Sapiro, "Sparse Representation for Color Image Restoration," in IEEE Transactions on Image Processing, vol. 17, no. 1, pp. 53-69, Jan. 2008.
<http://www.cs.technion.ac.il/~elad/publications/journals/2006/KSVD_Color_IEEE_TIP.pdf>
[参考文献2]S. Roth and M. J. Black, "Fields of Experts: a framework for learning image priors," 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05), 2005, pp. 860-867 vol. 2.
<http://cs.brown.edu/~roth/pubs/cvpr05roth.pdf>
劣化領域決定部16は、劣化領域候補特定部14によって特定された劣化領域候補と、領域分割部15による分割によって得られた複数の部分領域とを対比し、対比結果に基づいて、シークエンス画像における劣化が生じている領域(以下「劣化領域」と表記する。)を決定する。
具体的には、劣化領域決定部16は、例えば、リファイン処理部17による処理後に、劣化領域候補と部分領域間の境界部分とを対比し、劣化領域候補のうち、部分領域間の境界部分を含むものを特定する。そして、劣化領域決定部16は、特定した劣化領域候補を、劣化領域とする。
[装置動作]
次に、本発明の実施の形態における劣化検出装置10の動作について図6を用いて説明する。図6は、本発明の実施の形態における劣化検出装置の動作を示すフロー図である。以下の説明においては、適宜図1〜図5を参酌する。また、本実施の形態では、劣化検出装置10を動作させることによって、劣化検出方法が実施される。よって、本実施の形態における劣化検出方法の説明は、以下の劣化検出装置10の動作説明に代える。
図6に示すように、最初に、画像取得部11は、外部の撮像装置から、検出対象物のシークエンス画像を取得する(ステップA1)。具体的には、画像取得部11は、設定されたフレームレートで送信されてくる画像データを順に取得し、取得した画像データを、取得した順に、一致点特定部12に入力する。
次に、一致点特定部12は、時系列が前後する2つの画像データそれぞれの特徴点を比較し、それによって、画像データ上の一致点を特定する(ステップA2)。また、一致点特定部12は、特定した一致点の情報を、運動量算出部13に入力する。
次に、運動量算出部13は、本実施の形態では、フレーム毎に、各一致点の運動量を算出し、算出した運動量を時系列に沿って蓄積する(ステップA3)。
次に、劣化領域候補特定部14は、蓄積されている各一致点の運動量を取得し、取得した各一致点の運動量に、非線形時空間フィルタを適用して、画像データ上から、劣化領域候補を特定する(ステップA4)。
次に、領域分割部15は、時系列に沿って算出された一致点毎の運動の方向に基づいて、シークエンス画像を複数の部分領域に分割する(ステップA5)。具体的には、領域分割部15は、各一致点の運動方向を特定し、そして、運動の方向が相対し、且つ、隣接している、2つの一致点を特定し、特定した2つの一致点の間の位置を結ぶことによって、各フレームを分割する。
次に、リファイン処理部17は、劣化領域候補特定部14によって特定された劣化領域候補、及び領域分割部15によって分割された部分領域間の境界部分のうち、予め設定された条件を満たさないものを除去する(ステップA6)。
その後、劣化領域決定部16は、ステップA4によって特定された劣化領域候補と、ステップA5による分割によって得られた部分領域とを対比して、劣化領域を決定する(ステップA7)
[実施の形態による効果]
以上のように本実施の形態では、画像に現われた特徴ではなく、画像上の一致点の運動量から、検出対象物の劣化している領域が特定される。従って、視覚性が乏しい微少なひびが生じていた場合であっても、精度良く、これを検出することが可能となる。
また、本実施の形態では、一致点の運動方向に基づいて、画像が複数の領域に分割され、分割によって得られた境界部分も参照されて、最終的な劣化領域が決定される。加えて、本実施の形態では、ノイズとなっている部分の除去も行なわれる。本実施の形態によれば、これらの点から、劣化領域の検出精度はよりいっそう向上されることになる。
[プログラム]
本実施の形態におけるプログラムは、コンピュータに、図6に示すステップA1〜A7を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における劣化検出装置と劣化検出方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、画像取得部11、一致点特定部12、運動量算出部13、劣化領域候補特定部14、領域分割部15、劣化領域決定部16、及びリファイン処理部17として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像取得部11、一致点特定部12、運動量算出部13、劣化領域候補特定部14、領域分割部15、劣化領域決定部16、及びリファイン処理部17のいずれかとして機能しても良い。
[物理構成]
ここで、本実施の形態におけるプログラムを実行することによって、劣化検出装置10を実現するコンピュータについて図7を用いて説明する。図7は、本発明の実施の形態における劣化検出装置を実現するコンピュータの一例を示すブロック図である。
図7に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記録媒体が挙げられる。
なお、本実施の形態における劣化検出装置10は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、劣化検出装置10は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する(付記1)〜(付記12)によって表現することができるが、以下の記載に限定されるものではない。
(付記1)
検出対象物のシークエンス画像を取得する、画像取得部と、
前記シークエンス画像における一致点を特定する、一致点特定部と、
特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、運動量算出部と、
時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、劣化領域候補特定部と、
を備えていることを特徴とする、劣化検出装置。
(付記2)
前記劣化領域候補特定部は、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
付記1に記載の劣化検出装置。
(付記3)
時系列に沿って算出された前記一致点毎の運動の方向基づいて、前記シークエンス画像を複数の部分領域に分割する、領域分割部と、
前記劣化領域候補特定部によって特定された領域と、前記分割部による分割によって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、劣化領域決定部と、
を更に備えている、
付記1または2に記載の劣化検出装置。
(付記4)
前記劣化領域候補特定部によって特定された領域、及び前記領域分割部によって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、リファイン処理部を更に備えている、
付記1〜3のいずれかに記載の劣化検出装置。
(付記5)
(a)検出対象物のシークエンス画像を取得する、ステップと、
(b)前記シークエンス画像における一致点を特定する、ステップと、
(c)特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
(d)時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
を有することを特徴とする、劣化検出方法。
(付記6)
前記(d)のステップにおいて、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
付記5に記載の劣化検出方法。
(付記7)
(e)時系列に沿って算出された前記一致点毎の運動の方向基づいて、前記シークエンス画像を複数の部分領域に分割する、ステップと、
(f)前記(d)のステップによって特定された領域と、前記(e)のステップによって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、ステップと、
を更に有する、
付記5または6に記載の劣化検出方法。
(付記8)
(g)前記(d)のステップによって特定された領域、及び前記(e)のステップによって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、ステップを更に有する、
付記5〜7のいずれかに記載の劣化検出方法。
(付記9)
コンピュータに、
(a)検出対象物のシークエンス画像を取得する、ステップと、
(b)前記シークエンス画像における一致点を特定する、ステップと、
(c)特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
(d)時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
を実行させる、プログラム。
(付記10)
前記(d)のステップにおいて、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
付記9に記載のプログラム
(付記11)
記コンピュータに、
(e)時系列に沿って算出された前記一致点毎の運動の方向基づいて、前記シークエンス画像を複数の部分領域に分割する、ステップと、
(f)前記(d)のステップによって特定された領域と、前記(e)のステップによって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、ステップと、
更に実行させる、
付記9または10に記載のプログラム
(付記12)
記コンピュータに、
(g)前記(d)のステップによって特定された領域、及び前記(e)のステップによって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、ステップを更に実行させる、
付記9〜11のいずれかに記載のプログラム
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように、本発明によれば、対象物の劣化した部分が外部から目視することが難しい場合であっても、高い精度で劣化した部分を検出することができる。本発明は、トンネル、橋梁等のインフラ構造物の劣化検出が必要な分野に有用である。
10 劣化検出装置
11 画像取得部
12 一致点特定部
13 運動量算出部
14 劣化領域候補特定部
15 領域分割部
16 劣化領域決定部
17 リファイン処理部
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス

Claims (9)

  1. 検出対象物のシークエンス画像を取得する、画像取得部と、
    前記シークエンス画像における一致点を特定する、一致点特定部と、
    特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、運動量算出部と、
    時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、劣化領域候補特定部と、
    を備え、
    前記劣化領域候補特定部は、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
    ことを特徴とする、劣化検出装置。
  2. 時系列に沿って算出された前記一致点毎の運動の方向に基づいて、前記シークエンス画像を複数の部分領域に分割する、領域分割部と、
    前記劣化領域候補特定部によって特定された領域と、前記領域分割部による分割によって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、劣化領域決定部と、
    を更に備えている、
    請求項1に記載の劣化検出装置。
  3. 前記劣化領域候補特定部によって特定された領域、及び前記領域分割部によって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、リファイン処理部を更に備えている、
    請求項のいずれかに記載の劣化検出装置。
  4. (a)検出対象物のシークエンス画像を取得する、ステップと、
    (b)前記シークエンス画像における一致点を特定する、ステップと、
    (c)特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
    (d)時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
    を有し、
    前記(d)のステップにおいて、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
    することを特徴とする、劣化検出方法。
  5. (e)時系列に沿って算出された前記一致点毎の運動の方向に基づいて、前記シークエンス画像を複数の部分領域に分割する、ステップと、
    (f)前記(d)のステップによって特定された領域と、前記(e)のステップによって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、ステップと、
    を更に有する、
    請求項に記載の劣化検出方法。
  6. (g)前記(d)のステップによって特定された領域、及び前記(e)のステップによって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、ステップを更に有する、
    請求項5に記載の劣化検出方法。
  7. コンピュータに、
    (a)検出対象物のシークエンス画像を取得する、ステップと、
    (b)前記シークエンス画像における一致点を特定する、ステップと、
    (c)特定された一致点に基づいて、前記シークエンス画像を構成するフレーム毎に、当該フレームとその前のフレームとの間に生じた運動を特定して、前記一致点毎の運動量を時系列に沿って算出する、ステップと、
    (d)時系列に沿って算出された前記一致点毎の運動量に基づいて、前記シークエンス画像における劣化が生じている可能性が高い領域を特定する、ステップと、
    を実行させ
    前記(d)のステップにおいて、特定の点の運動量とその周辺の画素の運動量との差が大きい程応答値が高くなる非線形時空間フィルタを用いて、前記領域を特定する、
    プログラム。
  8. 前記コンピュータに、
    (e)時系列に沿って算出された前記一致点毎の運動の方向に基づいて、前記シークエンス画像を複数の部分領域に分割する、ステップと、
    (f)前記(d)のステップによって特定された領域と、前記(e)のステップによって得られた前記複数の部分領域とを対比し、対比結果に基づいて、前記シークエンス画像における劣化が生じている領域を決定する、ステップと、
    を更に実行させる、
    請求項に記載のプログラム。
  9. 前記コンピュータに、
    (g)前記(d)のステップによって特定された領域、及び前記(e)のステップによって分割された領域間の境界部分のうち、予め設定された条件を満たさないものを除去する、ステップを更に実行させる、
    請求項に記載のプログラム。
JP2018531022A 2016-08-02 2016-08-02 劣化検出装置、劣化検出方法、及びプログラム Active JP6777150B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/072700 WO2018025336A1 (ja) 2016-08-02 2016-08-02 劣化検出装置、劣化検出方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018025336A1 JPWO2018025336A1 (ja) 2019-05-23
JP6777150B2 true JP6777150B2 (ja) 2020-10-28

Family

ID=61072906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531022A Active JP6777150B2 (ja) 2016-08-02 2016-08-02 劣化検出装置、劣化検出方法、及びプログラム

Country Status (3)

Country Link
US (1) US11138711B2 (ja)
JP (1) JP6777150B2 (ja)
WO (1) WO2018025336A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11365963B2 (en) * 2017-09-12 2022-06-21 Nec Corporation State determination apparatus, state determination method, and computer-readable recording medium
JP6918672B2 (ja) * 2017-10-11 2021-08-11 株式会社日立システムズ 劣化診断システム
CN111758025B (zh) * 2018-02-22 2024-08-13 松下知识产权经营株式会社 检查装置及检查方法
JP7186054B2 (ja) * 2018-10-11 2022-12-08 神鋼検査サービス株式会社 欠陥検出支援装置、該方法および該プログラム
US11645766B2 (en) * 2020-05-04 2023-05-09 International Business Machines Corporation Dynamic sampling for object recognition

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2676040B2 (ja) 1989-01-28 1997-11-12 清水建設株式会社 コンクリート部材の面内変位計測方法
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US8311129B2 (en) * 2005-12-16 2012-11-13 Lifesize Communications, Inc. Temporal video filtering
JP2008232998A (ja) * 2007-03-23 2008-10-02 Osaka Univ 構造物の応力変動分布の測定方法およびその測定装置、ならびに構造物の欠陥検出方法および構造物の危険性把握方法
WO2013020143A1 (en) * 2011-08-04 2013-02-07 University Of Southern California Image-based crack quantification
JP5813610B2 (ja) * 2012-09-28 2015-11-17 富士フイルム株式会社 画像評価装置、画像評価方法、及びプログラム
JP6379475B2 (ja) 2013-11-22 2018-08-29 日本電気株式会社 振動解析装置
JP6485454B2 (ja) 2014-04-16 2019-03-20 日本電気株式会社 情報処理装置
JP6652060B2 (ja) * 2014-09-25 2020-02-19 日本電気株式会社 状態判定装置および状態判定方法
WO2016142965A1 (ja) 2015-03-10 2016-09-15 日本電気株式会社 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体
US10257449B2 (en) * 2016-01-05 2019-04-09 Nvidia Corporation Pre-processing for video noise reduction

Also Published As

Publication number Publication date
US11138711B2 (en) 2021-10-05
JPWO2018025336A1 (ja) 2019-05-23
US20200184622A1 (en) 2020-06-11
WO2018025336A1 (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
JP6777150B2 (ja) 劣化検出装置、劣化検出方法、及びプログラム
JP7272533B2 (ja) 知覚システムを評価するシステム及び方法
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
KR101988384B1 (ko) 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
JP2018018489A (ja) 顔検出追跡方法、顔検出追跡装置、ロボット頭部の回動制御方法及びロボット頭部の回動制御システム
KR101511146B1 (ko) 스마트 3차원 제스처 인식 장치 및 방법
US9384419B2 (en) Image matching method, extracting features from model images applied different variation, image matching device, model template generation method, and model template generation device
JP6616521B2 (ja) 画像処理装置
KR101621370B1 (ko) 도로에서의 차선 검출 방법 및 장치
JP6075190B2 (ja) 画像処理方法及び装置
US8724851B2 (en) Aerial survey video processing
JP2018185552A (ja) 画像解析装置および画像解析方法、ならびにプログラム
JP2007156655A (ja) 変動領域検出装置及びその方法
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
KR20110128529A (ko) 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
US9824462B2 (en) Method for detecting object and object detecting apparatus
CN114758268A (zh) 手势识别方法、装置及智能设备
JP7176590B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR101615479B1 (ko) 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법
EP3156943A1 (en) Method and device for clustering patches of a degraded version of an image
Qiao et al. An adaptive algorithm for grey image edge detection based on grey correlation analysis
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
Bhuyan et al. Finite state representation of hand gesture using key video object plane
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP4674920B2 (ja) 対象個数検出装置および対象個数検出方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R150 Certificate of patent or registration of utility model

Ref document number: 6777150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150