KR100891934B1 - 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법 - Google Patents

영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법 Download PDF

Info

Publication number
KR100891934B1
KR100891934B1 KR1020070088807A KR20070088807A KR100891934B1 KR 100891934 B1 KR100891934 B1 KR 100891934B1 KR 1020070088807 A KR1020070088807 A KR 1020070088807A KR 20070088807 A KR20070088807 A KR 20070088807A KR 100891934 B1 KR100891934 B1 KR 100891934B1
Authority
KR
South Korea
Prior art keywords
rust
coating
information
film
peeling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020070088807A
Other languages
English (en)
Other versions
KR20090023785A (ko
Inventor
정해문
이찬영
김회율
이종민
박기홍
Original Assignee
한국도로공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국도로공사 filed Critical 한국도로공사
Priority to KR1020070088807A priority Critical patent/KR100891934B1/ko
Priority to PCT/KR2008/002190 priority patent/WO2009031743A1/en
Priority to US12/675,546 priority patent/US8363921B2/en
Priority to JP2010522783A priority patent/JP5080649B2/ja
Publication of KR20090023785A publication Critical patent/KR20090023785A/ko
Application granted granted Critical
Publication of KR100891934B1 publication Critical patent/KR100891934B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Textile Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Bridges Or Land Bridges (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 도막검사시스템이 촬상된 강교의 도막 영상정보를 DB부에 저장시키는 도막영상저장과정와; 상기 도막영상저장과정후에 도막검사 프로그램이 실행될 경우 도막검사시스템의 DB부에 저장된 검사하고자 하는 도막영상정보가 들어있는 파일을 불러 로딩시키는 도막정보 로딩과정와; 상기 도막정보 로딩과정후에 도막검사 프로그램의 진단명령이 실행될 경우 도막검사시스템의 영상처리 프로세스에 의해 녹과 박리 부위가 검출되고 열화 면적율이 산출되어 DB부에 저장된 후 출력부상에 표시시키는 박리 및 녹 추출과정과; 상기 박리 및 녹 추출과정후에 박리와 녹 정보가 포함된 도막열화정보를 통해 재도장 시기 및 최적 도장 방법을 산출하는 재도장정보 산출과정을 포함하여 구성되는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법을 제공한다.
상기와 같은 구성으로된 본 발명은 촬영된 강교 도막의 사진파일에서 색상정보, 영상 처리와 워터쉐드, 파즌 윈도우를 이용하여 자동적으로 녹과 박리를 검출해내므로써, 강교 도막의 상태를 정량적으로 진단할 수 있는 장점을 가지고 있다.
강교, 도막검사, 녹, 박리, 색상정보, 경계선추출

Description

영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법{Steel bridge coating inspection system using image processing and the processing method for the same}
본 발명은 영상처리 기법을 이용한 강교의 도막검사 시스템 및 그 처리방법에 관한 것으로, 특히 촬영된 강교 도막의 사진파일에서 색상정보, 영상 처리와 워터쉐드, 파즌 윈도우를 이용하여 자동적으로 녹과 박리를 검출해내는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법에 관한 것이다.
일반적으로, 강교량 등의 각종 구조물에 사용되는 철강은 그 수와 규모의 면에서 급증하고 있어서 현대문명에서 불가결한 중요한 재료이다. 반면에, 이들 재료는 사용환경에 의해 ‘열화’ 또는 ‘부식’되는 중요한 결점을 가지고 있기 때문에 사용에 많은 장애를 겪고 있다. 특히, 철강 중심의 금속재료는 안정된 천연금속 산화물(녹의 형태)인 광석에 많은 에너지를 가해서 쓸모있는 실용재료로 환원시킨 불안정한 것이므로 다시 안정한 원래상태로 되돌아가려는 천부적인 부식성을 가지고 있다.
그러므로, 상기와 같은 금속재료의 부식손실은 최근의 조사에 의하면 서구공 업국에서도 GNP의 무려 2～3%에 달한다고 한다. 또한, 2002년의 미국 통계에 의하면 금속부식으로 직접 손실되는 비용도 연간 약2,500억달러에 달하는 것으로 추산하였다. 물론, 이러한 직접손실 이외에도 부식으로 인한 수리 운휴나 가동중단, 효율저하, 재건설, 과중한 설계 등의 간접손실까지 가산한다면 그 경제적인 손실은 실로 막대한 것이다.
또한 부식문제는 경제적인 면뿐만 아니라 안전사고로 인한 인명피해로도 이어질 수 있기 때문에 이러한 부식문제의 심각성을 바로 인식하는 것은 매우 중요하다.
그런데, 한국내에서는 이러한 부식문제를 소홀히 함으로 인해서 대부분의 기존시설물이나 구조물에서 심각한 부식문제가 산재해 있는 실정으로 이로 인해 사회적으로 큰 물의를 일으킬 수 있으며, 현재 주변 안전에 심각한 파장을 주고 있다. 더구나 이러한 실정에도 불구하고 최근에 설치되고 있는 주요 건설 공사에서조차도 선진국에서 이미 상식화되고 있는 기본적인 방식기술의 중요성을 충분히 인식하지 못하고 설계적용을 고려하지 않은 경우가 종종 있는 것이 현실이다.
그리고, 한국내의 강교량은 일반적으로 콘크리트와 더불어 철강구조물로 건설되고 있으며, 이들 강교량은 대부분이 건설초기단계에서부터 부식손상이 예상되는 철근, 철골 또는 볼트 이음부 및 용접 이음부 등의 주요 부재를 중심으로 모든 부분에 방청피복도장을 주기적으로 적용하고 있다. 한편 상기와 같은 방청방식에도 불구하고 최근에는 이들 구조물의 사용조건이 자연의 오염과 공업의 발달로 나날이 가혹해지고 다양화되고 있어서 그 적정방식 수명까지 견뎌내지 못하고 열화되어 부 식손상 피해가 속출하고 있는 실정이다.
또한, 최근 해양환경하 구조물 건설, 염화물계 제설제 사용 등과 같은 강재 부식 요인의 증가로 강구조물에 대한 유지?보수의 중요성이 더욱 부각되고 있어 경제적이고 효율적인 유지관리가 요구되고 있다. 상기 강교의 유지관리에 있어서 도막의 수명은 강교의 사용 년 수에 비해서 상당히 짧기 때문에 양호한 도막상태를 유지하기 위해서는 적절한 시기에 재도장이 이루어져야 한다.
그러면, 상기와 같은 종래의 도막검사방법을 도 1을 참고로 살펴보면, 사진이나 비디오에 촬영된 강교의 도막열화의 영상정보를 메모리수단에 저장시키는 저장단계(S100)와;
상기 저장단계(S101)후에 촬영된 강교의 도막열화의 영상정보를 녹, 박리 등의 결함들이 점유하는 열화면적율 및 형상 등의 특징량을 산출하는 열화면적 산출단계(S102)와;
상기 열화면적 평가단계(S102)후에 그 산출된 특징량으로 얻어진 도막열화도 평가기준에 의해 도막의 남은 수명(재도장 시기)과 도 2에 도시된 바와같이 교량마다 도막열화곡선(도막열화의 추이)을 얻어 조기열화 혹은 비정상적 도막열화가 발생한 교량을 추출하는 도막열화교량 추출단계(S103)를 포함한다.
한편, 상기와 같은 종래 도막검사방법을 좀 더 구체적으로 설명해 보면, 메모리수단에 저장된 사진이나 비디오에 촬영된 강교의 도막열화의 영상정보를 불러내어 그 촬영된 강교의 도막열화의 영상정보를 녹, 박리 등의 결함들이 점유하는 열화면적율 및 형상 등의 특징량을 산출한다. 즉, 상기 도막열화의 영상정보중에서 보통 녹이나 박리 등의 도막 열화부(변상부)는 주변의 정상인 도막면과 비교하면 상대적으로 어두워지고 이 모양을 모식적으로 표현하면 도 2의 (a)와 같다.
이와 같은 화상에서 열화부를 추출하기 위해서 일정의 밝기로 구분하는 방법(즉 지정된 밝기보다도 어두운 부분은 열화부, 밝은 부분은 정상인 도막면으로 판정하는 방법)을 적용하여도 사람의 시각과 같이 좋은 결과는 얻을 수 없다.
상기 열화부가 아니라도 지정된 밝기(한계값)가 되지 않으면 열화부로 간주되며 반대로 열화부라도 한계값이 높으면 열화부로 간주되지 않는 경우가 있다(도 2(b)).
구체적으로는 우선 도 2(a)의 입력화상에 대해서 최대값 필터처리를 한다. 상기 최대값 필터처리는 화상중의 한 지점 P의 밝기를 그 주변에서 가장 밝은 밝기로 변환하는 처리이다. 상기 처리결과 주변의 범위(필터 사이즈)보다 작고 주변과 비교해서 어두운 점은 주변과 동일한 밝기로 변화된 열화부로 채워지게 된다(도 1(c)). 한편, 상기 도 1(c)의 화상에 대해서 최소값 필터처리를 한다. 그리고, 상기 최소값 필터처리는 최대값 필터처리와 반대로 화상중에서 한 지점 P의 밝기를 그 주변에서 가장 어두운 점의 밝기로 변환하는 것이다.
상기 변환결과, 최대값 필터처리에 의해서 전체적으로 밝아진 화상을 원래의 밝기로 되돌릴 수 있다. 그러나, 상기와 같은 한번의 최대값 필터처리에 의해서 열화부로 인식된 부분은 원래로 되돌릴 수 없기 때문에 도 1(a)의 입력화상 중에서 열화부(주변과 비교해서 어두운 점)만을 추출한 화상을 얻을 수 있다(도 1(d)). 따 라서 도 1(a)에서 (d)를 뺀 화상을 구하면 조도변화에 영향을 받지 않는 열화부만의 화상이 된다. 이처럼 화상에 조도변화가 있는 경우의 영역추출법으로 화상중의 각 위치에서 주변의 밝기에 비해서 상대적으로 어두운 영역을 추출하고 이를 열화부로 인식하게된다.
그러나, 상기와 같은 종래 도막검사방법은 그레이 레벨 영상(명암)만을 이용하여 열화 영역을 추출하므로 열화의 종류 즉, 녹과 박리를 구별할 수 없어, 열화 종류에 따른 열화도의 차이를 반영하지 못하기 때문에 효율적인 도장상태의 검사가 불가능하다. 즉 상기 열화의 종류에는 녹, 박리, 체킹, 쵸킹 등이 있고, 이중 가장 빈번하게 발생되는 것은 녹과 박리인데, 상기 강교 도장은 강재의 부식 방지가 주 기능이며, 실제로 강교 도막의 녹과 박리는 도막하 강재에 미치는 영향이 다르다.
따라서, 상기와 같은 종래 도막검사방법은 녹과 박리가 그 면적율에 따른 평가기준이 아래 표 1에서 확인할 수 있는 바와같이 크게 차이가 나기 때문에 종래의 명암만을 이용하는 도막검사방법으로는 정확한 열화도 산출 및 적절한 재도장 시기의 파악할 수 없다는 문제점을 야기시켰다.
Figure 112007063888419-pat00001
< 강교 도막열화도 평가 기준>
이에 상기와 같은 종래 기술의 제반문제점을 해결하기위해 발명된 것으로, 도막의 재도장 여부를 결정하는 열화도 평가 항목중 가장 배점이 큰 녹과 박리를 구분하여 검출하는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법을 제공함에 그 목적이 있다.
본 발명의 다른 목적은 촬영된 강교 도막의 사진파일에서 색상정보, 영상 처리와 워터쉐드, 파즌 윈도우를 이용하여 자동적으로 녹과 박리를 검출해내므로써, 강교 도막의 상태를 정량적으로 진단할 수 있는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법을 제공하는데 있다.
본 발명의 또다른 목적은 영상처리기법을 이용하여 강교의 도막검사를 수행하여 녹과 박리를 구분하여 취급함으로써 효율적인 재도장 시기의 예측할 수 있는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위해 본 발명은 강교의 도막 영상정보를 촬상하여 출력시키는 촬영수단과;
상기 촬영수단에 의해 촬영된 도막의 사진파일을 영상처리 프로세스에 의해 열화유형을 진단하여 녹과 박리 부위를 검출한 다음 열화면적율을 출력부상에 표시하고 재도장 시기 및 최적 도장 방법을 산출하는 컴퓨터장치부와;
상기 컴퓨터장치부의 기능제어신호에 따라 촬상된 강교의 도막 영상정보와 영상처리 프로세스에 의해 처리된 도막 열화도 및 재도장 시기 산출정보들을 저장함과 더불어 도막검사시스템에 의해 처리된 각종 정보를 저장관리하는 DB(Database)부를 포함하여 구성되는 영상처리 기법을 이용한 강교의 도막검사 시스템을 제공한다.
본 발명의 다른 특징은 도막검사시스템이 촬상된 강교의 도막 영상정보를 DB부에 저장시키는 도막영상저장과정와;
상기 도막영상저장과정후에 도막검사 프로그램이 실행될 경우 도막검사시스템의 DB부에 저장된 검사하고자 하는 도막영상정보가 들어있는 파일을 불러 로딩시키는 도막정보 로딩과정와;
상기 도막정보 로딩과정후에 도막검사 프로그램의 진단명령이 실행될 경우 도막검사시스템의 영상처리 프로세스에 의해 녹과 박리 부위가 검출되고 열화 면적율이 산출되어 DB부에 저장된 후 출력부상에 표시시키는 박리 및 녹 추출과정과;
상기 박리 및 녹 추출과정후에 박리와 녹 정보가 포함된 도막열화정보를 통해 재도장 시기 및 최적 도장 방법을 산출하는 재도장정보 산출과정을 포함하여 구성되는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법을 제공한다.
그에 더하여, 본원 발명의 또다른 특징은 도막검사시스템에서 강교 영상에서 색상 정보로 경계선을 추출하는 제 1과정과;
상기 제 1과정에서 만든 경계선 영상을 이용해 워터쉐드를 적용하여 영역을 분할하는 제 2과정과;
상기 제 2과정에서 분할된 영역에서 도막 영역을 지정하고 나머지 영역과의 유사도 측정을 통해 박리 영역을 검출하는 제 3과정과;
상기 제 3과정후에 파즌 윈도우를 이용하여 녹의 확률 밀도 함수를 만드는 제 4과정과;
상기 제 4과정에서 만들어진 확률 밀도 함수를 이용해 녹과 녹 후보 영역을 선정하는 제 5과정과;
상기 제 5과정후에 녹 후보 중 녹과 인접할 경우 녹으로 할당을 반복하여 녹을 추출해 내는 제 6과정을 포함하여 구성되는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법을 제공한다.
이상 설명에서와 같이 본 발명은 영상의 색상정보를, 영상 처리와 워터쉐드, 파즌 윈도우를 이용하여 강교 영상에서 자동적으로 녹과 박리를 검출해내므로써, (a) 강교 도막의 상태를 정량적으로 진단할 수 있으며, 또한, (b) 녹과 박리를 구분하여 취급함으로써 효율적인 재도장 시기의 예측이 가능하는 효과가 있다.
본 발명의 도막검사 시스템은 도 3에 도시된 바와같이 강교의 도막 영상정보를 촬상하여 출력시키는 촬영수단(1)과;
상기 촬영수단(1)에 의해 촬영된 도막의 사진파일을 영상처리 프로세스에 의해 열화유형을 진단하고 예컨대, 녹과 박리 부위를 검출하여 열화면적율을 출력부(2)상에 표시하고 재도장 시기 및 최적 도장 방법을 산출하는 컴퓨터장치부(3) 와;
상기 컴퓨터장치부(3)의 기능제어신호에 따라 촬상된 강교의 도막 영상정보와 영상처리 프로세스에 의해 처리된 도막 열화도 및 재도장 시기 산출정보들을 저장함과 더불어 도막검사시스템(4)에 의해 처리된 각종 정보를 저장관리하는 DB(Database)부(5)를 포함하여 구성된다.
여기서, 상기 컴퓨터장치부(3)의 일단에는 각종 제어신호를 입력시키는 입력부(6)가 연결된다. 또한, 상기 촬영수단(1)은 디지털 카메라, 아날로그 카메라, 캠코더, 스캐너 등을 포함한다. 그리고, 상기 출력부(2)는 모니터 혹은 프린터를 포함한다.
다음에는 본 발명 도막검사시스템에 적용되는 도막검사방법을 설명한다.
본 발명의 방법은 도 4에 도시된 바와같이 초기화과정(S200)에서 도막영상저장과정(S300)로 진행하여 도막검사시스템이 촬상된 강교의 도막 영상정보를 DB부에 저장시킨다. 그리고, 상기 도막영상저장과정(S300)후에 도막검사 프로그램이 실행될 경우 도막정보 로딩과정(S400)으로 진행하여 도 5에 도시된 바와같이 도막검사시스템의 DB부에 저장된 검사하고자 하는 도막영상정보가 들어있는 파일을 불러 로딩시킨다. 또한, 상기 도막정보 로딩과정(S400)후에 도막검사 프로그램의 진단명령이 실행될 경우 박리 및 녹 추출과정(S500)으로 진행하여 도 6에 도시된 바와같이 도막검사시스템의 영상처리 프로세스에 의해 녹과 박리 부위가 검출되고 열화 면적율이 산출되어 DB부에 저장된 후 출력부상에 표시시킨다.
그리고, 상기 박리 및 녹 추출과정(S500)후에 재도장정보 산출과정(S600)으로 진행하여 박리와 녹 정보가 포함된 도막열화정보를 통해 재도장 시기 및 최적 도장 방법을 산출한다.
여기서, 상기 박리 및 녹 추출과정(S500)에는 강교 영상에서 색상 정보로 경계선을 추출하는 제 501단계와;
상기 제 502단계에서 만든 경계선 영상을 이용해 워터쉐드(watershed)를 적용하여 영역을 분할하는 제 502단계와;
상기 제 502단계에서 분할된 영역에서 도막 영역을 지정하고 나머지 영역과의 유사도 측정을 통해 박리 영역을 검출하는 제 503단계로 이루어진 박리추출과정을 더 포함한다.
한편, 상기 박리 및 녹 추출과정(S500)에는 파즌 윈도우(Parzen window)를 이용하여 녹의 확률 밀도 함수를 만드는 제 511단계와,
상기 제 511 단계에서 만들어진 확률 밀도 함수를 이용하여 녹과 녹 후보 영역을 선정하는 제 512단계와,
상기 제512단계중에 녹 후보 중 녹과 인접할 경우 녹으로 할당을 반복하여 녹을 추출해 내는 제 513단계로 이루어진 녹 추출과정을 더 포함한다.
이상 설명에서와 같이 상기 박리 및 녹 추출과정(S500)의 박리추출과정과 녹 추출과정을 통해 강교 도막의 열화등급 산출에 필요한 녹과 박리를 구분하여 검출하는 것이 가능하다.
여기서, 상기 박리추출과정중에는 워터쉐드 알고리즘과 색상 공간에서의 유사도 측정을 통해 박리를 효과적으로 검출해 낼 수 있고, 녹 추출과정중에는 파즌 윈도우를 이용한 녹의 확률 밀도 함수를 생성하여 녹이 발생하는 특징에 맞게 효과적으로 검출할 수 있다.
한편, 상기와 같은 박리 및 녹 추출과정(S500)을 통해 검사가 완료된 데이터들은 DB부(5)에 저장되고, 본 발명의 도막검사시스템(4)의 컴퓨터장치부(3)는 도 7에 도시된 바와같이 검사 결과를 출력부(2) 즉, 모니터상에 언제든지 불러올 수 있어 도막검사 이력관리가 용이해지고, 최적의 시기에 보수도장을 실시할 수 있어 유지관리의 효율성이 높아질 것으로 기대된다.
환언하면, 상기 박리추출과정의 제 501단계에서는 색상정보를 이용하여 경계선을 검출하고, 영역을 구분하기 위해 사용되는 정보는 영역간의 경계선 정보이므로 경계선 정보를 정확하게 얻어내기 위해 색상정보를 이용해야 한다.
여기서, 상기 색상 값을 이용한 경계선 추출을 위해 RGB 색상 공간에서 각각의 채널에 소벨 마스크를 이용해 경계선을 구한 다음 각 채널의 경계선 요소 중에서 최대값을 사용하여 경계선을 검출하였다.
즉, 도 8(b)는 도 8(a)영상을 그레이 레벨 상에서 경계선을 추출한 그림이며, 도 8 (c)는 색상 경계선 추출 결과를 보여준다. 여기서, 상기 도 8(b)에 비해 도8 (c)에서 경계선이 더 뚜렷하게 검출됨을 알 수 있다.
그리고, 상기 박리추출과정의 제 502단계에서는 앞서 만든 색상 경계선 영상에 워터쉐드 알고리즘을 적용하여 영상을 동일한 색상을 가지는 영역으로 분할한 다.
여기서, 상기 워터쉐드 알고리즘은 지형학 분야에서 연구된 것으로 영상을 픽셀 값을 높이로 하는 3차원 지형으로 간주하고, 이 지형에 물을 채웠을 때 만나는 부분을 하나의 윤곽선으로 둘러 싸여진 웅덩이를 분할된 영역으로 판단하여 영상을 분할하는 알고리즘이다.
또한, 상기 박리추출과정의 제 503단계에서는 도막 영역을 지정하고, 나머지 영역과의 유사도 측정을 통해 박리 영역을 검출한다.
즉, 상기 도 8에 도시된 바와같이 도막과 박리가 구분되는 경우는 색상이 큰 차이가 나거나, 밝기가 큰 차이가 나는 경우로 나눌 수 있다. 그리고, 도 9(a)에서는 도막과 박리가 색상에서 큰 차이를 보이는 것을 알 수 있고, 도 9(b)는 밝기에서 큰 차이를 보이는 것을 알 수 있다. 이런 점을 이용하여 도막 영역과의 유사도를 측정하여 박리를 구분한다.
다시말해서, 상기 박리추출과정에서 진단하고자 하는 강교 영역 내부에서 가장 큰 영역은 도막이므로 앞서 나누어진 영역 중에서 가장 큰 영역을 도막으로 할당한다. 그리고, 그 나머지 영역은 처음에 도막으로 설정된 영역과의 색상이나 밝기의 유사도 측정을 통해 도막이나 박리로 구분한다.
여기서, 상기 유사도 측정을 위한 대표 값은 각 영역의 색상과 밝기 정보의 평균을 사용한다. 유사도 측정 식은 다음의 수학식 1과 같다.
Figure 112007063888419-pat00002
여기서, 상기 P는 도막 영역이고 C는 비교하고자 하는 영역이다. 상기 색상 공간에서 한 화소의 벡터 요소를 색상정보인 ch와 밝기 정보인 lu로 나타낸다. 상기 Tpeeling은 색상이나 밝기의 유사도 측정을 위한 임계값(threshold)이다.
따라서, 상기 도막과의 유사도 측정에서 밝기나 색상 중에서 큰 차이를 보이는 영역을 박리로 검출한다. 상기 수학식 1은 이러한 점을 고려해 밝기 정보와 색상 정보 중에서 차이가 크게 나타나는 값을 사용해 도막과 박리를 구분한다.
결국, 상기 박리추출과정을 도 10을 참고로 살펴보면, 도 10의 (a)의 영상에 색상 경계선 추출 알고리즘을 적용하여 경계선이 검출된 결과를 도 10의 (b)에 나타내었다. 그리고, 상기 도 10의 (c)는 도 10의 (b)에 워터쉐드 알고리즘을 적용한 결과이며, 도 10의 (d)는 도막과의 유사도 측정을 통해 박리 영역이 추출된 결과이다. 도막 영역을 검은색, 박리 영역을 회색으로 나타내었다
한편, 상기 녹 추출과정에는 확률을 기반으로 녹을 구분하기 위한 확률 밀도 함수는 녹이 있는 강교 영상에서 수동으로 녹을 추출한 칼라 영상 데이터에 파즌 윈도우 방법을 적용하여 구한다.
상기 녹 추출과정은 먼저, 파즌 윈도우를 이용하면 데이터의 임의의 확률 분포를 다항식의 파라미터에 의존하지 않고 모델링할 수 있다.
상기 녹의 특징 중 하나는 처음에 산화되는 곳을 시발점으로 주변을 녹으로 산화시켜 나간다는 것이다.
그러므로, 상기 녹 영역 주변 화소는 녹 영역일 확률이 상대적으로 높아진 다.
따라서, 상기 녹추출과정중에는 도 11의 (a)에 도시된 영상의 화소를 녹의 발생 확률에 따라 다른 밝기로 도 11의 (b)에 나타내었다. 그리고, 상기 도 11의 (b)에서 검은색은 녹의 발생 확률이 0인 화소이고, 발생 확률이 높을수록 흰색에 가깝게 나타내었다. 또한, 상기 도 11의 (b)에서 보는 바와 같이 녹이 있는 곳의 중심에는 아주 높은 확률을 가지는 녹 표본이 존재하고, 주변으로 갈수록 녹의 발생확률이 낮은 표본이 존재하게 된다.
즉, 상기 녹을 검출하기 위해서는 먼저 녹일 확률이 높은 곳을 초기 녹 영역으로 구분하고 녹일 확률이 낮은 곳은 녹 후보로 간주한다. 화소의 색상 x에 대한 초기 녹 영역과 녹 후보 영역은 다음 수학식 2와 같이 결정된다.
Figure 112007063888419-pat00003
여기서 상기 I(x,y)는 x, y 지점에서의 화소를 나타낸다. 상기 a는 x, y 지점에서 색상 정보를 가지는 벡터이며, p(a|rust)는 녹의 확률 밀도 함수이다. Trust는 초기 녹 영역을 지정하기 위해 사용되는 확률 값이다.
그러므로, 상기 녹 추출과정에는 녹 영역과 녹 후보를 할당한 후에 주변 위치에 녹이 있거나 박리 영역인 녹 후보는 녹으로 할당하고 다음 수학식 3으로 나타 낼 수 있다.
Figure 112007063888419-pat00004
여기서, 상기 Xcandidate는 강교 영상에서 수학식 2에 의해 결정된 녹 후보의 위치 좌표이고, Xrust는 강교 영상에서 수학식 3과 2에 의해 결정되는 녹의 위치 좌표이다. 상기 D는 녹 후보 주변 영역에 녹이 있는지 확인하는 영역의 범위를 결정하기 위해 사용되는 크기이다.
그리고, 상기 녹 추출과정중의 마지막으로 녹 후보에서 녹으로 바뀌는 화소가 없을 때까지 수학식 3을 반복하여 최종 녹 영역을 결정한다.
결국, 상기 녹 추출과정을 단계적으로 보면 다음의 표 2와 같다.
Step 1: 강교 영상에서 확률분포에 근거하여 녹과 녹 후보 선정
Figure 112007063888419-pat00005
Step 2: 녹 후보 중에서 녹과 인접할 경우에 녹으로 할당
Figure 112007063888419-pat00006
Step 3: 녹 후보에서 녹으로의 변화가 없을 때 까지 Step 2를 반복
결국, 상기 녹 추출과정을 도 12 을 참고로 살펴보면, 도 12의 녹은 흰색으로 나타내고, 녹 후보는 회색으로 나타내었다.
즉, 상기 도 12의 (a) 영상에 녹 추출 알고리즘 Step 1을 적용하여 녹과 녹 후보를 표시한 영상이 도 12의 (b)인데, 확률이 높은 초기 녹 영역이 녹 후보들의 중심에 있고, 확률이 낮은 녹 후보들이 둘러싸고 있음을 볼 수 있다.
상기 도 12의 (c)는 녹 추출 알고리즘의 두 번째 단계로 녹 영역이 확장되어 가는 결과인데, 주변 영역에 녹 영역이 있는 녹 후보 영역으로 점점 확장되어 가는 것을 볼 수 있다.
상기 도 12의 (d)에서는 최종 녹 검출 결과를 나타내었다.
이상 설명에서와 같이 본 발명은 촬영된 강교 도막의 사진파일에서 색상정보, 영상 처리와 워터쉐드, 파즌 윈도우를 이용하여 자동적으로 녹과 박리를 검출해내므로써, 강교 도막의 상태를 정량적으로 진단할 수 있어 강교 도막 진단분야에서 편리하게 사용할 수 있다.
도 1은 종래 도막검사시스템을 설명하는 플로우차트.
도 2의 (a-d)는 종래 도막검사시스템에 의한 도막검사방법의 일례를 설명하는 설명도.
도 3은 본 발명의 도막검사시스템을 설명하는 블록도.
도 4는 본 발명의 도막검사방법을 설명하는 플로우차트.
도 5는 본 발명의 도막검사방법의 열화진단을 시작하는 화면을 설명하는 설명도.
도 6은 본 발명의 방법중 원본파일사진을 영상처리한 사진을 설명하는 설명도.
도 7은 본 발명의 방법에 의해 산출된 결과의 일례를 설명하는 설명도.
도 8은 본 발명의 방법에 의해 색상경계선을 추출하는 방법을 설명하는 설명도.
도 9 (a-b)는 본 발명의 방법에 의해 구현되는 색상차를 설명하는 설명도.
도 10(a-d)는 본 발명의 박리추출과정을 설명하는 설명도.
도 11(a-b)는 본 발명에 의해 구현된 녹 영상을 설명하는 설명도.
도 12(a-d)는 본 발명의 녹 추출과정을 설명하는 설명도.
*** 도면의 중요부분에 대한 부호의 설명 ***
1 : 촬영수단 2 : 출력부
3 : 컴퓨터장치부 4 : 도막검사시스템
5 : DB부 6 : 입력부

Claims (8)

  1. 삭제
  2. 도막검사시스템이 촬상된 강교의 도막 영상정보를 DB부에 저장시키는 도막영상저장과정(S300)과;
    상기 도막영상저장과정(300)후에 도막검사 프로그램이 실행될 경우 도막검사시스템의 DB부에 저장된 검사하고자 하는 도막영상정보가 들어있는 파일을 불러 로딩시키는 도막정보 로딩과정(400)과;
    상기 도막정보 로딩과정(400) 후에 도막검사 프로그램의 진단명령이 실행될 경우 도막검사시스템의 영상처리 프로세스에 의해 녹과 박리 부위가 검출되고 열화 면적율이 산출되어 DB부에 저장된 후 출력부상에 표시시키는 박리 및 녹 추출과정(500)과;
    상기 박리 및 녹 추출과정후에 박리와 녹 정보가 포함된 도막열화정보를 통해 재도장 시기 및 최적 도장 방법을 산출하는 재도장정보 산출과정(600)을 포함하여 구성되고;
    상기 박리 및 녹 추출과정(500)에는 강교 영상에서 색상 정보로 경계선을 추출하는 제 501단계와;
    상기 제501단계에서 만든 경계선 영상을 이용해 워터쉐드(watershed)를 적용하여 영역을 분할하는 제502단계와;
    상기 제502단계에서 분할된 영역에서 도막 영역을 지정하고 나머지 영역과의 유사도 측정을 통해 박리 영역을 검출하는 제503단계로 이루어진 박리추출과정을 더 포함하는 것을 특징으로 하는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법.
  3. 삭제
  4. 제2항에 있어서, 상기 제 501단계에서는 색상 값을 이용한 경계선 추출을 위해 RGB 색상 공간에서 각각의 채널에 소벨 마스크를 이용해 경계선을 구한 다음 각 채널의 경계선 요소 중에서 최대값을 사용하여 경계선을 검출하는 단계를 더 포함하는 것을 특징으로 하는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법.
  5. 제2항에 있어서, 상기 503단계의 유사도 측정은 수학식 1을 사용하여 측정하는 것을 특징으로 하는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법.
    [수학식 1]
    Figure 112009008104635-pat00007
    여기서, 상기 P는 도막 영역이고 C는 비교하고자 하는 영역이다. 상기 색상 공간에서 한 화소의 벡터 요소를 색상정보인 ch와 밝기 정보인 lu로 나타낸다. 상기 Tpeeling은 색상이나 밝기의 유사도 측정을 위한 임계값(threshold)이다.
  6. 도막검사시스템이 촬상된 강교의 도막 영상정보를 DB부에 저장시키는 도막영상저장과정(S300)과;
    상기 도막영상저장과정(300)후에 도막검사 프로그램이 실행될 경우 도막검사시스템의 DB부에 저장된 검사하고자 하는 도막영상정보가 들어있는 파일을 불러 로딩시키는 도막정보 로딩과정(400)과;
    상기 도막정보 로딩과정(400) 후에 도막검사 프로그램의 진단명령이 실행될 경우 도막검사시스템의 영상처리 프로세스에 의해 녹과 박리 부위가 검출되고 열화 면적율이 산출되어 DB부에 저장된 후 출력부상에 표시시키는 박리 및 녹 추출과정(500)과;
    상기 박리 및 녹 추출과정후에 박리와 녹 정보가 포함된 도막열화정보를 통해 재도장 시기 및 최적 도장 방법을 산출하는 재도장정보 산출과정(600)을 포함하여 구성되고;
    상기 박리 및 녹 추출과정(500)에는 파즌 윈도우(Parzen window)를 이용하여 녹의 확률 밀도 함수를 만드는 제511단계와,
    상기 제511단계에서 만들어진 확률 밀도 함수를 이용하여 녹과 녹 후보 영역을 선정하는 제 512단계와,
    상기 제512단계 중에 녹 후보 중 녹과 인접할 경우 녹으로 할당을 반복하여 녹을 추출해 내는 제513단계로 이루어진 녹 추출과정을 더 포함하여 구성되는 것을 특징으로 하는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법.
  7. 제6항에 있어서, 상기 제 512단계에는 수학식 3을 사용하여 녹 영역과 녹 후보를 할당한 후에 주변 위치에 녹이 있거나 박리 영역인 녹 후보는 녹으로 할당하는 것을 특징으로 하는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방 법.
    [수학식 3]
    Figure 112007063888419-pat00008
    여기서, 상기 Xcandidate는 강교 영상에서 수학식 2에 의해 결정된 녹 후보의 위치 좌표이고, Xrust는 강교 영상에서 수학식 3과 2에 의해 결정되는 녹의 위치 좌표이다. 상기 D는 녹 후보 주변 영역에 녹이 있는지 확인하는 영역의 범위를 결정하기 위해 사용되는 크기이다.
  8. 도막검사시스템에서 강교 영상에서 색상 정보로 경계선을 추출하는 제 1과정과;
    상기 제 1과정에서 만든 경계선 영상을 이용해 워터쉐드를 적용하여 영역을 분할하는 제 2과정과;
    상기 제 2과정에서 분할된 영역에서 도막 영역을 지정하고 나머지 영역과의 유사도 측정을 통해 박리 영역을 검출하는 제 3과정과;
    상기 제 3과정후에 파즌 윈도우를 이용하여 녹의 확률 밀도 함수를 만드는 제 4과정과;
    상기 제 4과정에서 만들어진 확률 밀도 함수를 이용해 녹과 녹 후보 영역을 선정하는 제 5과정과;
    상기 제 5과정후에 녹 후보 중 녹과 인접할 경우 녹으로 할당을 반복하여 녹 을 추출해 내는 제 6과정을 포함하여 구성되는 것을 특징으로 하는 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법.
KR1020070088807A 2007-09-03 2007-09-03 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법 Active KR100891934B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020070088807A KR100891934B1 (ko) 2007-09-03 2007-09-03 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법
PCT/KR2008/002190 WO2009031743A1 (en) 2007-09-03 2008-04-18 Steel bridge coating inspection system using image processing and the processing method for the same
US12/675,546 US8363921B2 (en) 2007-09-03 2008-04-18 Steel bridge coating inspection system using image processing and the processing method for the same
JP2010522783A JP5080649B2 (ja) 2007-09-03 2008-04-18 映像処理方法を用いた鋼橋の塗膜検査システム及びその処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070088807A KR100891934B1 (ko) 2007-09-03 2007-09-03 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법

Publications (2)

Publication Number Publication Date
KR20090023785A KR20090023785A (ko) 2009-03-06
KR100891934B1 true KR100891934B1 (ko) 2009-04-08

Family

ID=40429039

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070088807A Active KR100891934B1 (ko) 2007-09-03 2007-09-03 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법

Country Status (4)

Country Link
US (1) US8363921B2 (ko)
JP (1) JP5080649B2 (ko)
KR (1) KR100891934B1 (ko)
WO (1) WO2009031743A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5550058B2 (ja) * 2008-03-26 2014-07-16 大日本塗料株式会社 塗膜診断システム
KR101271620B1 (ko) * 2010-12-31 2013-06-11 삼성중공업 주식회사 도장면 검출 방법 및 이를 이용한 도장 방법
JP6293505B2 (ja) * 2014-02-03 2018-03-14 株式会社タカコ 工具検査方法及び工具検査装置
US9996765B2 (en) 2014-03-12 2018-06-12 The Sherwin-Williams Company Digital imaging for determining mix ratio of a coating
MX359519B (es) * 2014-03-12 2018-10-01 Swimc Llc Formación de imágenes digitalmente mejoradas en tiempo real para la predicción, aplicación, e inspección de recubrimientos.
CN104267043B (zh) * 2014-10-16 2016-06-08 东南大学 一种混凝土桥梁裂纹的移动检测装置
KR20160140232A (ko) 2015-05-29 2016-12-07 조선대학교산학협력단 이미지 세분화 방법
CN105203548A (zh) * 2015-09-10 2015-12-30 苏州威盛视信息科技有限公司 Aoi检测设备的控制系统
KR101858793B1 (ko) 2015-10-30 2018-06-29 주식회사 포스코 강판의 후처리 검사 장치 및 방법
CN110809779B (zh) 2017-06-28 2023-07-28 富士胶片株式会社 图像合成方法、图像合成装置及记录介质
JP6807459B2 (ja) 2017-07-25 2021-01-06 富士フイルム株式会社 損傷図作成方法、損傷図作成装置、損傷図作成システム、及び記録媒体
WO2019150872A1 (ja) 2018-02-02 2019-08-08 富士フイルム株式会社 画像処理装置及び画像処理方法
JP6881347B2 (ja) * 2018-02-16 2021-06-02 新東工業株式会社 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体
JP6815431B2 (ja) * 2019-03-26 2021-01-20 株式会社ダイヘン 塗装面検査装置、及びプログラム
CN110532924A (zh) * 2019-08-22 2019-12-03 江苏联峰实业有限公司 一种高耐热钢的识别处理方法及装置
EP4116931A4 (en) 2020-03-02 2023-09-06 FUJIFILM Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE PROCESSING PROGRAM
CN115176284A (zh) 2020-03-16 2022-10-11 富士胶片株式会社 图像处理装置、图像处理方法及图像处理程序
JP7157355B1 (ja) 2021-06-04 2022-10-20 ダイキン工業株式会社 評価方法、評価装置及びコンピュータプログラム
CN114331054B (zh) * 2021-12-14 2024-05-28 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 防护涂层评价方法和评价系统
CN114227722B (zh) * 2022-01-20 2024-06-28 北京史河科技有限公司 可精准识别生锈区域的船只内舱除锈机器人的定位机构
US20240118190A1 (en) * 2022-10-05 2024-04-11 Schlumberger Technology Corporation Trend-based colorimetric analysis techniques for field component and tool string diagnostics
KR102795603B1 (ko) * 2022-12-19 2025-04-15 코드비전 주식회사 도장 정보를 제공하기 위한 전자 장치 및 그 동작 방법
CN117067226B (zh) * 2023-08-17 2024-07-23 兰州交通大学 钢桥锈蚀检测机器人及锈蚀检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990022912A (ko) * 1995-06-14 1999-03-25 사토 야스히로 코팅막의 검사장치 및 방법
JP2004020498A (ja) * 2002-06-19 2004-01-22 Sumitomo Chem Co Ltd 塗装管理システム
KR20040041243A (ko) * 2002-11-09 2004-05-17 정란 적외선 열화상 데이터를 이용한 비파괴 방식의 철근부식정도 측정방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2541735B2 (ja) * 1992-10-09 1996-10-09 日本道路公団 塗膜劣化診断方法及び装置
JP3342373B2 (ja) * 1997-10-08 2002-11-05 三洋電機株式会社 マーカー領域獲得方法及び装置、及び領域分割装置
US6947797B2 (en) * 1999-04-02 2005-09-20 General Electric Company Method and system for diagnosing machine malfunctions
US6532066B1 (en) * 2000-08-05 2003-03-11 Ford Global Technologies, Inc. Vision system for identification of defects in wet polymeric coatings
US6714831B2 (en) * 2002-01-24 2004-03-30 Ford Motor Company Paint defect automated seek and repair assembly and method
JP4825469B2 (ja) * 2005-08-05 2011-11-30 株式会社日立ハイテクノロジーズ 半導体デバイスの欠陥レビュー方法及びその装置
JP4829835B2 (ja) * 2006-06-12 2011-12-07 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990022912A (ko) * 1995-06-14 1999-03-25 사토 야스히로 코팅막의 검사장치 및 방법
JP2004020498A (ja) * 2002-06-19 2004-01-22 Sumitomo Chem Co Ltd 塗装管理システム
KR20040041243A (ko) * 2002-11-09 2004-05-17 정란 적외선 열화상 데이터를 이용한 비파괴 방식의 철근부식정도 측정방법

Also Published As

Publication number Publication date
US20110150326A1 (en) 2011-06-23
US8363921B2 (en) 2013-01-29
WO2009031743A1 (en) 2009-03-12
JP2010538258A (ja) 2010-12-09
JP5080649B2 (ja) 2012-11-21
KR20090023785A (ko) 2009-03-06

Similar Documents

Publication Publication Date Title
KR100891934B1 (ko) 영상처리 기법을 이용한 강교의 도막검사 시스템의 처리방법
Hawari et al. Automated defect detection tool for closed circuit television (cctv) inspected sewer pipelines
Guo et al. Automated defect detection for sewer pipeline inspection and condition assessment
Kothari Detecting welding defects in steel plates using machine learning and computer vision algorithms
Bondada et al. Detection and quantitative assessment of corrosion on pipelines through image analysis
JP5645730B2 (ja) コンクリート表面の閉合ひび割れ検出方法
Chou et al. Automatic diagnostic system of electrical equipment using infrared thermography
German et al. Rapid entropy-based detection and properties measurement of concrete spalling with machine vision for post-earthquake safety assessments
US20210281748A1 (en) Information processing apparatus
JP5591165B2 (ja) コンクリート表面の変状領域の検出方法
WO2022224657A1 (ja) 製造ラインの異常予兆検知装置、方法及びプログラム並びに製造装置及び検品装置
Barkavi et al. Processing digital image for measurement of crack dimensions in concrete
JP2004212311A (ja) ムラ欠陥の検出方法及び装置
Calderón et al. Crack detection in concrete elements from RGB pictures using modified line detection kernels
KR20140121068A (ko) 평판디스플레이의 얼룩 검사 방법 및 장치
Aboutabl A new image-based model for predicting cracks in sewer pipes
Prasetio et al. Design of defect classification on clay tiles using support vector machine (svm)
CN1668920A (zh) 熔融状态的在线测量的方法
JP3396960B2 (ja) 塗膜劣化自動診断方法
Prabakar et al. A novel approach of surface crack detection using super pixel segmentation
JP2541735B2 (ja) 塗膜劣化診断方法及び装置
JP2005252451A (ja) 画質検査方法及び画質検査装置
Lee et al. Digital image processing methods for assessing bridge painting rust defects and their limitations
Hosallimath et al. Investigation of Corrosion Intensity on Metal Structures Using Image Processing Algorithms
Xue-Fei et al. Automated assessment of buried pipeline defects by image processing

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20070903

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20081212

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20090323

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20090330

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20090331

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20120305

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20130228

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20130228

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20140228

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20140228

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20150226

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20160224

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20160224

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20170302

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20180305

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20190401

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20200302

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20210302

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20220302

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20230227

Start annual number: 15

End annual number: 15

PR1001 Payment of annual fee

Payment date: 20240325

Start annual number: 16

End annual number: 16

PR1001 Payment of annual fee

Payment date: 20250304

Start annual number: 17

End annual number: 17