KR102231356B1 - 시설물 결함 검측 방법 및 그 장치 - Google Patents

시설물 결함 검측 방법 및 그 장치 Download PDF

Info

Publication number
KR102231356B1
KR102231356B1 KR1020180169543A KR20180169543A KR102231356B1 KR 102231356 B1 KR102231356 B1 KR 102231356B1 KR 1020180169543 A KR1020180169543 A KR 1020180169543A KR 20180169543 A KR20180169543 A KR 20180169543A KR 102231356 B1 KR102231356 B1 KR 102231356B1
Authority
KR
South Korea
Prior art keywords
facility
detected
input images
defect
input
Prior art date
Application number
KR1020180169543A
Other languages
English (en)
Other versions
KR20200067072A (ko
Inventor
백준기
장진범
김희광
박종국
신정철
Original Assignee
중앙대학교 산학협력단
투아이시스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단, 투아이시스(주) filed Critical 중앙대학교 산학협력단
Publication of KR20200067072A publication Critical patent/KR20200067072A/ko
Application granted granted Critical
Publication of KR102231356B1 publication Critical patent/KR102231356B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/08—Testing mechanical properties
    • G01M11/081—Testing mechanical properties by using a contact-less detection method, i.e. with a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0025—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings of elongated objects, e.g. pipes, masts, towers or railways
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G06K9/46—
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

시설물 결함 검측 방법 및 그 장치가 개시된다. 시설물 결함 검측 방법은, (a) 서로 다른 시점에 동일한 구간에서 동일한 시설물이 포함된 특정 공간을 촬영한 두 입력 영상 셋을 입력받는 단계; (b) 상기 두 입력 영상 셋을 정합하는 단계; (c) 상기 정합된 두 입력 영상 셋 중 어느 하나를 분류 모델에 입력한 후 랜덤 포레스트를 적용하여 검출 대상 시설물을 검출하는 단계; 및 (d) 상기 정합된 두 입력 영상을 대상으로 상기 검출된 검출 대상 시설물의 영역의 변형을 검출하여 시설물의 결함을 검측하는 단계를 포함한다.

Description

시설물 결함 검측 방법 및 그 장치{Facility defect inspection method and apparatus}
본 발명은 시설물 결함 검측 방법 및 그 장치에 관한 것이다.
영상처리는 컴퓨터의 처리 능력과 카메라 내 영상 센서의 집적 기술 향상과 더불어 발전되고 있으며, 다양한 산업 분야에서 활용되고 있다. 보안 및 감시 체계에서 영상처리는 객체 검출 및 추적 기술을 결합함으로써 오랫동안 사용되어 왔으며, 최근에는 전장 및 로봇 분야에서 컴퓨터 비전을 구현하기 위한 수단으로 활용되고 있다.
철도 분야에서의 시설물 유지보수를 위한 영상처리 기술은 인간이 발견하기 어려운 결함들을 검출 및 분석함으로써 신뢰성 및 안전성을 제공하는 것을 목적으로 한다. 다른 운송 수단과 달리 철도 분야는 선로 및 전기 공급 시설물 등에 의존하며, 운송 구간이 매우 길기 때문에 각종 시설물에 대한 유지보수 체계가 매우 중요하다.
최근 시설물의 효율적인 유지보수 및 점검을 위한 많은 연구들이 진행되고 있다. Zhang 등은 Line scan 카메라를 이용하여 촬영된 터널 영상으로부터 형태학적 기법과 기계학습 방법을 이용하여 터널 내부의 균열을 검측하는 시스템을 제안하였다. Rizvi 등은 두 카메라로부터 촬영된 영상으로부터 선로의 마모 유무를 검측하는 방법을 제안하였다. 유사하게, Tastimur 등은 차분 및 형태학적 기법 등의 영상처리 기술을 이용한 선로의 마모를 검측하는 방법에 대해 연구하였다. 국내에서도 도시철도의 안전 및 시설물의 효율적인 유지보수를 위한 많은 연구가 진행되고 있으나, 여전히 기존의 철도 시설물의 유지보수 체계는 대체로 인력에 의존하는 문제가 있다.
본 발명은 효율적인 철도 시설물 점검을 위한 영상처리 기반의 시설물 결함 검측 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 도시 철도 차량 외부에 설치된 카메라 장비를 이용하여 촬영된 영상을 분석하여 시설물 변형을 검측함으로써 기술자의 효율적의 유지보수에 따른 사고 위험을 감소할 수 있는 시설물 결함 검측 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 효율적인 철도 시설물 점검을 위한 영상처리 기반의 시설물 결함 검측 방법이 제공된다.
본 발명의 일 실시예에 따르면, (a) 서로 다른 시점에 동일한 구간에서 동일한 시설물이 포함된 특정 공간을 촬영한 두 입력 영상 셋을 입력받는 단계; (b) 상기 두 입력 영상 셋을 정합하는 단계; (c) 상기 정합된 두 입력 영상 셋 중 어느 하나를 분류 모델에 입력한 후 랜덤 포레스트를 적용하여 검출 대상 시설물을 검출하는 단계; 및 (d) 상기 정합된 두 입력 영상을 대상으로 상기 검출된 검출 대상 시설물의 영역의 변형을 검출하여 시설물의 결함을 검측하는 단계를 포함하는 시설물 결함 검측 방법이 제공될 수 있다.
상기 (b) 단계는, 두 입력 영상 셋의 각 화소의 위상 상관(phase correlation) 결과를 계산하는 단계; 및 상기 두 입력 영상 셋의 각 화소간의 위상 상관 결과 중 최대값을 변위 벡터로 도출하고, 상기 변위 벡터를 이용하여 상기 두 입력 영상을 정합하는 단계를 포함할 수 있다.
상기 (c) 단계는, 상기 두 입력 영상 중 어느 하나에 대해 HOG(histogram of oriented gradient) 알고리즘을 적용하여 특징 정보를 각각 추출하는 단계; 상기 추출된 특징 정보를 벡터화하는 단계; 및 상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 검출 대상 시설물을 검출 및 분류하는 단계를 포함할 수 있다.
상기 검출 대상 시설물을 검출 및 분류하는 단계 이전에, 상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 분류 모델을 학습하는 단계를 더 포함할 수 있다.
상기 (d) 단계는, (d-1) 상기 두 입력 영상의 키 포인트(key point) 특징점을 도출하여 매칭하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 단계; 및 (d-2) 상기 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단하는 단계를 포함할 수 있다.
상기 (d-1) 단계는, 상기 두 입력 영상에 대해 SURF 알고리즘을 적용하여 키 포인트(key point) 특징점을 추출하고, 상기 추출된 두 입력 영상의 키 포인트 특징점을 각각 매칭하는 단계; 및 상기 매칭된 특징점 쌍(pair)를 이용하여 호모그래피 행렬을 추정한 후 두 입력 영상 중 이전 시점에 촬영된 입력 영상을 와핑(wrapping)하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 단계를 포함할 수 있다.
상기 (d-2) 단계는, 상기 두 입력 영상간 모양이 일치된 검출 대상 시설물간의 SAD(sum of absolute difference)를 도출하는 단계; 및 상기 도출된 SAD 결과 중 최소값이 임계치 이상이면 상기 검출 대상 시설물의 결함으로 판단하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 효율적인 철도 시설물 점검을 위한 영상처리 기반의 시설물 결함 검측 장치가 제공된다.
본 발명의 일 실시예에 따르면, 서로 다른 시점에 동일한 구간에서 동일한 시설물이 포함된 특정 공간을 촬영한 두 입력 영상 셋을 입력받는 입력부; 상기 두 입력 영상 셋을 정합하는 정합부; 상기 정합된 두 입력 영상 셋 중 어느 하나를 분류 모델에 입력한 후 랜덤 포레스트를 적용하여 검출 대상 시설물을 검출하는 시설물 검출부; 및 상기 정합된 두 입력 영상을 대상으로 상기 검출된 검출 대상 시설물의 영역의 변형을 검출하여 시설물의 결함을 검측하는 결함 검측부를 포함하는 시설물 결함 검측 장치가 제공될 수 있다.
상기 정합부는, 두 입력 영상 셋의 각 화소의 위상 상관(phase correlation) 결과를 계산한 후 상기 두 입력 영상 셋의 각 화소간의 위상 상관 결과 중 최대값을 변위 벡터로 도출하고, 상기 변위 벡터를 이용하여 상기 두 입력 영상을 정합할 수 있다.
상기 시설물 검출부는, 상기 두 입력 영상 중 어느 하나에 대해 HOG(histogram of oriented gradient) 알고리즘을 적용하여 특징 정보를 각각 추출하는 특징 추출부; 상기 추출된 특징 정보를 벡터화하는 특징 재배열부; 및 상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 검출 대상 시설물을 검출 및 분류하는 분류기를 포함할 수 있다.
상기 시설물 검출부는, 상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 분류 모델을 학습하는 학습부를 더 포함할 수 있다.
상기 결함 검측부는, 상기 두 입력 영상의 키 포인트(key point) 특징점을 도출하여 매칭하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 매칭부; 및 상기 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단하는 결함 분석부를 포함할 수 있다.
상기 매칭부는, 상기 두 입력 영상에 대해 SURF 알고리즘을 적용하여 키 포인트(key point) 특징점을 추출하고, 상기 추출된 두 입력 영상의 키 포인트 특징점을 각각 매칭하고, 상기 매칭된 특징점 쌍(pair)를 이용하여 호모그래피 행렬을 추정한 후 두 입력 영상 중 이전 시점에 촬영된 입력 영상을 와핑(wrapping)하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시킬 수도 있다.
상기 결함 분석부는, 상기 두 입력 영상간 모양이 일치된 검출 대상 시설물간의 SAD(sum of absolute difference)를 도출한 후 상기 도출된 SAD 결과 중 최소값이 임계치 이상이면 상기 검출 대상 시설물의 결함으로 판단할 수 있다.
본 발명의 일 실시예에 따른 시설물 결함 검측 방법 및 그 장치를 제공함으로써, 영상 처리에 기반하여 효율적인 철도 시설물 검측이 가능한 이점이 있다.
또한, 본 발명은 도시 철도 차량 외부에 설치된 카메라 장비를 이용하여 촬영된 영상을 분석하여 시설물 변형을 검측함으로써 기술자의 효율적의 유지보수에 따른 사고 위험을 감소할 수 있는 이점도 있다.
도 1은 본 발명의 일 실시예에 따른 시설물 결함 검측 장치의 내부 구성을 개략적으로 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 두 입력 영상을 정합한 결과를 도시한 도면.
도 3은 본 발명의 일 실시예에 다른 시설물 검출부의 세부 구성을 도시한 블록도.
도 4는 본 발명의 일 실시예에 따른 학습에 사용된 시설물 영상을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 학습된 분류기에 의해 검출된 시설물 결과를 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 결함 검측부의 세부 구성을 나타낸 블록도.
도 7은 본 발명의 일 실시예에 따른 결함 검측 결과를 나타낸 도면.
도 8은 본 발명의 일 실시예에 따른 시설물 결함 검측 방법을 나타낸 순서도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 시설물 결함 검측 장치의 내부 구성을 개략적으로 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 두 입력 영상을 정합한 결과를 도시한 도면이고, 도 3은 본 발명의 일 실시예에 다른 시설물 검출부의 세부 구성을 도시한 블록도이며, 도 4는 본 발명의 일 실시예에 따른 학습에 사용된 시설물 영상을 나타내며, 도 5는 본 발명의 일 실시예에 따른 학습된 분류기에 의해 검출된 시설물 결과를 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 결함 검측부의 세부 구성을 나타낸 블록도이며, 도 7은 본 발명의 일 실시예에 따른 결함 검측 결과를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 시설물 결함 검측 장치(100)는 입력부(110), 정합부(120), 시설물 검출부(130), 결함 검측부(140), 메모리(150) 및 프로세서(160)를 포함하여 구성된다.
입력부(110)는 입력 영상 셋(set)을 입력받기 위한 수단이다.
입력부(110)는 카메라에 의해 서로 다른 시간 또는 날짜에 도시 철도 터널과 같은 특정 공간을 촬영한 두 입력 영상 셋을 입력받는다. 여기서, 두 영상 셋은 동일한 구간에서 동일한 시설물이 순차적으로 촬영된 영상일 수 있다.
예를 들어, 두 입력 영상 셋 중 제1 입력 영상은 제1 시점에 제1 구간에서 타겟 시설물이 포함된 특정 공간을 촬영한 영상이다. 또한, 두 입력 영상 셋 중 제2 입력 영상은 제2 시점에서 제1 구간에서 타겟 시설물이 포함된 특정 공간을 촬영한 영상일 수 있다.
본 발명의 일 실시예에서는 두 입력 영상 셋은 각기 다른 시점에 동일 시설물을 포함하는 특정 공간을 순차적으로 촬영한 영상일 수 있다. 보다 상세하게, 두 입력 영상 셋 중 어느 하나는 레퍼런스 영상으로, 영상에 포함된 시설물들에 결함이 발생되기 이전에 촬영된 영상일 수 있다.
또한, 두 입력 영상 셋 중 다른 하나는 일정 시간이 경과한 후 시설물 유지 보수를 위한 결함 발생 여부를 확인하기 위해 레퍼런스 영상 촬영 이후에 촬영된 영상일 수 있다.
영상 정합부(120)는 두 입력 영상 셋을 정합하기 위한 수단이다.
카메라 이동 속도 및 흔들림에 의해 동일한 구간에서 동일한 시설물을 포함하는 특정 공간을 촬영하더라도 두 입력 영상 셋 각각에 촬영된 시설물의 위치가 서로 다른 부정합 현상이 발생할 수 있다.
따라서, 영상 정합부(120)는 위상 상관(phase correlation)을 이용하여 두 입력 영상을 정합할 수 있다.
예를 들어, 두 입력 영상을 각각
Figure 112018130472774-pat00001
,
Figure 112018130472774-pat00002
라고 할 때, 두 입력 영상의 위상 상관 결과(R)는 수학식 1과 같이 나타낼 수 있다.
Figure 112018130472774-pat00003
여기서,
Figure 112018130472774-pat00004
는 푸리에 변환 함수이며,
Figure 112018130472774-pat00005
는 요소간 곱셈을 나타내며,
Figure 112018130472774-pat00006
는 켤레(conjugates) 신호를 나타낸다.
수학식 1에서 R은 각 화소에 대응하는 상관(correlation)의 반응을 나타내며, 반응이 가장 큰 화소가 두 영상의 이동 관계를 나타낸다. 따라서, 수학식 1에서 반응이 가장 큰 화소의 변위 벡터(
Figure 112018130472774-pat00007
)가 계산될 수 있다.
이를 수학식으로 나타내면 수학식 2와 같다.
Figure 112018130472774-pat00008
도 2는 영상 정합부(120)에 의해 촬영된 두 입력 영상을 정합한 결과를 도시한 도면이다.
도 2의 (a)는 각각 서로 다른 시점에 촬영된 입력 영상이며, 도 2의 (b)는 두 입력 영상을 정합한 결과이다. 도 2의 (a)에서 보여지는 바와 같이, 서로 다른 시점에 촬영된 입력 영상은 시설물의 위치가 서로 다른 부정합이 발생할 수 있다. 따라서, 본 발명의 일 실시예에 따른 시설물 결함 검측 장치(100)는 시설물 결함 검측을 위해 우선 두 입력 영상을 정합하는 과정을 우선 수행할 수 있다.
시설물 검출부(130)는 입력 영상에 포함된 시설물을 검출하기 위한 수단이다.
시설물 검출부(130)는 입력 영상에 포함된 시설물을 검출하고, 해당 검출된 시설물의 종류 및 위치를 파악할 수 있다.
하기에서 설명되는 시설물 검출부(130)는 두 입력 영상 셋 중에서 레퍼런스 영상을 이용하여 시설물을 검출할 수도 있다. 또한, 레퍼런스 영상을 이용하여 시설물 검출이 완료된 이후에는 해당 과정은 생략될 수도 있음은 당연하다.
도 3에는 시설물 검출부(130)의 세부 구성이 도시되어 있다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 시설물 검출부(130)는 특징 추출부(310), 특징 재배열부(320), 분류기(330) 및 학습부(340)를 포함하여 구성된다.
특징 추출부(310)는 입력 영상에서 검출 대상 객체(시설물)의 특징 정보를 추출하기 위한 수단이다. 여기서, 특징 추출부(310)는 HOG(histogram of oriented gradient) 알고리즘을 적용하여 입력 영상에서 검출 대상 시설물의 특징 정보를 각각 추출할 수 있다.
HOG 알고리즘 자체는 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다. 또한, 본 발명의 일 실시예에서는 특징 추출부(310)가 HOG 알고리즘을 이용하여 검출 대상 시설물의 특징 정보를 추출하는 것을 가정하고 있으나, 이외에도 영상에서의 객체의 특징 정보를 추출하는 다양한 공지된 알고리즘을 적용할 수도 있음은 당연하다.
특징 재배열부(320)는 특징 추출부(310)에 의해 추출된 검출 대상 시설물의 특징 정보를 벡터화하기 위한 수단이다.
예를 들어, 특징 재배열부(320)는 검출 대상 시설물의 특징 정보를 이용하여 기울기 방향(gradient orientation) 또는 기울기 크기(gradient magnitude)에 기초하여 히스토그램을 구한 후 각 히스토그램을 합하여 하나의 벡터로 만들 수 있다.
분류기(330)는 벡터화된 특징 정보를 이용하여 시설물을 검출하고 분류하기 위한 수단이다.
예를 들어, 분류기(330)는 분류 모델에 벡터화된 특징 정보를 입력한 후 랜덤 포레스트를 적용함으로써 다중 검출 대상 시설물을 검출 및 분류할 수 있다.
또한, 분류기(330)는 랜덤 포레스트를 기반으로 다중 시설물을 검출함에 있어 두 입력 영상 셋을 모두 이용하지 않고, 어느 하나만을 이용할 수 있다. 객체 검출에 있어, 두 입력 영상을 모두 이용할 필요는 없으며, 특정 객체가 검출/분류되는 경우, 이후 과정에서 검출된 객체 영역(위치)를 기반으로 두 입력 영상에서 두 검출 대상 객체 영역(즉, 검출 대상 시설물 영역)간의 서로 다른 부분을 검출하여 결함 여부를 판단하도록 할 수 있다.
본 발명의 일 실시예에서 분류기(330)가 랜덤 포레스트 알고리즘을 기반으로 다중 검출 대상 시설물을 검출하는 이유는 다중 객체 검출이 가능하고, 그에 따른 분류가 가능하기 때문이다.
또한, 랜덤 포레스트는 의사결정 트리를 개선한 비선형 학습 알고리즘으로, 여러 개의 의사 결정 트리를 학습하고, 객체 검출시 학습된 의사 결정 트리 중 결과가 가장 좋은 결과를 이용하여 다중 객체를 검출 및 분류할 수 있다. 이러한 랜덤 포레스트 알고리즘은 과적합 문제(overfitting problem), 탐욕 알고리즘(greedy algorithm)의 구조적 설계로 인한 학습 오차를 해결할 수 있는 이점이 있다.
두 입력 영상은 영상 정합 과정을 통해 정합되었기 때문에, 두 입력 영상 중 하나의 입력 영상에 대해서만 랜덤 포레스트 알고리즘을 적용하여 검출 대상 시설물을 검출하는 과정을 수행할 수 있다. 분류기(330)를 통해 랜덤 포레스트에 의해 검출된 검출 대상 시설물 및 이에 대응하는 영역을 이에 상응하는 입력 영상 셋에 적용하여 두 입력 영상 전체 영역이 아니라 검출 대상 시설물 영역에 대해서면 결함 분석을 수행할 수 있는 이점이 있다.
이러한 랜덤 포레스트 알고리즘은 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
또한, 분류기(330)는 중복된 검출 대상 시설물의 위치 및 종류를 제거할 수도 있다. 예를 들어, 분류기(330)는 non-maximum suppression을 기반으로 중복된 검출 대상 시설물의 위치 및 종류를 제거할 수 있다.
학습부(340)는 분류기(330)를 학습하기 위한 수단이다. 학습부(340)는 랜덤 포레스트를 기반으로 분류기(330)를 학습할 수 있다.
도 4는 학습부에서 사용된 시설물 영상을 나타내며, 도 5는 본 발명의 일 실시예에 따른 학습된 분류기(330)에 의해 검출된 시설물 결과를 도시한 도면이다. 510은 절연체를 나타내며, 520은 지지금류(A1)을 나타내며, 530은 지지금류(A2)를 나타낸다. 또한, 실선은 검출 결과를 나타내며, 점선은 미검출된 시설물을 나타낸다.
다시 도 1을 참조하면, 결함 검측부(140)는 두 입력 영상 중 검출된 검출 대상 시설물 영역에 대한 스테레오 매칭 기법에 기반하여 변형/결합 여부를 분석할 수 있다.
도 6은 본 발명의 일 실시예에 따른 결함 검측부(140)의 세부 구성이 도시되어 있다. 도 6을 참조하면, 본 발명의 일 실시예에 따른 결함 검측부(140)는 매칭부(610) 및 결함 분석부(620)를 포함하여 구성된다.
매칭부(610)는 두 입력 영상의 키 포인트(key point) 특징점을 도출한 후 매칭하여 두 입력 영상간 검출된 검출 대상 시설물의 모양을 일치시킨다.
예를 들어, 본 발명의 일 실시예에 따른 매칭부(610)는 두 입력 영상의 결함을 분석하기 위해 스테레오 매칭 기법을 적용하여 두 입력 영상의 서로 다른 부분을 추출한다. 이를 위해, 매칭부(610)는 두 입력 영상에 대해 SURF 알고리즘을 적용하여 키 포인트(key point) 특징점을 추출한 후 추출된 두 입력 영상의 키 포인트 특징점을 각각 매칭시킨다. 이어, 매칭부(610)는 매칭된 특징점 쌍(pair)를 이용하여 호모그래피 행렬을 추정한 후 두 입력 영상 중 이전 시점에 촬영된 입력 영상을 와핑(wrapping)하여 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시킬 수 있다.
결함 분석부(620)는 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단한다.
예를 들어, 결함 분석부(620)는 두 입력 영상을 차분하여 폐색(occlusion) 후보 영역을 추출한 후 후보 영역으로부터 SAD(sum of absolute difference)를 계산한다. 이어, 결함 분석부(620)는 후보 영역의 SAD에 의해 측정된 밝기값 중 최소값이 임계치 이상인 경우 결함으로 판단한다.
즉, 결함 분석부(620)는 매칭부(610)에 의해 완전히 일치된 두 검출 대상 시설물 영역으로부터 SAD를 기반으로 지역적 차분을 수행하여 두 검출 대상 시설물 영역 간의 차이를 분석할 수 있다. SAD에 의한 두 검출 대상 시설물 영역 간의 차이는 수학식 3과 같이 나타낼 수 있다.
Figure 112018130472774-pat00009
여기서,
Figure 112018130472774-pat00010
는 키 포인트 특징점 매칭을 통해 생성된 호모그래피 행렬에 의해 변환된 현재 시점의 입력 영상을 나타내며,
Figure 112018130472774-pat00011
는 이전 시점의 입력 영상을 나타낸다. 결함 분석부(620)는 SAD 측정값이 일정한 임계치(T) 이상일 경우(
Figure 112018130472774-pat00012
) 동일 시설물이 촬영된 두 시설물 영상내 결함으로 간주할 수 있다.
도 7은 본 발명의 일 실시예에 다른 결함 검측 결과를 나타낸 도면이다. 도 7의 (ㄱ)과 (ㄷ)은 각각 정상 영상을 나타내고, (ㄴ)과 (ㄹ)은 결함 모의 영상의 결함 검측 결과를 나타낸 것이다. 도 7에서 보여지는 바와 같이, 본 발명의 일 실시예에 따른 시설물 결함 검측 장치는 서로 다른 촬영 시점에서 발생하는 밝기 차이, 잡음, 전체 시설물의 모양 변형 등에 의해 다소 결함 검측 오차를 보이지만, 모의된 결함 부분을 정확하게 검측함을 확인할 수 있다.
메모리(150)는 본 발명의 일 실시예에 따른 랜덤 포레스트 기반 다중 객체 검출 및 스테레오 매칭 기법을 이용한 시설물 결함 검측 방법을 수행하기 위해 필요한 프로그램 코드(명령어) 및 이 과정에서 파생되는 다양한 데이터를 저장한다.
프로세서(160)는 본 발명의 일 실시예에 따른 시설물 결함 검측 장치(100)의 내부 구성 요소들(예를 들어, 입력부(110), 정합부(120), 시설물 검출부(130), 결함 검측부(140), 메모리(150) 등)을 제어하기 위한 수단이다.
도 8은 본 발명의 일 실시예에 따른 시설물 결함 검측 방법을 나타낸 순서도이다.
단계 810에서 시설물 결함 검측 장치(100)는 서로 다른 시점에 동일한 구간에서 동일한 시설물이 포함된 특정 공간을 촬영한 두 입력 영상 셋을 입력받는다.
단계 815에서 시설물 결함 검측 장치(100)는 두 입력 영상 셋을 정합한다. 예를 들어, 시설물 결함 검측 장치(100)는 두 입력 영상 셋의 각 화소의 위상 상관(phase correlation) 결과를 계산한 후 두 입력 영상 셋의 각 화소간의 위상 상관 결과 중 최대값을 변위 벡터로 도출하고, 변위 벡터를 이용하여 상기 두 입력 영상을 정합할 수 있다.
단계 820에서 시설물 결함 검측 장치(100)는 정합된 두 입력 영상 셋 중 어느 하나를 분류 모델에 입력한 후 랜덤 포레스트를 적용하여 검출 대상 시설물을 검출한다.
예를 들어, 시설물 결함 검측 장치(100)는 두 입력 영상 중 어느 하나에 대해 HOG(histogram of oriented gradient) 알고리즘을 적용하여 특징 정보를 각각 추출한 후 이를 벡터화할 수 있다. 이어, 시설물 결함 검측 장치(100)는 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 다중 검출 대상 시설물을 검출 및 분류할 수 있다.
단계 825에서 시설물 결함 검측 장치(100)는 두 입력 영상 중 검출된 검출 대상 시설물 영역에 대한 스테레오 매칭 기법에 기반하여 변형/결합 여부를 분석한다.
예를 들어, 시설물 결함 검측 장치(100)는 두 입력 영상의 키 포인트(key point) 특징점을 도출하여 매칭하여 상기 두 입력 영상간 검출된 검출 대상 시설물의 모양을 일치시킬 수 있다. 이어, 시설물 결함 검측 장치(100)는 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단할 수 있다.
본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 시설물 결함 검측 장치
110: 입력부
120: 정합부
130: 시설물 검출부
140: 결함 검측부
150: 메모리
160: 프로세서

Claims (15)

  1. (a) 서로 다른 시점에 동일한 구간에서 동일한 시설물이 포함된 특정 공간을 촬영한 두 입력 영상 셋을 입력받는 단계;
    (b) 상기 두 입력 영상 셋의 각 화소의 위상 상관(phase correlation) 결과를 계산한 후 상기 두 입력 영상 셋의 각 화소간 위상 상관 결과 중 최대값을 변위 벡터로 도출하며, 상기 변위 벡터를 이용하여 상기 두 입력 영상 셋을 정합하는 단계;
    (c) 상기 정합된 두 입력 영상 셋 중 어느 하나를 분류 모델에 입력한 후 랜덤 포레스트를 적용하여 검출 대상 시설물을 검출하는 단계; 및
    (d) 상기 정합된 두 입력 영상을 대상으로 상기 검출된 검출 대상 시설물의 영역의 변형을 검출하여 시설물의 결함을 검측하는 단계를 포함하되,
    상기 (c) 단계는,
    상기 두 입력 영상 중 어느 하나에 대해 HOG(histogram of oriented gradient) 알고리즘을 적용하여 특징 정보를 각각 추출하는 단계;
    상기 추출된 특징 정보를 이용하여 기울기 방향(gradient orientation) 또는 기울기 크기(gradient magnitude)에 기초하여 히스토그램을 구한 후 각 히스토그램을 합하여 특징 정보를 재배열함으로써 하나의 벡터로 벡터화하는 단계; 및
    상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 검출 대상 시설물을 검출 및 분류하는 단계를 포함하되,
    상기 변위 벡터를 계산하는 것을 특징으로 하는 시설물 결함 검측 방법.
    Figure 112020127587310-pat00021

    여기서, x,y는 영상의 각 픽셀을 나타내며,
    Figure 112020127587310-pat00022
    이며,
    Figure 112020127587310-pat00023
    는 푸리에 변환 함수를 나타내고,
    Figure 112020127587310-pat00024
    는 곱셈을 나타내며,
    Figure 112020127587310-pat00025
    는 켤레 신호를 나타내고,
    Figure 112020127587310-pat00026
    ,
    Figure 112020127587310-pat00027
    는 각각 영상을 나타냄.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서,
    상기 검출 대상 시설물을 검출 및 분류하는 단계 이전에,
    상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 분류 모델을 학습하는 단계를 더 포함하는 것을 특징으로 하는 시설물 결함 검측 방법.
  5. 제1 항에 있어서,
    상기 (d) 단계는,
    (d-1) 상기 두 입력 영상의 키 포인트(key point) 특징점을 도출하여 매칭하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 단계; 및
    (d-2) 상기 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단하는 단계를 포함하는 시설물 결함 검측 방법.
  6. 제5 항에 있어서,
    상기 (d-1) 단계는,
    상기 두 입력 영상에 대해 SURF 알고리즘을 적용하여 키 포인트(key point) 특징점을 추출하고, 상기 추출된 두 입력 영상의 키 포인트 특징점을 각각 매칭하는 단계; 및
    상기 매칭된 특징점 쌍(pair)를 이용하여 호모그래피 행렬을 추정한 후 두 입력 영상 중 이전 시점에 촬영된 입력 영상을 와핑(wrapping)하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 단계를 포함하는 시설물 결함 검측 방법.
  7. 제5 항에 있어서,
    상기 (d-2) 단계는,
    상기 두 입력 영상간 모양이 일치된 검출 대상 시설물간의 SAD(sum of absolute difference)를 도출하는 단계; 및
    상기 도출된 SAD 결과 중 최소값이 임계치 이상이면 상기 검출 대상 시설물의 결함으로 판단하는 단계를 포함하는 시설물 결함 검측 방법.
  8. 제1 항에 따른 방법을 수행하기 위해 필요한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.
  9. 서로 다른 시점에 동일한 구간에서 동일한 시설물이 포함된 특정 공간을 촬영한 두 입력 영상 셋을 입력받는 입력부;
    상기 두 입력 영상 셋의 각 화소의 위상 상관(phase correlation) 결과를 계산한 후 상기 두 입력 영상 셋의 각 화소간의 위상 상관 결과 중 최대값을 변위 벡터로 도출하고, 상기 변위 벡터를 이용하여 상기 두 입력 영상을 정합하는 정합부;
    상기 정합된 두 입력 영상 셋 중 어느 하나를 분류 모델에 입력한 후 랜덤 포레스트를 적용하여 검출 대상 시설물을 검출하는 시설물 검출부; 및
    상기 정합된 두 입력 영상을 대상으로 상기 검출된 검출 대상 시설물의 영역의 변형을 검출하여 시설물의 결함을 검측하는 결함 검측부를 포함하되,
    상기 시설물 검출부는,
    상기 두 입력 영상 중 어느 하나에 대해 HOG(histogram of oriented gradient) 알고리즘을 적용하여 특징 정보를 각각 추출하는 특징 추출부;
    상기 추출된 특징 정보를 이용하여 기울기 방향(gradient orientation) 또는 기울기 크기(gradient magnitude)에 기초하여 히스토그램을 구한 후 각 히스토그램을 합하여 특징 정보를 재배열함으로써 하나의 벡터로 벡터화하는 특징 재배열부; 및
    상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 검출 대상 시설물을 검출 및 분류하는 분류기를 포함하되,
    상기 변위 벡터는 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 시설물 결함 검측 장치.
    Figure 112020127587310-pat00028

    여기서, x,y는 영상의 각 픽셀을 나타내며,
    Figure 112020127587310-pat00029
    이며,
    Figure 112020127587310-pat00030
    는 푸리에 변환 함수를 나타내고,
    Figure 112020127587310-pat00031
    는 곱셈을 나타내며,
    Figure 112020127587310-pat00032
    는 켤레 신호를 나타내고,
    Figure 112020127587310-pat00033
    ,
    Figure 112020127587310-pat00034
    는 각각 영상을 나타냄.
  10. 삭제
  11. 삭제
  12. 제9 항에 있어서,
    상기 시설물 검출부는,
    상기 벡터화된 특징 정보를 상기 분류 모델에 입력한 후 랜덤 포레스트 알고리즘을 적용하여 상기 분류 모델을 학습하는 학습부를 더 포함하는 시설물 결함 검측 장치.
  13. 제9 항에 있어서,
    상기 결함 검측부는,
    상기 두 입력 영상의 키 포인트(key point) 특징점을 도출하여 매칭하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 매칭부; 및
    상기 두 입력 영상간 모양이 일치된 검출 대상 시설물의 지역적 차분 결과를 이용하여 결함 여부를 판단하는 결함 분석부를 포함하는 것을 특징으로 하는 시설물 결함 검측 장치.
  14. 제13 항에 있어서,
    상기 매칭부는,
    상기 두 입력 영상에 대해 SURF 알고리즘을 적용하여 키 포인트(key point) 특징점을 추출하고, 상기 추출된 두 입력 영상의 키 포인트 특징점을 각각 매칭하고, 상기 매칭된 특징점 쌍(pair)를 이용하여 호모그래피 행렬을 추정한 후 두 입력 영상 중 이전 시점에 촬영된 입력 영상을 와핑(wrapping)하여 상기 두 입력 영상간 상기 검출된 검출 대상 시설물의 모양을 일치시키는 것을 특징으로 하는 시설물 결함 검측 장치.
  15. 제13 항에 있어서,
    상기 결함 분석부는,
    상기 두 입력 영상간 모양이 일치된 검출 대상 시설물간의 SAD(sum of absolute difference)를 도출한 후 상기 도출된 SAD 결과 중 최소값이 임계치 이상이면 상기 검출 대상 시설물의 결함으로 판단하는 것을 특징으로 하는 시설물 결함 검측 장치.

KR1020180169543A 2018-12-03 2018-12-26 시설물 결함 검측 방법 및 그 장치 KR102231356B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180153904 2018-12-03
KR1020180153904 2018-12-03

Publications (2)

Publication Number Publication Date
KR20200067072A KR20200067072A (ko) 2020-06-11
KR102231356B1 true KR102231356B1 (ko) 2021-03-24

Family

ID=71070675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180169543A KR102231356B1 (ko) 2018-12-03 2018-12-26 시설물 결함 검측 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102231356B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102397409B1 (ko) 2021-12-31 2022-05-12 주식회사 제이시스 영상을 이용한 철도시설물의 검측시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022479A (zh) * 2022-01-05 2022-02-08 高视科技(苏州)有限公司 电池极耳外观缺陷检测方法
KR102632390B1 (ko) * 2023-07-14 2024-02-02 (주) 아주엔지니어링 수처리 시설물의 지진 대응 안전관리 최적화 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677561B1 (ko) * 2010-12-08 2016-11-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법
KR101825459B1 (ko) * 2016-08-05 2018-03-22 재단법인대구경북과학기술원 다중 클래스 객체 검출 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08171689A (ja) * 1994-12-19 1996-07-02 Kansai Electric Power Co Inc:The 変化領域検出装置
KR101589186B1 (ko) * 2014-04-16 2016-01-27 국방과학연구소 글로벌 모션벡터 보상을 이용한 영상정합 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677561B1 (ko) * 2010-12-08 2016-11-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법
KR101825459B1 (ko) * 2016-08-05 2018-03-22 재단법인대구경북과학기술원 다중 클래스 객체 검출 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102397409B1 (ko) 2021-12-31 2022-05-12 주식회사 제이시스 영상을 이용한 철도시설물의 검측시스템

Also Published As

Publication number Publication date
KR20200067072A (ko) 2020-06-11

Similar Documents

Publication Publication Date Title
KR102231356B1 (ko) 시설물 결함 검측 방법 및 그 장치
KR101896406B1 (ko) 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
JP4966820B2 (ja) 混雑推定装置および方法
KR101764845B1 (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
JP2022506905A (ja) 知覚システムを評価するシステム及び方法
Aydin A new approach based on firefly algorithm for vision-based railway overhead inspection system
US8724851B2 (en) Aerial survey video processing
KR101040049B1 (ko) 영상 기반 감시 시스템에서 신속하고 강인한 다수 이동 물체 추적 방법
KR102185225B1 (ko) 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템
JP2019133306A (ja) 画像処理装置及び画像処理方法
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
KR20160037643A (ko) 객체 인식을 위한 객체 후보영역 설정방법 및 장치
CN114627526A (zh) 基于多摄像头抓拍图像的融合去重方法、装置及可读介质
Al-Sanjary et al. Deleting object in video copy-move forgery detection based on optical flow concept
KR20200019280A (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
US20220076005A1 (en) Person authentication apparatus, control method, and non-transitory storage medium
KR100874890B1 (ko) 교통 분석 시스템 및 서비스 방법
KR20200010658A (ko) 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램
Ren et al. Frame duplication forgery detection and localization algorithm based on the improved Levenshtein distance
Ranyal et al. Detection of rail fasteners from aerial images using deep convolution neural networks
KR102221317B1 (ko) 딥러닝을 이용한 시설물 결함 검측 장치 및 그 방법
Gandhi et al. Video and seismic sensor-based structural health monitoring: Framework, algorithms, and implementation
Kano et al. Automatic detection of obstacles in railway tracks using monocular camera
KR102160583B1 (ko) 이벤트 객체 감시장치 및 방법
Narwal et al. Real time system for unattended Baggag e detection

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant