KR20220044027A - 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템 - Google Patents

인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템 Download PDF

Info

Publication number
KR20220044027A
KR20220044027A KR1020200126873A KR20200126873A KR20220044027A KR 20220044027 A KR20220044027 A KR 20220044027A KR 1020200126873 A KR1020200126873 A KR 1020200126873A KR 20200126873 A KR20200126873 A KR 20200126873A KR 20220044027 A KR20220044027 A KR 20220044027A
Authority
KR
South Korea
Prior art keywords
meta
learning
public facilities
defects
crack
Prior art date
Application number
KR1020200126873A
Other languages
English (en)
Inventor
이철희
김민규
김태환
Original Assignee
주식회사 딥인스펙션
이철희
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥인스펙션, 이철희 filed Critical 주식회사 딥인스펙션
Priority to KR1020200126873A priority Critical patent/KR20220044027A/ko
Publication of KR20220044027A publication Critical patent/KR20220044027A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61D—BODY DETAILS OR KINDS OF RAILWAY VEHICLES
    • B61D15/00—Other railway vehicles, e.g. scaffold cars; Adaptations of vehicles for use on railways
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템에 관한 것이다.
본 발명의 실시예에 따른 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템은 영상 데이터를 획득하는 입력부와, 영상 데이터를 이용하여 인공지능 및 메타러닝 기반으로 공공시설물의 균열 및 결함을 검출하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 포인트 클라우드와 영상 데이터로부터 메타러닝 알고리즘 기반으로 균열 및 결함을 검출하는 것을 특징으로 한다.

Description

인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템{SYSTEM FOR CRACK AND DEFECT DETECTION OF PUBLIC FACILITY BASED ON AI AND META-LEARNING}
본 발명은 인공지능 및 메타러닝 기반 터널, 도로포장, 공항, 철도레일, 교량시설물과 같은 공공시설물의 균열 및 결함검출 자동화 시스템에 관한 것이다.
딥 뉴럴 네트워크(Deep Neural Network)는 클래스 당 수만장 이상의 대량의 이미지로 학습된 기존 클라스(Base Class)에 포함된 새로운 이미지에 대한 객체검출 성능이 높은 반면, 새로운 클라스(Novel Class)에 포함된 이미지에 대한 적응력이 매우 낮아 성능을 보장할 수 없으며 일정수준 이상의 성능을 구현하기까지 딥 뉴럴 네트워크의 구조를 변경한 후 학습을 처음부터 새로 실행해야 하는 등 매우 오랜 시간이 소요되는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 인공지능 및 메타러닝 기반으로 터널, 도로포장, 공항, 철도레일, 교량시설물과 같은 공공시설물의 균열 및 결함 검출을 수행함으로써, 딥 뉴럴 네트워크의 비효율적이고 불합리한 문제를 해결하는 것이 가능한 시스템을 제공하는데 그 목적이 있다.
본 발명의 실시예에 따른 인공지능 및 메타러닝 기반 터널, 도로포장, 공항, 철도레일, 교량시설물과 같은 공공시설물 균열 및 결함검출 자동화 시스템은 영상 데이터를 획득하는 입력부와, 영상 데이터를 이용하여 인공지능 및 메타러닝 기반으로 터널 및 도로포장 시설물의 균열 및 결함을 검출하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 포인트 클라우드와 영상 데이터로부터 메타러닝 알고리즘 기반으로 균열 및 결함을 검출하는 것을 특징으로 한다.
프로세서는 메타 특징 추출이 가능하도록 기본(base) 클래스를 대상으로 기설정 개수 이상의 균열 및 결함 이미지를 활용해 딥뉴럴네트워크를 훈련시킨 후, 메타 특징과 가중치 리모델링 네트워크를 통과한 리모델링된 벡터를 행렬곱하여 신규(novel) 클라스의 균열 및 결함이미지에 대한 검출 성능을 향상시킨다.
기 구비된 기본 클래스에 속하는 균열 및 결함 이미지를 이용하여 특징추출네트워크(feature extraction network)가 충분히 훈련된 경우, 신규 클라스(novel class)의 균열 및 결함이미지에 대한 예측 네트워크(predeiction network)의 검출 성능은 딥뉴럴네트워크의 성능에 준하게 된다.
입력부는, 도로나 철도를 따라 이동하는 이동대차; 이동대차에 장착되고, 공공시설물을 촬영하는 다수개의 촬영장치; 이동대차에 장착되고, 공공시설물을 비추는 조명장치; 이동대차의 위치를 획득하는 통신부; 공공시설물의 균열 및 결함을 포함하는 공공시설물의 상태를 검출하는 검출부; 검출부에 의해 검출된 공공시설물 상태에 대한 각종 검출결과를 확인할 수 있는 출력부; 촬영장치 및 조명장치가 장착된 장치 장착부; 이동대차에 장착되고, 공공시설물을 조사하여 3차원 좌표 데이터를 획득하는 3D 라이다(LiDAR: Light Detection and Ranging); 및 이동대차에 장착되고, 터널 라이닝으로부터 촬영장치 간의 거리를 측정하는 거리측정기를 포함하고, 촬영장치는, 광학(RGB) 카메라, 적외선 카메라, 다중분광카메라, 레이저라인스캐너 중 적어도 어느 하나를 포함한다.
촬영 장치가 광학 카메라를 포함하는 경우, 공공시설물의 균열 및 결함을 입체적으로 표현하고 포인트 클라우드를 생성하기 위해, 복수의 카메라가 동일한 피차체를 촬영하도록 카메라간 거리와 각도가 고정되며, 양안 원리를 활용한 스테레오 이미징 방식으로 촬영한다.
본 발명의 실시예에 따르면, 클래스간 공공시설물의 균열 및 결함 데이터 불균형 문제를 해결하고, 충분하지 않은 데이터셋 만으로도 일정수준 이상의 성능을 보장하며, 새로운 클래스의 데이터도 매우 짧은 기간의 트레이닝만으로 추론이 가능한 효과가 있다.
또한 신규 클래스 추가시 기존기술인 딥뉴럴네트워크는 트레이닝을 처음부터 새로 시작해야 하는 불합리한 측면이 있는 반면 본 발명은 기 트레이닝된 가중치행렬을 활용하여 트레이닝하는 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 인공지능 및 메타러닝 기반 터널 및 도로포장 시설물 균열 및 결함검출 자동화 시스템을 도시한다.
도 2는 딥 뉴럴 네트워크와 메타 러닝 네트워크를 비교한 도면이다.
도 3은 본 발명의 실시예에 따른 결함 검출 전용 메타러닝 알고리즘의 개념도를 도시한다.
도 4는 본 발명의 실시예에 따른 결함 검출 전용 메타러닝 아키텍처를 도시한다.
도 5는 본 발명의 실시예에 따른 가중치 재갱신 계수의 t-SNE 시각화 기법을 통한 분석결과를 도시한다.
도 6은 실험에 사용된 결함종류 및 각 결함별 이미지 개수에 따른 Class 분류를 도시한다.
도 7은 네트워크의 일반화 성능을 보장하기 위한 데이터셋의 비율을 도시한 것으로 실험을 위해 train(60%), val(20%), test(20%)의 비율이 적용되었다.
도 8은 메타러닝 알고리즘의 성능을 정확히 측정하기 위해 object 수가 100개 이상인 5개 class를 기본클래스(base class)로, 100개 미만인 4개 class는 신규클래스(novel class)로 구성하였음을 도시한다.
도 9은 포인트 클라우드를 생성하기 위한 스테레오 이미징 방식을 도시한다.
도 10은 공공시설물 중 터널 영상 촬영장치(Tunnel Scanner)의 구성도를 도시한다.
도 11은 공공시설물 중 도로포장 영상 촬영장치(Road Scanner)의 구성도를 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
도 1은 본 발명의 실시예에 따른 인공지능 및 메타러닝 기반 터널 및 도로포장 시설물 균열 및 결함검출 자동화 시스템을 도시한다.
본 발명의 실시예에 따른 인공지능 및 메타러닝 기반 터널 및 도로포장 시설물 균열 및 결함검출 자동화 시스템은 영상 데이터를 획득하는 입력부(110)와, 영상 데이터를 이용하여 인공지능 및 메타러닝 기반으로 터널 및 도로포장 시설물의 균열 및 결함을 검출하는 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하고, 프로세서(130)는 포인트 클라우드와 영상 데이터로부터 메타러닝 알고리즘 기반으로 균열 및 결함을 검출하는 것을 특징으로 한다.
프로세서(130)는 강화학습 기반으로 균열 및 결함을 검출하는 알고리즘을 학습시킨다.
프로세서(130)는 메타 특징 추출이 가능하도록 베이스 클래스를 대상으로 훈련시킨 후, 메타 특징에 가중치 리모델링 네트워크를 통과한 리모델링된 벡터를 행렬 곱하여 객체 검출 성능을 구현한다.
도 2를 참조하면, 기존의 Deep Neural Network는 대규모 지도학습 데이터를 필요로 하고 신규 클라스에 대한 적응력이 매우 떨어지는 반면, Meta-Learning Network는 소규모 데이터 셋으로 훈련이 가능하고, 신규 클라스에 대한 적응력이 매우 뛰어나 단 몇 장의 이미지만으로 훈련하여 높은 성능을 기대할 수 있다는 장점이 있다.
도 3을 참조하면, 메타 학습 네트워크가 단지 몇 개의 정답 데이터셋으로 학습한 후 이미지를 테스트 할 때 새로운 물체를 감지 할 수 있도록 하기 위해, 충분히 많은 양의 예제가 있는 기본(base) 클래스를 학습하여 신규(novel) 클래스에 포함된 소수 샷(few-shot)을 탐지할 수 있는 네트워크를 생성할 수 있다.
도 4에 도시한 바와 같이, 메타 특징 추출기와 가중치 리모델링 네트워크로 구성된다.
상단에 위치한 메타 특징 추출기(Meta Feature Extractor)는 1 단계 검출기 구조를 따르고 b-box(경계상자) 유무에 따른 점수 (o or x), b-box 위치 (x, y, h, w) 및 분류 점수 (c)를 직접 추론한다.
하단에 위치한 가중치 리모델링 네트워크(Weight Remodeling Network)는 N 클래스의 sport sample을 N 개의 가중치 벡터에 매핑하도록 훈련되어 있으며, 각각은 해당 클래스에서 객체를 감지하기 위해 메타 특징을 변조하는 역할을 한다. 최종 결과에 대해 softmax 기반 분류 점수 정규화가 적용된다.
각 클래스에 대한 시각화를 위해 객체 기반 벡터를 생성하기 위해 10개 내외의 객체가 사용되며 색상은 클래스를 의미한다.
도 5는 메타 로스 함수 전용 전, 후 t-SNE 분석 비교 결과를 도시한다.
Deep Network로 훈련된 C.A.V를 t-SNE로 시각화한 결과(도 5의 좌측)와 메타 학습 네트워크로 훈련된 C.A.V를 시각화한 결과(도 5의 우측)를 비교해보면, 메타 학습 네트워크의 경우 동일 클라스에 속한 객체의 벡터가 작고 다른 클래스에 한 객체의 백터는 크게 나타나므로 클래스 간 경계선이 뚜렷하여 분류성능이 높게 나타난다.
도 5의 좌측 도면은 메타손실함수 미고려한 것을 도시하고, 도 5의 우측 도면은 메타손실을 고려한 것을 도시한다.
반면 Deep Network는 클래스 간 경계선이 불분명하고 뚜렷하지 못하며 심지어 경계선을 구분할 수 없는 클래스도 존재하여 낮은 분류성능이 예측된다.
이 경우 비선형 분류기로 학습 셋(training set)에 대한 과적합(overfit)을 통해 분류 성능을 높일 순 있지만 테스트 셋(test set)에 대한 성능은 오히려 저하된다.
도 6은 기설정 기간(1개월) 동안 교량 시설물을 대상으로 수집한 결함종류별 영상의 수량을 도시한다.
교량과 같은 공공시설물에 발생하는 결함은 대량으로 취득하기가 현실적으로 매우 어려운데 그 이유는 결함이 발생하면 주기적으로 보유하고 콘크리트 주부재의 건전도가 높아 기본적으로 결함이 많이 발생하지 않기 때문이다.
또한 일부 결함영상(손상, 재료분리 등)은 발생빈도가 낮아 결함유형간 불균형이 발생한다.
따라서, AI Network는 소규모 데이터셋, 데이터 불균형이 발생해도 학습이 가능해야 하나 기존의 Deep Neural Network의 경우 이러한 데이터의 불충분함, 데이터의 불균형으로 인해 검출 성능이 저하되는 등 확실한 한계를 보인다.
또한, Deep Neural Network는 새로운 클라스가 추가되는 경우 Network와 가중치(weight)의 행렬차원 불일치로 기존에 수개월 또는 수년간 훈련시킨 weight를 재사용할 수 없고 zero base부터 트레이닝 과정을 새로 시작해야 하므로 소요시간과 비용 측면에서 매우 비생산적이다.
Deep Neural Network는 이처럼 새로운 클라스에 대한 적응력이 매우 낮아 성능을 보장할 수 없으며 일정수준 이상의 성능을 구현하기까지 매우 오랜 시간이 소요된다.
이러한 Deep Neural Network의 비효율적이고 불합리한 문제를 해결하는 것이 메타 학습 네트워크이다.
메타 학습 네트워크는 클래스간 데이터 불균형 문제 해결, 충분하지 않은 데이터셋 만으로도 일정수준 이상의 성능을 보장하며 새로운 클래스의 데이터도 매우 짧은 기간의 트레이닝 만으로 추론이 가능하다.
즉, 학습되지 않은 새로운 유형(클라스)의 결함이 추가되어도 1~10장 정도의 소규모 데이터셋을 이용하여 추론할 수 있다.
로우-숏(Low-shot) 객체 인식은 레이블이 지정된 해당 훈련 예제가 거의 없는 새로운 시각적 물체를 인식하는 것을 목표로 한다.
최근의 비전 연구는 주로 베이지안 접근법, 미터법(유사성) 학습 및 메타 학습에 따라 세 가지 흐름으로 분류된다.
베이지안 접근법은 객체 뒤에 상호 조직 규칙을 가정하고 잠재 변수 사이에서 정보를 발견하기 위한 확률 모델을 설계한다.
유사성 학습은 동일한 범주 예제의 기능이 다른 클래스 간의 기능보다 더 유사해야 한다고 생각하는 경향이 있다.
메타 학습은 메타 학습을 최적화 하기 위한 메타 학습기를 학습하도록 설계되어 소위 "학습을 위한 학습"이라고 하는 분류기의 매개 변수를 예측한다.
최근의 연구는 메타 러너가 메타 러닝 기술에 의해 low-shot 문제를 해결하기 위해 엄청난 학습을 수행하여 일반화 성능에 대한 보증을 얻는다는 실험결과를 보여준다.
그러나 대부분의 기존 방법은 단일 객체 인식에 중점을 두고 있고 배경이 복잡해 지거나 복수의 객체가 하나의 이미지에 등장하는 경우 검출 성능이 현저하게 저하된다.
본 발명의 실시예에 따르면, 다중 객체 검출성능이 우수한 Deep Neural Network가 Meta Feature를 추출할 수 있도록 데이터셋이 충분한 base class를 대상으로 충분히 오랜 기간 훈련시킨 후 추출된 Meta Feature에 weight remodeling network를 통과한 remodeled vector를 행렬 곱하여 few-shot 객체검출 성능을 구현한다.
도 7은 네트워크의 일반화 성능을 보장하기 위한 데이터셋의 비율을 도시한 것으로 실험을 위해 train(60%), val(20%), test(20%)의 비율이 적용되었다.
Subset 수는 train 339, val 113, test 113, trainval 452이다.
도 8은 메타러닝 알고리즘의 성능을 정확히 측정하기 위해 object 수가 100개 이상인 5개 class를 기본클래스(base class)로, 100개 미만인 4개 class는 신규클래스(novel class)로 구성하였음을 도시한다.
클래스는 신규 클래스의 구성으로, 괄호 안의 숫자는 오프젝트 수를 의미한다.
도 9은 포인트 클라우드를 생성하기 위한 스테레오 이미징 방식을 도시한다.
분리된 2대 이상의 카메라를 이용하여 각각 물체를 촬영하고, 차이에서 깊이 정보를 추출한다.
도 10은 공공시설물 중 터널 영상 촬영장치(Tunnel Scanner)의 구성도를 도시하고, 도 11은 공공시설물 중 도로포장 영상 촬영장치(Road Scanner)의 구성도를 도시한다.
입력부는, 도로나 철도를 따라 이동하는 이동대차; 이동대차에 장착되고, 공공시설물을 촬영하는 다수개의 촬영장치; 이동대차에 장착되고, 공공시설물을 비추는 조명장치; 이동대차의 위치를 획득하는 통신부; 공공시설물의 균열 및 결함을 포함하는 공공시설물의 상태를 검출하는 검출부; 검출부에 의해 검출된 공공시설물 상태에 대한 각종 검출결과를 확인할 수 있는 출력부; 촬영장치 및 조명장치가 장착된 장치 장착부; 이동대차에 장착되고, 공공시설물을 조사하여 3차원 좌표 데이터를 획득하는 3D 라이다(LiDAR: Light Detection and Ranging); 및 이동대차에 장착되고, 터널 라이닝으로부터 촬영장치 간의 거리를 측정하는 거리측정기를 포함하고, 촬영장치는, 광학(RGB) 카메라, 적외선 카메라, 다중분광카메라, 레이저라인스캐너 중 적어도 어느 하나를 포함한다.
촬영 장치가 광학 카메라를 포함하는 경우, 공공시설물의 균열 및 결함을 입체적으로 표현하고 포인트 클라우드를 생성하기 위해, 복수의 카메라가 동일한 피차체를 촬영하도록 카메라간 거리와 각도가 고정되며, 양안 원리를 활용한 스테레오 이미징 방식으로 촬영한다.
한편, 본 발명의 실시예에 따른 인공지능 및 메타러닝 기반 터널 및 도로포장 시설물 균열 및 결함검출 자동화 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 인공지능 및 메타러닝 기반 터널 및 도로포장 시설물 균열 및 결함검출 자동화 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 인공지능 및 메타러닝 기반 터널 및 도로포장 시설물 균열 및 결함검출 자동화 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 인공지능 및 메타러닝 기반 터널 및 도로포장 시설물 균열 및 결함검출 자동화 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 인공지능 및 메타러닝 기반 터널 및 도로포장 시설물 균열 및 결함검출 자동화 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (5)

  1. 영상 데이터를 획득하는 입력부;
    상기 영상 데이터를 이용하여 인공지능 및 메타러닝 기반으로 공공시설물 의 균열 및 결함을 검출하는 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 포인트 클라우드와 상기 영상 데이터로부터 메타러닝 알고리즘 기반으로 균열 및 결함을 검출하는 것
    인 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템.
  2. 제1항에 있어서,
    상기 프로세서는 메타 특징 추출이 가능하도록 기본(base) 클래스를 대상으로 기설정 개수 이상의 균열 및 결함 이미지를 활용해 딥뉴럴네트워크를 훈련시킨 후, 메타 특징과 가중치 리모델링 네트워크를 통과한 리모델링된 벡터를 행렬곱하여 신규(novel) 클라스의 균열 및 결함이미지에 대한 검출 성능을 향상시키는 것
    인 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템.
  3. 제2항에 있어서,
    기 구비된 상기 기본 클래스에 속하는 균열 및 결함 이미지를 이용하여 특징추출네트워크(feature extraction network)가 충분히 훈련된 경우, 신규 클라스(novel class)의 균열 및 결함이미지에 대한 예측 네트워크(predeiction network)의 검출 성능은 상기 딥뉴럴네트워크의 성능에 준하는 것
    인 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템.
  4. 제1항에 있어서,
    상기 입력부는,
    도로나 철도를 따라 이동하는 이동대차;
    상기 이동대차에 장착되고, 공공시설물을 촬영하는 다수개의 촬영장치;
    상기 이동대차에 장착되고, 공공시설물을 비추는 조명장치;
    상기 이동대차의 위치를 획득하는 통신부;
    공공시설물의 균열 및 결함을 포함하는 공공시설물의 상태를 검출하는 검출부;
    상기 검출부에 의해 검출된 공공시설물 상태에 대한 각종 검출결과를 확인할 수 있는 출력부;
    상기 촬영장치 및 상기 조명장치가 장착된 장치 장착부;
    상기 이동대차에 장착되고, 공공시설물을 조사하여 3차원 좌표 데이터를 획득하는 3D 라이다(LiDAR: Light Detection and Ranging); 및
    상기 이동대차에 장착되고, 터널 라이닝으로부터 상기 촬영장치 간의 거리를 측정하는 거리측정기를 포함하고,
    상기 촬영장치는, 광학(RGB) 카메라, 적외선 카메라, 다중분광카메라, 레이저라인스캐너 중 적어도 어느 하나를 포함하는 것
    인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템.
  5. 제4항에 있어서,
    상기 촬영 장치가 상기 광학 카메라를 포함하는 경우, 공공시설물의 균열 및 결함을 입체적으로 표현하고 포인트 클라우드를 생성하기 위해, 복수의 카메라가 동일한 피차체를 촬영하도록 카메라간 거리와 각도가 고정되며, 양안 원리를 활용한 스테레오 이미징 방식으로 촬영하는 것
    인 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템.
KR1020200126873A 2020-09-29 2020-09-29 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템 KR20220044027A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200126873A KR20220044027A (ko) 2020-09-29 2020-09-29 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200126873A KR20220044027A (ko) 2020-09-29 2020-09-29 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템

Publications (1)

Publication Number Publication Date
KR20220044027A true KR20220044027A (ko) 2022-04-06

Family

ID=81211691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200126873A KR20220044027A (ko) 2020-09-29 2020-09-29 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템

Country Status (1)

Country Link
KR (1) KR20220044027A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594480B1 (ko) * 2023-03-03 2023-10-26 주식회사 인피닉 Mim 기반의 퓨샷 객체 검출 모델 학습 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102594480B1 (ko) * 2023-03-03 2023-10-26 주식회사 인피닉 Mim 기반의 퓨샷 객체 검출 모델 학습 방법

Similar Documents

Publication Publication Date Title
Zhang et al. Concrete crack detection using context‐aware deep semantic segmentation network
CN110032962B (zh) 一种物体检测方法、装置、网络设备和存储介质
Börcs et al. Instant object detection in lidar point clouds
Weld et al. Deep learning for automatically detecting sidewalk accessibility problems using streetscape imagery
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
Naddaf-Sh et al. Real-time road crack mapping using an optimized convolutional neural network
CN113378763B (zh) 一种面向sar图像的目标自动检测方法及系统
Liu et al. A night pavement crack detection method based on image‐to‐image translation
Dib et al. A review on negative road anomaly detection methods
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
CN108875754B (zh) 一种基于多深度特征融合网络的车辆再识别方法
US11495022B2 (en) Method for recognizing an object of a mobile unit
KR102185225B1 (ko) 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템
Hascoet et al. Fasterrcnn monitoring of road damages: Competition and deployment
CN113515968A (zh) 街道的异常事件检测方法、装置、设备及介质
CN112613668A (zh) 基于人工智能的景区危险区域管控方法
CN114972177A (zh) 道路病害识别管理方法、装置及智能终端
CN115719475A (zh) 一种基于深度学习的三阶段轨旁设备故障自动检测方法
CN110889338A (zh) 无监督式的铁路道床异物检测、样本构造方法及装置
KR20220044027A (ko) 인공지능 및 메타러닝 기반 공공시설물 균열 및 결함검출 자동화 시스템
Guo et al. Detection of occluded road signs on autonomous driving vehicles
Li et al. 3D map system for tree monitoring in hong kong using google street view imagery and deep learning
CN114882206A (zh) 图像生成方法、模型训练方法、检测方法、装置及系统
Mei et al. A cost effective solution for road crack inspection using cameras and deep neural networks
Shashidhara et al. Sequence information channel concatenation for improving camera trap image burst classification

Legal Events

Date Code Title Description
A201 Request for examination