KR102647135B1 - 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법 - Google Patents

인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법 Download PDF

Info

Publication number
KR102647135B1
KR102647135B1 KR1020220142398A KR20220142398A KR102647135B1 KR 102647135 B1 KR102647135 B1 KR 102647135B1 KR 1020220142398 A KR1020220142398 A KR 1020220142398A KR 20220142398 A KR20220142398 A KR 20220142398A KR 102647135 B1 KR102647135 B1 KR 102647135B1
Authority
KR
South Korea
Prior art keywords
crack
information
frame
crack detection
cracks
Prior art date
Application number
KR1020220142398A
Other languages
English (en)
Inventor
이관훈
이고은
곽동건
Original Assignee
이관훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이관훈 filed Critical 이관훈
Priority to KR1020220142398A priority Critical patent/KR102647135B1/ko
Application granted granted Critical
Publication of KR102647135B1 publication Critical patent/KR102647135B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Human Resources & Organizations (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Pathology (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

본 일 실시 예에 따른 시공 현장을 위한 실시간 균열 탐지 시스템을 위한 동작 방법은, 관리자의 제어 신호에 따라 이동하며 시공현장에서 촬영한 복수의 프레임을 포함하는 영상 데이터를 하나 이상의 지능형 로봇 장치로부터 수신하는 단계; 복수의 프레임 중 하나 이상의 제1 균열과 연관된 이전 프레임에 미리 구비된 객체 탐지 알고리즘을 적용하여 생성된 제1 균열탐지 정보를 기반으로 미리 구비된 다중 객체 추적 알고리즘을 적용하여 현재 프레임을 위한 균열예측 정보를 생성하는 단계; 현재 프레임에 상기 객체 탐지 알고리즘을 적용하여 제2 균열탐지 정보를 생성하되, 현재 프레임은 하나 이상의 제2 균열과 연관되는, 단계; 균열예측 정보 및 제2 균열탐지 정보를 기반으로 IoU(Intersection of Union) 값을 연산하는 단계; IoU 값이 미리 설정된 제1 임계 값을 초과하는지 여부를 판단하는 단계; IoU 값이 제1 임계 값을 초과한다고 판단될 때, 제2 균열탐지 정보를 이용하여 제1 균열탐지 정보를 갱신하는 단계를 포함하는 것을 특징으로 한다.

Description

인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법{REAL-TIME CRACK DETECTION SYSTEM FOR CONSTRUCTION SITE USING ARTIFICIAL INTELLIGENCE-BASED OBJECT DETECTION ALGORITHM AND OPERATION METHOD THEREFOR}
본 명세서는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법에 관한 것으로, 더 상세하게는 인공지능 기반 객체 탐지 알고리즘을 이용하는 숏크리트 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법에 관한 것이다.
최근 현장 작업자의 안전과 구조물 안전 점검에 대한 관심이 증대되면서 다양한 검사 방법을 이용한 구조물의 균열 점검이 수행되고 있다.
일반적으로, 숏크리트(shortcrete)는 굴착 이후 지반의 안정을 도모하기 위해 굳지 않은 콘크리트를 가압시켜 노즐로부터 뿜어내는 방식으로 굴착 위치에 부착시켜 시공하는 콘크리트를 의미한다.
특히, 현장 작업자의 안전 확보 측면에서 숏크리트로 시공된 굴착 위치에 대하여 주기적으로 균열의 발생 여부를 검사해야 할 뿐만 아니라 균열 발생을 탐지 시 신속한 초기 대응이 매우 중요하다.
종래의 숏크리트 시공 현장에 대한 균열 탐지 방법은 현장 작업자가 직접 육안으로 검사 및 평가하는 외관 검사법이 주로 사용되고 있으나, 이러한 방식은 시공 현장의 낮은 조도로 인한 실족 사고, 중장비에 의한 현장 작업자 충돌 사고, 굴착부 암반 파괴에 의한 낙반 사고 등과 같은 위험요인이 산재되어 있는 터널 시공 현장에서는 현장 작업자 안전을 보장하기 어려운 문제가 존재하였다.
나아가, 종래의 외관 검사법은 현장 작업자의 숙련도에 따라 작업 시간, 검사의 정확성 및 비용 등이 달라진다는 한계점이 존재하였다.
종래 제안으로 '스마트 건물 균열탐지 시스템'에 관한 공개특허공보 제10-2022-0096843 호를 참조할 수 있다.
본 명세서의 목적은, 관리자의 제어에 따라 시공 현장을 이동하며 현장 영상 데이터를 획득하는 하나 이상의 지능형 로봇과 연동되고, 인공지능 기반 객체 탐지 알고리즘에 기반한 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법을 제공하는데 있다.
본 일 실시 예에 따른 시공 현장을 위한 실시간 균열 탐지 시스템을 위한 동작 방법은, 관리자의 제어 신호에 따라 이동하며 시공현장에서 촬영한 복수의 프레임을 포함하는 영상 데이터를 하나 이상의 지능형 로봇 장치로부터 수신하는 단계; 복수의 프레임 중 하나 이상의 제1 균열과 연관된 이전 프레임에 미리 구비된 객체 탐지 알고리즘을 적용하여 생성된 제1 균열탐지 정보를 기반으로 미리 구비된 다중 객체 추적 알고리즘을 적용하여 현재 프레임을 위한 균열예측 정보를 생성하는 단계; 현재 프레임에 상기 객체 탐지 알고리즘을 적용하여 제2 균열탐지 정보를 생성하되, 현재 프레임은 하나 이상의 제2 균열과 연관되는, 단계; 균열예측 정보 및 제2 균열탐지 정보를 기반으로 IoU(Intersection of Union) 값을 연산하는 단계; IoU 값이 미리 설정된 제1 임계 값을 초과하는지 여부를 판단하는 단계; IoU 값이 제1 임계 값을 초과한다고 판단될 때, 제2 균열탐지 정보를 이용하여 제1 균열탐지 정보를 갱신하는 단계를 포함하는 것을 특징으로 한다.
종래 기술 중 트럭에 영상 수집 장치를 부착하여 터널의 콘크리트 균열을 탐지하는 방식은 현장 작업자를 터널 시공 현장에 투입시켜야 하는 리스크가 존재하는 반면에, 본 일 실시 예에 따르면, 위험요소가 산재되어 있는 터널 시공 현장에서도 숏크리트의 균열을 원거리에서 무인 및 자동으로 탐지할 수 있기 때문에 현장 작업자의 안전성을 확보할 수 있다.
또한, 본 일 실시 예에 따르면, 전문가의 육안에 의존하는 종래 외관 검사법 대비 높은 정확도를 확보할 수 있을 뿐만 아니라 작업 시간 및 이에 따른 비용을 절감할 수 있다.
또한, 종래 기술 중 드론 등을 이용하여 영상을 수집하는 방식은 영상 수집 시 드론의 회전 각도 제약으로 인하여 시공 현장(즉, 터널)의 숏크리트 천장부(crown)의 균열을 탐지 어려운 측면이 존재하는 반면에, 본 일 실시 예에 따르면, 360도 회전이 가능한 카메라를 지능형 로봇에 부착하여 이를 원격으로 조종함으로써 터널의 숏크리트 천정부의 균열 탐지가 가능해질 수 있다.
또한, 종래 인공지능 기반의 콘크리트 균열 탐지 시스템은 균열 탐지를 위하여 현장 영상 데이터를 수집 및 저장하고, 추후에 수집된 현장 영상 데이터를 복원하여 이를 인공지능 모델이 균열을 추론 및 탐지하는 방식으로 구현되는 반면, 본 일 실시 예에 따르면 수집된 현장 영상 데이터의 복원 없이도 인공지능 모델에 의해 현장 영상 데이터 내의 균열을 추론하는 방식으로 숏크리트 균열을 실시간으로 탐지할 수 있기 때문에 신속한 초기 대응이 가능해질 수 있다.
도 1은 본 일 실시 예에 따른 실시간 균열 탐지 시스템을 나타내는 블록도이다.
도 2는 본 일 실시 예에 따른 객체 추적 모듈을 구체적으로 나타내는 블록도이다.
도 3은 본 일 실시 예에 따른 객체 탐지 모듈을 구조를 설명하기 위한 개념도이다.
도 4는 본 일 실시 예에 따른 객체 탐지 모듈의 동작에 따라 생성되는 균열 탐지 정보에 따른 이미지를 보여준다.
도 5 및 도 6은 본 일 실시 예에 따른 실시간 균열 탐지 시스템의 동작 방법을 설명하기 위한 순서도이다.
도 7은 본 일 실시 예에 따른 객체 탐지 모듈과 객체 추적 모듈의 동작 방법을 설명하기 위한 개념도이다.
도 8은 본 일 실시 예에 따른 지능형 로봇 장치의 동작 방법을 설명하기 위한 도면이다.
도 9는 본 일 실시 예에 따른 실시간 균열 탐지 시스템의 서비스 과정을 구체화한 도면이다.
도 10은 본 일 실시 예에 따른 실시간 균열 탐지 시스템의 결과 화면을 예시적으로 나타내는 도면이다.
도 11은 본 명세서에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
전술한 특성 및 이하 상세한 설명은 모두 본 명세서의 설명 및 이해를 돕기 위한 예시적인 사항이다. 즉, 본 명세서는 이와 같은 실시 예에 한정되지 않고 다른 형태로 구체화될 수 있다. 다음 실시 형태들은 단지 본 명세서를 완전히 개시하기 위한 예시이며, 본 명세서가 속하는 기술 분야의 통상의 기술자들에게 본 명세서를 전달하기 위한 설명이다. 따라서, 본 명세서의 구성 요소들을 구현하기 위한 방법이 여럿 있는 경우에는, 이들 방법 중 특정한 것 또는 이와 동일성 있는 것 가운데 어떠한 것으로든 본 명세서의 구현이 가능함을 분명히 할 필요가 있다.
본 명세서에서 어떤 구성이 특정 요소들을 포함한다는 언급이 있는 경우, 또는 어떤 과정이 특정 단계들을 포함한다는 언급이 있는 경우는, 그 외 다른 요소 또는 다른 단계들이 더 포함될 수 있음을 의미한다. 즉, 본 명세서에서 사용되는 용어들은 특정 실시 형태를 설명하기 위한 것일 뿐이고, 본 명세서의 개념을 한정하기 위한 것이 아니다. 나아가, 발명의 이해를 돕기 위해 설명한 예시들은 그것의 상보적인 실시 예도 포함한다.
본 명세서에서 사용되는 용어들은 본 명세서가 속하는 기술 분야의 통상의 기술자들이 일반으로 이해하는 의미를 갖는다. 보편적으로 사용되는 용어들은 본 명세서의 맥락에 따라 일관적인 의미로 해석되어야 한다. 또한, 본 명세서에서 사용되는 용어들은, 그 의미가 명확히 정의된 경우가 아니라면, 지나치게 이상적이거나 형식적인 의미로 해석되지 않아야 한다. 이하 첨부된 도면을 통하여 본 명세서의 실시 예가 설명된다.
도 1은 본 일 실시 예에 따른 실시간 균열 탐지 시스템을 나타내는 블록도이다.
도 1을 참조하면, 도 1의 실시간 균열 탐지 시스템(100)은 하나 이상의 지능형 로봇 장치(110) 및 은 하나 이상의 지능형 로봇 장치(110)와 연동된 중개 서버 장치(120)를 포함할 수 있다.
도 1의 하나 이상의 지능형 로봇 장치(110)는 현장 작업자(또는 관리자)에 의한 제어에 따라 원격으로 조종이 가능한 2족 또는 4족 등으로 구현된 보형형 로봇일 수 있다.
예를 들어, 하나 이상의 지능형 로봇 장치(110)는 레일 또는 접착제와 같은 고정 장치를 통해 디지털 장비를 탑재할 수 있을 뿐만 아니라 이러한 디지털 장비에 전력을 공급하도록 구현될 수 있다.
여기서, 디지털 장비는 360도 회전이 가능한 카메라, 소형 컴퓨터, 라이다(Lidar) 등 지능형 로봇이 보행하는 동안 신호 데이터를 수집 및 처리하는 기기를 포함할 수 있다.
예를 들어, 하나 이상의 지능형 로봇 장치(110)는 현장 작업자(또는 관리자)의 원격 컨트롤러에 의해 제어되거나 웹 기반 소프트웨어를 기반으로 설정된 웨이포인트(waypoint)를 따라 터널 시공 현장을 이동하도록 구현될 수 있다.
예를 들어, 하나 이상의 지능형 로봇 장치(110)는 미리 구비된 하나 이상의 360도 촬영이 가능한 스테레오 카메라를 이용하여 획득된 영상을 기반으로 주변 지형지물을 인식할 수 있을 뿐만 아니라 버럭, 자갈 등 운행 조건이 좋지 않은 작업 환경에서도 장애물 회피 기능을 통해 자율 보행이 가능하도록 구현될 수도 있다.
여기서, 360도 촬영이 가능한 스테레오 카메라는 30배 광학 줌, 방향 및 확대/축소를 원격으로 제어할 수 있는 PTZ (Pan-tilt-zoom), 스피커와 마이크를 통한 양방향 오디오, LED (Light Emitting Diode) 조명 및 현장 영상 데이터 저장을 위한 USB (Universal Serial Bus) 포트 등 다수의 기능을 포함하도록 구현될 수 있다.
예를 들어, 하나 이상의 지능형 로봇 장치(110)는 하나 이상의 360도 촬영이 가능한 스테레오 카메라를 이용하여 시공 현장인 숏크리트 천정부의 현재 상태를 실시간으로 촬영할 수 있다.
또한, 하나 이상의 지능형 로봇 장치(110)에는 주변 환경 매핑을 통해 보행 위치를 파악할 수 있는 기능인 SLAM(Simultaneous Localization and Mapping) 기능이 구현될 수 있다. 즉, 하나 이상의 지능형 로봇 장치(110)는 SLAM 기능을 활용하여 영상에 촬영된 균열의 위치 정보를 파악하도록 구현될 수 있다.
한편, 하나 이상의 지능형 로봇 장치(110)는 일관적인 데이터 수집을 위하여 미리 구비된 소프트웨어 개발 키트(Software development kit, 이하 SDK)를 기반으로 반복적인 데이터 수집 프로세스를 자동화하도록 미리 구현될 수 있다.
예를 들어, 전술한 과정을 거쳐 하나 이상의 지능형 로봇 장치(110)에 의해 생성된 현장 영상 데이터(DATA_Video)는 미리 확립된 통신 프로토콜을 통해 중개 서버 장치(120)로 전달될 수 있다.
여기서, 통신 프로토콜은 WLAN (Wireless LAN, Wi-Fi), LTE (Long Term Evolution) 또는 WMN (Wireless Mesh Network)일 수 있으나, 이에 한정되는 것은 아니며 다른 무선 통신기술, 근거리 통신기술 또는 유선 인터넷 기술로 구현될 수 있음은 이해될 것이다.
한편, 현장 영상 데이터(DATA_Video)는 RTSP(Real Time Streaming Protocol) 방식으로 전처리될 수 있다.
참고로, RTSP는 스트리밍 미디어 서버를 제어할 목적으로 설계된 네트워크 프로토콜이며, 더 구체적으로는 인터넷 프로토콜의 응용계층에서 동작하면서 영상과 음성 등 실시간 데이터를 송수신하기 위한 통신 규약을 의미한다.
도 1의 중개 서버 장치(120)는 영상 전처리 모듈(121), 객체 탐지 모듈(123) 및 객체 추적 모듈(125)을 포함할 수 있다.
도 1의 영상 전처리 모듈(121)은 입력된 복수의 프레임을 포함하는 현장 영상 데이터(DATA_Video)에 대하여 데이터 포맷 및 해상도를 변형한 전처리된 현장 영상 데이터(DATA_Video')를 객체 탐지 모듈(123)로 전달하도록 구현될 수 있다.
구체적으로, 최초로 수신된 RTSP 포맷을 갖는 현장 영상 데이터(DATA_Video)의 데이터 포맷은 객체 탐지 모듈(123)에서 인식 가능한 형태가 H.264 포맷으로 변형될 수 있다. 또한, 전처리된 현장 영상 데이터(DATA_Video')의 해상도는 1280x720으로 스케일링될 수 있다.
일 예로, 영상 전처리 모듈(121)은 실시간 컴퓨터 비전을 목적으로 한 프로그래밍 라이브러리인 OpenCV(Open Source Computer Vision)로 구현될 수 있다.
구체적으로, 하나 이상의 지능형 로봇 장치(110)에 상응하는 네트워크 주소가 중개 서버 장치(120)에 입력될 때, 영상 전처리 모듈(121)은 상응하면 지능형 로봇 장치(110)로부터 RTSP 방식으로 전송되는 현장 영상 데이터(DATA_Video)를 실시간으로 수신하도록 구현될 수 있다.
도 1의 객체 탐지 모듈(123)은 전처리된 현장 영상 데이터(DATA_Video')에 포함된 복수의 프레임 각각에 대하여 미리 구비된 인공지능 기반의 객체 탐지 알고리즘을 적용하여 균열의 존재 여부를 판단할 수 있다.
만일 하나 이상의 특정 프레임에서 하나 이상의 균열이 탐지되면, 객체 탐지 모듈(123)은 해당 특정 프레임 내 하나 이상의 균열에 대한 바운딩 박스(Bounding box, 이하 'bb')를 생성하는 인코딩 작업을 수행할 수 있다.
일 예로, 바운딩 박스(bb)는 하나 이상의 특정 프레임에 존재하는 하나 이상의 균열의 클래스 정보(예로, 배경 또는 균열) 및 하나 이상의 균열의 위치를 특정하기 위해 사용될 수 있다.
여기서, 바운딩 박스(bb)는 후술되는 도 4와 같이 하나 이상의 특정 프레임 내에서 각 균열이 위치하는 경계 좌표 값(min_x, min_y, max_x, max_y)을 연결하는 방식으로 생성될 수 있다.
한편, 도 1의 객체 탐지 모듈(123)은 전처리된 현장 영상 데이터(DATA_Video')를 기반으로 미리 구비된 인공지능 기반의 객체 탐지 알고리즘을 적용하여 균열 탐지 정보를 생성할 수 있다.
일 예로, 균열 탐지 정보는 하나 이상의 균열을 위한 하나 이상의 바운딩 박스를 나타내기 위한 좌표 정보(IN_bb) 및 상응하는 하나 이상의 바운딩 박스가 생성된 프레임을 포함하는 프레임 정보(IN_F)를 포함할 수 있다.
여기서, 좌표 정보(IN_bb)는 하나 이상의 바운딩 박스를 위한 경계 좌표 값(min_x, min_y, max_x, max_y)과 하나 이상의 바운딩 박스의 중심점 좌표를 포함할 수 있다.
여기서, 프레임 정보(IN_F)에는 전처리된 현장 영상 데이터(DATA_Video')에 포함된 복수의 프레임 중에서 하나 이상의 바운딩 박스가 생성된 프레임만 포함될 수 있다.
일 예로, 본 명세서에서 언급되는 객체 탐지 알고리즘은 YOLOv5(You Only Look Once)일 수 있다. 본 명세서의 객체 탐지 모듈(123)에는 YOLOv5 알고리즘에 약 14만장의 균열 이미지 데이터를 통해 사전 학습된 인공지능 학습 모델이 탑재될 수 있다.
기존 딥러닝 기반 객체 탐지 알고리즘은 한 장의 이미지를 지역적으로 분할하고, 분할된 각각의 이미지 내에서 클래스 확률을 계산하여 객체의 위치를 추정하여 객체를 탐지하는 방식으로 구현된다.
이에 반해, 본 명세서의 YOLOv5는 이미지의 지역적 분할 없이 바운딩 박스(bb) 및 클래스 확률(Class probability)을 한 번의 회귀 계산을 통해 이미지 내의 객체를 탐지하는 방식으로 구현되기 때문에, 기존 인공지능 기반 객체 탐지 알고리즘인 Faster R-CNN 대비 본 명세서의 YOLOv5는 6배 빠른 성능을 나타낼 수 있다.
도 1의 객체 추적 모듈(125)은 미리 구비된 전처리된 현장 영상 데이터(DATA_Video')에 포함된 각 프레임마다 다중 객체 추적 알고리즘을 적용하여 검출된 하나 이상의 객체(즉, 균열) 사이의 연관성을 판단하도록 구현될 수 있다.
이에 따라, 본 일 실시 예에 따른 실시간 균열 탐지 시스템(100)은 현장 영상 데이터에서 탐지된 균열 이미지 데이터를 중복 없이 실시간으로 저장할 수 있다.
예를 들어, 다중 객체 추적 알고리즘은 영상 데이터의 객체 탐지 결과 프레임을 비교 분석하여 이전 프레임과 현재 프레임 내에서 검출된 객체가 동일한 객체인지 여부를 판단하는 SORT (Simple Online and Realtime Tracking) 알고리즘일 수 있다.
구체적으로, SORT 알고리즘은 칼만필터(Kalman filter)와 헝가리안 알고리즘(Hungarian algorithm)을 활용하여 동일 객체 여부를 판단하도록 구현될 수 있다.
일 예로, 칼만필터는 확률 이론에 기반한 예측 알고리즘으로, 영상 데이터 내에서 검출된 객체의 위치(Position) 상태를 기반으로 다음 프레임에서의 객체 위치 상태를 확률적으로 예측하도록 구현될 수 있다.
일 예로, 헝가리안 알고리즘은 칼만필터를 통해 확보된 이전 프레임에서 예측된 객체의 위치 상태와 현재 객체 위치 상태의 연관성을 판단하여 이전 프레임 내 검출된 객체와 현재 프레임에서 검출된 객체가 동일한 객체인지를 판단하도록 구현될 수 있다.
예를 들어, 객체 추적 모듈(125)은 이전 프레임과 현재 프레임 내에서 검출된 객체가 동일한 객체인지 여부를 판단하여 적어도 하나의 신규 균열이 탐지될 때 적어도 하나의 신규 균열에 관한 객체 추적 정보를 생성할 수 있다.
일 예로, 객체 추적 정보는 적어도 하나의 신규 균열을 나타내는 신규 식별 정보, 적어도 하나의 신규 균열을 위한 하나 이상의 신규 바운딩 박스를 나타내기 위한 신규 좌표 정보 및 적어도 하나의 신규 균열이 탐지된 프레임을 지시하기 위한 프레임 번호 정보를 포함할 수 있다.
예를 들어, 객체 추적 모듈(125)은 객체 추적 정보를 기반으로 객체 추적 데이터를 생성할 수 있다.
일 예로, 객체 추적 데이터는 적어도 하나의 신규 균열이 포함된 하나 이상의 균열을 위한 하나 이상의 바운딩 박스를 나타내는 갱신된 좌표 정보(IN_bb''), 신규 균열이 포함된 하나 이상의 균열을 위한 하나 이상의 바운딩 박스가 생성된 프레임을 포함하는 갱신된 프레임 정보(IN_F'')를 포함할 수 있다.
또한, 객체 추적 데이터는 적어도 하나의 신규 균열이 포함된 하나 이상의 균열을 위한 하나 이상의 바운딩 박스를 개별적으로 식별하기 위한 균열 식별 정보(IN_OBJ ID) 및 신규 균열이 탐지된 시간을 나타내는 탐지 시간 정보(IN_time)를 포함할 수 있다.
일 예로, 객체 추적 데이터는 하나 이상의 클라이언트 단말과 연동된 데이터 서버(10)로 전송되고, 데이터 서버(10)에서 저장 및 관리될 수 있다.
데이터 서버(10)와 하나 이상의 클라이언트 단말 간 본 일 실시 예에 따른 신규 균열 탐지에 따른 서비스 과정에 관하여는 후술되는 도면을 참조하여 더 상세하게 설명된다.
한편, 시공 현장으로 실시간으로 수집되는 현장 영상 데이터로부터 균열이 탐지될 때마다 균열 정보를 확인하기 위하여 균열 이미지를 저장하는 종래 방식의 객체 탐지 알고리즘은 별도의 다중 객체 추적 알고리즘과 연동되어 구현되지 않았다.
이에, 탐지된 객체에 대하여 식별 정보를 부여하지 못하고, 이로 인하여 객체를 추적하면서 식별하기 어려워 영상의 초당 프레임 수만큼의 이미지 데이터가 중복 저장되는 문제가 존재하였다.
구체적으로,　객체 탐지 알고리즘이 60FPS(초당 프레임 수)인 현장 영상 데이터에서 균열이 탐지될 때마다 균열 이미지를 저장하는 경우, 1초에 60개의 동일한 균열 이미지가 저장될 수 있다.
이에 따라, 기존의 영상 수집 장치가 동일한 균열을 장시간 동안 촬영하게 되면 균열 이미지가 촬영 시간 및 설정된 프레임 수만큼 중복 저장되는 문제로 인하여, 데이터 서버에 큰 부하를 발생시킬 뿐만 아니라 심각한 데이터 저장 공간 낭비를 초래할 뿐만 아니라 실시간으로 균열 이미지를 확인하는 웹 애플리케이션을 통해서도 동일한 균열 이미지가 중복으로 출력되는 문제가 있었다.
본 일 실시 예에 따르면, 객체 탐지 모듈(123)의 동작을 통해 현장 영상 데이터(DATA_Video)의 복수의 프레임에 포함된 균열이 신속하게 탐지될 수 있을 뿐만 아니라 각 프레임 내에서 탐지된 다수의 균열 데이터는 객체 추적 모듈(125)의 동작을 통해 중복이 제거된 상태로 데이터 서버(10)에 저장될 수 있다.
결국, 본 일 실시 예에 따른 실시간 균열 탐지 시스템은 현장 영상 데이터 중에서 이전 프레임에서 기 탐지된 균열과 현재 프레임에서 새롭게 탐지된 신규 균열을 자동으로 식별하는 다중 객체 추적 알고리즘이 탑재될 뿐만 아니라 객체 탐지 알고리즘과 다중 객체 탐지 추적 알고리즘의 연동을 구현함으로써 균열 데이터의 중복 저장을 방지하도록 구현됨은 이해될 것이다.
도 2는 본 일 실시 예에 따른 객체 추적 모듈을 구체적으로 나타내는 블록도이다.
도 1 및 도 2를 참조하면, 도 2의 객체 추적 모듈(200)은 도 1의 객체 추적 모듈(125)에 상응하는 구성으로 이해될 수 있다.
도 2의 객체 추적 모듈(200)은 객체 탐지 모듈(예로, 도 1의 123)로부터 수신되는 균열 탐지 정보(IN_bb, IN_F)를 기반으로 생성된 객체 추적 데이터를 데이터 서버(10)로 전달할 수 있다.
일 예로, 객체 추적 데이터는 적어도 하나의 신규 균열이 포함된 하나 이상의 균열을 위한 하나 이상의 바운딩 박스를 나타내는 갱신된 좌표 정보(IN_bb''), 신규 균열이 포함된 하나 이상의 균열을 위한 하나 이상의 바운딩 박스가 생성된 프레임을 포함하는 갱신된 프레임 정보(IN_F'')를 포함할 수 있다.
또한, 객체 추적 데이터는 적어도 하나의 신규 균열이 포함된 하나 이상의 균열을 위한 하나 이상의 바운딩 박스를 개별적으로 식별하기 위한 균열 식별 정보(IN_OBJ ID) 및 신규 균열이 탐지된 시간을 나타내는 탐지 시간 정보(IN_time)를 포함할 수 있다.
한편, 도 2의 객체 추적 모듈(200)은 제어 회로(210) 및 SORT 회로(220)를 포함할 수 있다.
예를 들어, 제어 회로(210)는 객체 추적 모듈(200)의 동작을 전반적으로 제어하도록 구현될 수 있다.
또한, 제어 회로(210)는 큐(Queue) 유닛(211), 설정(configuration) 유닛(213), 실행(execution) 유닛(215), 캡처(capture) 유닛(217) 및 전달(delivery) 유닛(219)를 포함할 수 있다.
일 예로, 큐 유닛(211)은 객체 탐지 모듈(예로, 도 1의 123)로부터 수신되는 균열 탐지 정보(IN_bb, IN_F)가 SORT 회로(220)로 전달되기 전까지 균열 탐지 정보(IN_bb, IN_F)를 임시 저장하는 구성으로 이해될 수 있다.
구체적으로, 큐 유닛(211)은 균열 탐지 정보에 포함된 하나 이상의 바운딩 박스의 좌표 정보, 균열 클래스 및 하나 이상의 바운딩 박스가 표기된 프레임을 저장하도록 구현될 수 있다.
일 예로, 설정 유닛(213)은 SORT 알고리즘의 객체 추적 성능 확보를 위하여 SORT 회로(220)를 위한 파라미터 정보(IN_Para)를 설정하는 구성으로 이해될 수 있다.
구체적으로, 파라미터 정보(IN_Para)는 iou_threshold 값에 상응하는 제1 임계 값, max_age 값에 상응하는 제2 임계 값 그리고 min_hit 값에 상응하는 제3 임계 값을 설정할 수 있다.
일 예로, 제1 임계 값은 도 4와 같이 다중 객체 탐지를 통해 출력되는 하나 이상의 바운딩 박스 넓이와 객체 추적 모듈(200)에 구비된 칼만 필터를 통해 예측되는 객체의 바운딩 박스 넓이 간의 IoU(Intersection of Union) 값의 임계치를 설정하기 위한 값으로 이해될 수 있다.
여기서, IoU 값은 두 영역의 교차 영역의 넓이를 두 영역을 합한 영역의 넓이로 나눈 값과 상응할 수 있다.
구체적으로, 다중 객체 추적 알고리즘은 제1 임계 값과 연관된 iou_threshold 값에 따라 객체 추적을 판단하도록 구현될 수 있다.
만일 제1 임계 값을 지나치게 큰 값으로 설정하면, 현장 영상 데이터 내 프레임이 빠르게 변화하여 이전 프레임과 현재 프레임의 IoU 값이 급격히 작아지는 상황에서는 동일 객체임에도 불구하고 다른 객체로 인식하게 되는 문제가 발생할 수 있다.
이에 따라, 제1 임계 값을 최적화된 값으로 설정함으로써 지능형 로봇 장치(예로, 도 1의 110)가 등속으로 이동하지 않거나, 지능형 로봇에 탑재된 영상 수집 장치인 카메라가 빠른 속도로 회전하여 프레임 간 동일 객체의 IoU가 작아지는 환경에서도, 본 일 실시 예에 따른 실시간 균열 탐지 시스템은 의한 균열 객체의 추적이 가능하도록 구현될 수 있다.
일 예로, 제2 임계 값은 객체가 프레임 밖으로 벗어난 뒤에도 객체 추적을 유지하는 프레임의 최대 수로 이해될 수 있다.
max_age 값에 상응하는 제2 임계 값을 지나치게 큰 값으로 설정하면, 프레임을 벗어난 객체를 지속적으로 추적함으로써 불필요한 연산량이 증가하거나, 프레임에 새로운 객체가 검출되었음에도 불구하고 max_age 값으로 인하여 추적되고 있는 동일 객체로 오인되는 문제가 발생할 수 있다.
또한, 제2 임계 값을 지나치게 작은 값으로 설정했을 경우, 객체가 일시적으로 프레임을 벗어났다가 되돌아올 때마다 새로운 객체로 인식되는 문제가 발생할 수 있다.
이에 따라, 제2 임계 값을 최적화된 값으로 설정함으로써 지능형 로봇 장치(예로, 도 1의 110)를 통해 수집되는 현장 영상 데이터가 지능형 로봇 장치(예로, 도 1의 110)의 보행으로 이한 떨림 등으로 균열 객체가 프레임 밖으로 벗어났다가 프레임 안으로 돌아오더라도 지속적으로 균열 객체 추적이 가능하도록 구현될 수 있다.
일 예로, 제3 임계 값은 다중 객체 추적에서 탐지된 객체를 동일한 객체로 판단하기 위하여 요구되는 연속적인 프레임의 최소수와 연관된 값으로 이해될 수 있다.
구체적으로, 이전 프레임과 현재 프레임 간 IoU 값이 제1 임계 값을 초과하는 연속적인 프레임의 수가 min_hit 값에 상응하는 제3 임계 값보다 큰 경우, 다중 객체 추적 알고리즘은 이를 동일 객체로 판단하고 추적하도록 구현될 수 있다.
일 예로, 실행 유닛(215)은 객체 탐지 모듈(예로, 도 1의 123)로부터 수신된 균열 탐지 정보(IN_bb, IN_F)를 SORT 회로(220)에 입력 가능한 형태로 변환된 균열 탐지 정보(IN_bb', IN_F')와 설정 유닛(213)에 의해 설정된 파라미터 정보(IN_Para)를 SORT 회로(220)로 전달하도록 구현될 수 있다.
일 예로, 캡처 유닛(217)은 SORT 회로(220)로부터 수신된 객체 추적 정보(IN_new OBJ ID, IN_new bb, IN_new Fnum)에 따라 변환된 균열 탐지 정보(IN_bb', IN_F')를 갱신하도록 구현될 수 있다.
구체적으로, 갱신된 좌표 정보(IN_bb'')는 변환된 좌표 정보(IN_bb') 및 적어도 하나의 신규 균열을 위한 하나 이상의 신규 바운딩 박스를 나타내기 위한 신규 좌표 정보(IN_new bb)를 기반으로 적어도 하나의 신규 균열이 포함된 하나 이상의 균열을 위한 하나 이상의 바운딩 박스를 지시하도록 구현될 수 있다.
또한, 갱신된 프레임 정보(IN_F'')는 변환된 프레임 정보(IN_F') 및 적어도 하나의 신규 균열이 탐지된 프레임을 지시하기 위한 프레임 번호 정보(IN_new Fnum)를 기반으로 적어도 하나의 신규 균열이 포함된 하나 이상의 균열을 위한 하나 이상의 바운딩 박스가 생성된 프레임을 포함하도록 구현될 수 있다.
나아가, 캡처 유닛(217)은 프레임 번호 정보(IN_new Fnum)를 참조하여 적어도 하나의 신규 균열이 포함된 하나 이상의 균열이 탐지된 시간을 나타내는 탐지 시간 정보(IN_time)를 생성할 수 있다.
일 예로, 전달 유닛(219)은 적어도 하나의 신규 균열이 포함된 하나 이상의 균열을 위한 하나 이상의 바운딩 박스를 개별적으로 식별하기 위한 균열 식별 정보(IN_OBJ ID), 갱신된 좌표 정보(IN_bb''), 갱신된 프레임 정보(IN_F'') 및 탐지 시간 정보(IN_time)를 데이터 서버(10) 쪽으로 전달할 수 있다.
예를 들어, SORT 회로(220)는 변환된 균열 탐지 정보(IN_bb', IN_F') 및 파라미터 정보(IN_Para)를 기반으로 객체 추적 정보를 생성할 수 있다.
일 예로, 객체 추적 정보는 적어도 하나의 신규 균열을 나타내는 신규 식별 정보(IN_new OBJ ID), 적어도 하나의 신규 균열을 위한 하나 이상의 신규 바운딩 박스를 나타내기 위한 신규 좌표 정보(IN_new bb) 및 적어도 하나의 신규 균열이 탐지된 프레임을 지시하기 위한 프레임 번호 정보(IN_new Fnum)를 포함할 수 있다.
일 예로, SORT 회로(220)는 확인(checking) 유닛(221), 추적(tracking) 유닛(223) 및 객체 식별 발행(object ID issuance) 유닛(225)을 포함할 수 있다.
일 예로, 확인 유닛(221)은 변환된 균열 탐지 정보(IN_bb', IN_F')를 기반으로 각 프레임 내 존재하는 하나 이상의 균열을 위한 하나 이상의 바운딩 박스의 위치를 복원할 수 있다.
일 예로, 추적 유닛(223)은 각 프레임마다 하나 이상의 균열의 탐지를 위하여 객체 추적을 수행하고, 수행된 결과 정보를 저장 및 갱신하도록 구현될 수 있다.
일 예로, 객체 식별 발행 유닛(225)은 적어도 하나의 신규 균열이 포함된 하나 이상의 균열을 위한 하나 이상의 바운딩 박스를 개별적으로 식별하기 위한 균열 식별 정보(IN_OBJ ID)를 생성하도록 구현될 수 있다.
참고로, SORT 회로(220)의 동작 방법에 관하여는 후술되는 도면들을 참조하여 더 상세하게 설명된다.
도 3은 본 일 실시 예에 따른 객체 탐지 모듈을 구조를 설명하기 위한 개념도이다.
도 1 내지 도 3을 참조하면, 객체 탐지 모듈(예로, 도 1의 123)에 미리 구비된 객체 탐지 알고리즘(즉, YOLOv5)은 Backbone(310), Neck(320) 및 Head(330)로 구성될 수 있다.
예를 들어, Backbone(310)은 영상 데이터의 특징 추출부(Feature extractor)에 해당하며 입력 이미지를 특징 맵(Feature map)으로 변형하는 구성일 수 있다.
일 예로, Backbone(310)을 위하여 BottleNeckCSP(BottleNeck Cross-Stage Partial Connections) 기법을 DarkNet에 적용한 CSP-Darknet이 사용될 수 있다.
여기서, BottleNeckCSP는 DarkNet의 연산량을 경량화하는 기법으로, 먼저 4개의 Convolution Laver를 생성하여 2개는 배치 정규화(Batch normalization)을 적용하고(conv1, conv4), 나머지 2개는 적용하지 않은 다음(conv2, conv3), conv1과 conv3을 Short-Connection으로 연결하여 연산할 수 있다.
이어, 해당 방법으로 conv1에서 출력된 값과 conv2에서 연산한 값을 더하여 이를 conv4에 통과시켜 최종 특징 맵을 출력할 수 있다. 이러한 BottleNeckCSP는 학습할 때 중복으로 사용되는 미분 연산을 제거함으로써 연산량을 감량할 뿐만 아니라 정확도 및 추론 속도를 증대시키는 역할을 할 수 있다.
예를 들어, Neck(320)은 Backbone(310)과 Head(330)를 연결하는 부분으로, Backbone(310)으로부터 전달받은 특징 맵을 정제하고 재구성하여 Head(330)로 연산 결과를 전달하는 구성일 수 있다.
일 예로, Neck(320)을 위하여 PANet(Path Aggregation Network)이 사용될 수 있다. 여기서, PANet은 Backbone에서 추출된 다양한 크기의 특징 맵을 같은 크기로 만들어주는 FPN(Feature Pyramid Network)구조에 하위 계층의 정보 전파를 보다 쉽게 전파할 수 있도록 상향식 경로를 추가한 것으로, 서로 다른 사이즈의 객체 검출이 가능할 수 있다.
예를 들어, Head(330)는 Neck(320)으로부터 출력된 특징을 네트워크의 최종 출력으로 변환해주는 출력부로, 객체의 바운딩 박스와 클래스 확률 값을 반환하도록 구현될 수 있다.
참고로, YOLOv5는 대표적인 객체 탐지 알고리즘으로, 실시간 객체 탐지가 가능하며 기존 인공지능 기반 객체 탐지 알고리즘인 Faster R-CNN보다 6배 빠른 성능을 보인다.
기존 딥러닝 기반 객체 탐지 알고리즘은 한 장의 이미지를 지역적으로 분할하고, 분할된 각각의 이미지 내에서 클래스 확률(Class probability)을 계산한 후 객체의 위치를 추정하여 객체를 탐지하는 방식이나, 객체 탐지 알고리즘(즉, YOLOv5) 전술된 구조를 기반으로 이미지에 대한 지역적 분할 없이 바운딩 박스 생성 및 클래스 확률을 한번의 회귀 계산을 통해 생성하기 때문에, 실시간으로 객체를 탐지할 수 있다.
도 4는 본 일 실시 예에 따른 객체 탐지 모듈의 동작에 따라 생성되는 균열 탐지 정보에 따른 이미지를 보여준다.
도 1 내지 도 4를 참조하면, 도 4의 (a)은 현장 영상 데이터(DATA_Video)에 포함된 복수의 프레임에 포함된 이미지로 이해될 수 있다.
또한, 도 4의 (b)는 YOLOv5 알고리즘의 적용을 통해 하나 이상의 균열을 위한 하나 이상의 바운딩 박스가 표시된 이미지로 이해될 수 있다.
도 5 및 도 6은 본 일 실시 예에 따른 실시간 균열 탐지 시스템의 동작 방법을 설명하기 위한 순서도이다.
도 1 내지 도 5를 참조하면, S510 단계에서, 도 5의 실시간 균열 탐지 시스템(예로, 도 1의 100)에 포함된 중개 서버 장치(예로, 도 1의 120)는 관리자의 제어 신호에 따라 이동하는 하나 이상의 지능형 로봇 장치(예로, 도 1의 110)로부터 시공현장에서 촬영한 복수의 프레임을 포함하는 영상 데이터를 수신할 수 있다.
예를 들어, 복수의 프레임에는 이전 프레임(예로, 도 7의 711)과 이전 프레임의 다음 프레임인 현재 프레임(예로, 도 7의 713)이 포함될 수 있다.
S520 단계에서, 중개 서버 장치(예로, 도 1의 120)는 복수의 프레임 중 하나 이상의 제1 균열과 연관된 이전 프레임(예로, 도 7의 711)에 미리 구비된 객체 탐지 알고리즘을 적용하여 제1 균열탐지 정보를 생성할 수 있다.
예를 들어, 제1 균열탐지 정보는 이전 프레임(예로, 도 7의 711)에서 탐지된 하나 이상의 제1 바운딩 박스(D1_1, D1_2, D1_3)와 연관될 수 있다.
구체적으로, 제1 균열탐지 정보는 하나 이상의 제1 균열을 위한 하나 이상의 제1 바운딩 박스(D1_1, D1_2, D1_3)를 나타내기 위한 제1 좌표 정보 및 하나 이상의 제1 바운딩 박스(D1_1, D1_2, D1_3)가 생성된 프레임을 포함하는 제1 프레임 정보를 포함할 수 있다.
일 예로, 하나 이상의 제1 바운딩 박스(D1_1, D1_2, D1_3) 중에서 제1 바운딩 박스(D1_1)는 [x1, y1, a1, h1, vx1, vy1, va1, vh1]으로 정의될 수 있다.
여기서, x1, y1은 이전 프레임(예로, 도 7의 711)에서 제1 바운딩 박스(D1_1)의 x, y 좌표을 의미하고, a1은 이전 프레임(예로, 도 7의 711)에서 제1 바운딩 박스(D1_1)의 가로-세로 비(aspect ratio)를 의미하고, h1은 이전 프레임(예로, 도 7의 711)에서 제1 바운딩 박스(D1_1)의 높이를 의미할 수 있다.
또한, v는 이전 프레임(예로, 도 7의 711)에서 좌표 값에 영향을 주는 객체의 이동 속도 값을 의미할 수 있다.
또한, 중개 서버 장치(예로, 도 1의 120)는 제1 균열 탐지 정보를 기반으로 미리 구비된 다중 객체 추적 알고리즘을 적용하여 현재 프레임(예로, 도 1의 713)을 위한 균열예측 정보를 생성할 수 있다.
예를 들어, 균열예측 정보는 도 7의 하나 이상의 예측된 바운딩 박스(P1, P2, P3)와 연관될 수 있다.
일 예로, 하나 이상의 예측된 바운딩 박스(P1, P2, P3) 중에서 제1 예측 바운딩 박스(P1)는 [x1', y1', a1', h1']으로 정의될 수 있다.
여기서, x1', y1'은 칼만 필터를 통해 예측된 제1 예측 바운딩 박스(P1)의 x, y 좌표을 의미하고, a1'은 칼만 필터를 통해 예측된 제1 예측 바운딩 박스(P1)의 가로 세로 비(aspect ratio)를 의미하고, h1'은 칼만 필터를 통해 예측된 제1 예측 바운딩 박스(P1)의 높이를 의미할 수 있다.
S530 단계에서, 중개 서버 장치(예로, 도 1의 120)는 하나 이상의 제2 균열과 연관된 현재 프레임(예로, 도 7의 713)에 객체 탐지 알고리즘을 적용하여 제2 균열탐지 정보를 생성할 수 있다.
예를 들어, 제2 균열탐지 정보는 현재 프레임(예로, 도 7의 713)에서 탐지된 하나 이상의 제2 바운딩 박스(D2_1, D2_2, D2_3)와 연관될 수 있다.
구체적으로, 제2 균열탐지 정보는 하나 이상의 제2 균열을 위한 하나 이상의 제2 바운딩 박스(D2_1, D2_2, D2_3)를 나타내기 위한 제2 좌표 정보 및 하나 이상의 제2 바운딩 박스(D2_1, D2_2, D2_3)가 생성된 프레임을 포함하는 제2 프레임 정보를 포함할 수 있다.
일 예로, 하나 이상의 제2 바운딩 박스(D2_1, D2_2, D2_3) 중에서 제1 바운딩 박스(D2_1)는 [x2, y2, a2, h2, vx2, vy2, va2, vh2]으로 정의될 수 있다.
S540 단계에서, 중개 서버 장치(예로, 도 1의 120)는 헝가리안 알고리즘의 적용으로 이전 프레임 내 하나 이상의 제1 균열의 위치 상태 정보와 현재 프레임 내 하나 이상의 제2 균열의 위치 상태 정보의 연관성을 계산하여 동일한 균열인지 여부를 판단하기 위하여 균열예측 정보 및 제2 균열탐지 정보를 기반으로 IoU(Intersection of Union) 값을 연산할 수 있다.
예를 들어, IoU(Intersection of Union) 값은 하나 이상의 제1 바운딩 박스(D1_1, D1_2, D1_3)와 하나 이상의 제2 바운딩 박스(D2_1, D2_2, D2_3) 간 교차 영역의 넓이를 하나 이상의 제1 바운딩 박스(D1_1, D1_2, D1_3)와 하나 이상의 제2 바운딩 박스(D2_1, D2_2, D2_3)을 합산한 영역의 넓이로 나눈 값으로 이해될 수 있다.
S550 단계에서, 중개 서버 장치(예로, 도 1의 120)는 IoU 값이 미리 설정된 제1 임계 값을 초과하는지 여부를 판단할 수 있다.
예를 들어, 제1 임계 값은 설정 유닛(예로, 도 2의 213)에 의해 관리되는 파라미터 정보(IN_Para) 중에서 iou_threshold 값과 연관될 수 있다.
만일 IoU 값이 미리 설정된 제1 임계 값을 초과한다고 판단되면, 수순은 S560으로 진행된다. 이와 달리, 만일 IoU 값이 미리 설정된 제1 임계 값 이하로 판단되면, 수순은 도 6으로 진행된다.
S560 단계에서, 중개 서버 장치(예로, 도 1의 120)는 이전 프레임(예로, 도 7의 711)에서 탐지된 하나 이상의 제1 균열과 정보는 현재 프레임(예로, 도 7의 713)에서 탐지된 하나 이상의 제2 균열이 동일한 균열이라고 판단할 수 있다.
이에 따라, 제2 균열탐지 정보를 기반으로 제1 균열탐지 정보를 갱신할 수 있다. 즉, 제2 균열탐지 정보는 현재 프레임(예로, 도 7의 713)의 다음 프레임(미도시)을 기반으로 미리 구비된 다중 객체 추적 알고리즘을 적용하여 다음 프레임(미도시)을 위한 균열예측 정보를 생성하기 위해 사용될 수 있다.
도 6을 참조하면, S610 단계에서, 중개 서버 장치(예로, 도 1의 120)는 제2 균열탐지 정보에 하나 이상의 제2 바운딩 박스(D2_1, D2_2, D2_3)가 제2 임계 값과 연관된 탐지 구간 동안 존재하는지 여부를 판단할 수 있다.
일 예로, 탐지 구간은 max_age 값에 상응하는 제2 임계 값에 의해 정해지는 특정 개수의 프레임에 상응하는 시간 구간으로 이해될 수 있다.
만일 제2 균열탐지 정보에 하나 이상의 제2 바운딩 박스(D2_1, D2_2, D2_3)가 제2 임계 값과 연관된 탐지 구간이 경과할 때까지 존재하지 않는다고 판단되면, 수순은 S620 단계로 진행된다.
S620 단계에서, 중개 서버 장치(예로, 도 1의 120)는 내부적으로 저장 및 관리되는 제1 균열탐지 정보 및 균열예측 정보를 삭제하도록 구현될 수 있다.
만일 제2 균열탐지 정보에 하나 이상의 제2 바운딩 박스(D2_1, D2_2, D2_3)가 제2 임계 값과 연관된 탐지 구간이 경과하기 전에 존재한다고 판단되면, 수순은 S630 단계로 진행된다.
S630 단계에서, 중개 서버 장치(예로, 도 1의 120)는 제2 균열탐지 정보를 기반으로 객체 추적 정보를 생성할 수 있다.
이 경우, 객체 추적 정보는 적어도 하나의 신규 균열을 나타내는 신규 식별 정보(예로, 도 2의 IN_new OBJ ID), 적어도 하나의 신규 균열을 위한 하나 이상의 신규 바운딩 박스를 나타내기 위한 신규 좌표 정보(예로, 도 2의 IN_new bb) 및 신규 균열이 탐지된 프레임을 지시하기 위한 프레임 번호 정보(예로, 도 2의 IN_new Fnun)를 포함할 수 있다.
또한, 중개 서버 장치(예로, 도 1의 120)는 객체 추적 정보를 기반으로 객체 추적 데이터를 생성하고, 이를 하나 이상의 클라이언트 단말(예로, 도 9의 95)과 연동된 데이터 서버(10, 90)로 전송하도록 구현될 수 있다.
도 7은 본 일 실시 예에 따른 객체 탐지 모듈과 객체 추적 모듈의 동작 방법을 설명하기 위한 개념도이다.
도 1 내지 도 7을 참조하면, 객체 추적 모듈(예로, 도 2의 200)에 구비된 SORT 알고리즘과 연관된 칼만필터(Kalman filter)는 확률 이론에 기반한 예측 알고리즘으로, 영상 데이터 내에서 검출된 객체의 위치 상태를 기반으로 다음 프레임에서의 객체 위치 상태를 확률적으로 예측할 수 있다.
이 경우, 칼만필터는 예측과 업데이트 두 단계로 이루어지며, 예측 단계에서는 현재 객체의 위치 상태를 예측할 수 있다.
또한, 칼만필터는 실제 측정값인 객체 탐지 결과가 입력 시 업데이트 단계에서 오차 공분산을 계산 및 반영하여 최적의 객체 위치 상태를 예측할 수 있다.
한편, IoU matching은 할당 알고리즘인 헝가리안 알고리즘(Hungarian algorithm)을 통해서 이전 프레임에서 칼만필터를 통해 예측된 객체의 위치 상태와 현재 프레임에서 탐지된 객체의 위치 상태와의 연관성을 고려하여 객체의 동일 여부를 판단할 수 있다.
도 8은 본 일 실시 예에 따른 지능형 로봇 장치의 동작 방법을 설명하기 위한 도면이다.
예를 들어, 본 명세서에서 언급되는 하나 이상의 지능형 로봇 장치(예로, 도 1의 110)는 도 8의 (a)와 같이 현장 작업자(또는 관리자)의 원격 컨트롤러에 의한 제어 신호에 따라 작업 현장(예로, 터널 시공 현장) 내에서 이동하도록 구현될 수 있다.
다른 예로, 하나 이상의 지능형 로봇 장치(예로, 도 1의 110)는 도 8의 (b)와 같이 웹 기반 소프트웨어를 기반으로 설정된 웨이포인트(waypoint) 신호에 따라 작업 현장(예로, 터널 시공 현장) 내에서 이동하도록 구현될 수 있다.
다른 예로, 하나 이상의 지능형 로봇 장치(예로, 도 1의 110)는 도 8의 (c)와 같이 미리 구비된 하나 이상의 360도 촬영이 가능한 스테레오 카메라를 이용하여 획득된 영상을 기반으로 주변 지형지물을 인식하고, 장애물 회피 기능을 통해 자율 보행이 가능하도록 구현될 수도 있다.
도 9는 본 일 실시 예에 따른 실시간 균열 탐지 시스템의 서비스 과정을 구체화한 도면이다.
도 1 내지 도 9를 참조하면, 도 9의 중개 서버 장치(920)는 도 1의 중개 서버 장치(120)와 상응하고, 도 9의 데이터 서버(90)는 도 1의 데이터 서버(10)와 상응하는 구성일 수 있다.
예를 들어, 애플리케이션 간 데이터를 빠르게 교환하기 위해 사용되는 데이터 파이프 라인부는 도 9의 중개 서버 장치(920)의 생산자 회로(921), 데이터 서버(90)의 중재자 회로(93) 및 클라이언트 서버(930)의 소비자 회로(931)를 포함할 수 있다.
즉, 데이터 파이프 라인은 카프카(kafka)의 서버 클러스터(cluster)로 구성된 분산 스트리밍 플랫폼(Distributed Streaming Platform)으로 이해될 수 있다.
도 9의 데이터 서버(90)는 외부 클라우드 서버일 수 있고, 클라이언트 서버(930)와 연동된 구성으로 이해될 수 있다.
도 9의 클라이언트 서버(930)는 중개 서버 장치(920)로부터 추론된 객체 추적 데이터를 관리자(또는 현장 작업자)의 클라이언트 단말들(95)을 통해 작업 현장 내 하나 이상의 균열을 실시간으로 확인할 수 있도록 하는 웹 애플리케이션 서버로 이해될 수 있다.
예를 들어, 클라이언트 서버(930)는 소비자 회로(931), 객체 추적 데이터를 저장하는 데이터 베이스(933) 및 객체 추적 데이터를 확인할 수 있는 웹 뷰(Web View, 935)를 포함할 수 있다.
예를 들어, 중개 서버 장치(920)에 포함된 생산자 회로(921)는 중개 서버 장치(920)에서 생성된 객체 추적 데이터를 특정 및 구분하는 방식으로 균열 데이터가 소비자 회로(931)까지 전달될 수 있도록 중재자 회로(93)의 토픽(topic)을 이용할 수 있다.
이 경우, 생산자 회로(921)는 균열 데이터를 저장할 수 중재자 회로(93) 내부의 균열 토픽에 균열 데이터를 게재(Publish)할 수 있다.
구체적으로, 새로운 균열에 따른 객체 추적 데이터가 생성될 때마다 신규 균열이 확인된 시간, 신규 균열의 바운딩 박스의 좌표/위치 정보 및 균열 이미지 등을 포함하는 균열 데이터가 중재자 회로(93)의 균열 토픽에 게재될 수 있다.
이 경우, 중재자 회로(93)는 생산자 회로(921)에 의하여 게재된 균열 데이터를 저장할 수 있다.
데이터 파이프 라인부에 의해 균열 데이터가 저장될 때, 클라이언트 서버(930)의 소비자 회로(931)는 구독 중인 균열 토픽 내 저장된 균열 데이터를 불러오도록 구현될 수 있다.
이어, 소비자 회로(931)는 불러온 균열 데이터를 웹 어플리케이션에 출력하고, 사용자 쿼리 등의 이벤트를 처리하기 위하여 해당 균열 데이터를 데이터 베이스(933)에 저장하도록 구현될 수 있다.
이어, 데이터 베이스(933)에 균열 데이터가 저장되면, 클라이언트 서버(930)는 균열 데이터를 도 10과 같이 시각화할 수 있는 웹 뷰(935)를 기반으로 불러온 균열 데이터를 관리자(또는 현장 작업자)가 해당 데이터를 확인할 수 있도록 출력할 수 있다.
이에 따라, 관리자(또는 현장 작업자)는 작업 현장에 대한 해당 균열 데이터를 실시간으로 확인할 수 있기 때문에, 신규 균열의 보수에 관한 즉각적인 의사결정이 가능해질 수 있다.
도 10은 본 일 실시 예에 따른 실시간 균열 탐지 시스템의 결과 화면을 예시적으로 나타내는 도면이다.
도 1 내지 도 10을 참조하면, 본 일 실시 예에 따른 실시간 균열 탐지 시스템의 서비스 과정을 통해 클라이언트 단말로 도 10과 같은 웹 어플리케이션이 제공될 수 있음은 이해될 것이다.
도 11은 본 명세서에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
도 1 내지 도 11을 참조하면, 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 중개 서버 장치(예로, 도 1의 120)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다.
상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다.
일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다.
예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다.
예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 프로세서부(미도시)와 연결될 수도 있다.
본 명세서의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 명세서의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 명세서의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 실시간 균열 탐지 시스템
110: 하나 이상의 지능형 로봇 장치
120: 중개 서버 장치
121: 영상 전처리 모듈
123: 객체 탐지 모듈
125: 객체 추적 모듈

Claims (10)

  1. 시공 현장을 위한 실시간 균열 탐지 시스템을 위한 동작 방법에 있어서,
    관리자의 제어 신호에 따라 이동하며 시공현장에서 촬영한 복수의 프레임을 포함하는 영상 데이터를 하나 이상의 지능형 로봇 장치로부터 수신하는 단계;
    상기 복수의 프레임 중 하나 이상의 제1 균열과 연관된 이전 프레임에 미리 구비된 객체 탐지 알고리즘을 적용하여 생성된 제1 균열탐지 정보를 기반으로 미리 구비된 다중 객체 추적 알고리즘을 적용하여 현재 프레임을 위한 균열예측 정보를 생성하되,
    상기 제1 균열탐지 정보는 상기 하나 이상의 제1 균열을 위한 하나 이상의 제1 바운딩 박스를 나타내기 위한 제1 좌표 정보 및 상기 하나 이상의 제1 바운딩 박스가 생성된 프레임을 포함하는 제1 프레임 정보를 포함하는, 단계;
    상기 현재 프레임에 상기 객체 탐지 알고리즘을 적용하여 제2 균열탐지 정보를 생성하되,
    상기 현재 프레임은 하나 이상의 제2 균열과 연관되고, 그리고
    상기 제2 균열탐지 정보는 상기 하나 이상의 제2 균열을 위한 하나 이상의 제2 바운딩 박스를 나타내기 위한 제2 좌표 정보 및 상기 하나 이상의 제2 바운딩 박스가 생성된 프레임을 포함하는 제2 프레임 정보를 포함하는, 단계;
    상기 균열예측 정보 및 상기 제2 균열탐지 정보를 기반으로 IoU(Intersection of Union) 값을 연산하는 단계;
    상기 IoU 값이 미리 설정된 제1 임계 값을 초과하는지 여부를 판단하는 단계;
    상기 IoU 값이 상기 제1 임계 값을 초과한다고 판단될 때, 상기 제2 균열탐지 정보를 이용하여 상기 제1 균열탐지 정보를 갱신하는 단계; 및
    상기 IoU 값이 상기 제1 임계 값을 초과하지 않는다고 판단될 때, 미리 설정된 제2 임계 값에 의해 정해지는 특정 개수의 프레임에 상응하는 탐지 구간 동안 상기 제2 좌표 정보가 존재하는지 여부를 판단하는 단계를 포함하는 방법.
  2. 삭제
  3. 삭제
  4. 제1 항에 있어서,
    상기 제2 좌표 정보가 상기 탐지 구간이 경과할 때까지 존재하지 않는다고 판단될 때, 상기 제1 균열탐지 정보 및 상기 균열예측 정보를 삭제하는 단계를 더 포함하는 방법.
  5. 제1 항에 있어서,
    상기 제2 좌표 정보가 상기 탐지 구간이 경과하기 전에 존재한다고 판단될 때, 상기 제2 균열탐지 정보를 기반으로 객체 추적 정보를 생성하되,
    상기 하나 이상의 제2 균열에는 상기 이전 프레임 대비 상기 현재 프레임에서 탐지된 적어도 하나의 신규 균열이 포함된 것으로 판단되는, 단계를 더 포함하는 방법.
  6. 제5 항에 있어서,
    상기 객체 추적 정보는 상기 적어도 하나의 신규 균열을 나타내는 신규 식별 정보, 상기 적어도 하나의 신규 균열을 위한 하나 이상의 신규 바운딩 박스를 나타내기 위한 신규 좌표 정보 및 상기 신규 균열이 탐지된 프레임을 지시하기 위한 프레임 번호 정보를 포함하는 것을 특징으로 하는 방법.
  7. 제5 항에 있어서,
    상기 객체 추적 정보를 기반으로 객체 추적 데이터를 생성하되,
    상기 객체 추적 데이터는 데이터 서버로 전송되도록 구현되고, 그리고
    상기 데이터 서버는 하나 이상의 클라이언트 단말과 연결되도록 구현되는, 단계를 더 포함하는 방법.
  8. 제1 항에 있어서,
    상기 하나 이상의 지능형 로봇 장치는 360도 회전이 가능한 하나 이상의 카메라 장치가 구비된 것을 특징으로 하는 방법.
  9. 제1 항에 있어서,
    상기 하나 이상의 지능형 로봇 장치는 관리자의 제어 신호에 따라 상기 시공현장을 이동하도록 구현되는 것을 특징으로 하는 방법.
  10. 관리자의 제어 신호에 따라 이동하며 시공현장에서 촬영한 복수의 프레임을 포함하는 영상 데이터를 생성하는 하나 이상의 지능형 로봇 장치; 및
    상기 하나 이상의 지능형 로봇 장치와 연동되는 중개 서버 장치를 포함하되,
    상기 중개 서버 장치는,
    관리자의 제어 신호에 따라 이동하며 시공현장에서 촬영한 복수의 프레임을 포함하는 영상 데이터를 하나 이상의 지능형 로봇 장치로부터 수신하도록 구현되고,
    상기 복수의 프레임 중 하나 이상의 제1 균열과 연관된 이전 프레임에 미리 구비된 객체 탐지 알고리즘을 적용하여 생성된 제1 균열탐지 정보를 기반으로 미리 구비된 다중 객체 추적 알고리즘을 적용하여 현재 프레임을 위한 균열예측 정보를 생성하도록 구현되고,
    상기 제1 균열탐지 정보는 상기 하나 이상의 제1 균열을 위한 하나 이상의 제1 바운딩 박스를 나타내기 위한 제1 좌표 정보 및 상기 하나 이상의 제1 바운딩 박스가 생성된 프레임을 포함하는 제1 프레임 정보를 포함하고,
    상기 현재 프레임에 상기 객체 탐지 알고리즘을 적용하여 제2 균열탐지 정보를 생성하도록 구현되되, 상기 현재 프레임은 하나 이상의 제2 균열과 연관되고,
    상기 제2 균열탐지 정보는 상기 하나 이상의 제2 균열을 위한 하나 이상의 제2 바운딩 박스를 나타내기 위한 제2 좌표 정보 및 상기 하나 이상의 제2 바운딩 박스가 생성된 프레임을 포함하는 제2 프레임 정보를 포함하고,
    상기 균열예측 정보 및 상기 제2 균열탐지 정보를 기반으로 IoU(Intersection of Union) 값을 연산하도록 구현되고,
    상기 IoU 값이 미리 설정된 제1 임계 값을 초과하는지 여부를 판단하도록 구현되고,
    상기 IoU 값이 상기 제1 임계 값을 초과한다고 판단될 때, 상기 제2 균열탐지 정보를 이용하여 상기 제1 균열탐지 정보를 갱신하도록 구현되고, 그리고
    상기 IoU 값이 상기 제1 임계 값을 초과하지 않는다고 판단될 때, 미리 설정된 제2 임계 값에 의해 정해지는 특정 개수의 프레임에 상응하는 탐지 구간 동안 상기 제2 좌표 정보가 존재하는지 여부를 판단하도록 구현되는, 시공 현장을 위한 실시간 균열 탐지 시스템.
KR1020220142398A 2022-10-31 2022-10-31 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법 KR102647135B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220142398A KR102647135B1 (ko) 2022-10-31 2022-10-31 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220142398A KR102647135B1 (ko) 2022-10-31 2022-10-31 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법

Publications (1)

Publication Number Publication Date
KR102647135B1 true KR102647135B1 (ko) 2024-03-15

Family

ID=90272656

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220142398A KR102647135B1 (ko) 2022-10-31 2022-10-31 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법

Country Status (1)

Country Link
KR (1) KR102647135B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128315A (ja) * 2017-02-07 2018-08-16 大成建設株式会社 ひび割れ検出方法
KR20180097944A (ko) * 2017-02-24 2018-09-03 재단법인대구경북과학기술원 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법
KR102121958B1 (ko) * 2018-07-18 2020-06-11 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
KR102239377B1 (ko) * 2019-12-26 2021-04-13 주식회사 딥인스펙션 촬영영상 및 설명가능 인공지능 기반의 교량시설물 안전점검 시스템 및 그 방법
KR102254773B1 (ko) * 2020-09-14 2021-05-24 한국건설기술연구원 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법
JP2021081953A (ja) * 2019-11-19 2021-05-27 富士通株式会社 演算プログラム、演算装置及び演算方法
KR20220076398A (ko) * 2020-11-30 2022-06-08 서울대학교산학협력단 Ar장치를 위한 객체 인식 처리 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128315A (ja) * 2017-02-07 2018-08-16 大成建設株式会社 ひび割れ検出方法
KR20180097944A (ko) * 2017-02-24 2018-09-03 재단법인대구경북과학기술원 공유 특징맵을 이용한 다중 객체 추적 장치 및 그 방법
KR102121958B1 (ko) * 2018-07-18 2020-06-11 주식회사 케이엠티엘 콘크리트 구조물 결함 분석 서비스 제공 방법, 시스템 및 컴퓨터 프로그램
JP2021081953A (ja) * 2019-11-19 2021-05-27 富士通株式会社 演算プログラム、演算装置及び演算方法
KR102239377B1 (ko) * 2019-12-26 2021-04-13 주식회사 딥인스펙션 촬영영상 및 설명가능 인공지능 기반의 교량시설물 안전점검 시스템 및 그 방법
KR102254773B1 (ko) * 2020-09-14 2021-05-24 한국건설기술연구원 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법
KR20220076398A (ko) * 2020-11-30 2022-06-08 서울대학교산학협력단 Ar장치를 위한 객체 인식 처리 장치 및 방법

Similar Documents

Publication Publication Date Title
US20200333789A1 (en) Information processing apparatus, information processing method, and medium
JP6962926B2 (ja) 自律車両の軌道修正のための遠隔操作システムおよび方法
CN109598066B (zh) 预测模块的效果评估方法、装置、设备和存储介质
US20180068206A1 (en) Object recognition and classification using multiple sensor modalities
US11373067B2 (en) Parametric top-view representation of scenes
CN112037266B (zh) 一种下落物体的识别方法、装置、终端设备及存储介质
US11475671B2 (en) Multiple robots assisted surveillance system
US11880943B2 (en) Photogrammetry of building using machine learning based inference
JP2019501072A5 (ko)
CN111988524A (zh) 一种无人机与摄像头协同避障方法、服务器及存储介质
CN111814752A (zh) 室内定位实现方法、服务器、智能移动设备、存储介质
KR20240014093A (ko) 로봇 및 그의 제어 방법
JP2022023910A (ja) 通行状態取得方法及び装置、路側装置、並びに、クラウド制御プラットフォーム
JP2023546672A (ja) レール特徴部識別システム
Kim Visual analytics for operation-level construction monitoring and documentation: State-of-the-art technologies, research challenges, and future directions
JP2021131652A (ja) データ構造、記録媒体、プログラム、及びシステム
KR102246462B1 (ko) 지능형 엣지 기반 도로교통 상황인지 방법
EP4040400A1 (en) Guided inspection with object recognition models and navigation planning
KR102647135B1 (ko) 인공지능 기반 객체 탐지 알고리즘을 이용하는 시공 현장을 위한 실시간 균열 탐지 시스템 및 이를 위한 동작 방법
US20230401748A1 (en) Apparatus and methods to calibrate a stereo camera pair
JP2022526071A (ja) 状況認識監視
JP2020013480A (ja) 車両認識システムおよび車両認識方法
CN116700228A (zh) 机器人路径规划方法、电子设备及可读存储介质
KR102566525B1 (ko) 교통 상황 분석 방법 및 장치
WO2022004333A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
GRNT Written decision to grant