KR102416227B1 - 건설 객체 실시간 모니터링 장치 및 모니터링 방법 및 이를 실행하기 위한 컴퓨터프로그램 - Google Patents

건설 객체 실시간 모니터링 장치 및 모니터링 방법 및 이를 실행하기 위한 컴퓨터프로그램 Download PDF

Info

Publication number
KR102416227B1
KR102416227B1 KR1020190173757A KR20190173757A KR102416227B1 KR 102416227 B1 KR102416227 B1 KR 102416227B1 KR 1020190173757 A KR1020190173757 A KR 1020190173757A KR 20190173757 A KR20190173757 A KR 20190173757A KR 102416227 B1 KR102416227 B1 KR 102416227B1
Authority
KR
South Korea
Prior art keywords
construction
proximity
binary image
objects
image
Prior art date
Application number
KR1020190173757A
Other languages
English (en)
Other versions
KR20210081618A (ko
Inventor
김형관
방성덕
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190173757A priority Critical patent/KR102416227B1/ko
Priority to US17/132,598 priority patent/US11568648B2/en
Publication of KR20210081618A publication Critical patent/KR20210081618A/ko
Application granted granted Critical
Publication of KR102416227B1 publication Critical patent/KR102416227B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B64C2201/127—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)

Abstract

본 발명은 드론의 센싱 능력을 활용하여 안전 정보의 양을 극대화하고, 실질적인 안전 사고 저감에 기여할 수 있는 건설 객체 실시간 모니터링 장치, 방법 및 이를 실행하기 위한 컴퓨터프로그램에 관한 것으로,
본 발명의 실시예에 따른 건설 객체 실시간 모니터링 장치는,
건설 현장을 촬영한 영상 데이터를 수신하고, 외부 디바이스로 안전정보를 전송하는 통신부; 상기 건설 현장의 건설 객체의 이진 이미지 시퀀스를 학습 데이터로 하여 미리 학습된 예측 모델을 구비하며, 상기 통신부를 통해 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하여 이를 이진 이미지로 변환하고, 변환된 이진 이미지를 상기 예측 모델에 입력하여 미래 프레임을 생성하고, 생성된 미래 프레임과 상기 변환된 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출하여 상기 안전정보를 생성하는 모니터링부;를 포함한다.

Description

건설 객체 실시간 모니터링 장치 및 모니터링 방법 및 이를 실행하기 위한 컴퓨터프로그램 {Apparatus for real-time monitoring for construction object and monitoring method and and computer program for the same}
본 발명은 드론의 센싱 능력을 활용하여 안전 정보의 양을 극대화하고, 실질적인 안전 사고 저감에 기여할 수 있는 건설 객체 실시간 모니터링 장치, 방법 및 이를 실행하기 위한 컴퓨터프로그램에 관한 것이다.
최근 드론 등의 다양한 무인항공기(UAV;Unmanned Aerial Vehicle)의 발전으로 넓은 지역의 이미지 정보를 효율적으로 수집할 수 있게 되었다. 카메라가 장착 된 무인항공기는 폐쇄회로 텔레비전(CCTV) 카메라와 달리 효율적으로 이미지를 수집 할 수 있기 때문에 모니터링에 매우 유용한 도구이다.
이러한 드론을 건설 현장 관리에 활용하고자 하는 연구가 활발히 진행되고 있다. 현재 드론의 촬영 이미지로부터 건설 객체 간의 근접도를 모니터링하여 충돌 사고를 예방하려는 연구는 많으나, 건설 객체의 미래 움직임을 예측하여 선제적인 안전 사고 예방 정보를 생성하려는 연구는 많지 않다. 또한, 건설 객체의 크기와 모양을 고려하기 위해 객체 세분화를 활용하여 근접도를 측정하는 연구 역시 수행되지 않았다.
(문헌 1) 한국공개특허공보 제10-2016-0034013호 (2016.03.29) (문헌 2) 한국등록특허공보 제10-1996371호 (2019.07.03)
본 발명은 드론의 센싱 능력을 활용하여 안전 정보의 양을 극대화하고, 실질적인 안전 사고 저감에 기여할 수 있는 건설 객체 실시간 모니터링 장치, 방법 및 이를 실행하기 위한 컴퓨터프로그램을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 건설 객체 실시간 모니터링 장치는,
건설 현장을 촬영한 영상 데이터를 수신하고, 외부 디바이스로 안전정보를 전송하는 통신부; 상기 건설 현장의 건설 객체의 이진 이미지 시퀀스를 학습 데이터로 하여 미리 학습된 예측 모델을 구비하며, 상기 통신부를 통해 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하여 이를 이진 이미지로 변환하고, 변환된 이진 이미지를 상기 예측 모델에 입력하여 미래 프레임을 생성하고, 생성된 미래 프레임과 상기 변환된 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출하여 상기 안전정보를 생성하는 모니터링부;를 포함한다.
본 발명의 실시예에 따른 건설 객체 실시간 모니터링 장치에 있어서, 상기 모니터링부는, 상기 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하고, 검출된 복수개의 건설 객체의 수만큼 복수개의 이진 이미지를 생성하되, 각각의 이진 이미지는 단일 건설 객체를 포함하는 객체 세분화 모듈; 상기 객체 세분화 모듈에 의해 생성된 복수개의 이진 이미지 중에서 동일한 건설 객체를 포함하는 복수개의 이진 이미지를 시간 순으로 정렬한 이진 이미지 시퀀스를 상기 예측 모델의 입력값으로 하여 상기 미래 프레임을 생성하는 미래 프레임 예측 모듈; 상기 미래 프레임 예측 모듈에 의해 생성된 미래 프레임과, 상기 시간 순으로 정렬한 이진 이미지 시퀀스 중 적어도 어느 하나의 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출하여 상기 안전정보를 생성하는 근접도 모니터링 모듈;을 포함할 수 있다.
본 발명의 실시예에 따른 건설 객체 실시간 모니터링 장치에 있어서, 상기 객체 세분화 모듈은, 상기 건설 현장의 건설 객체들을 학습 데이터로 하여 미리 학습된 기계학습 모델인 Mask R-CNN을 포함하고, 상기 Mask R-CNN을 이용하여 상기 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출할 수 있다.
본 발명의 실시예에 따른 건설 객체 실시간 모니터링 장치에 있어서, 상기 미래 프레임 예측 모듈은, 상기 건설 현장의 건설 객체의 이진 이미지 시퀀스를 이용하여 미리 학습된 예측 모델인 convolutional LSTM Network를 포함할 수 있다.
본 발명의 실시예에 따른 건설 객체 실시간 모니터링 장치에 있어서, 상기 근접도 모니터링 모듈은, 상기 이진 이미지에 포함된 건설 객체의 코너를 검출하는 코너 검출 유닛과, 상기 검출된 코너를 기반으로 도출된 건설 객체 간의 최소 거리를 이용하여 근접도 정보를 산출하는 근접도 측정 유닛을 포함할 수 있다.
본 발명의 실시예에 따른 건설 객체 실시간 모니터링 방법은,
건설 현장의 건설 객체의 이진 이미지 시퀀스를 학습 데이터로 하여 미리 학습된 예측 모델을 구비하는 모니터링부가, 통신부를 통해 수신된 건설 현장을 촬영한 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하여 이를 이진 이미지로 변환하는 제1 단계; 상기 변환된 이진 이미지를 상기 예측 모델에 입력하여 미래 프레임을 생성하는 제2 단계; 상기 생성된 미래 프레임과 상기 변환된 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출하는 제3 단계; 상기 도출된 근접도를 이용하여 안전정보를 생성하는 제4 단계를 포함한다.
본 발명의 실시예에 따른 건설 객체 실시간 모니터링 방법에 있어서, 상기 제1 단계는 상기 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하고, 검출된 복수개의 건설 객체의 수만큼 복수개의 이진 이미지를 생성하되, 각각의 이진 이미지는 단일 건설 객체를 포함하도록 하고, 상기 제2 단계는 생성된 복수개의 이진 이미지 중에서 동일한 건설 객체를 포함하는 복수개의 이진 이미지를 시간 순으로 정렬한 이진 이미지 시퀀스를 상기 예측 모델의 입력값으로 하여 상기 미래 프레임을 생성하며, 상기 제3 단계는 상기 미래 프레임과, 상기 시간 순으로 정렬한 이진 이미지 시퀀스 중 적어도 어느 하나의 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출하며, 상기 제4 단계는 현재 시점의 근접도와 상기 제3 단계에 의해 도출된 근접도를 비교하여 수행할 수 있다.
본 발명의 실시예에 따른 건설 객체 실시간 모니터링 방법에 있어서, 상기 제1 단계는 Mask R-CNN을 이용하여 상기 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하고, 상기 제2 단계의 예측 모델은 convolutional LSTM Network를 포함하며, 상기 제3 단계는 상기 이진 이미지에 포함된 건설 객체의 코너를 검출하는 Harris 코너 검출 알고리즘을 이용하고, 어느 한 건설 객체의 모든 코너점으로부터 다른 건설 객체의 모든 코너점까지의 각각의 직선 거리를 계산하여, 그 중 가장 작은 최소 거리를 두 건설 객체간의 근접도로 결정할 수 있다.
본 발명은 하드웨어와 결합되어, 본 발명에 따른 건설 객체 실시간 모니터링 방법을 실행시키기 위하여, 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
기타 본 발명의 다양한 측면에 따른 구현예들의 구체적인 사항은 이하의 상세한 설명에 포함되어 있다.
본 발명의 일 실시예에 따르면, 기존의 이미지 기반 안전 관리 방법과 상이한 새로운 방법을 구현하는 것으로, 드론의 센싱 능력을 활용하여 안전 정보의 양을 극대화하고, 실질적인 안전 사고 저감에 기여할 수 있다.
도 1은 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 장치를 포함하는 건설 객체 실시간 모니터링 시스템이 도시된 도면이다.
도 2는 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 장치의 구성이 도시된 도면이다.
도 3은 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 장치의 모니터링부가 도시된 도면이다.
도 4는 본 발명의 일 실시예에 따른 예측 모델의 학습을 위한 학습 데이터 생성방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 근접도 모니터링 모듈에서 근접도를 산출하여 안전정보를 생성하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 장치에 의해 생성된 안전정보의 일 예를 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 방법이 도시된 순서도이다.
도 8은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예를 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 도면을 참조하여 본 발명의 실시예에 따른 건설 객체 실시간 모니터링 장치 및 모니터링 방법을 설명한다.
도 1은 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 장치를 포함하는 건설 객체 실시간 모니터링 시스템이 도시된 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 시스템은, 드론(10)으로 건설 현장(20)을 실시간으로 촬영하고, 드론(10)에 의해 촬영된 영상 데이터를 실시간으로 건설 객체 실시간 모니터링 장치(100, 이하 “모니터링 장치”라고도 함)로 전송하면, 모니터링 장치(100)는 영상 데이터에서 건설 객체를 검출하고, 검출된 건설 객체 관련 이미지를 미리 학습된 예측 모델에 입력하여 수초 ~ 수십초 이후의 미래 예측값(미래 프레임)을 생성하고, 이를 예측 모델 입력 당시의 건설 객체 이미지와 비교하여 건설 객체 간의 근접도를 도출하고, 근접도에 따라 위험 여부를 알리는 안전정보를 작업자 단말기(30)로 전송한다. 작업자 단말기(30)는 건설 현장의 인부 또는 건설 현장에서 사용되는 설비(굴삭기, 트럭 등)의 운전자가 소지하는 이동 단말기일 수 있다.
이와 같은 과정을 통해 건설 현장에서의 건설 객체(굴삭기, 트럭 등)에 의해 다른 건설 객체(작업자 등)에 가해지는 충돌 위험을 미리 작업자(인부 또는 설비 운전자)에게 알려서 건설 현장의 충돌 사고를 예방할 수 있게 된다.
도 2를 참조하여 본 발명의 일 실시예에 따른 모니터링 장치(100)를 설명한다. 도 2는 본 발명의 일 실시예에 따른 모니터링 장치의 구성이 도시된 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모니터링 장치(100)는, 통신부(110), 입력부(120), 출력부(130), 저장부(140), 모니터링부(150), 제어부(160)를 포함할 수 있다.
통신부(110)는 통신망을 통해 데이터를 송수신하기 위한 기능을 수행한다. 통신부(110)는 드론(10)에서 송출되는 영상 데이터를 수신한다. 또한, 통신부(110)는 위험 여부를 알리는 안전정보를 작업자 단말기(30)로 전송한다.
입력부(120)는 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 모니터링 장치(100)의 기능 제어와 관련하여 입력되는 신호를 제어부(160)로 전달한다.
출력부(130)는 사용자 입력에 대응하는 사용자 인터페이스를 출력할 수 있다. 출력부(130)는 모니터링 장치(100)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 출력부(130)가 터치스크린(Touch screen) 형태로 구성된 경우, 출력부(130)는 입력부(120)의 기능 중 일부 또는 전부를 수행할 수 있다.
저장부(140)는 데이터를 저장하기 위한 장치로, 주 기억 장치 및 보조 기억 장치를 포함하고, 모니터링 장치(100)의 기능 동작에 필요한 응용 프로그램을 저장할 수 있다. 저장부(140)는 각종 기계학습 모델, 기능 수행에 필요한 알고리즘을 저장할 수 있다.
모니터링부(150)는 건설 현장의 건설 객체의 이진 이미지 시퀀스를 이용하여 미리 학습된 예측 모델을 구비하며, 통신부(110)를 통해 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하여 이를 이진 이미지로 변환하고, 변환된 이진 이미지를 예측 모델에 입력하여 미래 프레임을 생성하고, 생성된 미래 프레임과 변환된 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출하여 안전정보를 생성할 수 있다. 모니터링부(150)에 대해 도 3 내지 도 6을 참조하여 후술하도록 한다.
제어부(160)는 모니터링 장치(100)의 제반 동작을 처리하도록 제어한다. 즉, 제어부(150)은 입력부(120), 출력부(130), 통신부(110), 저장부(140), 모니터링부(150)의 동작을 각각 제어한다.
도 3 내지 도 6을 참조하여 모니터링부(150)에 대해 설명한다. 도 3은 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 장치(100)의 모니터링부(150)가 도시된 도면이고, 도 4는 본 발명의 일 실시예에 따른 예측 모델의 학습을 위한 학습 데이터 생성방법을 설명하기 위한 도면이며, 도 5는 본 발명의 일 실시예에 따른 근접도 모니터링 모듈에서 근접도를 산출하여 안전정보를 생성하는 과정을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 장치에 의해 생성된 안전정보의 일 예를 보여주는 도면이다.
도 3에 도시된 바와 같이, 모니터링부(150)는 객체 세분화 모듈(151), 미래 프레임 예측 모듈(152), 근접도 모니터링 모듈(153)을 포함한다.
객체 세분화 모듈(151)은 통신부(110)를 통해 수신된 건설 현장을 촬영한 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출한다. 여기서, 건설 객체는 건설 현장에 투입되는 모든 건설 자원으로, 예를 들어 굴삭기, 트럭, 불도져, 크레인, 지게차 등의 건설 장비와, 건설 현장의 인부를 포함한다.
객체 세분화 모듈(151)은 건설 현장의 건설 객체들을 학습 데이터로 하여 미리 학습된 기계학습 모델을 이용하여 영상 프레임에 포함된 건설 객체 각각을 픽셀 단위로 검출하고, 검출된 복수개의 건설 객체의 수만큼 복수개의 이진 이미지를 생성한다. 예를 들어, 영상 프레임에 포함된 건설 객체가 굴삭기, 트럭, 작업자(인부)인 경우, 객체 세분화 모듈(151)은 3개의 건설 객체를 분리하여 각각 별도의 영상 프레임을 생성하고, 각각의 건설 객체가 포함된 영상 프레임에 대해 건설 객체는 “1”, 건설 현장의 배경은 “0”으로 처리하여 3개의 이진 이미지로 변환한다. (도 3의 A 참조)
객체 세분화 모듈(151)에서 사용되는 미리 학습된 기계학습 모델은 Mask R-CNN인 것이 바람직하다. Mask R-CNN(Convolutional Neural Network)은 개념적으로 단순하고 유연하며 일반적인 객체 분류에 대한 프레임워크(framework)이다. Mask R-CNN은 각 객체에 대한 고성능의 분류 마스크를 생성하는 동안 이미지에서 객체를 효율적으로 검출한다. Mask R-CNN은 Faster R-CNN에 대한 확장이며 박스를 통한 인식에 대한 기존의 branch와 더불어 병렬적으로 객체 마스크를 예측하는 것에 대한 branch를 제공한다.
Mask R-CNN은 연속적인 영상 프레임들을 입력 받아서 각 프레임 내 건설 객체들을 픽셀 단위로 인식한다. 기존 비전 기반 안전 평가 연구들은 바운딩 박스에 기반한 객체 검출을 활용하여 건설 객체 간 거리를 측정하였다. 그들은 건설 객체의 위치를 점으로 간주하고 객체를 검출한 경계 상자의 중심점 사이의 거리를 객체 간 최단 거리로 계산하였다. 하지만, 충돌 사고는 객체의 중심부가 아닌 끝부분의 충돌로 인해 발생한다. 예를 들어, 굴삭기의 팔의 스윙은 충돌 사고를 직접적으로 유발할 수 있으나 중심부로 근접도를 측정하는 기존의 방식에서 고려되지 않는다. 보다 정확한 객체 간 근접도 측정을 위해 본 발명에서는 객체 세분화에 기반하여 건설 객체를 인식한다. 따라서, 본 발명은 건설 객체의 크기 및 모양을 고려한 건설 객체 간 최단 거리를 측정하는 것을 가능하게 한다.
미래 프레임 예측 모듈(152)은 건설 객체의 이진 이미지 시퀀스를 학습 데이터로 하여 미리 학습된 예측 모델을 구비한다. 미래 프레임 예측 모듈(152)은 객체 세분화 모듈(151)에 의해 생성된 복수개의 이진 이미지 중에서 동일한 건설 객체를 포함하는 복수개의 이진 이미지를 시간 순으로 정렬한 이진 이미지 시퀀스를 예측 모델의 입력값으로 하여 수초 내지 수십초 후의 건설 객체의 위치 및 자세(posture)가 포함된 이진 이미지의 미래 프레임을 생성한다. 여기서, 예측 모델은 딥러닝의 일종인 ConvLSTM(Convolutional Long Short-Term Memory)을 사용할 수 있다.
도 4를 참조하여, 미리 학습된 예측 모델을 구축하는 방법을 설명한다. 도 4는 ConvLSTM 학습을 위한 학습 데이터 생성방법을 설명하기 위한 도면으로, 드론으로 획득한 건설 현장의 영상 데이터(비디오)로부터 영상 프레임(비디오 프레임)으로 구성된 시퀀스들의 집합인 ConvLSTM의 학습 데이터를 생성하는 과정을 보여준다.
하나의 시퀀스는 네트워크가 건설 객체의 변화 패턴을 이해하는 단위를 의미하며, 연속적인 n개의 이진 이미지로 구성된다. 이진 이미지는 객체 세분화 모듈(151)에서 영상 프레임으로부터 작업자, 굴삭기 및 덤프 트럭을 각각 인식한 결과이다. 네트워크가 t 시점 후의 프레임을 예측하도록 학습시키기 위해, n개의 연속적인 이진 이미지로 구성된 시퀀스의 레이블로 각 이미지의 t 시점 후의 이미지들로 구성된 새로운 시퀀스가 활용된다. 이러한 방식으로 3 종류의 건설 객체를 인식한 이진 이미지들을 활용하여 학습 데이터와 레이블이 생성된다. 따라서, 전체 비디오 프레임 개수가 N개일 때 총 시퀀스의 개수는 3*(N-n-t+1)개가 된다. 여기서, 3은 건설 객체의 수를 의미하는 것으로, 이는 예시일 뿐, 건설 현장의 건설 객체 수를 m이라 할 때, 총 시퀀스의 개수는 m*(N-n-t+1)개가 된다. 학습 데이터와 그 레이블은 시퀀스의 개수, 한 시퀀스 당 프레임의 개수, 이미지의 폭, 이미지의 높이 및 이미지의 채널 등의 차원을 가진 5차원 텐서(tensor)이다. ConvLSTM은 같은 비디오 프레임으로부터 학습 시퀀스와 그 레이블을 생성하기 때문에 별도의 레이블링 작업이 필요없는 비지도 학습에 의존한다.
ConvLSTM 네트워크 설계 시 주의할 점은 커널 사이즈가 입력 이미지에서 하나의 타임 유닛 당 특정 객체가 이동하는 픽셀보다 커야 한다는 것이다. 이는 컨볼루션 연산의 특성 상 특정 오브젝트의 변화량이 커널 사이즈보다 클 때, 이전 셀에서 연관성이 있는 정보를 얻어올 수 없기 때문이다. 예를 들어, 비디오에서 t-1번째 프레임의 건설 장비가 t번째 프레임에서 커널 사이즈보다 더 큰 픽셀값으로 이동했다면 t번째 프레임의 같은 건설 장비에 대한 정보와 t-1번째 프레임의 정보를 연관시킬 수 있는 근거가 없다. 여러 연구들은 이러한 커널 사이즈 설정의 한계를 해결하기 위해 ConvLSTM layer의 stacking을 시도하였다. 이러한 맥락에서 목표 수행에 최적화된 레이어 수와 커널 사이즈를 가진 새로운 네트워크를 개발하는 것이 필요하다. 하나의 타임 유닛 당 객체가 이동하는 이미지 픽셀의 수가 건설 현장의 상황 및 객체의 특성에 따라 다를 수 있기 때문에, 이를 대표할 수 있는 네트워크가 설계되어야 한다. [표 1]은 4가지의 컨볼루션 필터 크기와 4가지의 ConvLSTM layer에 따른 16개의 네트워크 후보를 나타낸다. 건설 비디오에 대한 미래 프레임 예측을 위한 후보 아키텍쳐로 레이어 수와 필터 크기를 달리한 16개의 모델이 선택되었다.
Figure 112019133400083-pat00001
도 3의 B는, 객체 세분화 모듈(151)에 의해 생성된 굴삭기 이미지 시퀀스, 트럭 이미지 시퀀스, 작업자 이미지 시퀀스를 미리 학습된 ConvLSTM에 입력하여 생성된 t초 후의 굴삭기의 미래 프레임, 트럭의 미래 프레임, 작업자의 미래 프레임을 예시하고 있다. 생성된 미래 프레임은 이진 이미지 형태이다.
근접도 모니터링 모듈(153)은 미래 프레임 예측 모듈(152)에 의해 생성된 미래 프레임과, 시간 순으로 정렬한 이진 이미지 시퀀스(즉, 예측 모델에 입력된 이미지 시퀀스) 중 적어도 어느 하나의 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출한다. 여기서, 근접도 도출을 위해 미래 프레임과 비교되는 이진 이미지는 이진 이미지 시퀀스를 구성하는 이진 이미지 중에서 가장 최근의 이진 이미지인 것이 바람직하다. 또한, 근접도 모니터링 모듈(153)은 도출된 근접도를 이용하여 건설 객체간의 충돌 위험을 알리는 안전정보를 생성한다.
도 5를 참조하여 근접도를 산출하고 안전정보를 생성하는 과정을 설명한다. 도 5는 본 발명의 일 실시예에 따른 근접도 모니터링 모듈(153)에서 근접도를 산출하여 안전정보를 생성하는 과정을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 근접도 모니터링 모듈(153)은 코너 검출유닛(153a)과 근접도 측정유닛(153b)과 안전정보 생성유닛(153c)을 포함한다.
객체 세분화 모듈(151)에 의해 생성된 건설 객체의 이진 이미지에서 건설 장비에 해당하는 건설 객체는 다각형 형태로 인식될 수 있다. 다각형 형태의 여러 건설 객체 간의 최단 거리를 측정하기 위해, 코너 검출유닛(153a)은 미래 프레임과, 미래 프레임과 비교될 이진 이미지(이하, “비교 이진 이미지”라 함)에 포함된 건설 객체의 코너를 검출한다. 코너 검출유닛(153a)은 Harris 코너 검출 알고리즘을 포함하며, Harris 코너 검출 알고리즘을 기반으로 다각형의 꼭지점을 검출한다. 건설 객체의 하나인 건설 현장의 인부는 건설 장비에 비해 상대적인 크기가 작으므로 계산의 편의를 위해 코너를 검출하지 않고 점으로 간주한다.
한편, 미래 프레임 예측 모듈(152)에서 생성된 미래 프레임은 건설 객체와 무관한 픽셀들을 포함할 수 있으므로, 코너 검출유닛(153a)은 가우스 필터를 적용하여 입력 이미지(미래 프레임과 비교 이진 이미지)의 노이즈를 제거한다. 건설 객체의 상대적인 크기에 따라 적용될 가우스 필터의 크기는 가변할 수 있다. 예를 들어, 작업자의 크기는 건설 장비에 비해 상대적으로 작기 때문에 작업자를 인식한 이진 이미지에는 크기가 3,3인 가우스 필터를 적용하고, 건설 장비인 트럭과 굴삭기 이미지는 7,7 크기의 가우시안 필터를 적용할 수 있다.
노이즈를 제거한 다음, 윈도우를 모든 방향으로 이동시키며 픽셀 강도의 변화를 측정한다. Harris 코너 검출 알고리즘은 모든 방향의 픽셀 강도 변화가 큰 지점을 코너로 판단한다. 본 발명에서 Harris 코너 검출 알고리즘에 입력되는 입력 이미지는 0과 1의 값으로 구성된 이진 이미지를 처리하기 때문에, 픽셀 강도의 변화값과 방향에 관계없이 변화가 발생하는 모든 지점을 다각형의 코너로 간주할 수 있다.
3차원의 실제 건설 현장을 드론에 장착된 카메라가 2차원의 영상 프레임(비디오 프레임)으로 매핑하는 과정에서 투사 왜곡이 발생하므로, 영상 데이터 획득 과정에서 정사 투영을 수행하여 투사 왜곡을 최소화하는 것이 바람직하다. 정사 투영에 의해 건설 객체의 높이 정보를 손실한다는 단점은 있으나, z축 변위를 제외한 x축 및 y축 방향의 변위를 측정할 수 있다. 본 발명에서는 2차원 영상 데이터로부터 측정되는 높이를 제외한 두 건설 객체 간의 x 및 y축 변위를 이용하여 근접도를 산출한다.
근접도 측정유닛(153b)은 코너 검출유닛(153a)의 한 쌍의 결과 이미지에서 건설 객체의 미래 위치 및 자세를 기반으로 건설 객체 간의 근접도를 산출한다. 상기 결과 이미지는 미래 프레임에서 검출한 코너와 비교 이진 이미지에서 검출한 코너가 포함된 이미지이다. 근접도 측정유닛(153b)은 어느 한 건설 객체의 모든 코너점으로부터 다른 건설 객체의 모든 코너점까지의 각각의 직선 거리를 계산하여, 그 중 가장 작은 최소 거리가 두 건설 객체간의 근접도로 결정된다. 이때, 계산의 복잡성을 줄이기 위해 상대적인 크기가 작은 건설 현장의 인부는 점으로 간주한다. 즉, 인부는 코너 검출을 적용하는 대신 중심점을 계산하여 근접도 결정에 활용한다. 실제 근접도를 측정하기 위해 근접도 측정유닛(153b)은 크기가 이미 알려진 참조 건설 객체를 활용한다.
이와 같이, 한 쌍의 결과 이미지로 건설 객체 간의 근접도를 측정하여 픽셀 단위의 근접도를 추출하고, 픽셀 단위의 근접도를 하기 식 (1)을 이용하여 실제 크기로 스케일링하여 실제 크기 단위의 근접도를 산출한다.
식 (1) : 근접도실제 = scale*근접도이미지 (scale=근접도실제/근접도이미지)
안전정보 생성유닛(153c)은 미래의 예측되는 근접도를 작업자에게 효과적으로 전달하기 위한 직관적인 안전정보를 생성한다. 안전정보 생성유닛(153c)은 현재 시점의 근접도 정보와 미래 프레임 예측 모듈(152)에 의해 예측된 미래 프레임을 이용하여 근접도 측정유닛(153b)에 의해 산출된 미래 시점의 근접도 정보를 비교하여, 작업자가 직관적으로 파악할 수 있는 다른 건설 객체가 작업자에게 다가오는 방향 및 속도를 계산한다.
현재 시점의 근접도 정보는 드론(10)으로부터 송출되는 현재의 영상 데이터에 포함된 영상 프레임으로부터 객체 세분화 모듈(151)을 통해 파악되는 건설 객체의 위치 및 자세를 활용하여 코너 검출 및 근접도 측정을 수행한 결과로써 얻어진다. 즉, 현재 시점의 근접도 정보는 객체 세분화 모듈(151)을 거친 이진 이미지를 코너 검출유닛(153a) 및 근접도 측정유닛(153b)에 순차적으로 입력하여 산출되고, 미래 시점의 근접도 정보는 객체 세분화 모듈(151) 및 미래 프레임 예측 모듈(152)을 거친 이진 이미지를 코너 검출유닛(153a) 및 근접도 측정유닛(153b)에 순차적으로 입력하여 산출된다.
미래 프레임 예측 모듈(152)을 거치지 않은 현재 프레임과 미래 프레임 예측 모듈(152)을 거친 미래 프레임 간의 시차와 근접도의 차이, 최소 거리에 해당하는 두 지점 사이의 각도를 활용하여 다른 건설 객체가 작업자에게 다가오는 방향 및 속도를 식 (2) 및 식 (3)과 같이 계산할 수 있다.
식 (2) :
Figure 112019133400083-pat00002
식 (3) :
Figure 112019133400083-pat00003
도 6은 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 장치에 의해 생성된 안전정보의 일 예를 보여주는 도면으로, 도 6의 좌측은 현재 근접도 정보이고, 우측은 미래 근접도 정보이며, 도면 아래 표시된 표는 각각의 작업자와 굴삭기 간의 현재 근접도, 미래 근접도, 접근 속도, 각도 등을 보여 준다.
도 6의 표에 의하면, 작업자 1은 굴삭기가 멀어지므로 안전한 상태로 추정할 수 있고, 작업자 3과 작업자 4는 굴삭기가 접근하는 속도가 크므로 위험한 상태로 추정할 수 있다. 작업자 2는 굴삭기와의 거리는 가까우나 작업자 3과 작업자 4에 비해 굴삭기의 상대적인 접근 속도는 작으므로 준위험 상태로 추정할 수 있다. 위험(준위험) 또는 안전 여부는 작업자와 건설 장비인 건설 객체 간의 최소 거리(미래 근접도), 접근 속도를 고려하여 복합적으로 판단할 수 있으며, 이는 설계시에 해당 건설 현장의 특수성을 고려하여 설정될 수 있다.
다음으로, 도 7을 참조하여 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 방법을 설명한다. 도 7은 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 방법이 도시된 순서도이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 방법은, 건설 현장의 건설 객체의 이진 이미지 시퀀스를 학습 데이터로 하여 미리 학습된 예측 모델을 구비하는 모니터링부(150)에 의해 수행되며, 통신부(110)를 통해 수신된 건설 현장을 촬영한 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하여 이를 이진 이미지로 변환하는 제1 단계(S100)와, 상기 변환된 이진 이미지를 상기 예측 모델에 입력하여 미래 프레임을 생성하는 제2 단계(S200)와, 상기 생성된 미래 프레임과 상기 변환된 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출하는 제3 단계(S300)와, 상기 도출된 근접도를 이용하여 안전정보를 생성하는 제4 단계(S400)를 포함한다.
제1 단계(S100)는 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하고, 검출된 복수개의 건설 객체의 수만큼 복수개의 이진 이미지를 생성하되, 각각의 이진 이미지는 단일 건설 객체를 포함하도록 한다. 제1 단계(S100)는 Mask R-CNN을 이용하여 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출한다.
제2 단계(S200)는 생성된 복수개의 이진 이미지 중에서 동일한 건설 객체를 포함하는 복수개의 이진 이미지를 시간 순으로 정렬한 이진 이미지 시퀀스를 예측 모델의 입력값으로 하여 미래 프레임을 생성한다. 예측 모델은 convolutional LSTM Network를 포함한다.
제3 단계(S300)는 제2 단계(S200)에서 생성된 미래 프레임과, 시간 순으로 정렬한 이진 이미지 시퀀스 중 적어도 어느 하나의 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출한다. 제3 단계(S300)는 이진 이미지에 포함된 건설 객체의 코너를 검출하는 Harris 코너 검출 알고리즘을 이용하고, 어느 한 건설 객체의 모든 코너점으로부터 다른 건설 객체의 모든 코너점까지의 각각의 직선 거리를 계산하여, 그 중 가장 작은 최소 거리를 두 건설 객체간의 근접도로 결정한다.
제4 단계(S400)는 현재 시점의 근접도와 제3 단계(S300)에 의해 도출된 근접도를 비교하여 수행한다. 현재 시점의 근접도 정보는 드론(10)으로부터 송출되는 현재의 영상 데이터에 포함된 영상 프레임으로부터 파악되는 건설 객체의 위치 및 자세를 활용하여 코너 검출 및 근접도 측정을 수행한 결과로써 얻어진다. 즉, 현재 시점의 근접도 정보는 제1 단계(S100)를 거친 이진 이미지를 제3 단계(S300)에 적용하여 산출되고, 미래 시점의 근접도 정보는 제1 단계(S100) 및 제2 단계(S200)를 거친 이진 이미지를 제3 단계(S300)에 적용하여 산출된다.
도 8은 본 발명의 실시예에 따른 컴퓨팅 장치를 나타내는 도면이다. 도 8의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 건설 객체 실시간 모니터링 장치일 수 있다.
도 8의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명은 컴퓨터프로그램으로 구현될 수도 있다. 본 발명은 하드웨어와 결합되어, 본 발명에 따른 건설 객체 실시간 모니터링 방법을 실행시키기 위하여, 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다.
기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어를 포함할 수 있다.
이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
다음으로, 본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 장치의 모니터링부(150)를 구성하는 객체 세분화 모듈(151), 미래 프레임 예측 모듈(152), 근접도 모니터링 모듈(153)에 대한 성능 검증 결과를 설명한다.
1. 객체 세분화 모듈
객체 세분화 모듈의 성능 검증을 위해, 건설 현장을 촬영한 드론 영상 데이터로부터 1180개의 프레임을 추출하였다. VGG Image Annotator를 사용하여 건설 현장의 좌표에 픽셀 수준으로 수동으로 주석을 달았다.
Mask R-CNN의 성능을 평가하기 위해, 1180장의 이미지 중 860장의 이미지를 학습 데이터 세트로 사용하고, 나머지 320장의 이미지를 validation 데이터 세트로 사용하였다.
[표 2]는 객체 세분화의 클래스 별 AP(average precision), mAP(mean average precision) 및 평균 IOU을 보여준다. IoU는 기준 마스크와 예측 마스크 사이의 퍼센트 오버랩을 정량화한 메트릭으로 픽셀 단위의 객체 인식 정확도를 나타낸다.
Figure 112019133400083-pat00004
평균 IOU는 테스트 데이터셋의 모든 검출 결과에서 획득되는 IoU 값을 평균한 것이다. 평균 정밀도는 IoU값에 따른 인식 성능의 변화를 하나의 값으로 표현한다. 본 명세서에서는 COCO (Common Objects in Context) 챌린지의 객체 세분화 분야에서 정밀도를 평가하는 방식과 동일하게 0.5 ~ 0.95의 IoU 임계 값 범위에서 정밀도를 계산하였다. mAP는 물체 클래스가 여러 개일 때 각 클래스당 AP의 평균을 구하여 네트워크의 성능을 하나의 메트릭으로 표현한다. 실험 결과는 Mask R-CNN이 충분한 정확도로 건설 객체를 인식한다는 것을 증명한다.
2. 미래 프레임 예측 모듈
미래 프레임 예측 모듈의 성능 검증을 위해, 총 9개의 영상 데이터로부터 760장의 연속적인 영상 프레임을 1초 단위로 추출하였다. 760장의 영상 프레임은 전술한 1180장의 이미지와 완전히 독립적이다. 학습된 Mask R-CNN을 통해 760장의 영상 프레임은 각 영상 프레임으로부터 3가지 객체를 각각 인식한 2,280장의 이진 이미지를 생성하였다. 이 중 7개의 영상 데이터에서 추출한 694개의 영상 프레임(2082장의 이진 이미지)은 학습 데이터로 활용되었고, 2개의 영상 데이터에서 추출한 66개의 영상 프레임(198장의 이진 이미지) test 데이터로 활용되었다.
본 명세서에서 데이터 한 개는 하나의 영상 데이터로부터 추출된 영상 프레임들로 생성된 시퀀스들의 집합으로 정의될 수 있다. 이 때, 1개의 시퀀스는 5개의 연속적인 이진 이미지로 구성될 수 있다. 하지만, 네트워크는 학습 데이터 개수가 7개 뿐이므로 다양한 패턴의 건설 객체의 맥락을 포함한다고 하기는 어렵다. 상대적으로 적은 데이터로 ConvLSTM의 최적화된 stack 수와 filter를 찾기 위해 본 명세서에서는 Leave-One-Out 교차 검증 방법(LOOCV)을 활용하였다. 이 방법은 샘플의 수 만큼 모델을 만들고 각 모델을 학습할 때 하나의 샘플만 제외하면서 제외된 하나의 샘플로 성능을 측정하여 이들을 평균내는 방법이다. Leave-one-out 교차 검증 방법은 모든 샘플에 대해서 한번씩 test하기 때문에 randomness을 완벽하게 배제할 수 있을 뿐만 아니라 특정 데이터셋에 편중되는 모델의 overfitting을 극복할 수 있다.
[표 1]의 16개 모델 후보 중에서 가장 높은 평균 퍼포먼스를 갖는 ConvLSTM의 stack 수와 filter가 선택된다. 각 모델의 성능은 recall과 precision의 조화평균인 F-measure를 활용하여 평가되었다. recall은 올바르게 예측된 predicted mask의 픽셀 수에서 reference mask의 픽셀 수로 나눈 indicator이며, precision은 은 올바르게 예측된 predicted mask의 픽셀 수에서 predicted mask의 픽셀 수로 나눈 것이다.
[표 3]은 16개의 네트워크 후보에 대해 LOOCV를 수행한 결과를 with F-measure을 보여준다. 이는 9×9 필터를 가진 1개의 ConvLSTM이 본 데이터셋에 최적화된 모델임을 논증한다. 선택된 모델을 기반으로 2개의 테스트 데이터를 활용하여 본 방법론의 성능이 실험되었다. convLSTM 네트워크는 하나의 미래 프레임에 대해 recall, precision은 각각 81.24%, 79.95%의 픽셀 단위 정확도로 예측하였다.
Figure 112019133400083-pat00005
3. 근접도 모니터링 모듈
근접도 모니터링 모듈을 검증하기 위해, 실제 객체 간 거리와 예측된 객체 간 거리 간의 오차를 측정하였다. 계산된 픽셀 단위의 proximity는 식 (1)을 기반으로 실제 metric 단위의 proximity로 환산되었다. 식 (1)의 참조 객체의 실제 길이는 5.205m, 이미지 내 차지하는 픽셀의 크기는 92 pixel로 scene scale는 약 0.05658m/pixel로 계산되었다.
이를 기반으로, 66개의 테스트 프레임을 대상으로 평균 proximity error를 측정하였다. [표 4]는 미래 프레임 예측 모듈의 time-step에 따른 proximity의 평균 error를 보여준다. 식 (2)를 활용하여 현재 프레임과 미래 프레임의 근접도(proximity) 정보를 비교하여 선제적인 안전 정보인 접근 속도(heading speed)와 접근 방향(heading direction)을 제공할 수 있다.
Figure 112019133400083-pat00006
이미지로부터 건설 객체 간의 근접도를 모니터링하여 충돌 사고를 예방하려는 연구는 많으나, 건설 객체의 미래 움직임을 예측하여 선제적인 안전 사고 예방 정보를 생성하려는 연구는 많지 않다. 또한, 건설 객체의 크기와 모양을 고려하기 위해 객체 세분화를 활용하여 근접도를 측정하는 연구 역시 수행되지 않았다.
본 발명의 일 실시예에 따른 건설 객체 실시간 모니터링 장치는, 기존의 이미지 기반 안전 관리 방법과 상이한 새로운 방법으로, 드론의 센싱 능력을 활용하여 안전 정보의 양을 극대화하고, 실질적인 안전 사고 저감에 기여할 수 있다.
이상, 본 발명의 일 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
100 : 건설 객체 실시간 모니터링 장치
110 : 통신부 120 : 입력부
130 : 출력부 140 : 저장부
150 : 모니터링부 151 : 객체 세분화 모듈
152 : 미래 프레임 예측 모듈 153 : 근접도 모니터링 모듈
153a : 코너 검출유닛 153b : 근접도 측정유닛
153c : 안전정보 생성유닛 160 : 제어부

Claims (9)

  1. 건설 현장을 촬영한 영상 데이터를 수신하고, 외부 디바이스로 안전정보를 전송하는 통신부;
    상기 건설 현장의 건설 객체의 이진 이미지 시퀀스를 학습 데이터로 하여 미리 학습된 예측 모델을 구비하며, 상기 통신부를 통해 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하여 이를 이진 이미지로 변환하고, 변환된 이진 이미지를 상기 예측 모델에 입력하여 미래 프레임을 생성하고, 생성된 미래 프레임과 상기 변환된 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출하여 상기 안전정보를 생성하는 모니터링부;를 포함하고,
    상기 모니터링부는,
    상기 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하고, 검출된 복수개의 건설 객체의 수만큼 복수개의 이진 이미지를 생성하되, 각각의 이진 이미지는 단일 건설 객체를 포함하는 객체 세분화 모듈;
    상기 객체 세분화 모듈에 의해 생성된 복수개의 이진 이미지 중에서 동일한 건설 객체를 포함하는 복수개의 이진 이미지를 시간 순으로 정렬한 이진 이미지 시퀀스를 상기 예측 모델의 입력값으로 하여 수초 내지 수십초 후의 건설 객체의 위치 및 자세가 포함된 이진 이미지의 미래 프레임을 생성하는 미래 프레임 예측 모듈;
    상기 미래 프레임 예측 모듈에 의해 생성된 미래 프레임과, 상기 시간 순으로 정렬한 이진 이미지 시퀀스 중에서 선택된 비교 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출하여 상기 안전정보를 생성하는 근접도 모니터링 모듈;을 포함하며,
    상기 근접도 모니터링 모듈은,
    상기 미래 프레임과 상기 비교 이진 이미지에 포함된 건설 장비에 해당하는 건설 객체의 다각형 꼭지점을 검출하는 코너 검출 유닛과,
    건설 장비에 해당하는 건설 객체의 모든 꼭지점 및 점으로 처리된 건설 현장의 인부로부터 다른 건설 객체의 모든 꼭지점까지의 각각의 직선 거리를 계산하여 그 중 가장 작은 최소 거리를 두 건설 객체 간의 근접도로 결정하여, 픽셀 단위의 근접도를 추출하고, 상기 픽셀 단위의 근접도를 실제 크기로 스케일링하여 실제 크기 단위의 근접도를 산출하는 것을 특징으로 하는 건설 객체 실시간 모니터링 장치.
  2. 삭제
  3. 청구항 1에 있어서, 상기 객체 세분화 모듈은,
    상기 건설 현장의 건설 객체들을 학습 데이터로 하여 미리 학습된 기계학습 모델인 Mask R-CNN을 포함하고, 상기 Mask R-CNN을 이용하여 상기 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하는 건설 객체 실시간 모니터링 장치.
  4. 청구항 1에 있어서, 상기 미래 프레임 예측 모듈은,
    상기 건설 현장의 건설 객체의 이진 이미지 시퀀스를 이용하여 미리 학습된 예측 모델인 convolutional LSTM Network를 포함하는 건설 객체 실시간 모니터링 장치.
  5. 삭제
  6. 건설 현장의 건설 객체의 이진 이미지 시퀀스를 학습 데이터로 하여 미리 학습된 예측 모델을 구비하는 모니터링부가,
    통신부를 통해 수신된 건설 현장을 촬영한 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하여 이를 이진 이미지로 변환하는 제1 단계;
    상기 변환된 이진 이미지를 상기 예측 모델에 입력하여 미래 프레임을 생성하는 제2 단계;
    상기 생성된 미래 프레임과 상기 변환된 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출하는 제3 단계;
    상기 도출된 근접도를 이용하여 안전정보를 생성하는 제4 단계를 포함하고,
    상기 제1 단계는 상기 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하고, 검출된 복수개의 건설 객체의 수만큼 복수개의 이진 이미지를 생성하되, 각각의 이진 이미지는 단일 건설 객체를 포함하도록 하고,
    상기 제2 단계는 생성된 복수개의 이진 이미지 중에서 동일한 건설 객체를 포함하는 복수개의 이진 이미지를 시간 순으로 정렬한 이진 이미지 시퀀스를 상기 예측 모델의 입력값으로 하여 수초 내지 수십초 후의 건설 객체의 위치 및 자세가 포함된 이진 이미지의 미래 프레임을 생성하며,
    상기 제3 단계는 상기 미래 프레임과, 상기 시간 순으로 정렬한 이진 이미지 시퀀스 중에서 선택된 비교 이진 이미지를 비교하여 건설 객체 간의 근접도를 도출하며,
    상기 제4 단계는 현재 시점의 근접도와 상기 제3 단계에 의해 도출된 근접도를 비교하여 수행하되, 건설 장비에 해당하는 건설 객체의 모든 꼭지점 및 점으로 처리된 건설 현장의 인부로부터 다른 건설 객체의 모든 꼭지점까지의 각각의 직선 거리를 계산하여 그 중 가장 작은 최소 거리를 두 건설 객체 간의 근접도로 결정하여, 픽셀 단위의 근접도를 추출하고, 상기 픽셀 단위의 근접도를 실제 크기로 스케일링하여 실제 크기 단위의 근접도를 산출하는 것을 특징으로 하는 건설 객체 실시간 모니터링 방법.
  7. 삭제
  8. 청구항 6에 있어서,
    상기 제1 단계는 Mask R-CNN을 이용하여 상기 수신된 영상 데이터에 포함된 영상 프레임에서 복수개의 건설 객체를 검출하고,
    상기 제2 단계의 예측 모델은 convolutional LSTM Network를 포함하며,
    상기 제3 단계는 Harris 코너 검출 알고리즘을 이용하는 건설 객체 실시간 모니터링 방법.
  9. 하드웨어와 결합되어, 청구항 6 또는 청구항 8에 따른 건설 객체 실시간 모니터링 방법을 실행시키기 위하여, 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020190173757A 2019-12-24 2019-12-24 건설 객체 실시간 모니터링 장치 및 모니터링 방법 및 이를 실행하기 위한 컴퓨터프로그램 KR102416227B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190173757A KR102416227B1 (ko) 2019-12-24 2019-12-24 건설 객체 실시간 모니터링 장치 및 모니터링 방법 및 이를 실행하기 위한 컴퓨터프로그램
US17/132,598 US11568648B2 (en) 2019-12-24 2020-12-23 Apparatus for real-time monitoring for construction object and monitoring method and computer program for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190173757A KR102416227B1 (ko) 2019-12-24 2019-12-24 건설 객체 실시간 모니터링 장치 및 모니터링 방법 및 이를 실행하기 위한 컴퓨터프로그램

Publications (2)

Publication Number Publication Date
KR20210081618A KR20210081618A (ko) 2021-07-02
KR102416227B1 true KR102416227B1 (ko) 2022-07-01

Family

ID=76438504

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190173757A KR102416227B1 (ko) 2019-12-24 2019-12-24 건설 객체 실시간 모니터링 장치 및 모니터링 방법 및 이를 실행하기 위한 컴퓨터프로그램

Country Status (2)

Country Link
US (1) US11568648B2 (ko)
KR (1) KR102416227B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354870B1 (ko) * 2021-08-20 2022-01-21 한밭대학교 산학협력단 게임엔진 기반 디지털 건설현장 안전 모니터링 시스템
US11515042B1 (en) * 2021-10-27 2022-11-29 Kkl Consortium Limited Method for generating a diagnosis model capable of diagnosing multi-cancer according to stratification information by using biomarker group-related value information, method for diagnosing multi-cancer by using the diagnosis model, and device using the same
CN114332773A (zh) * 2022-01-05 2022-04-12 苏州麦科斯工程科技有限公司 基于Yolo v4改进模型的智慧工地安全帽佩戴识别控制系统
KR20230108587A (ko) 2022-01-11 2023-07-18 중앙대학교 산학협력단 이미지 인식 프로세스 기반 건설현장 사고 예측 시스템 및 예측방법
KR20230149121A (ko) * 2022-04-19 2023-10-26 오지큐 주식회사 딥러닝 기반의 분류를 통한 공사 진척도 판단 방법 및 장치
CN115082864B (zh) * 2022-07-25 2022-12-02 青岛亨通建设有限公司 一种建筑施工安全监控系统
CN115661737A (zh) * 2022-09-27 2023-01-31 深圳先进技术研究院 一种基于多模态数据集成的建筑工人实时安全监控方法
CN116090815B (zh) * 2022-12-05 2023-10-03 苏州中恒通路桥股份有限公司 一种非开挖气动新建管道的施工监测系统
CN117542171B (zh) * 2023-12-13 2024-04-30 中铁三局集团广东建设工程有限公司 一种用于泥浆泄露报警的数据处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101548639B1 (ko) * 2014-12-10 2015-09-01 한국건설기술연구원 감시 카메라 시스템의 객체 추적장치 및 그 방법
KR101656642B1 (ko) * 2016-03-10 2016-09-09 (주)디지탈라인 영상을 이용한 집단 행동 분석 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160034013A (ko) 2014-09-19 2016-03-29 한국건설기술연구원 무인 항공기를 이용한 건설현장 관리 시스템 및 방법
KR20180045745A (ko) * 2016-10-26 2018-05-04 삼성에스디에스 주식회사 이동체에서의 객체 검출 장치 및 방법
KR102540436B1 (ko) * 2017-12-15 2023-06-05 현대자동차 주식회사 차량 사고 예측 시스템 및 그 방법
KR101996371B1 (ko) 2018-02-22 2019-07-03 주식회사 인공지능연구원 영상 캡션 생성 시스템과 방법 및 이를 위한 컴퓨터 프로그램

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101548639B1 (ko) * 2014-12-10 2015-09-01 한국건설기술연구원 감시 카메라 시스템의 객체 추적장치 및 그 방법
KR101656642B1 (ko) * 2016-03-10 2016-09-09 (주)디지탈라인 영상을 이용한 집단 행동 분석 방법

Also Published As

Publication number Publication date
US11568648B2 (en) 2023-01-31
US20210192225A1 (en) 2021-06-24
KR20210081618A (ko) 2021-07-02

Similar Documents

Publication Publication Date Title
KR102416227B1 (ko) 건설 객체 실시간 모니터링 장치 및 모니터링 방법 및 이를 실행하기 위한 컴퓨터프로그램
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
JP5124592B2 (ja) 車両を検出および追跡するためのシステムおよび方法
EP3159126A1 (en) Device and method for recognizing location of mobile robot by means of edge-based readjustment
CN113370977B (zh) 一种基于视觉的智能车辆前向碰撞预警方法及系统
CN111491093B (zh) 一种摄像头视场角的调整方法和装置
KR101694837B1 (ko) 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
KR102217020B1 (ko) 단일 단계 고밀도 피라미드 특징 네트워크를 기반으로 하는 고해상도 항공 이미지 내의 물체감지장치
CN112200131A (zh) 一种基于视觉的车辆碰撞检测方法、智能终端及存储介质
CN111857135A (zh) 用于车辆的避障方法、装置、电子设备和计算机存储介质
CN115705714A (zh) 用于分析工作区域的系统和方法
US20220171975A1 (en) Method for Determining a Semantic Free Space
KR20160081190A (ko) 카메라를 이용한 보행자 인식 방법 및 그 기록 매체
CN114763136A (zh) 一种基于深度学习的引导车驾驶辅助系统
US10614323B2 (en) Scene analysis method and visual navigation device
Burlacu et al. Stereo vision based environment analysis and perception for autonomous driving applications
Lu et al. Accurate road user localization in aerial images captured by unmanned aerial vehicles
JP2022148383A (ja) 学習方法、学習装置、及び、プログラム
CN112698421A (zh) 障碍物检测的测评方法、装置、设备以及存储介质
CN112598725A (zh) 图像处理设备、图像处理方法和计算机可读介质
JP6762373B2 (ja) 映像障害検知装置、映像障害検知方法、及びプログラム
US20190156512A1 (en) Estimation method, estimation apparatus, and non-transitory computer-readable storage medium
CN114537474A (zh) 一种列车行驶安全的防护方法及装置
US11922667B2 (en) Object region identification device, object region identification method, and object region identification program
KR102465312B1 (ko) 좌표계 기반 이동객체 충돌 예측 시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant