KR102042629B1 - 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법 - Google Patents
영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법 Download PDFInfo
- Publication number
- KR102042629B1 KR102042629B1 KR1020180033927A KR20180033927A KR102042629B1 KR 102042629 B1 KR102042629 B1 KR 102042629B1 KR 1020180033927 A KR1020180033927 A KR 1020180033927A KR 20180033927 A KR20180033927 A KR 20180033927A KR 102042629 B1 KR102042629 B1 KR 102042629B1
- Authority
- KR
- South Korea
- Prior art keywords
- construction site
- construction
- work
- image
- information
- Prior art date
Links
- 238000010276 construction Methods 0.000 title claims abstract description 343
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000004458 analytical method Methods 0.000 title claims abstract description 49
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000004088 simulation Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 32
- 238000003860 storage Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005422 blasting Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H04N5/232—
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법에 관한 것이다. 본 발명의 건설 현장 상황 인지 시스템은 카메라를 이용하여 건설 현장을 촬영하여 작업 중인 건설 장비를 검출 및 탐지하고, 건설 현장에서의 건설 장비에 대한 작업 상태 정보와 이벤트 정보를 판별 및 분석하여 토공 작업 시간을 산출한다. 이를 위해 건설 현장 상황 인지 시스템은 카메라부와 건설 현장 관리 서버를 포함한다. 카메라부와 건설 현장 관리 서버는 통신망을 통해 상호 연결되어 데이터 통신이 이루어진다. 본 발명에 의하면, 영상 기반으로 건설 현장에서의 건설 장비에 대한 작업 상황을 인지할 수 있고, 이를 통해 건설 현장 토공 작업에서의 건설 장비 조합별로 생산성을 자동으로 분석할 수 있으므로, 토공 생산성 분석을 위한 인력 및 비용을 절감할 수 있다.
Description
본 발명은 건설 현장 상황 인지 시스템에 관한 것으로, 좀 더 구체적으로는 카메라를 이용하여 건설 현장을 촬영하여 작업 중인 건설 장비를 검출하고, 건설 현장에서의 상태 정보와 이벤트 정보를 판별, 생성 및 분석하여 토공 작업 시간을 산출하는 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법에 관한 것이다.
토공(earthwork) 작업은 다양한 건설 장비의 조합을 사용하여 수행되는데, 토공 작업에 대한 최적의 자원 배분 계획 예를 들어, 장비 종류, 수, 작업일 등은 건설 현장 고유 조건 및 상황에 따라 달라진다. 일반적으로 건설 현장 관리자는 경험을 토대로 토공 작업에 대한 건설 장비 배치 계획을 수립한다. 그러나 건설 프로젝트별 고유의 지질 및 작업 조건으로 인해 관리자의 과거 경험에 기반하여 수립된 장비 배치 계획이 최적 생산성을 달성하지 못하는 경우가 많다.
건설 프로세스 시뮬레이션(construction process simulation)은 토공 프로세스의 불확실성 및 현장 조건을 고려하여 생산성을 분석할 수 있는 장점이 있다. 특히, 비용 절감 및 일정 관리를 위한 핵심 정보인 생산성 대비 비용 및 단위 시간당 생산성 등을 시뮬레이션을 통해 파악할 수 있다.
토공 프로세스 시뮬레이션을 수행하기 위한 기초 정보로써 개별 토공 작업 시간 정보가 필요하다. 전문가 인터뷰 또는 설문조사를 통해 해당 정보를 수집할 수 있지만, 현장 및 지질 조건에 따라 작업 시간의 변화가 큰 토공 작업의 경우, 건설 현장에서 직접 관찰하여 기록한 작업 시간과 비교할 때 그 정확도가 떨어진다.
영상 기반 모니터링은 토공 프로세스의 상황 정보를 건설 현장 영상에서 추론하는데 사용할 수 있다. 이를 위해서는 모니터링 시스템이 영상에서 건설 장비를 식별할 수 있어야 한다. 현재까지 영상 기반으로 건설 현장의 건설 장비 및 인력 출입 상황을 기록하고 이 정보를 해석하여 건설 작업의 생산성을 분석하는 기술은 전무한 상태이다. 영상에서 건설 장비의 종류와 위치를 확인하려면 영상 영역 내 특정 패턴을 인식할 수 있는 사물 탐지(Object Detection) 모델이 필요하다. 그러나, 건설 현장에서 촬영된 영상은 외부 기상 조건으로 인해 촬영 대상 물체가 불완전하게 보여 사물 탐지가 어렵다. 또한, 터널 건설 현장에서 발파 작업을 수행한 후 발생한 심한 먼지는 영상 품질을 크게 저하시킨다.
본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법은 다음과 같은 해결과제를 가진다.
첫째, 카메라를 이용하여 획득한 건설 현장의 비디오 영상으로부터 건설 장비를 검출, 인식하고, 이를 통해 건설 현장에 대한 건설 작업 상황을 인지하고자 한다.
둘째, 건설 현장의 비디오 영상으로부터 건설 장비를 검출, 인식하고, 인식된 건설 장비에 대한 건설 작업 상황을 판단하여 토공 생산성을 분석하고자 한다.
본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.
상기 목적들을 달성하기 위한, 본 발명의 건설 현장 상황 인지 시스템은 카메라를 이용하여 건설 현장에 대한 영상을 촬영하고, 영상으로부터 건설 장비에 대한 개체를 검출하여 검출된 개체의 작업 상태와 유휴 상태에 대한 상태 정보와 이벤트 정보를 분석하는데 그 한 특징이 있다. 이와 같은 본 발명의 건설 현장 상황 인지 시스템은 건설 현장에서의 건설 장비에 대한 토공 작업 생산성을 분석 가능하게 한다.
이 특징에 따른 본 발명의 건설 현장 상황 인지 시스템은, 건설 현장의 특정 위치에 고정, 설치되어 건설 현장 영상을 실시간으로 촬영하는 카메라부; 및 상기 카메라부로부터 촬영된 건설 현장 영상을 받아서 프레임 단위로 추출하고, 추출된 영상 프레임에서 건설 현장에서 토공 작업을 수행하고 있는 복수 개의 건설 장비를 검출하고, 일정 시간 동안의 전후 프레임으로부터 상기 검출된 건설 장비들 각각에 대한 작업 상태, 유휴 상태를 판별하여 상태 정보를 생성하고, 생성된 상태 정보로부터 상기 검출된 건설 장비들 각각에 대한 토공 작업이 이루어지면, 토공 작업에 대응되는 이벤트 정보를 생성하여 토공 생산성을 분석하도록 처리하는 건설 현장 관리 서버;를 포함한다.
이 특징의 한 실시예에 있어서, 상기 건설 현장 관리 서버는, 상기 카메라부로부터 건설 현장 영상을 실시간으로 받아서 프레임 단위로 추출하는 영상 수집부; 상기 영상 수집부에 의해 추출된 영상 프레임에서 건설 현장의 건설 장비들을 검출하고, 검출된 건설 장비별로 토공 작업에 따른 움직임을 실시간 탐지하는 개체 탐지부; 상기 개체 탐지부에서 탐지된 건설 장비별로 토공 작업의 작업 상태, 유휴 상태에 대한 상태 정보를 생성하는 상황 정보 분석부; 및 상기 상황 정보 분석부로부터 상태 정보를 받아서 건설 장비들 각각의 토공 작업의 시작 및 종료에 따른 이벤트 정보를 생성하는 이벤트 정보 분석부;를 포함한다.
이 실시예에 있어서, 상기 건설 현장 관리 서버는, 상기 이벤트 정보 분석부로부터 이벤트 정보를 받아서 시뮬레이션 입력값을 구성하여 건설 현장의 건설 프로세스에 대한 시뮬레이션을 처리하는 시뮬레이션 처리부;를 더 포함한다.
이 실시예에 있어서, 상기 건설 현장 관리 서버는, 상기 시뮬레이션 처리부의 시뮬레이션 결과를 이용하여 건설 장비들의 대수와 조합을 조절하고, 조절된 건설 장비들의 조합에 대한 토공 생산성을 분석하고, 분석 결과를 제공하는 토공 생산성 분석부;를 더 포함한다.
다른 실시예에 있어서, 상기 개체 탐지부는; 건설 장비의 종류와, 적어도 건설 장비의 중심점, 건설 현장에서의 검출 좌표, 건설 장비의 출현 시간이 포함되는 위치 정보를 탐지하여 상기 상황 정보 분석부로 제공한다.
이 실시예에 있어서, 상기 개체 탐지부는; 머신 러닝 기반의 개체 탐지 모델인 기울기 히스토그램 모델과, 신경망 모델 중 어느 하나를 이용하여 건설 장비들 각각을 추출 및 탐지한다.
이 실시예에 있어서, 상기 상황 정보 분석부는; 건설 장비들 각각의 중심점을 기준점으로 하여 두 대의 건설 장비들 사이의 거리를 계산하고, 계산된 거리가 설정된 임계값보다 작으면, 작업 상태로 인식하여 작업 상태에 따른 상태 정보를 저장하고, 계산된 거리가 설정된 임계값보다 크면, 유휴 상태로 인식하여 작업 상태에 따른 상태 정보를 저장한다.
또 다른 실시예에 있어서, 상기 이벤트 정보 분석부는; 상기 상태 정보 분석부에서 일정 시점 전후의 영상 프레임별 상태 정보를 이용하여 건설 장비들 각각에 대한 토공 작업의 시작 시점 및 종료 시점을 판별하고, 판별결과에 따른 이벤트 정보를 생성하고, 작업의 시작 시점과 종료 시점 사이에 걸린 시간을 건설 장비의 토공 작업에 대한 하나의 주기 시간으로 저장한다.
또 다른 실시예에 있어서, 상기 시뮬레이션 처리부는; 건설 프로세스 시뮬레이션을 위한 입력값을 토공 작업에 대한 작업 시간들로 입력하고, 최대 가능 추정법을 이용하여 정규 분포의 파라미터로 추정한다.
본 발명의 다른 특징에 따르면, 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법이 제공된다.
이 특징에 따른 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법은, 건설 현장의 특정 위치에 고정 설치된 카메라부를 이용하여 건설 현장 영상을 실시간으로 촬영하는 단계; 건설 현장 관리 서버가 통신망을 통해 상기 카메라부로부터 건설 현장 영상을 받아서 프레임 단위로 추출하고, 추출된 프레임에서 건설 장비에 대한 건설 개체를 추출 및 탐지하는 단계; 상기 건설 현장 관리 서버가 상기 건설 개체의 토공 작업에 따른 작업 상태, 유휴 상태에 대한 상태 정보를 생성 및 분석하는 단계; 상기 건설 현장 관리 서버가 상기 건설 개체에서의 토공 작업이 시작 및 종료되는지를 판별하여 이벤트 정보를 생성 및 분석하는 단계; 및 상기 건설 현장 관리 서버가 이벤트 정보에 대응하여 토공 작업 시간 확률 분포를 추정하는 단계;를 포함한다.
이 특징의 한 실시예에 있어서, 상기 상태 정보를 분석하는 단계는; 상기 건설 현장 관리 서버가 상기 카메라부로부터 수집된 건설 현장 영상으로부터 프레임 단위로 영상 프레임을 추출하고, 추출된 영상 프레임에서 각각의 건설 장비에 대한 건설 개체를 검출하고, 검출된 건축 개체가 굴삭기와 덤프 트럭이면, 검출된 건축 개체들 간의 거리를 산출하고, 산출된 거리를 설정된 임계값과 비교하고, 산출된 거리가 임계값보다 작으면, 굴삭기가 덤프 트럭에 적재 작업이 이루어지고 있다고 판단하여 작업 상태에 따른 상태 정보를 생성하고, 그리고 산출된 거리가 임계값보다 크면, 유휴 상태에 따른 상태 정보를 생성한다.
다른 실시예에 있어서, 상기 이벤트 정보를 분석하는 단계는; 상기 건설 현장 관리 서버가 건설 개체의 상태 정보를 판별하여 작업 시작이면, 작업 시작 시간을 기록하고, 작업 시작된 작업이 종료되면, 작업 종료 시간을 기록하고, 작업 시작 및 종료 시간을 하나의 작업 주기로 판단하여, 건설 장비 각각에 대한 이벤트 정보를 생성한다.
또 다른 실시예에 있어서, 상기 건설 현장 상황 인지 방법은, 상기 건설 현장 관리 서버가 추정된 확률 분포의 파라미터를 이용하여 건설 프로세스를 시뮬레이션하는 단계;를 더 포함한다.
본 발명의 또 다른 특징에 따르면, 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법을 이용하는 토공 생산성 분석 방법을 제공한다.
이 특징의 토공 생산성 분석 방법은, 시뮬레이션 결과에 대응하여 건설 현장의 건설 장비의 대수 및 조합을 조절하고, 조절된 건설 장비에 대한 토공 작업 생산성을 분석하는 단계;를 포함한다.
본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법은 다음과 같은 효과를 가진다.
첫째, 본 발명은 영상 기반으로 건설 현장에서의 건설 장비에 대한 작업 상황을 인지할 수 있다.
둘째, 영상 기반으로 건설 현장 토공 작업에서의 건설 장비 조합별로 생산성을 자동으로 분석할 수 있으므로, 토공 생산성 분석을 위한 인력 및 비용을 절감할 수 있다.
셋째, 분석된 토공 생산성 정보를 바탕으로 건설 현장에서 현재 상황에 맞는 최적의 건설 장비 조합 대수를 결정하도록 도울 수 있으며, 이를 통해 토공 작업이 수반되는 대부분의 건설 프로젝트에 적용하여 건설 프로젝트의 비용을 절감할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
도 1은 본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템의 네트워크 구성을 도시한 블럭도,
도 2는 도 1에 도시된 서버의 구성을 도시한 블럭도,
도 3은 본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템의 처리 수순을 도시한 흐름도,
도 4는 도 3에 도시된 상태 정보 분석 루틴의 처리 수순을 나타내는 흐름도,
도 5는 도 3에 도시된 이벤트 정보 분석 루틴의 처리 수순을 나타내는 흐름도, 그리고
도 6 및 도 7은 본 발명의 실시예에 따른 영상 기반의 건설 현장 상황 인지 시스템에서 인식된 건축 장비를 나타내는 도면들이다.
도 2는 도 1에 도시된 서버의 구성을 도시한 블럭도,
도 3은 본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템의 처리 수순을 도시한 흐름도,
도 4는 도 3에 도시된 상태 정보 분석 루틴의 처리 수순을 나타내는 흐름도,
도 5는 도 3에 도시된 이벤트 정보 분석 루틴의 처리 수순을 나타내는 흐름도, 그리고
도 6 및 도 7은 본 발명의 실시예에 따른 영상 기반의 건설 현장 상황 인지 시스템에서 인식된 건축 장비를 나타내는 도면들이다.
이하, 첨부한 도면을 참조하여, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 설명한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 이해할 수 있는 바와 같이, 후술하는 실시예는 본 발명의 개념과 범위를 벗어나지 않는 한도 내에서 다양한 형태로 변형될 수 있다. 가능한 한 동일하거나 유사한 부분은 도면에서 동일한 도면부호를 사용하여 나타낸다.
본 명세서에서 사용되는 전문용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지는 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.
본 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.
본 명세서에서 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
본 발명은 영상 기반으로 건설 현장의 토공 작업(earthwork task)의 생산성을 자동으로 분석하기 위한 건설 현장 상황 인지 시스템에 관한 기술이다. 본 발명의 건설 현장 상황 인지 시스템은 건설 현장의 CCTV, 캠코더 등의 카메라를 이용하여 건설 현장을 촬영한 영상에서 건설 개체 탐지 모델(construction object detection model)을 활용해 현장에 출입하는 건설 장비를 탐지하고, 건설 장비에 대한 시각 정보(예컨대, 건설 장비의 출현 여부, 종류, 위치, 출현 시간 등)를 생성한다. 생성된 시각 정보를 바탕으로 토공 작업의 상태(즉, 건설 장비의 작업 상태, 유휴 상태) 및 이벤트 정보(즉, 토공 작업의 시작 및 종료)를 생성하여 건설 현장의 토공 작업 상황 정보를 기록한다.
기록된 상황 정보는 세분화된 토공 작업들의 작업 시간 확률 분포의 모수를 추정하는데 활용되며, 추정된 모수들은 건설 프로세스 시뮬레이션의 기록값으로 활용한다. 건설 프로세스 시뮬레이션 및 민감도 분석을 통해 토공 작업의 시간 대비 생산성, 비용 대비 생산성, 건설 장비 조합별 생산성 등의 토공 생산성 보고서를 생성한다.
이하에서는 도면을 중심으로 본 발명을 상세히 설명한다.
도 1은 본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템의 네트워크 구성을 도시한 블럭도이고, 도 2는 도 1에 도시된 건설 현장 관리 서버의 구성을 도시한 블럭도이다.
도 1 및 도 2를 참조하면, 본 발명의 건설 현장 상황 인지 시스템(100)은 건설 프로젝트에 대한 토공 작업 생산성을 분석하기 위하여, 건설 현장(10)에 설치된 카메라를 이용하여 건설 현장에 대한 영상을 실시간으로 촬영하고, 영상으로부터 건설 장비(20, 30)에 대한 개체를 검출하여 검출된 개체의 작업 상태와 유휴 상태에 대한 상태 정보와, 검출된 개체의 이벤트 정보를 분석하여 건설 현장(10)에서의 건설 장비(20, 30)에 대한 토공 작업 생산성을 분석한다. 본 발명에서 건설 장비(20, 30)는 예를 들어, 굴삭기(20), 덤프 트럭(30) 등을 포함한다.
이를 위해 본 발명의 건설 현장 상황 인지 시스템(100)은 적어도 하나의 카메라부(110)와 건설 현장 관리 서버(120)를 포함한다. 카메라부(110)와 건설 현장 관리 서버(120)는 유선 또는 무선 통신망을 통해 상호 데이터 전송 가능하도록 연결된다.
카메라부(110)는 예를 들어, CCTV, 캠코더 등의 광학 카메라, 디지털 카메라로 구비되어 건설 현장(10)의 특정 위치에 고정 설치된다. 카메라부(110)는 설치 위치에서 해당 건설 현장(10)에 대한 영상을 실시간으로 촬영한다. 건설 현장(10)의 영상에는 예를 들어, 굴삭기(20), 덤프 트럭(30) 등의 건설 장비들이 포함된다. 물론 카메라부(110)는 복수 개가 서로 다른 위치에 고정 설치될 수 있으며, 이 경우, 각각이 해당 위치의 건설 현장에 대한 영상을 실시간으로 촬영한다. 카메라부(110)는 촬영된 영상을 실시간으로 유선 또는 무선 통신망을 통해 건설 현장 관리 서버(120)로 제공한다.
이 실시예에서 카메라부(110)는 본 발명이 적용될 수 있는 토공 작업을 수행하는 건설 장비 예컨대, 굴삭기(20)나 로더와 같은 장비와, 굴삭기(또는 로더)(20)로부터 흙, 모래, 암반 또는 버력 등을 적재 및 이동하는 덤프 트럭(30)이 포함되는 건설 현장 영상을 촬영한다. 토공 작업은 굴삭기(20)를 통해 덤프 트럭에 싣는 적재 작업(loading task)과, 덤프 트럭(30)이 적재된 것을 외부로 반출하는 운반 작업(hauling task)을 포함한다. 따라서 카메라부(110)는 굴삭기(20)를 이용하여 덤프 트럭(30)에 토사 또는 암반 등이 실리는 모습을 촬영할 수 있어야 한다.
건설 현장 관리 서버(120)는 유선 또는 무선 통신망을 통해 카메라부(110)로부터 건설 현장(10)에 대한 영상을 받아서 프레임 단위로 건설 현장(10)에 있는 건설 장비(20, 30)를 검출하고, 일정 시간 동안의 전후 프레임으로부터 검출된 건설 장비(20, 30)에 대한 작업 상태, 유휴 상태에 따른 상태 정보를 분석한다. 또 건설 현장 관리 서버(110)는 검출된 건설 장비(20, 30)에 대한 이벤트 정보를 분석하여 토공 작업 시간의 확률 분포를 추정하고, 이를 통해 건설 장비(20, 30)의 토공 작업 생산성을 분석한다.
구체적으로, 이 실시예의 건설 현장 관리 서버(120)는 도 2에 도시된 바와 같이, 영상 수집부(122), 개체 탐지부(123), 상황 정보 분석부(124), 이벤트 정보 분석부(125), 시뮬레이션 처리부(126), 토공 생산성 분석부(127), 저장부(128) 및 제어부(121)를 포함한다. 이러한 영상 수집부(122), 개체 탐지부(123), 상황 정보 분석부(124), 이벤트 정보 분석부(125), 시뮬레이션 처리부(126), 토공 생산성 분석부(127) 및 저장부(128)들 각각은 제어부(121)의 제어를 받아서 동작된다.
영상 수집부(122)는 제어부(121)의 제어를 받아서 카메라부(110)로부터 건설 현장 영상을 실시간으로 받아서 프레임 단위로 추출하고, 추출된 프레임 단위의 영상을 개체 탐지부(123)로 제공한다.
개체 탐지부(123)는 프레임 단위의 영상에서 건설 현장(10)에 있는 건설 장비(20, 30)들 예를 들어, 굴삭기(또는 로더)(20), 덤프 트럭(30) 등에 대한 건설 개체를 추출하고, 추출된 건설 개체별로 토공 작업에 따른 건설 개체의 움직임 등을 실시간 탐지한다.
이 실시예에서 개체 탐지부(123)는 개체 탐지를 위하여, 일반적으로 활용되는 머신 러닝 기반의 개체 탐지 모델(object detection model)을 활용할 수 있다. 이러한 종류의 탐지 모델들은 일반적으로 영상에서 특징(feature)를 추출하여 건설 개체 존재 여부 및 위치를 확인한다. 영상에서 특징을 추출하는 방법으로는 예를 들어, 기울기 히스토그램(histograms-of-oriented gradients) 모델, 신경망(convolutional neural networks) 모델 등을 활용할 수 있다. 또한 머신 러닝 기반의 개체 탐지 모델 뿐만 아니라, 영상에서 건설 개체의 위치를 확인할 수 있는 모델이라면 다양한 기술이 활용될 수 있다.
이러한 개체 탐지부(123)는 건설 개체 즉, 건설 장비(20, 30)에 대한 정보들 예컨대, 건설 장비(20, 30)의 종류와, 중심점, 개체 검출 지역의 좌표, 출현 시간 등의 위치 정보 등의 탐지된 결과를 상황 정보 분석부(124)로 제공한다.
상황 정보 분석부(124)는 개체 탐지부(123)에서 탐지된 건설 개체별로 토공 작업에 대한 상태 정보 즉, 작업 상태, 유휴 상태 등을 생성한다. 상황 정보 분석부(124)는 건설 개체의 상태 정보를 분석하여 이벤트 정보 분석부(125)로 제공한다.
이 실시예에서 상황 정보 분석부(124)는 탐지 모델이 건설 장비 예컨대, 굴삭기(또는 로더), 덤프 트럭 등을 탐지한 후, 영상 내의 탐지 결과 정보 예컨대, 건설 개체의 위치, 종류, 출현 시간 등을 활용하여 토공 작업 상태 정보 및 이벤트 정보를 생성한다. 상태 정보(state information)는 건설 장비의 작업(working) 또는 유휴(idle) 상태 정보로 정의하며, 이벤트 정보(event information)는 토공 작업의 한 주기(one cycle)의 시작 및 종료 시점 정보로 정의한다.
또 상황 정보 분석부(124)는 상태 정보 분석(state information analysis)을 위해, 적재 작업과 운반 작업 등이 포함되는 토공 작업의 상태 정보를 분석한다.
이 실시예에서 적재 작업은 굴삭기(또는 로더)(20)가 덤프 트럭(30)에 토사 또는 암반 등을 적재하는 작업이다. 따라서 영상에서 굴삭기(20)와 덤프 트럭(30)이 일정 거리 내에 있을 때, 적재 작업 진행 상태(working state)로 판단할 수 있다. 이 때, 하나의 굴삭기(또는 로더)(20)와 하나의 덤프 트럭(30)를 건설 개체 조합이라 정의한다.
조합된 두 건설 장비(20, 30) 사이의 거리를 측정하려면, 기준점(reference point)이 필요하다. 인식된 조합별 건설 장비들 각각의 중심점 등을 기준점으로 활용하여 조합된 건설 장비들 간의 거리를 계산할 수 있다. 계산된 결과를 참고할 때, 조합된 덤프 트럭(30)과 굴삭기(또는 로더)(20)의 거리가 특정 임계값(threshold)보다 작으면, 작업 상태(working state)로 인식하여 작업 상태에 따른 상태 정보를 저장한다. 그렇지 않으면 유휴 상태(idle state)로 인식하여 작업 상태에 따른 상태 정보를 저장한다. 또 건설 현장 영상에서 복수 개의 굴삭기(또는 로더)(20)와 덤프 트럭(30)이 있는 경우, 굴삭기(20)와 덤프 트럭(30)의 조합 중에 최소 거리를 기준으로 작업 상태를 판단하거나, 특정 지역에 위치한 덤프 트럭(30)에 근접한 굴삭기(또는 로더)(20)와의 거리를 기준으로 하여 작업 상태를 판단할 수도 있다.
이러한 상황 정보 분석부(124)는 상태 정보 분석 결과에 따라 각각의 건설 장비의 작업 및 유휴 상태에 따른 상태 정보를 생성하여 이벤트 정보 분석부(125)로 제공한다.
이벤트 정보 분석부(125)는 상황 정보 분석부(124)로부터 상태 정보를 받아서 토공 작업이 시작 및 종료되는지를 판별하기 위한 건설 장비 각각에 대한 이벤트 정보를 분석 및 생성한다.
이 실시예에서 이벤트 정보로 추론되는 것은 덤프 트럭(30)을 한 번 가득 채우기 위해 걸린 적재 작업 시간(loading task duration), 덤프 트럭(30)의 토공 현장 왕복 시간(hauling and return task duration) 등이다. 적재 작업의 시작 및 종료 시점을 식별하기 위해서는 상태 정보 분석부(124)에서 이전의 영상 프레임별 작업 상태 정보를 활용한다. 예를 들어, 영상 프레임들 각각으로부터 건설 장비의 상태 정보를 판별하여, 적재 작업의 유휴 상태가 일정 시간 동안에 연속적으로 계속되다가 적재 작업 상태로 변환되면, 적재 작업 시작 이벤트로 그 시점을 저장한다. 이와 반대로, 적재 작업 종료 이벤트는 적재 작업 상태가 일정 시간 동안에 연속적으로 계속되다가 적재 작업 유휴 상태로 변환되면, 적재 작업 종료 이벤트로 그 시점을 저장한다. 따라서 적재 작업 시작 시점과 적재 작업 종료 시점 사이에 걸린 시간을 적재 작업에 대한 하나의 주기 시간으로 저장한다.
또 건설 개체의 탐지 모델은 현재 기술적인 한계로 언제나 100 % 정확하게 개체를 탐지할 수 없다. 탐지 결과의 오류를 어느 정도 허용하면서 일관된 이벤트 정보 생성 결과를 확보하기 위해 일정 수준의 작업 상태 정보 오류를 보정하는 과정을 추가할 수 있다. 즉, 개체 탐지 모델이 특정 프레임에서 건설 장비를 탐지하는 데 실패하였을 경우, 작업 상태(working state)에서 유휴 상태(idle state)로 전환되고, 작업 종료 이벤트로 잘못 판단하여 저장될 수 있다. 이러한 오류를 방지하기 위해, 이벤트 정보 분석부(125)에서 현재 프레임을 전후로 작업 상태 전환을 비율적으로 판단한다. 예를 들면, 건설 현장 영상이 초당 30 프레임씩 녹화된 영상인 경우, 특정 프레임에서 약 5 초 전 즉, 이전 150 프레임까지 작업 유휴 상태가 100 번 이상 있다가, 5 초 후 프레임 즉, 이후 150 프레임에서 작업 상태가 100 번 이상 있을 경우, 작업 시작 이벤트로 판단하여 저장한다. 작업 종료 이벤트는 이 반대의 과정으로 판단 및 저장할 수 있다. 또 특정 프레임의 몇 초 전후를 이용하여 이벤트로 판단할 것인지, 비율을 어떻게 설정할 것인지에 대해서는 영상, 현장 조건, 개체 탐지 모델 성능에 따라 다양하게 변경할 수 있다.
또 이벤트 정보 분석부(125)는 덤프 트럭(30)의 운반 작업 시간(hauling and return task duration)에 대한 이벤트 정보를 판단 및 저장하기 위해, 덤프 트럭(30)의 운반 시작 및 종료 시점을 적재 작업에 대한 이벤트 정보로 사용된다. 예를 들어, 건설 현장 영상을 촬영한 날에 적재 작업을 위해 덤프 트럭 5 대가 건설 현장에 투입되어 있다면, 첫 번째 적재 작업이 종료되었을 때 첫 번째 덤프 트럭의 운반 작업 시작 이벤트로 그 시점을 판단 및 저장한다. 그 후 여섯 번째 적재 작업이 시작되었을 때, 첫 번째 덤프 트럭이 건설 현장으로 되돌아온 것이므로, 첫 번째 덤프 트럭의 운반 작업의 종료 이벤트로 그 시점으로 판단 및 저장한다. 나머지 다른 덤프 트럭들 각각에 대해서도 동일한 원리로 운반 작업 시간을 판단할 수 있다.
시뮬레이션 처리부(126)는 이벤트 정보 분석부(125)로부터 이벤트 정보를 받아서 건설 프로세스에 대한 시뮬레이션을 처리한다. 이를 위해 시뮬레이션 처리부(126)는 시뮬레이션 입력값을 구성하여 건설 프로세스에 대한 시뮬레이션을 처리한다.
즉, 건설 시뮬레이션 입력값은 적재 작업과 운반 작업을 포함하는 토공 작업에 대한 시간들로 입력된다. 이 실시예에서 건설 현장 영상에서 측정된 적재 작업 및 운반 작업에 대한 작업 시간들은 정규 분포(normal distribution)로 추정되며, 분포 파라미터 즉, 평균 및 분산 파라미터 추정에는 최대 가능 추정법(maximum likelihood estimation)을 이용한다. 물론 필요에 따라 다른 확률 분포의 선택 및 추정 방법을 활용할 수도 있다.
또 건설 프로세스 시뮬레이션은 토공 작업의 생산성을 시뮬레이션 하기 위해 널리 활용되는 다양한 건설 프로세스 시뮬레이션 모델 중 CYCLONE(Cyclic operation network), SIMPHONY, STROBOSCOPE(State and resource based simulation of construction processes) 등을 활용할 수 있다. 이러한 모델들은 이산 사건 시뮬레이션(discrete event simulation) 모델로 분류된다. 이산 사건 시뮬레이션 모델은 현실의 작업 조건들을 복잡한 수학적 수식으로 표현하지 않고도 개별 작업의 불확실성을 반영할 수 있어 토공 작업을 분석하는 데 적합하다. 이러한 시뮬레이션 기술을 활용해 건설 현장의 관리자는 토공 작업의 생산성을 평가하여 건설 장비의 배치 계획을 최적화할 수 있다.
토공 생산성 분석부(127)는 시뮬레이션 처리부(126)의 시뮬레이션 결과를 이용하여 건설 장비의 대수와 조합을 조절하여 토공 생산성을 분석한다. 즉, 건설 프로세스 시뮬레이션을 통해 건설 장비의 대수와 조합을 변경하고, 이에 따라 토공 생산성이 어떻게 변화되는지가 분석할 수 있다. 토공 생산성 분석부(127)는 분석 결과를 토공 생산성 보고서를 제공한다. 따라서 분석된 결과를 이용하여 건설 장비의 조합별로 시간 당 생산성, 건설 장비별 유휴 시간 비율, 비용 당 생산성 등을 분석 및 제공할 수 있다.
저장부(128)는 영상 수집부(122)로부터 건설 현장 영상, 추출된 복수의 영상 프레임을 저장한다. 저장부(128)는 개체 탐지부(123)에 의해 추출, 탐지된 건설 장비들에 대한 정보들 예컨대, 건설 장비의 종류와, 중심점, 개체 검출 지역의 좌표, 출현 시간 등의 위치 정보 등을 저장한다. 저장부(128)는 상황 정보 분석부(124)에 의해 생성된 상태 정보와 이벤트 정보 분석부(125)에 의해 생성된 이벤트 정보를 저장한다. 또 저장부(128)는 시뮬레이션 처리부(126)에 의해 생성된 시뮬레이션 결과와, 토공 생산성 분석부(127)에 의해 생성된 토공 생산성 분석 결과 및 보고서 등을 저장한다.
그리고 제어부(121)는 건설 현장 관리 서버(120)의 제반 동작을 처리하도록 제어한다. 즉, 제어부(121)는 영상 수집부(122), 개체 탐지부(123), 상황 정보 분석부(124), 이벤트 정보 분석부(125), 시뮬레이션 처리부(126), 토공 생산성 분석부(127) 및 저장부(128)를 제어하여, 건설 현장의 영상으로부터 건설 장비에 대한 개체를 추출, 탐지하고, 건설 장비들 각각에 대한 상태 정보와 이벤트 정보를 생성, 분석하며, 건설 프로세스 시뮬레이션 및 토공 생산성을 분석하도록 제어한다.
본 발명의 건설 현장 상황 인지 시스템(100)은 카메라를 이용하여 건설 현장을 촬영하여 작업 중인 건설 장비를 검출 및 탐지하고, 건설 현장에서의 건설 장비에 대한 작업 상태 정보와 이벤트 정보를 판별 및 분석하여 토공 작업 시간을 산출한다.
계속해서 도 3 내지 도 5를 이용하여 본 발명의 건설 현장 상황 인지 시스템의 처리 과정을 상세히 설명한다.
도 3은 본 발명에 따른 영상 기반의 건설 현장 상황 인지 시스템의 처리 수순을 도시한 흐름도이고, 도 4는 도 3에 도시된 상태 정보 분석 루틴의 처리 수순을 나타내는 흐름도이며, 그리고 도 5는 도 3에 도시된 이벤트 정보 분석 루틴의 처리 수순을 나타내는 흐름도이다. 이 수순들은 도 2에 도시된 건설 현장 관리 서버(120)에 의해 처리된다. 따라서 건설 현장 관리 서버(120)의 구성에 대한 구체적인 설명은 여기서 생략한다.
도 3을 참조하면, 본 발명의 건설 현장 상황 인지 시스템(100)은 단계 S200에서 카메라부(110)가 설치된 위치의 건설 현장에 대한 영상을 실시간으로 촬영하여 건설 현장 관리 서버(120)로 전송하면, 단계 S210에서 건설 현장 관리 서버(120)는 개체 탐지부(122)를 통해 영상을 프레임 단위로 추출하고, 추출된 프레임에서 건설 장비에 대한 개체를 추출 및 탐지한다.
단계 S220에서 건설 현장 관리 서버(120)의 상황 정보 분석부(124)가 건설 현장의 건설 장비에 대한 상태 정보를 분석한다.
구체적으로, 상태 정보를 분석하는 루틴(S220)은 도 4에 도시된 바와 같이, 단계 S222에서 개체 탐지부(123)가 카메라부(110)에 의해 수집, 저장된 건설 현장 영상으로부터 프레임 단위로 영상 프레임을 추출하고, 추출된 영상 프레임에서 각각의 건설 장비에 대한 개체를 검출한다. 만약 개체가 검출되지 않으면, 단계 S222로 진행하여 이후 영상 프레임에서 개체를 검출하도록 처리한다.
단계 S224 내지 단계 S226에서 건설 현장 관리 서버(120)의 상황 정보 분석부(124)가 검출된 개체가 굴삭기 또는 덤프 트럭이면, 단계 S228에서 검출된 개체들 간의 거리를 산출하고, 산출된 거리를 설정된 임계값(threshold)과 비교한다. 즉, 산출된 거리가 임계값보다 작으면, 단계 S230으로 진행하여 굴삭기가 덤프 트럭에 적재 작업이 이루어지고 있다고 판단하여 작업 상태에 따른 상태 정보를 생성, 저장한다. 그리고 산출된 거리가 임계값보다 크면, 단계 S232로 진행하여 유휴 상태에 따른 상태 정보를 생성, 저장한다.
다시 도 3을 참조하면, 단계 S240에서 건설 현장 관리 서버(120)의 이벤트 정보 분석부(125)가 건설 현장의 건설 장비에 대한 이벤트 정보를 분석한다.
구체적으로, 이벤트 정보를 분석하는 루틴(S240)은 도 5에 도시된 바와 같이, 단계 S242에서 상황 정보 분석부(124)로부터 상태 정보를 받아들이고, 단계 S244에서 상태 정보가 작업 시작이면, 단계 S246에서 작업 시작 시간을 기록한다. 단계 S246에서 작업 시작된 작업이 종료되면, 단계 S250에서 작업 종료 시간을 기록한다. 따라서 작업 시작 및 종료 시간을 하나의 작업 주기로 판단하고, 이를 통해 건설 장비 각각에 대한 이벤트 정보를 생성, 저장 및 분석한다.
다시 도 3을 참조하면, 단계 S260에서 건설 현장 관리 서버(120)의 시뮬레이션 처리부(126)가 토공 작업 시간 확률 분포를 추정한다. 단계 S270에서 건설 프로세스를 시뮬레이션한다. 이어서 단계 S280에서 건설 현장 관리 서버(120)의 토공 생산성 분석부(127)토공 작업 생산성을 분석하여 토공 작업 생산성 보고서를 생성한다.
상술한 영상 기반의 건설 현장 상황 인지 시스템(100)의 건설 현장 상황 인지 방법은 컴퓨터 프로그램으로 제공될 수 있다. 이 컴퓨터 프로그램은 건설 현장 상황 인지용 소프트웨어로 제공되어, 건설 현장 관리 서버(120) 상에서 복수 개의 카메라들과 연동해서 처리될 수 있다.
이러한 컴퓨터 프로그램은 상술한 본 발명의 건설 현장 상황 인지 시스템(100)의 건설 현장 상황 인지 방법을 실행하기 위하여 컴퓨터로 독출 가능한 기록매체에 기록되어 제공될 수 있다.
예컨대, 본 발명의 건설 현장 관리 서버(120)가 컴퓨터로 구비되고, 건설 현장 상황 인지 방법을 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 컴퓨터 프로그램으로 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체에는 컴퓨터에 의하여 읽힐 수 있는 데이터가 저장되는 다양한 종류의 기록 장치를 포함할 수 있다. 예를 들어, 기록 매체에는 ROM, RAM, 광학 디스크, 자기 테이프, 플로피 디스크, 하드 디스크, 비휘발성 메모리 등을 포함할 뿐만 아니라, 인터넷, 인프라 등의 네트워크를 통해 상호 연결된 컴퓨터에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 컴퓨터 프로그램이 저장 및 실행되는 형태로 제공될 수 있다.
그리고 도 6 및 도 7은 본 발명의 실시예에 따른 영상 기반의 건설 현장 상황 인지 시스템에서 인식된 건축 장비를 나타내는 도면들이다.
도 6 및 도 7을 참조하면, 이 실시예의 영상 화면(112, 112a)들 각각은 카메라부(110)로부터 촬영된 영상으로부터 프레임 단위로 추출된 것으로, 이 영상 프레임에서 건설 현장에 있는 건설 장비 예컨대, 굴삭기(114), 덤프 트럭(116)을 추출한 것을 보여준다.
추출된 건설 장비(114, 116)의 움직임을 실시간으로 탐지하여 건설 장비(114, 116)의 토공 작업 즉, 굴착기(114)에서 덤프 트럭(116)으로 토사 또는 암반 등을 적재하는 적재 작업과, 덤프 트럭(116, 116a)의 운반 작업에 따른 상태 정보, 이벤트 정보를 판별, 생성 및 분석할 수 있다.
본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 건설 현장 20, 30 : 건설 장비
100 : 건설 현장 상황 인지 시스템 110 : 카메라부
120 : 건설 현장 관리 서버 121 : 제어부
122 : 영상 수집부 123 : 개체 탐지부
124 : 상황 정보 분석부 125 : 이벤트 정보 분석부
126 : 시뮬레이션 처리부 127 : 생산성 분석부
128 : 저장부
100 : 건설 현장 상황 인지 시스템 110 : 카메라부
120 : 건설 현장 관리 서버 121 : 제어부
122 : 영상 수집부 123 : 개체 탐지부
124 : 상황 정보 분석부 125 : 이벤트 정보 분석부
126 : 시뮬레이션 처리부 127 : 생산성 분석부
128 : 저장부
Claims (14)
- 건설 현장 상황 인지 시스템에 있어서: 건설 현장의 특정 위치에 고정, 설치되어 건설 현장 영상을 실시간으로 촬영하는 카메라부; 및 상기 카메라부로부터 촬영된 건설 현장 영상을 받아서 프레임 단위로 추출하고, 추출된 영상 프레임에서 건설 현장에서 토공 작업을 수행하고 있는 복수 개의 건설 장비를 검출하고, 일정 시간 동안의 전후 프레임으로부터 상기 검출된 건설 장비들 각각에 대한 작업 상태, 유휴 상태를 판별하여 상태 정보를 생성하고, 생성된 상태 정보로부터 상기 검출된 건설 장비들 각각에 대한 토공 작업이 이루어지면, 토공 작업에 대응되는 이벤트 정보를 생성하여 토공 생산성을 분석하도록 처리하는 건설 현장 관리 서버를 포함하며,
상기 건설 현장 관리 서버는, 상기 카메라부로부터 건설 현장 영상을 실시간으로 받아서 프레임 단위로 추출하는 영상 수집부; 상기 영상 수집부에 의해 추출된 영상 프레임에서 건설 현장의 건설 장비들을 검출하고, 검출된 건설 장비별로 토공 작업에 따른 움직임을 실시간 탐지하는 개체 탐지부; 상기 개체 탐지부에서 탐지된 건설 장비별로 토공 작업의 작업 상태, 유휴 상태에 대한 상태 정보를 생성하는 상황 정보 분석부; 및 상기 상황 정보 분석부로부터 상태 정보를 받아서 건설 장비들 각각의 토공 작업의 시작 및 종료에 따른 이벤트 정보를 생성하는 이벤트 정보 분석부를 포함하며,
상기 이벤트 정보 분석부는, 특정 프레임을 기준으로 기 설정된 시간 전까지의 영상 프레임들에 기 설정된 회수 이상의 유휴상태 정보가 있고, 동일 시간 후의 영상 프레임들에 동일 회수 이상의 작업상태 정보가 있는 때에는 작업시작 이벤트로 판단하여 저장하며, 특정 프레임을 기준으로 기 설정된 시간 전까지의 영상 프레임들에 기 설정된 회수 이상의 작업상태 정보가 있고, 동일 시간 후의 영상 프레임들에 동일 회수 이상의 유휴상태 정보가 있는 때에는 작업종료 이벤트로 판단하여 저장하는 작업상태 오류 보정과정이 추가로 구비되는 것을 특징으로 하는 건설 현장 상황 인지 시스템. - 삭제
- 청구항 1에 있어서,
상기 건설 현장 관리 서버는,
상기 이벤트 정보 분석부로부터 이벤트 정보를 받아서 시뮬레이션 입력값을 구성하여 건설 현장의 건설 프로세스에 대한 시뮬레이션을 처리하는 시뮬레이션 처리부;를 더 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템. - 청구항 3에 있어서,
상기 건설 현장 관리 서버는,
상기 시뮬레이션 처리부의 시뮬레이션 결과를 이용하여 건설 장비들의 대수와 조합을 조절하고, 조절된 건설 장비들의 조합에 대한 토공 생산성을 분석하고, 분석 결과를 제공하는 토공 생산성 분석부;를 더 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템. - 청구항 1에 있어서,
상기 개체 탐지부는;
건설 장비의 종류와, 적어도 건설 장비의 중심점, 건설 현장에서의 검출 좌표, 건설 장비의 출현 시간이 포함되는 위치 정보를 탐지하여 상기 상황 정보 분석부로 제공하는 것을 특징으로 하는 건설 현장 상황 인지 시스템. - 청구항 5에 있어서,
상기 개체 탐지부는;
머신 러닝 기반의 개체 탐지 모델 중 기울기 히스토그램(histograms of oriented gradients) 모델과, 신경망(convolutional neural networks) 모델 중 어느 하나를 이용하여 건설 장비들 각각을 추출 및 탐지하는 것을 특징으로 하는 건설 현장 상황 인지 시스템. - 청구항 5에 있어서,
상기 상황 정보 분석부는;
건설 장비들 각각의 중심점을 기준점으로 하여 두 대의 건설 장비들 사이의 거리를 계산하고, 계산된 거리가 설정된 임계값보다 작으면, 작업 상태로 인식하여 작업 상태에 따른 상태 정보를 저장하고, 계산된 거리가 설정된 임계값보다 크면, 유휴 상태로 인식하여 작업 상태에 따른 상태 정보를 저장하는 것을 특징으로 하는 건설 현장 상황 인지 시스템. - 청구항 1에 있어서,
상기 이벤트 정보 분석부는;
상기 상태 정보 분석부에서 일정 시점 전후의 영상 프레임별 상태 정보를 이용하여 건설 장비들 각각에 대한 토공 작업의 시작 시점 및 종료 시점을 판별하고, 판별결과에 따른 이벤트 정보를 생성하고, 작업의 시작 시점과 종료 시점 사이에 걸린 시간을 건설 장비의 토공 작업에 대한 하나의 주기 시간으로 저장하는 것을 특징으로 하는 건설 현장 상황 인지 시스템. - 청구항 3에 있어서,
상기 시뮬레이션 처리부는;
건설 프로세스 시뮬레이션을 위한 입력값을 토공 작업에 대한 작업 시간들로 입력하고, 최대 가능 추정법(maximum likelihood estimation)을 이용하여 정규 분포의 파라미터로 추정하는 것을 특징으로 하는 건설 현장 상황 인지 시스템. - 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법에 있어서:
건설 현장의 특정 위치에 고정 설치된 카메라부를 이용하여 건설 현장 영상을 실시간으로 촬영하는 단계; 건설 현장 관리 서버가 통신망을 통해 상기 카메라부로부터 건설 현장 영상을 받아서 프레임 단위로 추출하고, 추출된 프레임에서 건설 장비에 대한 건설 개체를 추출 및 탐지하는 단계; 상기 건설 현장 관리 서버가 상기 건설 개체의 토공 작업에 따른 작업 상태, 유휴 상태에 대한 상태 정보를 생성 및 분석하는 단계; 상기 건설 현장 관리 서버가 상기 건설 개체에서의 토공 작업이 시작 및 종료되는지를 판별하여 이벤트 정보를 생성 및 분석하는 단계; 및 상기 건설 현장 관리 서버가 이벤트 정보에 대응하여 토공 작업 시간 확률 분포를 추정하는 단계를 포함하며,
상기 이벤트 정보를 분석하는 단계는
특정 프레임을 기준으로 기 설정된 시간 전까지의 영상 프레임들에 기 설정된 회수 이상의 유휴상태 정보가 있고, 동일 시간 후의 영상 프레임들에 동일 회수 이상의 작업상태 정보가 있는 때에는 작업시작 이벤트로 판단하여 저장하며,
특정 프레임을 기준으로 기 설정된 시간 전까지의 영상 프레임들에 기 설정된 회수 이상의 작업상태 정보가 있고, 동일 시간 후의 영상 프레임들에 동일 회수 이상의 유휴상태 정보가 있는 때에는 작업종료 이벤트로 판단하여 저장하는 작업상태 오류 보정과정이 추가로 구비되는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법. - 청구항 10에 있어서,
상기 상태 정보를 분석하는 단계는;
상기 건설 현장 관리 서버가 상기 카메라부로부터 수집된 건설 현장 영상으로부터 프레임 단위로 영상 프레임을 추출하고,
추출된 영상 프레임에서 각각의 건설 장비에 대한 건설 개체를 검출하고,
검출된 건축 개체가 굴삭기와 덤프 트럭이면, 검출된 건축 개체들 간의 거리를 산출하고, 산출된 거리를 설정된 임계값과 비교하고,
산출된 거리가 임계값보다 작으면, 굴삭기가 덤프 트럭에 적재 작업이 이루어지고 있다고 판단하여 작업 상태에 따른 상태 정보를 생성하고, 그리고 산출된 거리가 임계값보다 크면, 유휴 상태에 따른 상태 정보를 생성하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법. - 청구항 10에 있어서,
상기 이벤트 정보를 분석하는 단계는;
상기 건설 현장 관리 서버가 건설 개체의 상태 정보를 판별하여 작업 시작이면, 작업 시작 시간을 기록하고, 작업 시작된 작업이 종료되면, 작업 종료 시간을 기록하고, 작업 시작 및 종료 시간을 하나의 작업 주기로 판단하여, 건설 장비 각각에 대한 이벤트 정보를 생성하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법. - 청구항 10 내지 청구항 12 중 어느 한 항에 있어서,
상기 건설 현장 상황 인지 방법은,
상기 건설 현장 관리 서버가 추정된 확률 분포의 파라미터를 이용하여 건설 프로세스를 시뮬레이션하는 단계;를 더 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법. - 청구항 13에 기재된 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법을 이용하는 토공 생산성 분석 방법에 있어서:
시뮬레이션 결과에 대응하여 건설 현장의 건설 장비의 대수 및 조합을 조절하고, 조절된 건설 장비에 대한 토공 작업 생산성을 분석하는 단계;를 포함하는 것을 특징으로 하는 건설 현장 상황 인지 시스템의 건설 현장 상황 인지 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180033927A KR102042629B1 (ko) | 2018-03-23 | 2018-03-23 | 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180033927A KR102042629B1 (ko) | 2018-03-23 | 2018-03-23 | 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190111585A KR20190111585A (ko) | 2019-10-02 |
| KR102042629B1 true KR102042629B1 (ko) | 2019-11-08 |
Family
ID=68423149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180033927A KR102042629B1 (ko) | 2018-03-23 | 2018-03-23 | 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102042629B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102297296B1 (ko) * | 2020-12-31 | 2021-09-03 | 경북대학교 산학협력단 | 영상 분석을 이용한 굴삭기의 상차 예비 동작 모니터링 시스템 및 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102372607B1 (ko) * | 2020-02-03 | 2022-03-08 | 에스케이 주식회사 | 실시간 병렬 복합 이벤트 처리 방식의 영상 분석 데이터 기반 경보 발생 시스템 및 방법 |
| US11288614B2 (en) | 2020-06-01 | 2022-03-29 | Caterpillar Inc. | Role-based asset tagging for quantification and reporting of asset performance |
| KR102236978B1 (ko) * | 2020-06-30 | 2021-04-06 | 황희석 | 건설 시공비용 견적 산출 방법 |
| KR102571740B1 (ko) | 2021-04-15 | 2023-08-29 | 주식회사 스카이시스 | 트레일러 작업 관리 방법 |
| KR20230105967A (ko) * | 2022-01-05 | 2023-07-12 | (주)서울로보틱스 | 작업 현장을 모니터링하는 방법 및 장치 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100580125B1 (ko) * | 2005-07-26 | 2006-05-15 | (주)화인씨이엠테크 | 건설 공사를 위한 프로세스/그래픽 통합연계 시뮬레이션방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100984514B1 (ko) | 2007-10-11 | 2010-09-30 | 인하대학교 산학협력단 | 무선통신기반 ｒｆｉｄ를 이용한 실시간 건설 생산성 분석방법 |
| KR100999041B1 (ko) | 2007-11-19 | 2010-12-09 | 인하대학교 산학협력단 | 통계기반 실시간 건설 생산성 분석방법 |
| KR20110110648A (ko) * | 2010-04-01 | 2011-10-07 | 한양대학교 산학협력단 | 토공 작업을 위한 그래픽 사용자 인터페이스 제공 장치 및 방법 |
| KR20160023054A (ko) | 2014-08-21 | 2016-03-03 | 주승철 | Rfid 단말기와 ip 카메라를 이용한 건설 현장 관리 시스템 |
| KR101788225B1 (ko) * | 2015-03-13 | 2017-10-19 | 서울대학교산학협력단 | 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템 |
-
2018
- 2018-03-23 KR KR1020180033927A patent/KR102042629B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100580125B1 (ko) * | 2005-07-26 | 2006-05-15 | (주)화인씨이엠테크 | 건설 공사를 위한 프로세스/그래픽 통합연계 시뮬레이션방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102297296B1 (ko) * | 2020-12-31 | 2021-09-03 | 경북대학교 산학협력단 | 영상 분석을 이용한 굴삭기의 상차 예비 동작 모니터링 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190111585A (ko) | 2019-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102042629B1 (ko) | 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법 | |
| Chen et al. | Automated excavators activity recognition and productivity analysis from construction site surveillance videos | |
| Bügler et al. | Fusion of photogrammetry and video analysis for productivity assessment of earthwork processes | |
| JP7428213B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| Yang et al. | Vision-based tower crane tracking for understanding construction activity | |
| KR101926561B1 (ko) | 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 | |
| KR101896406B1 (ko) | 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 | |
| CN110462628B (zh) | 估计作业车辆的动作的方法、系统、分类模型的制造方法以及学习数据及其制造方法 | |
| CN109087510A (zh) | 交通监测方法及装置 | |
| US9251416B2 (en) | Time scale adaptive motion detection | |
| Rashid et al. | Automated activity identification for construction equipment using motion data from articulated members | |
| CN103196914A (zh) | 外观检查装置和外观检查方法 | |
| US11222202B2 (en) | Targeted testing and machine-learning systems for detecting and identifying machine behavior | |
| Kim et al. | Sequential pattern learning of visual features and operation cycles for vision-based action recognition of earthmoving excavators | |
| CN113656864B (zh) | 一种基于bim的建筑施工方法、系统、计算机装置及存储介质 | |
| AU2014334792A1 (en) | System and method for managing a worksite | |
| Ranaweera et al. | Automated real-time monitoring system to measure shift production of tunnel construction projects | |
| CN110610610A (zh) | 一种车辆出入管理方法、装置以及存储介质 | |
| CN112183321A (zh) | 机器学习模型优化的方法、装置、计算机设备和存储介质 | |
| CN113869137A (zh) | 事件检测方法、装置、终端设备及存储介质 | |
| CN109063544A (zh) | 一种泥头车检测的方法、系统、计算机设备及存储介质 | |
| Heydarian et al. | Automated benchmarking and monitoring of an earthmoving operation's carbon footprint using video cameras and a greenhouse gas estimation model | |
| CN116958085A (zh) | 泄漏检测行为合规审核方法、装置、电子设备及存储介质 | |
| CN116245838A (zh) | 一种岩土勘探行为的监测方法、监测装置、设备及介质 | |
| AU2014334744A1 (en) | System and method for managing fueling in a worksite |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |