KR20230105967A - 작업 현장을 모니터링하는 방법 및 장치 - Google Patents
작업 현장을 모니터링하는 방법 및 장치 Download PDFInfo
- Publication number
- KR20230105967A KR20230105967A KR1020220001637A KR20220001637A KR20230105967A KR 20230105967 A KR20230105967 A KR 20230105967A KR 1020220001637 A KR1020220001637 A KR 1020220001637A KR 20220001637 A KR20220001637 A KR 20220001637A KR 20230105967 A KR20230105967 A KR 20230105967A
- Authority
- KR
- South Korea
- Prior art keywords
- work site
- tray
- load
- truck
- monitoring
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims description 36
- 238000004891 communication Methods 0.000 claims description 34
- 238000009412 basement excavation Methods 0.000 claims description 28
- 238000003062 neural network model Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012806 monitoring device Methods 0.000 description 64
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 9
- 230000003252 repetitive effect Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004883 computer application Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Radar, Positioning & Navigation (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하고, 상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하고, 상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 작업 현장을 모니터링하는 장치가 개시된다.
Description
작업 현장을 모니터링하는 방법 및 장치에 관한 것이다.
공사 현장, 채굴 현장 등과 같은 작업 현장(work site)에서는 굴착 작업이나 트럭을 이용하여 적재물을 이송하는 반복 작업이 많이 이루어진다. 작업 현장에서 소요되는 인부들의 인력비 절감과 안전을 위해, 이와 같은 반복 작업을 자동화하기 위해서는, 작업 현장을 빠르고 정확하게 센싱하는 기술이 필요하다.
라이다(Light Detection And Ranging, LiDAR) 기술과 같은 센싱 기술의 발전에 따라, 최근 다양한 산업 기술 분야에서 센싱 기술이 접목된 첨단 제어 기능들이 활용되고 있다. 라이다는 3차원 공간의 객체에 광을 방출한 후 반사된 광을 수신하여, 이로부터 3차원 공간에 대한 정보를 획득하는 기술이다.
작업 현장에서 트럭 및 트럭에 장착된 트레이를 추적하고, 트레이에 적재된 적재물에 대한 정보를 획득하는 작업 현장을 모니터링하는 방법 및 센싱 장치에 관한 것이다.
제1 측면에 따른 작업 현장을 모니터링하는 방법은, 3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하는 단계, 상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하는 단계, 및 상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 단계를 포함한다.
제2 측면에 따른 저장매체에 저장된 컴퓨터 프로그램은, 작업 현장을 모니터링하는 장치에서, 3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하는 단계, 상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하는 단계, 및 상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 단계를 포함하는 작업 현장을 모니터링하는 방법을 수행하도록 한다.
제3 측면에 따른 작업 현장을 모니터링하는 장치는, 통신 인터페이스 유닛, 인스트럭션들을 저장하는 메모리, 및 상기 인스트럭션들을 실행함으로써, 상기 통신 인터페이스 유닛을 통해, 3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하고, 상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하고, 상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 프로세서를 포함한다.
도 1은 작업 현장에 설치된 센싱 장치 및 작업 현장을 모니터링하는 장치를 포함하는 작업 현장 모니터링 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 센싱 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 모니터링 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 4는 작업 현장에 대한 점군으로부터 추적된 트럭 및 트레이와 트레이에 적재된 적재물을 나타낸 일 예를 설명하기 위한 도면이다.
도 5는 트럭의 트레이에 적재된 적재물의 적재량을 산출하는 프로세스를 설명하기 위한 도면이다.
도 6은 트럭의 트레이에 내에서 폐쇄 영역에 대응되는 적재량을 산출하는 프로세스를 설명하기 위한 도면이다.
도 7은 작업 현장의 중장비를 제어하는 프로세스를 설명하기 위한 도면이다.
도 8은 굴착 영역에서 폐쇄 영역에 대응되는 굴착 영역을 산출하는 프로세스를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 작업 현장을 모니터링하는 방법을 설명하기 위한 흐름도이다.
도 10a은 작업 현장의 중장비를 제어하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
도 10b은 트럭의 과적 여부를 판정하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
도 2는 일 실시예에 따른 센싱 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 모니터링 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 4는 작업 현장에 대한 점군으로부터 추적된 트럭 및 트레이와 트레이에 적재된 적재물을 나타낸 일 예를 설명하기 위한 도면이다.
도 5는 트럭의 트레이에 적재된 적재물의 적재량을 산출하는 프로세스를 설명하기 위한 도면이다.
도 6은 트럭의 트레이에 내에서 폐쇄 영역에 대응되는 적재량을 산출하는 프로세스를 설명하기 위한 도면이다.
도 7은 작업 현장의 중장비를 제어하는 프로세스를 설명하기 위한 도면이다.
도 8은 굴착 영역에서 폐쇄 영역에 대응되는 굴착 영역을 산출하는 프로세스를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 작업 현장을 모니터링하는 방법을 설명하기 위한 흐름도이다.
도 10a은 작업 현장의 중장비를 제어하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
도 10b은 트럭의 과적 여부를 판정하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략한다.
한편, 본 명세서에서 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 다른 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들 더 포함할 수도 있다는 것을 의미한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 실시예들은 작업 현장을 모니터링하는 방법 및 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 작업 현장에 설치된 센싱 장치(100) 및 작업 현장을 모니터링하는 장치(200)를 포함하는 작업 현장 모니터링 시스템을 설명하기 위한 도면이다.
센싱 장치(100)는 3차원 공간에 대한 센싱 데이터로 점군(point cloud data)을 획득할 수 있는 장치로서, 3차원 공간을 감지하는 3D 센서를 포함할 수 있다. 센싱 장치(100)는 3차원 공간에 광을 방출하고, 이에 대한 응답으로 수신된 광에 기초하여 3차원 공간에 대한 점군을 획득할 수 있다.
센싱 장치(100)는 3차원 공간을 감지하는 3D 센서로써 라이다(Light Detection and Ranging) 센서를 구비할 수 있으며, 체적형 점군(volumetric point cloud data)을 획득할 수 있다. 라이다 센서는 3차원 공간의 객체들의 컬러를 감지할 수 없으나, 형태, 크기, 위치를 감지할 수 있다. 3차원 공간에 대한 정보를 수집할 수 있는 다채널 라이다 센서는 객체의 위치와 형상, 체적 등을 활용할 수 있는 분야에 적합하다.
센싱 장치(100)는 작업 현장을 모니터링할 수 있는 곳에 설치될 수 있다. 공사 현장이나 광산과 같은 채굴 현장 등의 작업 현장을 모니터링하기 위해서는, 작업 현장 내에 적어도 하나의 센싱 장치(100)를 설치할 수 있다. 예를 들어, 센싱 장치(100)는 작업 현장의에 세워진 폴(pole)의 상단에 설치될 수 있다. 또는, 센싱 장치(100)는 작업 현장 내에 배치된 중장비에 장착될 수 있다. 도 1에 도시한 바와 같이, 센싱 장치(100)는 작업 현장에 배치된 중장비와 작업 영역을 모니터링할 수 있도록, 고정된 구조물과 같은 인프라에 적절한 높이와 각도로 설치될 수 있다.
센싱 장치(100)는 작업 현장 내에서 감지되는 다양한 종류의 객체를 추적할 수 있다. 센싱 장치(100)는 작업에 이용되는 중장비나 운반에 이용되는 트럭과 같은 객체들의 움직임을 추적할 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 굴삭기와 같은 중장비가 굴착 영역을 굴착한 후 트럭의 트레이로 옮겨 싣는 공사 현장에서, 센싱 장치(100)는 트럭 및 트레이, 중장비, 굴착 영역 등을 추적할 수 있다.
센싱 장치(100)는 사물 인터넷(Internet of Things, IoT) 기술이 적용되어, 다른 외부 장치와 연결될 수 있다. 예를 들어, 센싱 장치(100)는 감지된 센싱 데이터를 작업 현장을 모니터링하는 장치(이하, 모니터링 장치라 한다)(200)에 전송할 수 있다.
모니터링 장치(200)는 적어도 하나의 센싱 장치(100)로부터 수신된 센싱 데이터 또는 정보를 이용하여, 작업 현장 모니터링 서비스를 제공할 수 있다. 작업 현장 모니터링 서비스는 작업 현장 내의 객체들을 확인하고, 작업의 자동화를 위한 서비스를 제공할 수 있다. 모니터링 장치(200)는 작업 현장 별로 작업 현장 모니터링 가상 머신을 두어, 각 작업 현장 별로 서비스를 제공할 수 있다. 모니터링 장치(200)는 상황 관리실이나 통제 센터의 장치일 수 있으며, 클라우드 컴퓨팅이나 엣지 컴퓨팅과 같은 기술로 구현될 수 있다.
도 1에서는 작업 현장 모니터링 시스템이 센싱 장치(100)와 별도의 독립적인 모니터링 장치(200)를 포함하는 형태로 구현되어 있으나, 센싱 장치(100)는 모니터링 장치(200)의 동작까지 수행할 수 있는 형태로 구현될 수 있다. 이 경우, 센싱 장치(100)가 관리자 단말(300)과 통신으로 연결될 수 있다.
또한, 모니터링 장치(200)는 센싱 장치(100)가 아닌 다른 외부 장치, 예를 들어, 작업 현장의 모니터링 결과를 활용할 수 있는 중장비와 같은 장치에 설치될 수도 있다. 예를 들어, 공사 현장의 중장비인 굴삭기의 외부에 센싱 장치(100)가 장착되어 있고, 모니터링 장치(200)는 굴삭기의 내부에 탑재되어 있을 수 있다.
관리자 단말(500)는 관리자 또는 감독관 같은 사용자가 이용하는 사용자 단말일 수 있다. 관리자 단말(500)은 센싱 장치(100)가 설치된 작업 현장의 작업 상황 관리를 위한 설정 정보를 모니터링 장치(200)에 등록하고, 모니터링 장치(200)로부터 작업 상황 관리와 관련된 알림이나 정보를 비롯한 각종 레포트를 수신할 수 있다.
이하, 작업 현장의 무인화 또는 자동화를 위해 작업 현장을 모니터링하는 방식에 대해 설명한다.
도 2는 일 실시예에 따른 센싱 장치(100)의 구성 및 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 센싱 장치(100)는 메모리(110), 프로세서(120), 센서부(130), 통신 인터페이스 유닛(140)을 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(110)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 메모리(110)는 프로세서(120)에 의해 실행 가능한 인스트럭션들을 저장할 수 있다.
프로세서(120)는 메모리(110)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(110)에 저장할 수 있다. 프로세서(120)는 메모리(110)에 저장된 인스트럭션들을 실행할 수 있다. 프로세서(120)는 센싱 장치(100)에 설치된 컴퓨터 프로그램을 실행할 수 있다. 또한, 프로세서(120)는 외부로부터 수신한 컴퓨터 프로그램 또는 애플리케이션을 메모리(110)에 저장하고 실행시킬 수 있다. 프로세서(120)는 적어도 하나의 프로세싱 모듈을 실행하여, 소정의 동작을 수행할 수 있다. 예를 들어, 프로세서(120)는 작업 현장에 대응되는 공간을 감지하는 프로그램이나 작업 현장을 모니터링하는 프로그램을 실행하는 프로세싱 모듈을 실행 또는 제어할 수 있다. 프로세서(120)는 인스트럭션들 또는 컴퓨터 프로그램 등의 실행 결과에 대응되는 동작을 수행하도록 센싱 장치(100)에 포함된 다른 구성들을 제어할 수 있다.
센서부(130)는 3차원 공간을 감지하기 위한 적어도 하나의 센서를 포함할 수 있다. 센서부(130)는 3차원 공간에 광을 방출하는 발광부와 광을 수신하는 수광부를 포함할 수 있으며, 수광부에 수신된 광의 세기에 기초하여 3차원 공간에 대한 점군을 획득하는 전용 프로세서를 더 포함할 수도 있다. 센서부(130)는 작업 현장 내의 객체를 추적할 수 있도록 작업 현장에 대한 점군을 획득할 수 있다.
센서부(130)는 라이다(Light Detection and Ranging) 센서일 수 있으며, 적어도 하나의 3차원 라이다 센서를 포함하여 소정의 범위의 작업 현장에 대한 센싱 데이터를 획득할 수 있다. 센서부(130)는 환경에 따라, 레이더(radar) 센서, 적외선 영상 센서, 초음파 센서, 이미지 센서 등과 같은 다양한 종류의 센서를 더 포함할 수도 있다. 예를 들어, 센서부(130)는 라이다 센서를 이용하여 작업 현장을 모니터링하다가, 관심 영역에서 이벤트가 발생하는 경우, 카메라와 같은 이미지 센서를 실행하여, 해당 이벤트가 발생한 관심 영역에 대한 추가 정보를 획득할 수 있다.
통신 인터페이스 유닛(140)은 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 유닛(140)은 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 인터페이스 유닛(140)은 RFID(Radio Frequency Identification), NFC(Near Field Communication), 블루투스(Bluetooth), Wi-Fi(Wireless Fidelity)와 같은 근거리 통신, 4G, 5G 등과 같은 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 통신 모듈을 포함할 수 있다. 통신 인터페이스 유닛(140)은 동축 케이블이나 광케이블 등을 이용하는 유선 통신을 수행하는 통신 모듈을 포함할 수 있다.
통신 인터페이스 유닛(140)은 센싱 장치(100)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 센싱 장치(100)는 통신 인터페이스 유닛(140)을 통해 작업 현장에 대한 점군을 이용하여 기기의 제어에 활용하거나 모니터링 서비스를 제공하는 모니터링 장치(200)나 관리자 단말(500)과 연결될 수 있다.
센싱 장치(100)는 상기한 구성 외에, GPS와 같은 위치 센서를 더 포함할 수 있고, 센싱 장치(100)의 설치 환경에 따라 센싱 성능을 향상시키기 위한 구성들이 더 포함될 수 있다.
상기한 구성에 따른 일 실시예의 프로세서(120)는 메모리(110)에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 작업 현장에 대한 점군을 획득하고, 모니터링 장치(200)로 획득된 점군을 전송할 수 있다. 센싱 장치(100)는 작업 현장의 공간을 감지하고, 감지한 결과를 모니터링 장치(200)로 전송할 수 있다. 복수의 센싱 장치(100)들이 있는 경우, 모니터링 장치(200)는 각 센싱 장치(100)를 구별할 수 있으며, 복수의 센싱 장치(100)들 각각으로부터 각 센싱 장치(100)에서 획득된 점군을 수신할 수 있다.
상기한 구성에 따른 다른 실시예의 프로세서(120)는 메모리(110)에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 작업 현장에 대한 점군을 획득하고, 관심 영역 내의 객체를 추적할 수 있다. 이때, 관심 영역은 작업 현장 내의 객체를 검출하여 생성한 공간 정보 맵에 입력된 사용자 입력 정보나 작업 현장에 배치된 중장비의 작업 범위에 기초하여 소정의 영역으로 설정될 수 있다. 예를 들어, 프로세서(120)는 작업 현장에 대한 점군을 입력으로 하는 객체 추적 모델을 이용하여, 작업 현장의 관심 영역에서 트럭과 트럭에 장착된 트레이를 추적하고, 추적된 트레이에 적재된 적재물에 대한 정보를 획득할 수 있다. 트레이에 적재된 적재물에 대한 정보는 적재량일 수 있다. 이와 같이 센싱 장치(100)가 모니터링 장치(200)의 동작까지 수행할 수 있는 경우, 센싱 장치(100)는 추적된 트럭 및 트레이와 적재물에 대한 정보에 기초하여, 작업 현장의 중장비를 제어할 수 있다. 센신 장치(100)는 적재물에 대한 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다. 이에 대한 자세한 설명은 이하, 모니터링 장치(200)에 대한 설명으로 대신한다.
도 3은 일 실시예에 따른 모니터링 장치(200)의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 모니터링 장치(200)의 구성 및 동작을 설명하기 위한 도면이다. 모니터링 장치(200)는 컴퓨팅 디바이스, 오퍼레이터, 콘솔 장치 등으로 대체될 수 있다.
앞서 설명한 바와 같이, 센싱 장치(100)는 3차원 공간을 감지하는 3D 센서를 이용하여 작업 현장에 대한 점군을 획득하고, 작업 현장에서의 관심 영역의 객체를 검출 및 추적하여, 작업 현장을 모니터링할 수 있는 프로세서를 탑재할 수 있으나, 이에 한정되는 것은 아니다. 센싱 장치(100)에서 획득된 작업 현장에 대한 점군을 센싱 장치(100)가 모니터링 장치(200)에 전송하면, 모니터링 장치(200)가 작업 현장의 객체를 검출하고, 검출된 객체를 추적하는 일련의 프로세싱을 처리할 수 있다. 이와 같은 경우, 모니터링 장치(200)는 클라우드 컴퓨팅이나 엣지 컴퓨팅과 같은 기술로 구현될 수 있다. 또한, 모니터링 장치(200)는 작업 현장의 모니터링 결과를 활용할 수 있는 중장비와 같은 장치 내에 탑재 또는 설치될 수 있다. 모니터링 장치(200)는 센싱 장치(100)와 고속의 데이터 통신을 수행할 수 있다.
도 3을 참조하면, 모니터링 장치(200)는 메모리(210), 프로세서(220), 통신 인터페이스 유닛(230)을 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다. 앞서, 센싱 장치(100)에 대하여 설명한 내용은 이하 생략된 내용이라 하더라도, 모니터링 장치(200)의 동일한 명칭의 구성에 대해서 그대로 적용될 수 있다.
도 3의 블록도의 각 구성요소는 모니터링 장치(200)의 구현 방식에 따라 분리, 추가, 또는 생략될 수 있다. 즉, 구현 방식에 따라 하나의 구성요소가 2 이상의 구성요소로 세분화되거나, 2 이상의 구성요소가 하나의 구성요소로 합쳐질 수도 있고, 일부 구성요소가 더 추가되거나 제거될 수 있다.
메모리(210)는 프로세서(220)에 의해 실행 가능한 인스트럭션들을 저장할 수 있다. 메모리(210)는 소프트웨어 또는 프로그램을 저장할 수 있다.
프로세서(220)는 메모리(210)에 저장된 인스트럭션들을 실행할 수 있다. 프로세서(220)는 모니터링 장치(200)의 전반적인 제어를 수행할 수 있다. 프로세서(220)는 통신 인터페이스 유닛(230)을 통해 수신되는 데이터 및 정보를 획득하고, 수신되는 데이터 및 정보를 스토리지(미도시)에 저장할 수 있다. 또한, 프로세서(220)는 수신되는 정보를 가공할 수 있다. 예를 들어, 프로세서(220)는 센싱 장치(100)로부터 수신되는 데이터 또는 정보로부터 모니터링 서비스를 제공하는데 이용되는 정보를 획득하거나, 수신되는 데이터 또는 정보들을 관리하기 위한 가공행위를 수행하여, 스토리지(미도시)에 저장할 수 있다. 또한, 프로세서(220)는 관리자 단말(500)로부터 수신된 요청 사항에 대한 응답으로써, 스토리지(미도시)에 저장된 데이터 또는 정보를 이용하여, 통신 인터페이스 유닛(230)을 통해 관리자 단말(300)에 요청 사항에 대응되는 정보를 전송할 수 있다. 예를 들어, 프로세서(220)는 작업 현장의 진행 상황이나 통계 자료 등을 스토리지에 저장할 수 있고, 작업 현장과 관련된 리포트를 생성하여, 통신 인터페이스 유닛(230)을 통해 관리자 단말(500)과 같은 외부 장치에 전송할 수 있다.
통신 인터페이스 유닛(230)은 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 통신 인터페이스 유닛(230)은 모니터링 장치(200)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 모니터링 장치(200)는 통신 인터페이스 유닛(230)을 통해 센싱 장치(100)와 통신을 수행하거나, 네트워크로 연결된 다른 서버와도 연결될 수 있다.
스토리지(미도시)는 모니터링 장치(200)가 외부 장치나 기기의 제어에 활용하거나 소정의 서비스를 제공하기 위해 필요한 각종 소프트웨어 및 정보들을 저장할 수 있다. 예를 들어, 스토리지(미도시)는 모니터링 장치(200)에서 실행되는 프로그램, 애플리케이션, 및 소정의 서비스에 이용되는 각종 데이터 또는 정보를 저장할 수 있다.
상기한 구성에 따른 일 실시예의 프로세서(220)는 메모리(210)에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 통신 인터페이스 유닛(230)을 통해, 3차원 공간을 감지하는 센싱 장치(100)로부터 작업 현장에 대한 점군을 획득할 수 있다. 센싱 장치(100)가 복수 개인 경우, 프로세서(220)는 각 센싱 장치(100)로부터 각 센싱 장치(100)의 식별 정보와 함께, 각 센싱 장치(100)의 감지 영역에 대응되는 점군을 센싱 데이터로서 획득할 수 있다.
프로세서(220)는 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 작업 현장의 관심 영역에서 트럭과 트럭에 장착된 트레이를 추적하고, 추적된 트레이에 적재된 적재물에 대한 정보를 획득할 수 있다. 객체 추적 모델은 다양한 신경망 레이어들의 조합으로 구성되어, 객체의 위치 및 형상을 추론할 수 있다. 일 예에 따른 객체 추적 모델은 작업 현장에 대한 점군을 입력으로 하여, 트럭의 위치 및 형상과 트레이의 위치 및 형상을 모두 추적하는 신경망 모델을 포함할 수 있다. 다른 예에 따른 객체 추적 모델은 작업 현장에 대한 점군을 입력으로 하여, 트럭의 위치 및 형상을 추적하는 제1 신경망 모델과 추적된 트럭의 위치 및 형상을 입력으로 하여, 트레이의 위치 및 형상을 추적하는 제2 신경망 모델을 포함할 수 있다. 이와 같은 객체 추적 모델들은 학습용 트럭 정보 및 학습용 트레이 정보에 의해 학습될 수 있고, 학습 결과에 대한 지도 학습을 병행하여 학습될 수 있다.
프로세서(220)는 트럭과 트럭에 장착된 트레이를 추적하여, 적재물의 트레이 내에서의 분포 및 트레이 내의 단위 위치별 적재물의 높이에 기초하여, 적재물의 적재량을 산출할 수 있다. 센싱 장치(100)의 위치나 트럭의 위치 또는 트레이의 구조로 인해, 트레이 내에서 적재물이 검출 불가한 폐쇄 영역의 경우, 프로세서(220)는 적재물의 검출 영역에 대한 정보에 기초하여 폐쇄 영역에 대한 정보를 추정하여, 폐쇄 영역에 대응되는 적재량을 산출할 수 있다. 예를 들어, 프로세서(220)는 다른 객체에 의해 가려진 폐쇄 영역에 대해서는 폐쇄 영역의 주변 영역에 대한 정보에 기초한 인터폴레이션을 수행하여 폐쇄 영역에 대응되는 적재량을 산출할 수 있다. 다른 예를 들어, 프로세서(220)는 폐쇄 영역에 적재된 적재물의 종류가 확인되는 경우, 해당 물질의 물리적 성질을 반영한 곡면 추정 방식에 따라 폐쇄 영역에 대응되는 적재량을 산출할 수 있다.
모니터링 장치(200)는 추적된 트럭 및 트레이에 적재된 적재물에 대한 정보가 획득되면, 이를 활용하여 여러가지 기능을 실행할 수 있다. 예를 들어, 프로세서(220)는 추적된 트럭 및 트레이와 적재물에 대한 정보에 기초하여, 작업 현장의 중장비를 제어할 수 있다. 모니터링 장치(200)가 중장비에 탑재된 형태인 경우, 중장비를 제어하기 위한 커맨드를 생성하여, 중장비의 동작을 제어하는 프로세서로 전송할 수 있다. 모니터링 장치(200)가 중장비와 분리된 별도의 서버나 장치 형태인 경우, 중장비를 제어하기 위한 커맨트들 생성하여, 통신 인터페이스(230)를 통해 중장비에 전송할 수도 있다. 중장비가 굴삭기인 경우, 프로세서(220)는 관심 영역에서 자재가 쌓인 굴착 영역을 추적하고, 추적된 굴착 영역에 기초하여 굴삭기가 굴착할 지점을 설정하고, 굴착된 자재를 트럭의 트레이에 적재하도록 중장비를 제어할 수 있다. 이때, 관심 영역은 중장비의 작업 범위에 기초하여 설정될 수 있다. 예를 들어, 중장비가 굴삭기인 경우, 굴삭기의 버켓이 닿을 수 있는 거리에 기초하여, 관심 영역이 설정될 수 있다.
다른 예를 들어, 프로세서(220)는 추적된 트럭 및 트레이와 적재물에 대한 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다. 단순히 트레이에 적재된 적재물이 소정의 높이를 초과하는 부분이 있는지에 따른 과적 여부를 판정하는 것이 아니라, 트레이 내의 적재물의 적재량 즉, 적재물의 부피 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다.
더 나아가, 프로세서(220)는 중장비를 제어하여 트럭에 자재를 실은 후, 트레이의 적재물에 대한 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다. 프로세서(220)는 중장비를 제어하여, 굴착 후 트럭에 자재를 실는 반복 작업을 진행할 때마다, 트럭이 과적인지 여부를 판정할 수 있다. 프로세서(220)는 과적의 기준에 도달하기 직전에 중장비의 반복 작업을 종료시키고, 트럭에 이송 명령을 전송할 수 있다.
도 4는 작업 현장에 대한 점군으로부터 추적된 트럭 및 트레이와 트레이에 적재된 적재물을 나타낸 일 예를 설명하기 위한 도면이다.
도 4를 참조하면, 작업 현장에 대한 점군에 기초하여 생성된 공간 정보 맵의 일 예를 나타내고 있다. 작업 현장에 대한 점군은 각 프레임 별로 또는 복수의 프레임들을 축적하여, 공간에서 감지된 객체에 대응되므로, 모니터링 장치(200)는 객체 추적 모델로서, 머신 러닝 기반의 신경망 모델을 이용하여, 객체를 식별 및 분류하고, 객체 정보를 획득할 수 있다. 예를 들어, 모니터링 장치(200)는 트럭 정보 및 트레이 정보에 기초한 학습 또는 지도 학습에 따라 학습된 객체 추적 모델을 이용하여, 작업 현장에 대한 점군으로부터 트럭 및 트레이를 식별 및 분류할 수 있다.
한편, 보다 정확한 객체 추적을 위해, 관심 영역에 대응되는 점군에 대해서, 트럭 및 트레이의 추적을 강화할 필요가 있다. 이를 위해, 관심 영역에 대응되는 점군을 클러스터링함으로써, 각 객체 별로 점군을 구분할 수 있다. 관심 영역에 대응되는 전체 점군을 거리 정보, 형상 정보, 분포 정보 중 적어도 하나에 기초하여 클러스터링함으로써, 각 객체에 대응되는 개별 객체 영역에 대한 정보가 획득될 수 있다. 신경망 기반의 객체 추적 모델이 충분히 학습되지 않았거나, 식별 불가한 객체의 경우, 신경망 기반의 객체 분류 모델이 추정한 객체의 정보와 클러스터링을 통해 구분된 개별 객체 영역으로부터 획득한 객체에 관한 정보를 통합하여, 각 객체를 식별하고, 객체의 위치나 형상 등에 관한 정확한 정보를 획득할 수 있다.
모니터링 장치(200)는 작업 현장에 대한 점군에 기초하여 생성되는 공간 정보 맵에서 관심 영역에 대해 객체 추적 모델을 이용하여 트럭과 트럭에 장착된 트레이를 추적할 수 있다. 트럭 및 트레이가 추적되면, 도 4에 도시된 바와 같이, 트럭 및 트레이 각각에 대응되는 바운딩 박스(bounding box)를 공간 정보 맵에 표시할 수 있으며, 트레이에 대응되는 바운딩 박스 내에서 적재물의 분포 및 높이를 확인할 수 있다.
도 5는 트럭의 트레이에 적재된 적재물의 적재량을 산출하는 프로세스를 설명하기 위한 도면이다.
도 5를 보면, 센싱 장치(100)가 작업 현장에서 트럭과 트럭의 트레이에 적재된 적재물을 감지하는 경우를 나타내고 있다. 이와 같은 경우, 모니터링 장치(200)는 센싱 장치(100)로부터 작업 현장에 대한 점군을 획득할 수 있다.
모니터링 장치(200)는 작업 현장에 대한 점군을 입력으로 하는 객체 추적 모델을 이용하여, 트럭과 트럭에 장착된 트레이를 추적하고, 트레이에 적재된 적재물에 대한 정보를 획득할 수 있다. 이때, 모니터링 장치(200)는 적재물의 트레이 내에서의 분포와 트레이 내의 단위 위치별 적재물의 높이에 기초하여, 적재물의 적재량을 산출할 수 있다. 모니터링 장치(200)는 각 단위 위치에서의 트레이 바닥면 높이를 고려하여, 각 단위 위치별 적재량 및 총 적재량을 측정할 수 있다.
도 6은 트럭의 트레이에 내에서 폐쇄 영역에 대응되는 적재량을 산출하는 프로세스를 설명하기 위한 도면이다.
앞서 살펴본 도 5와 달리, 센싱 장치(100)의 위치나 트럭의 위치 또는 트레이의 구조로 인해, 트레이 내에서 적재물이 검출 불가한 폐쇄 영역이 있을 수 있다. 모니터링 장치(200)는 적재물의 검출 영역에 대한 정보에 기초하여 폐쇄 영역에 대한 정보를 추정하여, 폐쇄 영역에 대응되는 적재량을 산출할 수 있다.
도 6을 보면, 센싱 장치(100)와 트레이의 상대 위치에 따라, 적재물의 일부가 트레이에 의해 가려져, 트레이 내에 적재물이 검출 불가한 폐쇄 영역이 발생한 것을 알 수 있다. 이와 같은 경우, 모니터링 장치(200)는 폐쇄 영역에 대해서는 폐쇄 영역의 주변 영역에 대한 정보에 기초한 인터폴레이션을 수행하거나 해당 물질의 물리적 성질을 반영한 곡면 추정 방식에 따라 폐쇄 영역에 대응되는 적재량을 산출할 수 있다.
도 7은 작업 현장의 중장비를 제어하는 프로세스를 설명하기 위한 도면이다.
도 7을 보면, 굴삭기와 같은 중장비가 굴착 영역을 굴착한 후 트럭의 트레이로 옮겨 싣는 공사 현장에서, 센싱 장치(100)는 트럭 및 트레이, 중장비, 굴착 영역 등을 추적하는데 이용될 수 있다. 센싱 장치(100)는 작업 현장의 인프라에 설치되거나, 중장비에 장착된 형태일 수 있다.
모니터링 장치(200)는 작업 현장에 설치되었거나 중장비에 설치된 센싱 장치(100)로부터 작업 현장에 대한 점군을 획득하고, 중장비의 작업 범위에 기초하여 관심 영역을 설정할 수 있다. 모니터링 장치(200)는 작업 현장의 관심 영역에서 트럭과 트럭에 장착된 트레이를 추적하고, 추적된 트레이에 적재된 적재물에 대한 정보에 기초하여, 작업 현장의 중장비를 제어할 수 있다.
중장비가 굴삭기인 경우,모니터링 장치(200)는 관심 영역에서 자재가 쌓인 굴착 영역을 추적하고, 추적된 굴착 영역에 기초하여 굴삭기가 굴착할 지점을 설정하고, 굴착된 자재를 트럭의 트레이에 적재하도록 중장비를 제어할 수 있다. 이때, 관심 영역은 굴삭기의 버켓이 닿을 수 있는 거리에 기초하여, 관심 영역이 설정될 수 있다.
도 8은 굴착 영역에서 폐쇄 영역에 대응되는 굴착 영역을 산출하는 프로세스를 설명하기 위한 도면이다.
앞서 살펴본 도 7과 달리, 센싱 장치(100)의 위치나 굴착 영역의 위치 또는 형상으로 인해, 굴착 영역에서 자재가 검출 불가한 폐쇄 영역이 있을 수 있다. 모니터링 장치(200)는 자재의 검출 영역에 대한 정보에 기초하여 폐쇄 영역에 대한 정보를 추정하여, 폐쇄 영역에 대응되는 굴착 영역을 추적할 수 있다.
도 8을 보면, 센싱 장치(100)와 굴착 영역의 상대 위치에 따라, 자재의 일부를 관측할 수 없게 되어, 굴착 영역에 자재가 검출 불가한 폐쇄 영역이 발생한 것을 알 수 있다. 이와 같은 경우, 모니터링 장치(200)는 폐쇄 영역의 주변의 자재의 검출 영역에 대한 정보에 기초하여, 폐쇄 영역에 대한 정보를 추정하여, 폐쇄 영역에 대응되는 굴착 영역을 추적할 수 있다.
도 9는 일 실시예에 따른 작업 현장을 모니터링하는 방법을 설명하기 위한 흐름도이다. 이상에서 모니터링 장치(200)에 대하여 설명한 내용과 중복되는 내용에 대해서는 이하 그 상세한 설명을 생략한다. 모니터링 장치(100)는 클라우드 서버나 엣지 컴퓨터의 형태로 제공될 수도 있고, 센싱 장치(100)나 외부 장치에 탑재된 형태로 제공될 수도 있다.
S910에서, 모니터링 장치(200)는 3차원 공간을 감지하는 센싱 장치(100)로부터 작업 현장에 대한 점군을 획득할 수 있다.
S920에서, 모니터링 장치(200)는 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 작업 현장의 관심 영역에서 트럭과 트럭에 장착된 트레이를 추적할 수 있다. 일 예에 따른 객체 추적 모델은 작업 현장에 대한 점군을 입력으로 하여, 트럭의 위치 및 형상과 트레이의 위치 및 형상을 모두 추적하는 신경망 모델을 포함할 수 있다. 다른 예에 따른 객체 추적 모델은 작업 현장에 대한 점군을 입력으로 하여, 트럭의 위치 및 형상을 추적하는 제1 신경망 모델과 추적된 트럭의 위치 및 형상을 입력으로 하여, 트레이의 위치 및 형상을 추적하는 제2 신경망 모델을 포함할 수 있다. 이와 같은 객체 추적 모델들은 학습용 트럭 정보 및 학습용 트레이 정보에 의해 학습될 수 있고, 학습 결과에 대한 지도 학습을 병행하여 학습될 수 있다.
S930에서, 모니터링 장치(200)는 추적된 트레이에 적재된 적재물에 대한 정보를 획득할 수 있다. 모니터링 장치(200)는 트럭과 트럭에 장착된 트레이를 추적하여, 적재물의 트레이 내에서의 분포 및 트레이 내의 단위 위치별 적재물의 높이에 기초하여, 적재물의 적재량을 산출할 수 있다. 센싱 장치(100)의 위치나 트럭의 위치 또는 트레이의 구조로 인해, 트레이 내에서 적재물이 검출 불가한 폐쇄 영역의 경우, 프로세서(220)는 적재물의 검출 영역에 대한 정보에 기초하여 폐쇄 영역에 대한 정보를 추정하여, 폐쇄 영역에 대응되는 적재량을 산출할 수 있다.
모니터링 장치(200)는 추적된 트럭 및 트레이에 적재된 적재물에 대한 정보가 획득되면, 적재물의 적재량에 기초한 다양한 기능을 실행할 수 있다. 이와 관련하여, 이하 도 10a 및 도 10b에서 예를 들어 설명한다.
도 10a은 작업 현장의 중장비를 제어하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
모니터링 장치(200)는 추적된 트럭 및 트레이와 적재물에 대한 정보에 기초하여, 작업 현장의 중장비를 제어할 수 있다.(S1010) 예를 들어, 중장비가 굴삭기인 경우, 모니터링 장치(200)는 관심 영역에서 자재가 쌓인 굴착 영역을 추적하고, 추적된 굴착 영역에 기초하여 굴삭기가 굴착할 지점을 설정하고, 굴착된 자재를 트럭의 트레이에 적재하도록 중장비를 제어할 수 있다. 이때, 관심 영역은 중장비의 작업 범위에 기초하여 설정될 수 있다.
도 10b은 트럭의 과적 여부를 판정하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
모니터링 장치(200)는 추적된 트럭 및 트레이와 적재물에 대한 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다.(S1011) 모니터링 장치(200)는 트럭의 트레이 내의 적재물의 적재량 즉, 적재물의 부피 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다.
모니터링 장치(200)는 중장비를 제어하여 트럭에 자재를 실은 후, 트레이의 적재물에 대한 정보에 기초하여, 트럭이 과적인지 여부를 판정할 수 있다. 모니터링 장치(200)는 중장비를 제어하여, 굴착 후 트럭에 자재를 실는 반복 작업을 진행할 때마다, 트럭이 과적인지 여부를 판정할 수 있다. 모니터링 장치(200)는 과적의 기준에 도달하기 직전에 중장비의 반복 작업을 종료시키고, 트럭에 이송 명령을 전송할 수 있다.
상술한 실시예들 각각은 작업 현장을 모니터링하는 방법을 수행하는 소정의 단계들을 실행시키기 위하여, 매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다. 다시 말해서, 상술한 실시예들 각각은 모니터링 장치(200)의 적어도 하나의 프로세서로 하여금, 작업 현장에서의 관심 영역을 모니터링하는 방법을 수행하는 소정의 단계들을 수행하도록 하는, 매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다.
상술한 실시예들은 컴퓨터 또는 프로세서에 의하여 실행 가능한 인스트럭션 및 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 인스트럭션 및 데이터 중 적어도 하나는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 read-only memory (ROM), random-access memory (RAM), flash memory, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs, DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, 마그네틱 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 인스트럭션 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있고, 프로세서나 컴퓨터가 인스트럭션을 실행할 수 있도록 프로세서나 컴퓨터에 인스트럭션 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 제공할 수 있는 어떠한 장치라도 될 수 있다.
이제까지 실시예들을 중심으로 살펴보았다. 개시된 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자는 개시된 실시예들이 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 발명의 범위는 전술한 실시예들의 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 발명의 범위에 포함된 것으로 해석되어야 할 것이다.
Claims (20)
- 3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하는 단계;
상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하는 단계; 및
상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 단계;
를 포함하는, 작업 현장을 모니터링하는 방법. - 제1 항에 있어서,
상기 적재물에 대한 정보를 획득하는 단계는,
상기 적재물의 상기 트레이 내에서의 분포 및 상기 트레이 내의 단위 위치별 상기 적재물의 높이에 기초하여, 상기 적재물의 적재량을 산출하는 단계를 포함하는, 작업 현장을 모니터링하는 방법. - 제2 항에 있어서,
상기 적재물에 대한 정보를 획득하는 단계는,
상기 트레이 내에서 상기 적재물이 검출 불가한 폐쇄 영역(occlusion region)의 경우, 상기 적재물의 검출 영역에 대한 정보에 기초하여 상기 폐쇄 영역에 대한 정보를 추정하여, 상기 폐쇄 영역에 대응되는 적재량을 산출하는 단계를 더 포함하는, 작업 현장을 모니터링하는 방법. - 제1 항에 있어서,
상기 추적된 트럭 및 트레이와 상기 획득된 적재물에 대한 정보에 기초하여, 상기 작업 현장의 중장비를 제어하는 단계를 더 포함하는, 작업 현장을 모니터링하는 방법. - 제4 항에 있어서,
상기 중장비가 굴삭기인 경우, 상기 관심 영역에서 자재가 쌓인 굴착 영역을 추적하는 단계를 더 포함하고,
상기 중장비를 제어하는 단계는,
상기 추적된 굴착 영역에 기초하여 상기 굴삭기가 굴착할 지점을 설정하고, 굴착된 자재를 상기 트레이에 적재하도록 상기 중장비를 제어하는, 작업 현장을 모니터링하는 방법. - 제4 항에 있어서,
상기 점군을 획득하는 단계는,
상기 중장비에 장착된 상기 센싱 장치로부터 상기 작업 현장에 대한 점군을 획득하고,
상기 관심 영역은 상기 중장비의 작업 범위에 기초하여 설정되는, 작업 현장을 모니터링하는 방법. - 제1 항에 있어서,
상기 적재물의 적재량에 대한 정보에 기초하여, 상기 트럭이 과적인지 여부를 판정하는 단계를 더 포함하는, 작업 현장을 모니터링하는 방법. - 제1 항에 있어서,
상기 객체 추적 모델은,
상기 획득된 점군을 입력으로 하여, 상기 트럭의 위치 및 형상과 상기 트레이의 위치 및 형상을 모두 추적하는 신경망 모델을 포함하는, 작업 현장을 모니터링하는 방법. - 제1 항에 있어서,
상기 객체 추적 모델은,
상기 획득된 점군을 입력으로 하여, 상기 트럭의 위치 및 형상을 추적하는 제1 신경망 모델과 상기 추적된 트럭의 위치 및 형상을 입력으로 하여, 상기 트레이의 위치 및 형상을 추적하는 제2 신경망 모델을 포함하는, 작업 현장을 모니터링하는 방법. - 작업 현장을 모니터링하는 장치에서,
3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하는 단계;
상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하는 단계; 및
상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 단계;
를 포함하는 작업 현장을 모니터링하는 방법을 수행하도록 하는, 저장매체에 저장된 컴퓨터 프로그램. - 통신 인터페이스 유닛;
인스트럭션들을 저장하는 메모리; 및
상기 인스트럭션들을 실행함으로써, 상기 통신 인터페이스 유닛을 통해, 3차원 공간을 감지하는 센싱 장치로부터 작업 현장에 대한 점군을 획득하고, 상기 획득된 점군을 입력으로 하는 객체 추적 모델을 이용하여, 상기 작업 현장의 관심 영역에서 트럭과 상기 트럭에 장착된 트레이를 추적하고, 상기 추적된 트레이에 적재된 적재물에 대한 정보를 획득하는 프로세서;
를 포함하는, 작업 현장을 모니터링하는 장치. - 제11 항에 있어서,
상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
상기 적재물의 상기 트레이 내에서의 분포 및 상기 트레이 내의 단위 위치별 상기 적재물의 높이에 기초하여, 상기 적재물의 적재량을 산출하는, 작업 현장을 모니터링하는 장치. - 제12 항에 있어서,
상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
상기 트레이 내에서 상기 적재물이 검출 불가한 폐쇄 영역의 경우, 상기 적재물의 검출 영역에 대한 정보에 기초하여 상기 폐쇄 영역에 대한 정보를 추정하여, 상기 폐쇄 영역에 대응되는 적재량을 산출하는, 작업 현장을 모니터링하는 장치. - 제11 항에 있어서,
상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
상기 추적된 트럭 및 트레이와 상기 획득된 적재물에 대한 정보에 기초하여, 상기 작업 현장의 중장비를 제어하는, 작업 현장을 모니터링하는 장치. - 제14 항에 있어서,
상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
상기 중장비가 굴삭기인 경우, 상기 관심 영역에서 자재가 쌓인 굴착 영역을 추적하고, 상기 추적된 굴착 영역에 기초하여 상기 굴삭기가 굴착할 지점을 설정하고, 굴착된 자재를 상기 트레이에 적재하도록 상기 중장비를 제어하는, 작업 현장을 모니터링하는 장치. - 제14 항에 있어서,
상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
상기 통신 인터페이스 유닛을 통해, 상기 중장비에 장착된 센싱 장치로부터 상기 작업 현장에 대한 점군을 획득하고,
상기 중장비의 작업 범위에 기초하여 상기 관심 영역을 설정하는, 작업 현장을 모니터링하는 장치. - 제11 항에 있어서,
상기 프로세서는, 상기 인스트럭션들을 실행함으로써,
상기 적재물의 적재량에 대한 정보에 기초하여, 상기 트럭이 과적인지 여부를 판정하는, 작업 현장을 모니터링하는 장치. - 제11 항에 있어서,
상기 객체 추적 모델은,
상기 획득된 점군을 입력으로 하여, 상기 트럭의 위치 및 형상과 상기 트레이의 위치 및 형상을 모두 추적하는 신경망 모델을 포함하는, 작업 현장을 모니터링하는 장치. - 제11 항에 있어서,
상기 객체 추적 모델은,
상기 획득된 점군을 입력으로 하여, 상기 트럭의 위치 및 형상을 추적하는 제1 신경망 모델과 상기 추적된 트럭의 위치 및 형상을 입력으로 하여, 상기 트레이의 위치 및 형상을 추적하는 제2 신경망 모델을 포함하는, 작업 현장을 모니터링하는 장치. - 제11 항에 있어서,
상기 객체 추적 모델은,
학습용 트럭 정보 및 학습용 트레이 정보에 의해 학습되고, 상기 학습 결과에 대한 지도 학습을 병행하여 학습된 것인, 작업 현장을 모니터링하는 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220001637A KR20230105967A (ko) | 2022-01-05 | 2022-01-05 | 작업 현장을 모니터링하는 방법 및 장치 |
| PCT/KR2022/021706 WO2023132570A1 (ko) | 2022-01-05 | 2022-12-30 | 작업 현장을 모니터링하는 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220001637A KR20230105967A (ko) | 2022-01-05 | 2022-01-05 | 작업 현장을 모니터링하는 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230105967A true KR20230105967A (ko) | 2023-07-12 |
Family
ID=87073841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220001637A KR20230105967A (ko) | 2022-01-05 | 2022-01-05 | 작업 현장을 모니터링하는 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230105967A (ko) |
| WO (1) | WO2023132570A1 (ko) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110110648A (ko) * | 2010-04-01 | 2011-10-07 | 한양대학교 산학협력단 | 토공 작업을 위한 그래픽 사용자 인터페이스 제공 장치 및 방법 |
| KR20120004132A (ko) * | 2010-07-06 | 2012-01-12 | 전자부품연구원 | 굴삭기 자동화 시스템 및 그 통합 관리 방법 |
| KR102042629B1 (ko) * | 2018-03-23 | 2019-11-08 | 연세대학교 산학협력단 | 영상 기반의 건설 현장 상황 인지 시스템 및 방법, 그리고 이를 이용한 토공 생산성 분석 방법 |
| KR102021716B1 (ko) * | 2019-01-16 | 2019-09-16 | 정흥원 | 지능형 토사 정보 자동 처리시스템 |
| JP7365122B2 (ja) * | 2019-02-01 | 2023-10-19 | 株式会社小松製作所 | 画像処理システムおよび画像処理方法 |
| US20220259823A1 (en) * | 2019-06-18 | 2022-08-18 | Nec Corporation | Excavation system, work system, control device, control method, and non-transitory computer-readable medium storing a program |
-
2022
- 2022-01-05 KR KR1020220001637A patent/KR20230105967A/ko not_active Application Discontinuation
- 2022-12-30 WO PCT/KR2022/021706 patent/WO2023132570A1/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023132570A1 (ko) | 2023-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10586218B2 (en) | Waste management system implementing receptacle tracking | |
| US10733752B2 (en) | Estimating a volume of contents in a container of a work vehicle | |
| KR102338370B1 (ko) | 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버 | |
| BE1025931B1 (nl) | Systemen en werkwijzen voor het bepalen van het gevuld zijn van een commerciële trailer | |
| CN105956527B (zh) | 用于无人驾驶车的障碍物检测结果评估方法和装置 | |
| KR102664328B1 (ko) | 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치 | |
| CN103733084A (zh) | 用于对工业车辆提供准确定位的方法和设备 | |
| US10955518B2 (en) | Method for generating an indoor environment model and a method for determining position data for a location in an indoor environment | |
| US11507101B2 (en) | Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server | |
| US20230126901A1 (en) | Method, apparatus, server, and computer program for collision accident prevention | |
| KR20140144047A (ko) | 실시간 도로 네트워크의 교통특성 정보 추정 시스템 및 방법 | |
| EP4232640A1 (en) | Determining material volume and density based on sensor data | |
| KR20230105967A (ko) | 작업 현장을 모니터링하는 방법 및 장치 | |
| KR102255924B1 (ko) | 레인을 검출하는 차량 및 방법 | |
| US10563379B2 (en) | System and method of identifying a payload destination | |
| CN108612430B (zh) | 基于大数据的后备箱控制方法、系统及云端服务器 | |
| KR102656646B1 (ko) | 센싱 장치의 설치 이상을 감지하는 방법 및 이를 수행하는 센싱 장치 | |
| US20230384751A1 (en) | Systems and methods for determining thickness and/or diameter using computer vision | |
| KR20200048918A (ko) | 측위 방법 및 그 장치 | |
| US10046783B2 (en) | Shopping cart deflection measurement system and associated methods | |
| KR20230031038A (ko) | 3차원 공간의 관심 영역을 모니터링하는 방법 및 센싱 장치 | |
| US20240019530A1 (en) | Peer-based positioning of mobile devices | |
| JP6553586B2 (ja) | 計測十分度算出装置、方法、及びプログラム | |
| CN114972826A (zh) | 目标状态的确定方法、装置、电子设备及计算机存储介质 | |
| KR20220023561A (ko) | 영상 기반의 작업대 모니터링 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |