KR102202558B1 - 재료 파일의 3차원 재구성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체 - Google Patents

재료 파일의 3차원 재구성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체 Download PDF

Info

Publication number
KR102202558B1
KR102202558B1 KR1020190141775A KR20190141775A KR102202558B1 KR 102202558 B1 KR102202558 B1 KR 102202558B1 KR 1020190141775 A KR1020190141775 A KR 1020190141775A KR 20190141775 A KR20190141775 A KR 20190141775A KR 102202558 B1 KR102202558 B1 KR 102202558B1
Authority
KR
South Korea
Prior art keywords
material file
excavator
sequence
binocular camera
file
Prior art date
Application number
KR1020190141775A
Other languages
English (en)
Other versions
KR20200093414A (ko
Inventor
신징 쳉
루이강 양
페이시앙 루
야주 양
하오 수
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20200093414A publication Critical patent/KR20200093414A/ko
Application granted granted Critical
Publication of KR102202558B1 publication Critical patent/KR102202558B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/439—Automatic repositioning of the implement, e.g. automatic dumping, auto-return
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Operation Control Of Excavators (AREA)
  • Image Analysis (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명의 실시예는 재료 파일의 3차원 재구성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체를 공개한다. 상기 방법의 일 구체적인 실시형태는, 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하는 단계; 및 상기 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여, 상기 재료 파일의 3차원 모델을 생성하는 단계를 포함한다. 상기 실시형태는 재료 파일의 3차원 재구성의 정확도를 향상시켰을 뿐만 아니라 원가를 절약할 수 있다.

Description

재료 파일의 3차원 재구성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체{ THREE-DIMENSIONAL RECONSTRUCTION METHOD AND APPARATUS FOR MATERIAL PILE, ELECTRONIC DEVICE, AND COMPUTER-READABLE MEDIUM }
본 발명의 실시예는 컴퓨터 기술분야에 관한 것으로서, 구체적으로, 3차원 모델링 분야에 관한 것으로서, 특히, 재료 파일의 3차원 재구성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체에 관한 것이다.
무인 굴착기는 다양한 센서에 의해 굴착 조작의 대상을 감지하고, 조작 행위를 계획하여 조작 명령을 실행하는 스마트 굴착기기이다. 무인 굴착기는 굴착 과정에서 굴착 대상(예를 들어, 흙더미)에 관련된 정보, 예를 들어, 굴착 대상의 위치, 부피, 형대 등 정보를 획득할 필요가 있다. 무인 굴착기에 라이다(Lidar)를 설치하고, 라이다에 의해 흙더미 등 굴착 대상의 3차원 정보를 획득하거나, 굴착 대상 상측에 휴대 단안 카메라(Monocular Camera)를 설치하고 수집된 이미지에 근거하여 흙더미 등 굴착 대상의 정보를 추출할 수 있다.
본 발명의 실시예는 재료 파일의 3차원 재구성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체를 제공한다.
제1 양태에 따르면, 본 발명의 실시예는 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하는 단계; 및 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여, 재료 파일의 3차원 모델을 생성하는 단계를 포함하는 재료 파일의 3차원 재구성 방법을 제공한다.
일부 실시예에서, 상기 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하는 단계는, 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라를 작동시키는 단계; 및 양안 카메라가 굴착기 몸체 회전 및 재료의 운송 과정에서 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하는 단계를 포함한다.
일부 실시예에서, 상기 굴착기의 양 측면에 양안 카메라가 설치되어 있고,
굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라를 작동시키는 단계는, 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 몸체의 회전 방향에 근거하여, 재료 파일 방향으로 회전하는 일측에 설치된 양안 카메라를 결정하고, 재료 파일 방향으로 회전하는 일측에 설치된 양안 카메라에 작동 명령을 발송하는 단계를 포함한다.
일부 실시예에서, 상기 재료 파일의 3차원 재구성 방법은 굴착기의 버킷을 제어하여 재료를 언로딩하라는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라를 셧다운(shutdown)하는 단계를 더 포함한다.
일부 실시예에서, 상기 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여, 재료 파일의 3차원 모델을 생성하는 단계는, 재료 파일의 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 전환시키는 단계; 깊이 이미지 시퀀스에서의 인접 이미지 중첩 부분에 기반하여 3차원 포인트 클라우드 시퀀스를 융합하여, 융합한 후의 재료 파일의 3차원 포인트 클라우드를 얻는 단계; 및 재료 파일의 3차원 포인트 클라우드에 기반하여 재료 파일의 3차원 모델을 얻는 단계를 포함한다.
일부 실시예에서, 상기 재료 파일의 3차원 재구성 방법은, 재료 파일의 3차원 모델에 근거하여 재료 파일에 대해 굴착하는 굴착 동작을 계획하여 굴착 동작을 실행하는 명령을 생성하는 단계를 더 포함한다.
제2 양태에 따르면, 본 발명의 실시예는 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하도록 구성되는 획득 유닛; 및 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여, 재료 파일의 3차원 모델을 생성하도록 구성되는 생성 유닛을 포함하는 재료 파일의 3차원 재구성 장치를 제공한다.
일부 실시예에서, 상기 획득 유닛은, 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라를 작동시키고, 양안 카메라가 굴착기 몸체 회전 및 재료의 운송 과정에서 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득한다.
일부 실시예에서, 상기 굴착기의 양 측면에 양안 카메라가 설치되어 있고, 획득 유닛은 또한, 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 몸체의 회전 방향에 근거하여, 재료 파일 방향으로 회전하는 일측에 설치된 양안 카메라를 결정하고, 재료 파일 방향으로 회전하는 일측에 설치된 양안 카메라에 작동 명령을 발송한다.
일부 실시예에서, 재료 파일의 3차원 재구성 장치는, 굴착기의 버킷을 제어하여 재료를 언로딩하라는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라를 셧다운시키는 셧다운 유닛을 더 포함한다.
일부 실시예에서, 상기 생성 유닛은, 재료 파일의 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 전환시키고, 깊이 이미지 시퀀스에서의 인접 이미지 중첩 부분에 기반하여 3차원 포인트 클라우드 시퀀스를 융합하여, 융합한 후의 재료 파일의 3차원 포인트 클라우드를 획득하며, 재료 파일의 3차원 포인트 클라우드에 기반하여 재료 파일의 3차원 모델을 획득한다.
일부 실시예에서, 상기 재료 파일의 3차원 재구성 장치는, 재료 파일의 3차원 모델에 근거하여 재료 파일에 대해 굴착하는 굴착 동작을 계획하여 굴착 동작을 실행하는 명령을 생성하도록 구성되는 계획 유닛을 더 포함한다.
제3 양태에 따르면, 본 발명의 실시예는 하나 또는 복수의 프로세서; 하나 또는 복수의 프로그램을 저장하는 저장 장치를 포함하는 전자 기기에 있어서, 하나 또는 복수의 프로그램이 하나 또는 복수의 프로세서에 의해 실행될 경우, 하나 또는 복수 프로세서가 제1 양태에 따른 방법을 수행하는 전자 기기를 제공한다.
제4 양태에 따르면, 본 발명의 실시예는 컴퓨터 프로그램이 저장되어 있고, 프로그램이 프로세서에 의해 실행될 경우 제1 양태에 따른 방법을 수행하는 컴퓨터 판독 가능 매체를 제공한다.
본 발명의 상기 실시예의 재료 파일의 3차원 재구성 방법과 장치는, 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 대한 응답에 의해, 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하며, 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여 재료 파일의 3차원 모델을 생성하며, 굴착기의 회전 조작 특성을 이용하여 기계팔 등 부재에 의해 쉽게 차단되지 않는 양안 카메라로 재료 파일의 깊이 이미지를 수집하고 3차원 모델링을 진행함으로써, 차단으로 인해 초래되는 재료 파일의 이미지 정보의 결함을 방지하여 재료 파일의 3차원 재구성의 정확도를 향상시켰을 뿐만 아니라 원가를 절약할 수 있다.
아래 첨부 도면에 도시된 비제한적인 실시예의 상세한 설명에 대한 열독 및 참조를 통해, 본 발명의 다른 특징, 목적 및 이점이 보다 명확해질 것이다.
도 1은 본 발명을 응용 가능한 상황의 실시예의 예시적인 시스템 구조도이다.
도 2는 본 발명에 따른 재료 파일의 3차원 재구성 방법의 일 실시예의 흐름도이다.
도 3은 도 2에서 보여준 실시예의 일 응용 상황 모식도이다.
도 4는 본 발명에 따른 재료 파일의 3차원 재구성 방법의 다른 일 실시예의 흐름도이다.
도 5는 본 발명의 재료 파일의 3차원 재구성 장치의 일 실시예의 구조 모식도이다.
도 6은 본 발명의 실시예에 따른 전자 기기를 구현하기에 적합한 컴퓨터 시스템의 구조 모식도이다.
이하 첨부 도면 및 실시예를 참조하여 본 발명을 더욱 상세히 설명한다. 여기서 설명되는 구체적인 실시예는 관련 발명을 해석하기 위한 것일 뿐 본 발명은 이에 한정되지 않음을 이해할 수 있을 것이다. 이 밖에, 설명의 편의를 위해 도면에는 해당 발명과 관련된 부분만이 도시되었음을 유의해야 한다.
모순되지 않은 한 본 발명의 실시예 및 실시예의 특징은 서로 결합될 수 있음을 유의해야 한다. 이하 첨부 도면을 참조하고 실시예를 결부시켜 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 재료 파일의 3차원 재구성 방법 또는 재료 파일의 3차원 재구성 장치를 응용 가능한 예시적인 시스템 아키텍처이다.
도 1에 도시된 바와 같이, 시스템(100)은 굴착기(101), 굴착기에 설치된 양안 카메라(102), 네트워크(103) 및 서버(104)를 포함할 수 있다. 네트워크(103)는 굴착기(101), 양안 카메라(102), 서버(104) 사이에 통신 링크를 제공하는 매체로 사용된다. 네트워크(103)는 예를 들어, 유선, 무선 통신 링크 또는 광섬유 케이블 등 다양한 연결 타입을 포함할 수 있다.
굴착기(101)는 무인 자율식 굴착기일 수 있고 무인 자율식 굴착기에는 각도 센서, 역학 센서, 이미지 센서 등 다양한 센서가 설치될 수 있다. 굴착기(100)의 다양한 센서는 굴착 대상, 도로 환경 등을 포함한 환경정보를 감지할 수 있다. 일부 상황에서, 무인 자율식 굴착기(101)에는 CPU, GPU 등 프로세서와 같은 데이터 프로세싱 컴포넌트 및 저장 부재가 더 설치될 수 있다. 데이터 프로세싱 컴포넌트는 센서에 의해 감지되는 데이터를 획득하여 처리하고, 저장 부재는 센서에 의해 감지되는 데이터를 저장할 수 있고 또한 데이터 프로세싱 컴포넌트에서 데이터 처리 태스크가 호출하고자 하는 데이터를 저장할 수 있다.
양안 카메라(102)는 무인 자율식 굴착기(101)에 설치되는 이미지 센서일 수 있고 이는 무인 자율식 굴착기가 굴착해야 할 재료 파일의 이미지를 촬영할 수 있다. 양안 카메라(102)는 무인 자율식 굴착기의 몸체의 측면에 설치될 수 있다. 양안 카메라는 몸체가 회전하여 버킷의 재료를 언로딩하는 과정에서 재료 파일의 깊이 이미지를 촬영할 수 있다.
서버(104)는 예를 들어, 무인 자율식 굴착기의 백엔드 서버와 같은 다양한 서비스를 제공하는 서버일 수 있다. 무인 자율식 굴착기의 백엔드 서버는 양안 카메라(102)에서 획득한 재료 파일의 2차원 이미지 등 데이터에 대한 분석 등 처리를 수행하고, 또한 처리 결과(예를 들어, 타겟 굴착점 및 타켓 굴착 궤적)에 따라 굴착기(101)의 굴착을 제어할 수 있다.
서버(104)는 하드웨어일 수도 있고 소프트웨어일 수도 있음에 유의해야 한다. 서버(104)가 하드웨어일 때, 복수의 서버로 구성된 분산식 서버 클러스터로 구현되거나 단일 서버로 구현될 수 있다. 서버(104)가 소프트웨어일 때, 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들어, 분산식 서버스의 복수의 소프트웨어 또는 소프트웨어 모듈을 제공하기 위함)로 구현되거나, 단일 소프트웨어 또흔 소프트웨어 모듈로 구현될 수 있다. 여기서 구체적으로 한정하지 않는다.
본 발명의 실시예에서 제공하는 재료 파일의 3차원 재구성 방법은 굴착기(101)에 설치된 데이터 프로세싱 컴포넌트 또는 서버(104)에 의해 수행될 수 있다는 점에 유의해야 한다. 대응되게, 재료 파일의 3차원 재구성 장치는 굴착기(101)의 데이터 프로세싱 컴포넌트 또는 서버(104)에 설치될 수 있다.
도 1의 카메라, 네트워크 및 서버의 개수는 예시적인것일 뿐, 구현 요구에 따라 임의의 개수의 카메라, 네트워크 및 서버가 구비될 수 있음을 이해해야 한다.
계속하여 도 2를 참조하면, 본 발명에 따른 재료 파일의 3차원 재구성 방법의 일 실시예의 흐름(200)을 도시한다. 상기 재료 파일의 3차원 재구성 방법은 하기와 같은 단계를 포함한다.
단계 (201)에서, 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득한다.
본 실시예서, 재료 파일의 3차원 재구성 방법의 수행 주체(예를 들어, 도 1에 도시된 바와 같이 서버(104) 또는 굴착기(101)의 프로세싱 컴포넌트)는 굴착기의 제어 명령을 실시간으로 감지할 수 있고, 굴착기 몸체의 회전을 제어하여 버킷의 재료를 운송하는 명령이 감지될 경우, 굴착기 측면의 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득할 수 있다. 여기서, 흙더미, 진흙과 모래더미, 암석더미, 건축자재더미과 같은 재료 파일이 굴착기의 작업대상이 될 수 있다.
상기 굴착기는 무인 자율식 굴착기일 수 있고, 굴착기의 측면에는 양안 카메라가 설치될 수 있다. 그중, 굴착기의 정면은 굴착기의 타이어 또는 무한궤도 트레드(caterpillar tread)의 전진방향의 일면을 가리키며 굴착기의 측면은 굴착기의 정면과 수직되는 면이다. 굴착기가 버킷을 제어하여 굴착될 재료 파일에서 재료를 로딩한 후, 일반적으로, 지면에 수직되는 수직선을 축으로 몸체를 회전하여 재료를 다른 곳으로 운송해야 한다. 몸체 정면이 회전하여 굴착된 재료 파일로부터 멀어지면서 몸체 측면은 굴착된 재료 파일로 회전하여, 몸체 측면에 설치된 양안 카메라는 재료 파일을 마주하는 일측으로 회전한다. 이 때, 양안 카메라는 재료 파일의 깊이 이미지 시퀀스를 수집하여 상기 수행 주체에로 전송할 수 있다.
일반적으로, 굴착기의 기계팔은 몸체 정면에 위치해 있기에 몸체 정면이 회전하여 굴착된 재료 파일에서 멀어질 때, 기계팔도 이에 따라 회전하여 멀어진다. 따라서, 굴착기 측면의 양안 카메라가 수집한 이미지에는 기계팔이 재료 파일을 차단하는 경우가 존재하지 않는다.
양안 카메라는 깊이 정보를 포함하는 이미지, 즉 깊이 이미지를 수집할 수 있다. 상기 양안 카메라는 상대 위치 관계를 이미 보정한 2개의 카메라로 구성될 수 있다. 일부 실시예에서, 상기 양안 카메라는 깊이 이미지를 형성하기 위해 2개 카메라에 의해 수집된 2차원 이미지를 융합하기 위한 프로세싱 컴포넌트를 포함할 수 있다.
실시 과정에서, 원격 서버 또는 굴착기에 설치된 프로세싱 컴포넌트는 굴착기의 굴착 조작을 제어할 수 있다. 버킷이 재료를 로딩하여 운송하려고 할 때, 원격 서버 또는 굴착기에 설치된 프로세싱 컴포넌트는 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 발송할 수 있다. 이 때, 상기 수행 주체는 상기 명령 감지에 응답하여 상기 명령이 발송된 후 양안 카메라에 의해 수집된 이미지 시퀀스를 획득할 수 있고 즉, 양안 카메라가 몸체 회전 과정에서 수집된 재료 파일의 깊이 이미지 시퀀스를 획득할 수 있다.
단계 (202)에서, 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여, 재료 파일의 3차원 모델을 생성한다.
본 실시예에서, 단계 (201)에서 획득한 재료 파일의 깊이 이미지 시퀀스에 기초하여 3차원 재구성을 진행할 수 있다. 구체적으로, 깊이 이미지 시퀀스의 깊이 이미지에 대해, 양안 카메라의 외부 파라미터 매트릭스(예를 들어, 회전 매트릭스, 평행이동 매트릭스 등)에 기반하여 깊이 이미지의 이미지 정보 점을 3차원 공간으로 매핑(mapping)한 후, 3차원 공간의 매핑하여 얻은 점을 연결하여 상기 깊이 이미지에 대응되는 3차원 모델을 형성한다. 다음, 깊이 이미지 시퀀스의 다양한 깊이 이미지에 의해 형성된 3차원 모델에 대해 융합하여, 깊이 이미지 시퀀스에 대응되는 3차원 모델을 얻는다.
본 실시예의 일부 선택 가능한 구현 방법에서, 재료 파일의 깊이 이미지 시퀀스에 기초하여 아래와 같은 방식으로 3차원 재구성을 실행하여 재료 파일의 3차원 모델을 생성할 수 있다. 먼저, 재료 파일의 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 전환시킨 후, 깊이 이미지 시퀀스에서의 인접 이미지의 중첩 부분에 기반하여 3차원 포인트 클라우드 시퀀스에 대해 융합하고, 융합한 후의 재료 파일의 3차원 포인트 클라우드를 얻으며, 마지막으로 재료 파일의 3차원 포인트 클라우드에 기반하여 재료 파일의 3차원 모델을 생성할 수 있다.
구체적으로, 상기 구현 방식에서, 이미지 좌표계 및 세계 좌표 사이의 전환 매트릭스를 이용하고, 깊이 이미지의 깊이 정보를 이용하여 2차원 이미지를 3차원 포인트 클라우드로 전환시킬 수 있다. 즉, 2차원 이미지에서의 각 점을 3차원 공간으로 매핑하여, 깊이 이미지 시퀀스에서의 깊이 이미지와 일대일로 대응되는 3차원 포인트 클라우드 시퀀스를 얻을 수 있다. 그리고, 깊이 이미지 시퀀스의 인접한 이미지의 중첩 부분에 대해 SIFT(Scale-invariant feature transform, 크기 불변 특징 변환) 등 방법에 기반하여 특징점을 추출하고 매칭하며, 인접 이미지 사이의 매칭된 특징점에 따라, 차례로 각 인접 이미지에 대응되는 3차원 포인트 클라우드에 대해 융합하여, 완전한 재료 파일의 3차원 포인트 클라우드를 얻는다. 다음으로, 3차원 포인트 클라우드에 대해 전처리를 진행하여 노이즈를 제거하고 데이터를 보간할 수 있다. 그리고, 포인트 클라우드에 대해 삼각 메싱(meshing)을 진행한 후, 마지막으로 삼각 메쉬에 대해 렌더링을 진행하여 재료 파일의 3차원 모델을 얻는다.
여기서, 재료 파일의 3차원 모델은 3차원 정점 및 3차원 공간 내의 면이 결합하여 형성된 모델일 수 있다. 상기 3차원 모델은 3차원 정점의 좌표 및 면의 수학적 표현식으로 특성화할 수 있다.
도 3을 참조하면, 이는 도 2에서 보여준 재료 파일의 3차원 재구성 방법의 일 응용 상황을 도시한 모식도이다. 도 3에 도시한 바와 같이, 굴착기의 버킷이 재료를 로딩하여 도면 중의 화살표 방향을 따라 몸체를 회전하여 재료를 운송할 때, 굴착기 측면에 설치된 양안 카메라는 그 이미징 영역(예를 들어, 도 3에 도시된 바와 같은 점선 영역) 내의 깊이 이미지를 수집한다. 이 때, 굴착된 재료 파일은 상기 양안 카메라의 이미징 영역 내에 위치해 있기에 재료 파일의 깊이 이미지를 획득할 수 있다. 다음으로, 굴착기를 제어하는 서버는 상기 깊이 이미지에 근거한 3차원 재구성을 실행하여, 재료 파일의 3차원 모델을 얻을 수 있다. 따라서, 다음에 굴착 조작을 수행할 때, 재료 파일의 3차원 모델에 근거하여 결정을 내릴 수 있다.
본 발명의 상기 실시예의 재료 파일의 3차원 재구성 방법은, 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 대한 응답에 의해, 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하며, 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여 재료 파일의 3차원 모델을 생성하며, 굴착기의 회전 조작 특성을 이용하여 기계팔 등 부재에 의해 쉽게 차단되지 않는 양안 카메라로 재료 파일의 깊이 이미지를 수집하고 3차원 모델링을 진행함으로써, 차단으로 인해 초래되는 재료 파일의 이미지 정보의 결함을 방지하여, 세부사항이 완전하고, 재료 파일의 3차원 재구성의 정확도를 향상시킨다. 라이다, 드론 항공 촬영에 의해 재료 파일의 3차원 정보를 획득하는 방식에 비해, 양안 카메라의 원가가 보다 낮고 3차원 모델을 생성하는 속도가 더 빠르다.
상기 실시예의 일부 선택 가능한 구현 방식에서, 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하는 단계 (201)는 아래와 같은 방식으로 수행할 수 있다. 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라를 작동시키고, 양안 카메라가 굴착기 몸체를 회전하여 재료를 운송 과정에서 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득할 수 있다.
구체적으로, 굴착기로 발송되는 제어 명령을 실시간으로 감지할 수 있고, 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령이 감지될 경우, 굴착기 측면에 설치된 양안 카메라를 향해 작동 명령을 발송하고, 양안 카메라가 작동 명령을 접수한 후에 작업을 시작하여 이미징 범위 내의 이미지를 수집할 수 있다. 몸체를 회전하여 재료를 운송하는 과정에서, 양안 카메라는 지속적으로 작업하되, 일정한 빈도로 재료 파일의 이미지를 수집하여 이미지 시퀀스를 형성한다.
더 나아가, 상기 실시예의 일부 선택 가능한 구현 방식에서, 상기 굴착기의 양 측면에는 상기 양안 카메라가 설치되어 있고 이 때, 아래와 같은 방식으로 굴착기 측면에 설치된 양안 카메라에 의해 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득할 수 있다. 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 상기 굴착기 몸체의 회전 방향에 근거하여, 상기 재료 파일 방향으로 회전하는 일측에 설치된 양안 카메라를 결정하고, 상기 재료 파일 방향으로 회전하는 일측에 설치된 상기 양안 카메라에 작동 명령을 발송하며, 굴착기 몸체가 회전하여 재료를 운송하는 과정에서 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득할 수 있다.
굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령이 감지될 경우, 상기 명령에 의한 몸체의 회전 방향을 획득하여, 상기 회전 방향에 근거하여 재료 파일의 일측을 향하는 양안 카메라를 결정할 수 있다. 즉, 몸체가 회전한 후 이미징 범위가 커버하는 굴착된 재료 파일의 일측에 설치된 양안 카메라를 결정하고, 상기 양안 카메라를 작동시켜 재료 파일의 깊이 이미지 시퀀스를 수집할 수 있다.
계속하여 도 4를 참조하면 도 4는 본 발명에 따른 재료 파일의 3차원 재구성 방법의 다른 일 실시예의 흐름도를 도시한다. 도 4에 도시된 바와 같이, 본 실시예의 재료 파일의 3차원 재구성 방법의 흐름(400)은 아래와 같은 단계를 포함할 수 있다.
단계 (401)에서 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 몸체가 회전하는 방향에 근거하여, 재료 파일 방향으로 회전하는 일측에 설치된 양안 카메라를 결정하고, 재료 파일 방향으로 회전하는 일측에 설치된 양안 카메라에 작동 명령을 발송하며, 굴착기 몸체가 회전하여 재료를 운송하는 과정에서 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득한다.
본 실시예에서, 굴착기의 양 측면에 양안 카메라가 설치되어 있다. 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령이 감지될 경우, 상기 명령에 의한 몸체 회전 방향을 획득하여, 상기 회전 방향에 근거하여 재료 파일 방향으로 회전하는 일측을 향한 양안 카메라를 결정하고, 재료 파일의 일측까지 회전된 양안 카메라에 작동 명령을 발송할 수 있다. 또는, 재료 파일의 일측까지 회전된 양안 카메라에 의해 굴착기 몸체가 회전하는 과정에서 수집된 재료 파일의 깊이 이미지 시퀀스를 획득할 수 있다.
실시 과정에서, 굴착 과정에서 재료 파일의 위치는 일반적으로 변하지 않고, 굴착기가 오른쪽으로 회전할 때, 굴착기 좌측면에 설치된 양안 카메라가 재료 파일의 일측까지 회전되고, 굴착기 우측면에 설치된 양안 카메라는 재료 파일의 일측의 반대 방향으로 회전된다. 이 때, 굴착기가 오른쪽으로 회전하여 버킷의 재료를 운송하는 과정에서 좌측면의 양안 카메라로 재료 파일의 이미지를 수집하고, 우측면에 설치된 양안 카메라는 셧다운 상태를 유지할 수 있다. 반대로, 굴착기가 왼쪽으로 회전할 때, 굴착기 우측면에 설치된 양안 카메라는 재료 파일의 일측의 반대 방향으로 회전한다. 이 때, 굴착기가 왼쪽으로 회전하여 버킷의 재료를 운송하는 과정에서 우측면의 양안 카메라로 재료 파일의 이미지를 수집하고, 좌측면에 설치된 양안 카메라는 셧다운 상태를 유지할 수 있다. 따라서, 굴착기가 어느 방향으로 회전하든지 모두 양안 카메라로 재료 파일의 이미지를 수집할 수 있다.
단계 (402)에서, 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여, 재료 파일의 3차원 모델을 생성한다.
본 실시예에서, 단계 (401)에서 획득한 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행할 수 있다. 구체적으로, 깊이 이미지 시퀀스의 깊이 이미지에 대해, 양안 카메라의 외부 파라미터 매트릭스(예를 들어, 회전 매트릭스, 평행이동 매트릭스 등)에 기반하여 깊이 이미지의 이미지 정보 점을 3차원 공간으로 매핑한 후, 3차원 공간에서 매핑하여 얻은 점을 연결하여, 상기 깊이 이미지에 대응되는 3차원 모델을 형성할 수 있다. 다음, 깊이 이미지 시퀀스의 다양한 깊이 이미지에 의해 형성된 3차원 모델에 대해 융합하여, 깊이 이미지 시퀀스에 대응되는 3차원 모델을 얻을 수 있다.
본 실시예의 일부 선택 가능한 구현 방식에서, 재료 파일의 깊이 이미지 시퀀스에 기초하여 아래와 같은 방식으로 3차원 재구성을 실행하여 재료 파일의 3차원 모델을 생성할 수 있다. 먼저, 재료 파일의 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 전환시킨 후, 깊이 이미지 시퀀스에서의 인접 이미지의 중첩 부분에 기반하여 3차원 포인트 클라우드 시퀀스에 대해 융합하고, 융한한 후의 재료 파일의 3차원 포인트 클라우드를 얻으며, 마지막으로 재료 파일의 3차원 포인트 클라우드에 기반하여 재료 파일의 3차원 모델을 생성한다.
구체적으로, 상기 구현 방식에서, 이미지 좌표계와 세계 좌표 사이의 전환 매트릭스를 이용하고, 깊이 이미지의 깊이 이미지 정보를 이용하여 2차원 이미지를 3차원 포인트 클라우드로 전환 시킬 수 있다. 즉, 2차원 이미지의 각 점을 3차원 공간으로 매핑하여, 깊이 이미지 시퀀스의 깊이 이미지에 일대일로 대응되는 3차원 포인트 클라우드 시퀀스를 얻을 수 있다. 그리고, 깊이 이미지 시퀀스의 인접한 이미지의 중첩 부분에 대해 SIFT(Scale-invariant feature transform, 크기 불변 특징 변환) 등 방법에 기반하여 특징점을 추출하고 매칭하며, 인접 이미지 사이의 매칭된 특징점에 따라, 차례로 각 인접 이미지에 대응되는 3차원 포인트 클라우드에 대해 융합하여, 완전한 재료 파일의 3차원 포인트 클라우드를 얻을 수 있다. 다음으로, 3차원 포인트 클라우드에 대해 전처리를 진행하여 노이즈를 제거하고 데이터를 보간할 수 있다. 그리고, 포인트 클라우드에 대해 삼각 메싱(meshing)을 진행한 후, 마지막으로 삼각 메쉬에 대해 렌더링을 진행하여 재료 파일의 3차원 모델을 얻는다.
단계 (403)에서, 굴착기의 버킷을 제어하여 재료를 언로딩하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라를 셧다운한다.
본 실시예에서, 재료 파일의 3차원 재구성 방법의 수행 주체는 굴착기의 버킷을 제어하여 재료를 언로딩하는 명령이 감지될 경우, 이미 작동된 양안 카메라를 셧다운하여 재료 파일의 이미지 수집을 정지할 수 있다. 양안 카메라가 작동해서 셧다운할 때까지의 시간대에서 수집한 모든 이지미를, 수집된 재료 파일의 이미지 시퀀스로 사용할 수 있다.
일반적으로, 굴착기의 버킷을 제어하여 재료를 언로딩하는 명령을 생성할 때, 굴착기의 버킷은 이미 언로딩 영역에 이동하여 언로딩 조작을 준비하고 있고, 이 때, 곧 다음의 굴착 조작을 실행하려고 하기에, 현재의 재료 파일의 3차원 정보를 획득하여 다음의 굴착 조작을 결정해야 함으로, 재료 파일의 이미지의 수집을 정지하고, 현재 재료 파일의 깊이 이미지 시퀀스의 수집을 완료할 수 있다. 단계 (401)에서 작동한 양안 카메라를 셧다운하여 이미지 수집을 완료할 수 있고, 구체적으로, 작동된 카메라에 셧다운 명령을 발송할 수 있다.
따라서, 버킷이 재료를 언로딩하고 굴착기가 회전하여 재료를 언로딩 영역에 운송하여 언로딩하는 과정에서, 양안 카메라의 작동 조작과 셧다운 조작을 각각 1회씩 수행하여, 다양한 시각의 굴착 조작이 대응되는 재료 파일의 이미지의 수집 시각의 커팅을 구현할 뿐만 아니라, 양안 카메라가 이미징 범위가 재료 파일을 커버할 때만이 작동되고 다른 시간대에는 셧다운되어 에너지 절약에 이롭다.
상기 도 2와 도 4를 결합하여 설명한 실시예의 일부 선택 가능한 구현 방식에서, 재료 파일의 3차원 재구성 방법은 재료 파일의 3차원 모델에 근거하여 재료 파일에 대해 굴착하는 굴착 동작을 계획하고 굴착 동작을 수행하는 명령을 생성하는 단계를 더 포함할 수 있다. 재료 파일의 3차원 재구성을 완료한 후, 재료 파일의 표면 특성, 부피 등 정보에 근거하여 다음의 굴착 동작의 굴착 점과 굴착 각도를 결정하고, 굴착기와 버킷을 제어하여 대응되는 굴착점 위치에 이동시키고, 버킷을 제어하여 굴착 각도로 굴착하는 굴착 동작 명령을 생성할 수 있다. 굴착기는 상기 명령을 접수한 후 대응되는 굴착 동작을 수행할 수 있다. 따라서, 굴착된 재료 파일의 3차원 재구성 결과에 기반한 굴착 동작 결정을 실현하고 무인 자율식 굴착기의 자율 굴착 기능을 실현한다.
도 5를 더 참조하면 상기 각각의 도면에 도시된 방법의 실현으로서, 본 발명은 재료 파일의 3차원 재구성 장치의 일 실시예를 제공하고, 상기 장치 실시예와 도 2 및 도 4에 도시된 방법 실시예는 대응되며, 구체적으로, 상기 장치는 여러 전자 기기에 응용될 수 있다.
도 5에 도시된 바와 같이, 본 실시예의 재료 파일의 3차원 재구성 장치(500)는 획득 유닛(501)과 생성 유닛(502)을 포함한다. 여기서, 획득 유닛(501)은 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하도록 구성되어, 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득한다. 생성 유닛(502)은 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하도록 설치되어 재료 파일의 3차원 모델을 생성한다.
일부 실시예에서, 상기 획득 유닛(501)은 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 아래와 같은 방식으로 획득할 수 있다. 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여 굴착기 측면에 설치된 양안 카메라를 작동시킨다. 굴착기가 회전하여 재료를 운송하는 과정에서 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득한다.
일부 실시예에서, 상기 굴착기의 양 측면에 양안 카메라가 설치되어 있고, 상기 획득 유닛(501)은 아래와 같은 방식에 따른 굴착기 측면에 설치된 양안 카메라를 작동하도록 구성될 수 있다. 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 굴착기 몸체 회전의 방향에 따라 재료 파일의 일측에 설치된 양안 카메라를 결정하고 반대 방향으로 설치된 재료 파일의 일측에 설치된 양안 카메라에 작동 명령을 발송한다.
일부 실시예에서, 상기 장치(500)는 굴착기의 버킷을 제어하여 재료를 언로딩하는 명령을 감지한 것에 응답하여 굴착기 측면에 설치된 양안 카메라를 셧다운하는 셧다운 유닛을 더 포함한다.
일부 실시예에서, 상기 생성 유닛(502)이 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여 재료 파일의 3차원 모델을 생성하는 방식은 아래와 같다. 재료 파일의 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 전환시키고, 깊이 이미지 시퀀스의 인접 이미지의 중첩 부분에 기반하여 3차원 포인트 클라우드 시퀀스에 대해 융합하여 융합한 후의 재료 파일의 재료 파일의 3차원 포인트 클라우드를 획득하며, 재료 파일의 3차원 포인트 클라우드에 기반하여 재료 파일의 3차원 모델을 생성한다.
일부 실시예에서, 상기 장치(500)는 재료 파일의 3차원 모델에 근거하여 재료 파일에 대해 굴착하는 굴착 동작을 계획하여 굴착 동작을 수행하는 명령을 생성하도록 구성되는 계획 유닛을 더 포함할 수 있다.
장치(500)에서 기재된 여러 유닛은 도 2와 도 4에서 설명한 방법에서의 각 단계와 대응된다는 것을 이해해야 한다. 따라서, 상기 방법에서 설명한 조작과 특징은 장치(500) 및 이에 포함된 유닛에 적용되므로, 여기에서 더 이상 반복하여 설명하지 않는다.
본 발명의 상기 실시예의 재료 파일의 3차원 재구성 장치(500)는, 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 대한 응답에 의해, 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하며, 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여 재료 파일의 3차원 모델을 생성하며, 굴착기의 회전 조작 특성을 이용하여 기계팔 등 부재에 의해 쉽게 차단되지 않는 양안 카메라로 재료 파일의 깊이 이미지를 수집하고 3차원 모델링을 진행함으로써, 차단으로 인해 초래되는 재료 파일의 이미지 정보의 결함을 방지하여, 세부사항이 완전하고, 재료 파일의 3차원 재구성의 정확도를 향상시켰다. 라이다, 드론 항공 촬영에 의해 재료 파일의 3차원 정보를 획득하는 방식에 비해, 양안 카메라의 원가가 보다 낮고 3차원 모델을 생성하는 속도가 더 빠르다.
이하 도 6은 본 발명의 실시예에 따른 전자 기기를 구현하기에 적합한 전자 기기(예를 들어, 도 1의 서버)(600)를 도시한 구조 모식도이다. 도 6에 도시된 서버는 일례에 불과하고 본 발명의 실시예의 기능과 사용 범위에 대해 어떠한 한정도 아니다.
도 6에 도시된 바와 같이, 전자 기기(600)는 중앙 처리 장치(CPU), 이미지 처리기 등과 같은 처리 장치(601)를 포함할 수 있고 상기 처리 장치는 판독 전용 메모리(ROM)(602)에 저장된 프로그램 또는 저장 장치(608)에서 랜덤 액세스 메모리(RAM)(603)에 로딩된 프로그램에 따라 다양하고 적절한 동작 및 처리를 수행할 수 있다. RAM(603)에는 또한 전자 기기(600)의 조작에 필요한 다양한 프로그램 및 데이터가 저장된다. 처리 장치(601), ROM(602) 및 RAM(603)은 버스(604)를 통해 서로 연결된다. 입력/출력(I/O) 인터페이스(605) 또한 버스(604)에 연결된다.
일반적으로, 터치스크린, 터치패드, 키보드, 마우스, 카메라, 마이크, 가속도계, 자이로 등을 포함하는 입력 장치(606); 예를 들어 액정 디스플레이(LCD), 스피커, 진동기 등을 포함하는 출력 장치(607); 예를 들어 하드 디스크 등을 포함하는 저장 장치(608); 및 통신 장치(609)는 I/O 인터페이스(605)에 연결된다. 통신 장치(609)는 전자 기기(600)과 다른 기기 사이에 무선 또는 유선 통신을 통해 데이터 교환이 가능하도록 한다. 비록 도 6은 여러 장치를 구비한 전자 기기(600)를 도시하였지만 도시된 모든 장치를 실시하거나 구비할 필요는 없음을 이해해야 한다. 물론, 더 많거나 적은 장치를 대체로 실시하거나 구비 수 있다. 도 6에 도시된 매 블록은 하나의 장치를 대표할 수도 있고 또한 수요에 따라 여러 장치를 대표할 수 있다.
특히, 본 발명의 실시예에 따르면, 흐름도를 참조하여 설명한 상기 과정은 컴퓨터 소프트웨어 프로그램에 의해 구현될 수 있다. 예를 들어, 본 발명의 실시예는 컴퓨터 판독 가능 매체에 베어링된 컴퓨터 프로그램을 비롯한 컴퓨터 프로그램 제품을 포함하고, 상기 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함한다. 이러한 실시예에서, 상기 컴퓨터 프로그램은 통신 장치(609)를 통해 네트워크에서 다운로드 및 설치될 수 있거나 저장 장치(608)에서 설치되거나 ROM(602)에서 설치될 수 있다. 상기 컴퓨터 프로그램이 처리 장치(601)에 의해 실행될 경우, 본 발명의 실시예의 방법에 한정된 상기 기능들이 수행된다. 본 발명에 기재된 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 신호 매체 또는 컴퓨터 판독 가능 저장 매체 또는 그 양자의 임의의 조합일 수 있음에 유의해야 한다. 컴퓨터 판독 가능 저장 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체의 시스템, 장치 또는 소자, 또는 이들의 임의의 조합 일 수 있지만, 이에 한정되지는 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예는 하나 또는 복수의 와이어를 구비하는 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치 또는 이들의 임의의 적절한 조합을 포함 할 수 있지만, 이에 한정되지는 않는다. 본 발명의 실시예에서, 컴퓨터 판독 가능 저장 매체는 명령 실행 시스템, 장치 또는 소자 또는 이들과 결합되어 사용될 수 있는 프로그램을 포함하거나 저장할 수 있는 임의의 타입의 매체일 수 있다. 본 발명의 실시예에서, 컴퓨터 판독 가능 신호 매체는 컴퓨터 판독 가능 프로그램 코드를 베어링하는 베이스 밴드 또는 캐리어의 일부로 전파되는 데이터 신호를 포함 할 수있다. 이러한 전파된 데이터 신호는 전자기 신호, 광학 신호, 또는 상기 임의의 적절한 조합을 포함하지만 이에 한정되지 않는 다양한 형태를 취할 수있다. 컴퓨터 판독 가능 신호 매체는 또한 명령 실행 시스템, 장치 또는 소자에 사용되거나 이와 결합하여 사용하기 위한 프로그램을 전송, 전파 또는 수송할 수 있는 컴퓨터 판독 가능 매체 이외의 임의의 컴퓨터 판독 가능 매체일 수 있다. 컴퓨터 판독 가능 매체에 포함된 프로그램 코드는 전기선, 광케이블, RF 등, 또는 상기의 임의의 적절한 조합을 포함하지만 이에 한정되지 않는 임의의 적절한 매체에 의해 전송될 수있다.
상기 컴퓨터 판독 가능 매체는 상기 전자 기기에 포함될 수도 있고, 별도로 존재하여 상기 전자 기기에 설치되지 않을 수도 있다. 상기 컴퓨터 판독 가능 매체는 하나 또는 복수의 프로그램이 베어링되어 있어 하나 또는 복수의 프로그램이 상기 전자 기기에 의해 수행될 경우, 상기 전자 기기로 하여끔, 굴착기 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하고, 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여 재료 파일의 3차원 모델을 형성한다.
본 발명의 동작을 수행하기 위한 컴퓨터 프로그램 코드는 하나 또는 하나 이상의 프로그래밍 언어, 또는 그들의 조합으로 작성될 수 있다. 상기 프로그래밍 언어는 Java, Smalltalk, C++를 비롯한 객체 지향 프로그래밍 언어와 "C" 언어 또는 유사한 프로그래밍 언어를 비롯한 기존 절차적 프로그래밍 언어를 포함한다. 프로그램 코드는 완전히 사용자의 컴퓨터에서 실행되거나, 부분적으로 사용자의 컴퓨터에서 실행되거나, 독립형 소프트웨어 패키지로서 실행되거나, 일부는 사용자의 컴퓨터에서 실행되고 일부는 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우 원격 컴퓨터는 LAN 또는 WAN을 포함한 임의의 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결).
도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 아키텍처, 기능 및 조작을 도시한다. 이 점에서, 흐름도 또는 블록도의 각 블록은 지정된 논리 기능을 구현하기 위한 하나 또는 하나 이상의 실행 가능한 명령을 포함하는 모듈, 프로그램 세그먼트 또는 코드의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 마크업된 기능은 또한 도면에 도시된 것과 다른 순서로 발생할 수 있음에 유의해야 한다. 예를 들어, 연속적으로 표현된 2개의 블록은 실제로 병렬로 실행될 수 있고, 관련 기능에 따라 때때로 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도에서 블록의 조합은 지정된 기능 또는 조작을 수행하는 전용 하드웨어 기반 시스템에 의해 구현될 수 있거나 전용 하드웨어와 컴퓨터 명령을 조합하여 구현할 수도 있음에 유의해야 한다.
본 발명의 실시예들에 설명된 유닛들은 소프트웨어 또는 하드웨어에 의해 구현될 수 있다. 설명 된 유닛은 또한 프로세서, 예를 들어 획득 유닛, 생성 유닛, 결정 유닛 및 제어 유닛을 포함하는 프로세서에 설치될 수도 있다. 여기서 이들 유닛의 명칭은 경우에 따라서는 유닛 자체로 한정되지 않으며, 예를 들어, 획득 유닛은 "굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여 굴착기 측면에 설치된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하는 유닛”으로 기술될 수도 있다.
상기 설명은 본 발명의 바람직한 실시예 및 적용된 기술의 원리에 대한 설명일 뿐이다. 본 발명이 속하는 기술분야의 통상의 기술자들은 본 발명에 언급된 본 발명의 범위는 상기 기술적 특징의 특정 조합에 따른 기술적 해결수단에 한정되지 않으며, 동시에 본 발명의 사상을 벗어나지 않는 상황에서 상기 기술적 특징 또는 그 듄등한 특징에 대해 임의로 조합하여 형성된 다른 기술적 해결수단, 예를 들어, 상기 특징과 본 발명에 공개된(단 이에 한정되지 않음) 유사한 기능을 구비하는 기술적 특징을 서로 교체하여 형성된 기술적 해결수단을 포함함을 이해하여야 한다.

Claims (14)

  1. 재료 파일의 3차원 재구성 방법에 있어서,
    상기 3차원 재구성 방법은 굴착기에 설치된 데이터 처리 부재에 의해 수행되고, 상기 굴착기의 양측에는 각각 양안 카메라가 설치되며, 상기 3차원 재구성 방법은,
    굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 상기 굴착기 몸체의 회전 방향에 근거하여, 상기 재료 파일의 방향으로 회전하는 일측에 설치된 양안 카메라를 결정하고, 결정된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하는 단계; 및
    상기 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여, 상기 재료 파일의 3차원 모델을 생성하는 단계를 포함하는 것을 특징으로 하는 재료 파일의 3차원 재구성 방법.
  2. 제1항에 있어서,
    상기 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 상기 결정된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하는 단계는,
    상기 굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 상기 결정된 양안 카메라를 작동시키는 단계; 및
    상기 결정된 양안 카메라가 굴착기 몸체 회전 및 재료의 운송 과정에서 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하는 단계를 포함하는 것을 특징으로 하는 재료 파일의 3차원 재구성 방법.
  3. 삭제
  4. 제2항에 있어서,
    상기 재료 파일의 3차원 재구성 방법은,
    상기 굴착기의 버킷을 제어하여 재료를 언로딩하라는 명령을 감지한 것에 응답하여, 상기 결정된 양안 카메라를 셧다운(shutdown)하는 단계를 더 포함하는 것을 특징으로 하는 재료 파일의 3차원 재구성 방법.
  5. 제1항에 있어서,
    상기 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여, 상기 재료 파일의 3차원 모델을 생성하는 상기 단계는,
    상기 재료 파일의 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 전환시키는 단계;
    상기 깊이 이미지 시퀀스에서의 인접 이미지 중첩 부분에 기반하여 3차원 포인트 클라우드 시퀀스를 융합하여, 융합한 후의 상기 재료 파일의 3차원 포인트 클라우드를 얻는 단계; 및
    상기 재료 파일의 3차원 포인트 클라우드에 기반하여 상기 재료 파일의 3차원 모델을 얻는 단계를 포함하는 것을 특징으로 하는 재료 파일의 3차원 재구성 방법.
  6. 제1항, 제2항, 제4항 및 제5항 중 어느 한 항에 있어서,
    상기 재료 파일의 3차원 재구성 방법은,
    상기 재료 파일의 3차원 모델에 근거하여 상기 재료 파일에 대해 굴착하는 굴착 동작을 계획하여, 상기 굴착 동작을 실행하는 명령을 생성하는 단계를 더 포함하는 것을 특징으로 하는 재료 파일의 3차원 재구성 방법.
  7. 재료 파일의 3차원 재구성 장치에 있어서,
    상기 3차원 재구성 장치는 굴착기에 설치되고, 상기 굴착기의 양측에는 각각 양안 카메라가 설치되며, 상기 3차원 재구성 장치는,
    굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 상기 굴착기 몸체의 회전 방향에 근거하여, 상기 재료 파일의 방향으로 회전하는 일측에 설치된 양안 카메라를 결정하고, 결정된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하도록 구성되는 획득 유닛; 및
    상기 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여, 상기 재료 파일의 3차원 모델을 생성하도록 구성되는 생성 유닛을 포함하는 것을 특징으로 하는 재료 파일의 3차원 재구성 장치.
  8. 제7항에 있어서,
    굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 상기 결정된 양안 카메라가 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하도록 구성되는 상기 획득 유닛은,
    굴착기 몸체의 회전을 제어하여 재료를 운송하는 명령을 감지한 것에 응답하여, 상기 결정된 양안 카메라를 작동시키고,
    상기 결정된 양안 카메라가 굴착기 몸체 회전 및 재료의 운송 과정에서 수집한 굴착된 재료 파일의 깊이 이미지 시퀀스를 획득하는 것을 특징으로 하는 재료 파일의 3차원 재구성 장치.
  9. 삭제
  10. 제8항에 있어서,
    상기 재료 파일의 3차원 재구성 장치는,
    상기 굴착기의 버킷을 제어하여 재료를 언로딩하라는 명령을 감지한 것에 응답하여, 상기 결정된 양안 카메라를 셧다운시키는 셧다운 유닛을 더 포함하는 것을 특징으로 하는 재료 파일의 3차원 재구성 장치.
  11. 제7항에 있어서,
    상기 재료 파일의 깊이 이미지 시퀀스에 기반하여 3차원 재구성을 진행하여, 상기 재료 파일의 3차원 모델을 생성하도록 구성되는 상기 생성 유닛은,
    상기 재료 파일의 깊이 이미지 시퀀스를 3차원 포인트 클라우드 시퀀스로 전환시키고,
    상기 깊이 이미지 시퀀스에서의 인접 이미지 중첩 부분에 기반하여 3차원 포인트 클라우드 시퀀스를 융합하여, 융합한 후의 상기 재료 파일의 3차원 포인트 클라우드를 획득하며,
    상기 재료 파일의 3차원 포인트 클라우드에 기반하여 상기 재료 파일의 3차원 모델을 획득하는 것을 특징으로 하는 재료 파일의 3차원 재구성 장치.
  12. 제7항, 제8항, 제10항 및 제11항 중 어느 한 항에 있어서,
    상기 재료 파일의 3차원 재구성 장치는,
    상기 재료 파일의 3차원 모델에 근거하여 상기 재료 파일에 대해 굴착하는 굴착 동작을 계획하여, 상기 굴착 동작을 실행하는 명령을 생성하도록 구성되는 계획 유닛을 더 포함하는 것을 특징으로 하는 재료 파일의 3차원 재구성 장치.
  13. 하나 또는 복수의 프로세서; 및
    하나 또는 복수의 프로그램을 저장하는 저장 장치를 포함하는 전자 기기에 있어서,
    하나 또는 복수의 프로그램이 하나 또는 복수의 프로세서에 의해 실행될 경우, 상기 하나 또는 복수 프로세서가 제1항, 제2항, 제4항 및 제5항 중 어느 한 항에 따른 방법을 수행하는 것을 특징으로 하는 전자 기기.
  14. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 매체에 있어서,
    상기 프로그램이 프로세서에 의해 실행될 경우 제1항, 제2항, 제4항 및 제5항 중 어느 한 항에 따른 방법을 수행하는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
KR1020190141775A 2019-01-25 2019-11-07 재료 파일의 3차원 재구성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체 KR102202558B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910075865.7 2019-01-25
CN201910075865.7A CN109816778B (zh) 2019-01-25 2019-01-25 物料堆三维重建方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
KR20200093414A KR20200093414A (ko) 2020-08-05
KR102202558B1 true KR102202558B1 (ko) 2021-01-14

Family

ID=66605367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190141775A KR102202558B1 (ko) 2019-01-25 2019-11-07 재료 파일의 3차원 재구성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체

Country Status (4)

Country Link
US (1) US11568593B2 (ko)
JP (1) JP7137548B2 (ko)
KR (1) KR102202558B1 (ko)
CN (1) CN109816778B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6644871B2 (ja) * 2016-03-31 2020-02-12 住友建機株式会社 ショベル及びショベルの表示装置
CN110321836B (zh) * 2019-07-01 2023-07-21 芜湖启迪睿视信息技术有限公司 一种基于图像和激光点云图的输送物料检测方法
CN110458938B (zh) * 2019-07-22 2021-11-12 武汉理工大学 一种散货料堆实时三维重建方法及系统
CN110779989B (zh) * 2019-11-04 2020-11-06 北京理工大学 一种超声波三维重建的物料监测系统及方法
CN113785091B (zh) * 2020-03-27 2023-10-24 住友重机械工业株式会社 施工机械、信息管理系统、信息终端、程序
US11595618B2 (en) * 2020-04-07 2023-02-28 Caterpillar Inc. Enhanced visibility system for work machines
CN111815703B (zh) * 2020-07-16 2024-05-03 中国农业机械化科学研究院 基于双目相机的手持式谷堆测方装置和谷堆测方方法
CN111986219B (zh) * 2020-08-10 2023-09-19 中国科学院光电技术研究所 一种三维点云与自由曲面模型的匹配方法
CN114592559A (zh) * 2020-12-04 2022-06-07 长安大学 一种特殊环境下的液压挖掘机远程自动控制系统
KR20220140297A (ko) * 2021-04-09 2022-10-18 현대두산인프라코어(주) 건설기계를 위한 센서 퓨전 시스템 및 센싱 방법
US11734883B2 (en) * 2021-04-14 2023-08-22 Lineage Logistics, LLC Generating mappings of physical spaces from point cloud data
CN113379894B (zh) * 2021-06-10 2023-08-01 西安亚思工业自动化控制有限公司 一种棒材的三维数据模型重构方法
CN113463720B (zh) * 2021-06-30 2023-02-17 广西柳工机械股份有限公司 装载机铲斗接触物料的辨识系统和方法
CN116335230A (zh) * 2023-04-21 2023-06-27 中国矿业大学 一种基于视觉辅助的矿用电铲自动挖掘作业方法
CN116450018B (zh) * 2023-06-16 2023-08-15 西安交通大学城市学院 面向虚拟现实应用的文物修复数据处理方法
CN116665139B (zh) * 2023-08-02 2023-12-22 中建八局第一数字科技有限公司 堆状物料体积识别方法、装置、电子设备及存储介质
CN117437291B (zh) * 2023-12-21 2024-05-17 河南卫华重型机械股份有限公司 一种基于双目视觉的数字化料堆可视方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1008448A1 (ru) * 1981-11-06 1983-03-30 Brekhov Ivan T Способ реконструкции карьера
JPH1088625A (ja) * 1996-09-13 1998-04-07 Komatsu Ltd 自動掘削機、自動掘削方法および自動積み込み方法
US6108949A (en) * 1997-12-19 2000-08-29 Carnegie Mellon University Method and apparatus for determining an excavation strategy
JP2000192514A (ja) * 1998-12-28 2000-07-11 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその運転方法
DE60140440D1 (de) 2000-05-05 2009-12-24 Robert A Hasara Lasergesteuerte baumaschine
KR100928836B1 (ko) 2007-08-08 2009-11-27 성균관대학교산학협력단 굴삭기용 굴삭시스템 및 이에 의한 굴삭기의 굴삭방법
KR100952482B1 (ko) 2008-06-30 2010-04-13 인하대학교 산학협력단 회전식 다중 배율 렌즈를 이용한 3차원 지반형상 이미지구현 시스템 및 이를 이용한 토공량 산출방법
JP5227841B2 (ja) 2009-02-27 2013-07-03 日立建機株式会社 周囲監視装置
EP2602588A1 (en) * 2011-12-06 2013-06-12 Hexagon Technology Center GmbH Position and Orientation Determination in 6-DOF
US9300954B2 (en) * 2012-09-21 2016-03-29 Tadano Ltd. Surrounding information-obtaining device for working vehicle
JP6361239B2 (ja) 2014-04-03 2018-07-25 日本精機株式会社 車両用表示装置
WO2015198410A1 (ja) 2014-06-25 2015-12-30 株式会社日立製作所 外界認識装置
JP2016065422A (ja) 2014-09-26 2016-04-28 株式会社日立製作所 外界認識装置および外界認識装置を用いた掘削機械
US20160312432A1 (en) * 2015-04-23 2016-10-27 Caterpillar Inc. Computer Vision Assisted Work Tool Recognition and Installation
JP2017025503A (ja) * 2015-07-17 2017-02-02 清水建設株式会社 建設機器操作アシスト表示システム
CN107923745B (zh) * 2015-08-26 2021-07-23 住友建机株式会社 挖土机的测量装置
KR20170039612A (ko) 2015-09-30 2017-04-11 가부시키가이샤 고마쓰 세이사쿠쇼 교정 시스템, 작업 기계 및 교정 방법
JP6995767B2 (ja) 2016-10-31 2022-01-17 株式会社小松製作所 計測システム、作業機械及び計測方法
JP6924607B2 (ja) 2017-04-21 2021-08-25 佐藤工業株式会社 三次元立体の表現方法及び評価方法
JP6824830B2 (ja) 2017-06-19 2021-02-03 株式会社神戸製鋼所 転倒防止装置及び作業機械
CN108335353B (zh) * 2018-02-23 2020-12-22 清华-伯克利深圳学院筹备办公室 动态场景的三维重建方法、装置和系统、服务器、介质
US10689830B2 (en) * 2018-08-06 2020-06-23 Deere & Company Container angle sensing using vision sensor for feedback loop control
JP7166108B2 (ja) * 2018-08-31 2022-11-07 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット
JP2019007348A (ja) 2018-10-09 2019-01-17 住友建機株式会社 ショベル

Also Published As

Publication number Publication date
CN109816778B (zh) 2023-04-07
CN109816778A (zh) 2019-05-28
JP2020125668A (ja) 2020-08-20
US11568593B2 (en) 2023-01-31
KR20200093414A (ko) 2020-08-05
US20200242829A1 (en) 2020-07-30
JP7137548B2 (ja) 2022-09-14

Similar Documents

Publication Publication Date Title
KR102202558B1 (ko) 재료 파일의 3차원 재구성 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 매체
KR102454694B1 (ko) 굴착기의 굴착 제어 방법 및 장치
KR102343989B1 (ko) 주행 경로 생성 방법 및 장치
CN109087359B (zh) 位姿确定方法、位姿确定装置、介质和计算设备
CN109903326B (zh) 用于确定工程机械设备的旋转角度的方法和装置
US9892552B2 (en) Method and apparatus for creating 3-dimensional model using volumetric closest point approach
US10689830B2 (en) Container angle sensing using vision sensor for feedback loop control
KR102364862B1 (ko) 타겟 굴착점 선택 방법 및 장치
JP2020140696A (ja) 掘削機のバケットの位置姿勢を確定するための方法及び装置
US11952746B1 (en) Autonomous control of on-site movement of powered earth-moving construction or mining vehicles
US20240068202A1 (en) Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems
JP7463463B2 (ja) 作業地形検出方法、装置及び作業地形を検出するための工事機器
AU2022287561B2 (en) Hardware component configuration for autonomous control of powered earth-moving vehicles
Glaspell et al. Optimized Low Size, Weight, Power and Cost (SWaP-C) Payload for Mapping Interiors and Subterranean on an Unmanned Ground Vehicle
CN113359148B (zh) 激光雷达点云数据处理方法、装置、设备及存储介质
US11062511B2 (en) Controlling mobile construction equipment for subterranean mapping
CN117011472A (zh) 挖掘机的辅助控制方法、装置、设备和可读存储介质
CN116168168A (zh) 虚拟场景下的地形生成方法、装置、系统及工程机械

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant