KR20220044339A - 건설 기계용 가동 기록 분석 시스템 - Google Patents

건설 기계용 가동 기록 분석 시스템 Download PDF

Info

Publication number
KR20220044339A
KR20220044339A KR1020227007890A KR20227007890A KR20220044339A KR 20220044339 A KR20220044339 A KR 20220044339A KR 1020227007890 A KR1020227007890 A KR 1020227007890A KR 20227007890 A KR20227007890 A KR 20227007890A KR 20220044339 A KR20220044339 A KR 20220044339A
Authority
KR
South Korea
Prior art keywords
vehicle body
information
operation information
detection device
analysis system
Prior art date
Application number
KR1020227007890A
Other languages
English (en)
Inventor
요시부미 후쿠다
다쿠야 나카
마사츠구 아라이
고타로 마스다
Original Assignee
히다치 겡키 가부시키 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 히다치 겡키 가부시키 가이샤 filed Critical 히다치 겡키 가부시키 가이샤
Publication of KR20220044339A publication Critical patent/KR20220044339A/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

건설 기계의 가동 시에 기록된 가동 정보 중에서, 가동률 저하의 요인이 될 수 있는 작업 내용을 효율적으로 추출하는 것이 가능한 건설 기계용 가동 기록 분석 시스템을 제공한다. 건설 기계용 가동 기록 분석 시스템에 있어서, 차체의 주위에 존재하는 물체를 검출하는 물체 검출 장치를 구비하고, 컨트롤러는, 상기 물체 검출 장치로부터의 정보에 의거하여 상기 물체의 위치를 산출하고, 차체 위치 검출 장치 및 차체 자세 검출 장치로부터의 정보와 상기 물체의 위치에 의거하여 상기 차체와 상기 물체가 근접하고 있는지의 여부를 판정하여, 그 판정 결과를 가동 정보에 추가한다.

Description

건설 기계용 가동 기록 분석 시스템
본 발명은, 광산 등에서 작업을 행하는 셔블 등의 건설 기계에 있어서, 건설 기계의 작업 상황을 효율적으로 파악하기 위해, 건설 기계의 가동 기록을 분석하는 시스템에 관한 것이다.
본 기술 분야의 배경 기술로서, 특허문헌 1이 있다. 특허문헌 1에는, 「작업 현장에 있어서의 셔블의 보다 상세한 관리를 가능하게 하는 셔블, 셔블 관리 시스템, 및 휴대 통신 단말을 제공할 수 있다」고 기재되어 있다.
종래의 가동 기록 분석 시스템에서는, 동작 상태 정보 취득부가 출력하는 동작 상태 정보를 기초로, 작업 내용 추정부가 작업 내용을 추정한다. 작업 내용이란, 셔블에 있어서의 굴삭 중, 배토(排土) 중, 주행 중 등의 작업의 종류를 나타낸다. 이러한 작업 내용과, 셔블의 위치를 나타내는 작업 위치 정보나 셔블이 굴삭하고 있는 높이를 나타내는 작업 높이 정보를 관련지어, 일정 시간 간격으로 기록 장치에 기록하거나, 통신 장치를 통하여 외부의 서버에 기록하거나, 표시 장치에 표시한다. 이에 의해, 어느 시각에 있어서 셔블이 어떠한 내용의 작업을 행하고 있었는지를 파악하여, 작업 현장에 있어서의 셔블의 보다 상세한 관리를 가능하게 하고 있다.
일본특허 제6144373호 공보
셔블을 이용한 작업에서는, 셔블의 아암의 가동 범위나, 상부 선회체의 선회 범위 부근에 다른 작업원이 들어감으로써, 셔블의 일부가 다른 작업원에게 접촉할 가능성이 있다. 만일 그와 같은 현상이 발생한 경우, 다른 건설 기계에 의한 작업도 포함한 시공 전체를 정지시켜, 원인의 해명이나 대책의 입안, 적용, 확인 등을 행하지 않으면 안되기 때문에, 셔블의 가동률이 저하하게 된다. 따라서, 작업의 관리자는, 가동률 저하로 연결되는 현상이 발생하지 않도록, 작업 전체를 관리할 필요가 있다. 종래의 가동 기록 분석 시스템을 이용하는 경우, 기록 장치나 외부의 서버 등에, 작업 내용을 기록하는 것이 가능하다. 그러나, 기록되는 데이터에는, 가동률 저하의 요인이 될 수 있는 작업 내용과 그 이외의 작업 내용이 포함되어 있고, 일반적으로 전자의 발생 확률은 극히 낮다. 또한, 작업 전체에 있어서의 가동 시간의 길이나 사용하는 건설 기계의 대수 등에 따라, 기록되는 데이터의 양은 방대해진다. 이와 같은 방대한 양의 데이터 중에서, 가동률 저하의 요인이 될 수 있는 작업 내용만을 시스템 이용자가 검출하여 추출하기에는, 많은 시간을 요하고, 또한 간과가 발생하는 경우가 있다.
본 발명은, 상기 과제를 감안하여 이루어진 것이며, 그 목적은, 건설 기계의 가동 시에 기록된 가동 정보 중에서, 가동률 저하의 요인이 될 수 있는 작업 내용을 효율적으로 추출하는 것이 가능한 건설 기계용 가동 기록 분석 시스템을 제공하는 것에 있다.
상기 목적을 달성하기 위해, 본 발명은, 차체의 위치를 검출하는 차체 위치 검출 장치와, 상기 차체의 자세를 검출하는 차체 자세 검출 장치와, 상기 차체의 동작 상태를 검출하는 동작 상태 검출 장치와, 상기 차체 위치 검출 장치 및 상기 차체 자세 검출 장치로부터의 정보에 의거하여 상기 차체의 작업 위치를 산출하고, 상기 작업 위치 및 상기 동작 상태에 의거하여 상기 차체의 작업 내용을 추정하고, 상기 작업 위치 및 상기 작업 내용을 포함하는 가동 정보를 출력하는 컨트롤러를 구비한 건설 기계용 가동 기록 분석 시스템에 있어서, 상기 차체의 주위에 존재하는 물체를 검출하는 물체 검출 장치를 구비하고, 상기 컨트롤러는, 상기 물체 검출 장치로부터의 정보에 의거하여 상기 물체의 위치를 산출하고, 상기 차체 위치 검출 장치 및 상기 차체 자세 검출 장치로부터의 정보와 상기 물체의 위치에 의거하여 상기 차체와 상기 물체가 근접하고 있는지의 여부를 판정하여, 그 판정 결과를 상기 가동 정보에 포함시켜 출력하는 것으로 한다.
이상과 같이 구성한 본 발명에 의하면, 차체와 주위에 존재하는 물체가 근접하고 있는지의 여부의 판정 결과가 가동 정보에 포함되기 때문에, 시스템 이용자는, 방대한 양의 가동 정보 중에서, 차체와 주위에 존재하는 물체가 근접했을 때의 작업 내용을 빠르게 추출할 수 있다. 이에 의해, 건설 기계의 작업 상황의 검증 효율을 향상시키는 것이 가능해진다.
본 발명에 관련된 건설 기계용 가동 기록 분석 시스템에 의하면, 가동 시에 기록된 가동 정보 중에서, 가동률 저하의 요인이 될 수 있는 작업 내용을 효율적으로 추출하는 것이 가능해진다.
도 1은, 건설 기계용 가동 기록 분석 시스템의 구성도이다.
도 2는, 건설 기계용 가동 기록 분석 시스템에 있어서의 처리의 흐름을 설명하는 도이다.
도 3은, 셔블의 상태를 나타내는 도이다.
도 4는, 셔블의 작업 위치와 동작 상태의 예를 나타내는 도이다.
도 5는, 셔블에 있어서의 카메라의 탑재 상태와 카메라 영상을 나타내는 도이다.
도 6은, 카메라 영상을 이용하여 차분 영역을 산출하는 처리를 설명하는 도이다.
도 7은, 카메라 영상 내의 차분 영역을 사영(射影) 변환하는 처리를 설명하는 도이다.
도 8은, 중복 영역을 산출하는 처리를 설명하는 도이다.
도 9는, 가동 정보의 예를 나타내는 도이다.
도 10은, 본 발명의 제 1 실시예에 있어서의 표시 장치의 표시 내용을 나타내는 도이다.
도 11은, 본 발명의 제 2 실시예에 있어서의 표시 장치의 표시 내용을 나타내는 도이다.
도 12는, 본 발명의 제 3 실시예에 있어서의 표시 장치의 표시 내용을 나타내는 도이다.
도 13은, 본 발명의 제 4 실시예에 있어서의 LiDAR에 의한 검지 처리를 설명하는 도이다.
도 14는, 본 발명의 제 5 실시예에 있어서의 LiDAR에 의한 검지 처리를 설명하는 도이다.
도 15는, 본 발명의 제 5 실시예에 있어서의 표시 장치의 표시 내용을 나타내는 도이다.
이하, 본 발명의 실시형태를 도면을 참조하여 설명한다. 또한, 각 도면 중, 동등한 부재에는 동일한 부호를 붙이고, 중복된 설명은 적절히 생략한다.
실시예1
본 실시예에서는, 가동 기록 중에서 조건에 적합한 내용을 추출하여 우선적으로 표시시키는 건설 기계용 가동 기록 분석 시스템의 예를 설명한다.
도 1은, 본 실시예의 건설 기계용 가동 기록 분석 시스템의 구성도이다. 여기서는 셔블을 대상 건설 기계로서 설명한다.
차체 위치 검출 장치(101)는, 예를 들면 GPS 또는 GNSS로 구성되고, 셔블의 위치를 검출하여, 결과를 송출한다.
차체 자세 검출 장치(102)는, 붐, 아암, 버킷의 각도를 검출하는 각도 센서, 상부 선회체의 선회 각도를 검출하는 각도 센서 등으로 구성되고, 셔블의 하부 주행체와 상부 선회체의 위치 관계나, 붐, 아암, 버킷 등의 위치 관계를 검출하여, 결과를 송출한다.
동작 상태 검출 장치(103)는, 엔진 회전수를 검출하는 회전수 센서, 액추에이터의 부하압을 검출하는 압력 센서 등으로 구성되고, 엔진의 출력이나 가동부 유압 등 셔블의 동작에 관련되는 상태를 취득하여, 결과를 송출한다.
작업 위치 취득부(104)는, 차체 위치 검출 장치(101)나 차체 자세 검출 장치(102)로부터 수신한 정보를 기초로, 셔블이 작업을 행하고 있는 장소 및 셔블의 각 가동부의 위치 관계나 상태를 취득하여, 결과를 송출한다.
동작 상태 취득부(105)는, 동작 상태 검출 장치(103)로부터 수신한 정보를 기초로, 엔진의 상태, 유압 계통의 상태를 취득하여, 결과를 송출한다.
작업 내용 추정부(106)는, 작업 위치 취득부(104)와 동작 상태 취득부(105)로부터 수신한 정보를 기초로, 현재 셔블이 행하고 있는 작업이, 예를 들면 굴삭 중, 배토 중, 주행 중의 어느 것인지 등의 추정을 행하고, 결과로서 추정한 작업 내용을 송출한다.
가동 정보 산출부(107)는, 작업 내용 추정부(106)가 출력하는 작업 내용과, 셔블 주위에 존재하는 물체와 셔블이 근접하고 있는지의 여부를 나타내는 정보를 통합하여, 근접하고 있다고 판정하고 있는 경우는 우선적으로 표시를 행하는 설정을 추가하여 가동 정보로 하고, 결과를 송출한다.
통신 장치(108)는, 예를 들면 휴대 통신기에서 무선 LAN 단말로 구성되고, 가동 정보 산출부(107)가 작성한 가동 정보를, 통신 회선을 통하여 시스템 외부의 기기에 송출한다.
기록 장치(109)는, 예를 들면 메모리나 디스크로 구성되고, 가동 정보 산출부(107)가 출력한 가동 정보를 기록해 두며, 가동 정보 산출부(107)나 통신 장치(108)의 요구에 의거하여 이 정보를 출력한다.
표시 장치(110)는, 예를 들면 콘솔 및 디스플레이로 구성되고, 콘솔의 조작에 따라 가동 정보 산출부(107)가 출력하는 가동 정보를 디스플레이에 표시한다.
물체 검출 장치(111)는, 차체에 장착된 카메라(501, 502)(도 3에 나타냄)이며, 셔블 주위의 상태를 촬영하고, 결과의 카메라 영상을 출력한다.
물체 검출부(113)는, 물체 검출 장치(111)가 출력한 영상을 입력하고, 이 중에서 셔블의 주위에 존재하는 물체를 검출하여, 검출 결과를 송출한다.
형상 정보 보지부(保持部)(114)는, 셔블의 3차원 형상을 보지하고, 배치 산출부(112)의 요구에 따라 이 3차원 형상을 출력한다.
배치 상태 판정부(115)는, 배치 산출부(112)가 출력하는 셔블의 각 부품의 현재에 있어서의 3차원 배치와, 물체 검출부(113)가 출력하는 카메라 영상 내에서의 물체 검출 결과를 2차원에서 3차원으로 사영시킨 결과를 비교하여, 물체 검출부(113)에 의해 검출된 물체가, 현재의 셔블의 차체가 존재하는 위치의 근방에 존재하는지의 여부를 판정하고, 판정 결과를 가동 정보 산출부(107)에 송출한다.
상술의 건설 기계용 가동 기록 분석 시스템에 있어서, 가동률 저하의 요인이 될 수 있는 현상이 발생한 시점에 있어서의 가동 정보를 표시하는 예를 도 2∼도 10을 이용하여 나타낸다.
도 2에는, 본 발명에 있어서의 가동 기록 분석 시스템의 처리의 흐름을 나타낸다. 처리의 흐름은 크게 둘로 나누고 있다. 가동 정보 기록 시의 처리는, 셔블이 가동하고 있을 때에 실행하는 것이다. 가동 정보 검증 시의 처리는, 기록 장치(109)가 기록하는 셔블의 가동 정보를, 표시 장치(110)를 이용하여 검증할 때에 실행하는 것이다.
본 발명에 있어서의 건설 기계용 가동 기록 분석 시스템에 있어서, 가동 정보 기록 시의 동작을 개시하면, 처음에 단계 201의 처리를 행한다.
단계 201에서는, 작업 위치 취득부(104)가, 차체 위치 검출 장치(101) 및 차체 자세 검출 장치(102)로부터 입력한 정보를 기초로, 작업 위치를 취득한다. 이 예에 있어서의 셔블의 상태를 도 3에 나타낸다. 셔블(301)은, 하부 주행체(302)와, 하부 주행체(302) 상에 선회 가능하게 마련된 상부 선회체(303)와, 상부 선회체(303) 상에 마련된 붐(304), 아암(305), 버킷(306)으로 이루어지는 프론트 작업기를 적어도 구비하고 있다. 셔블(301)은, 사면(斜面)을 구비한 지표면 상에 존재하고 있다. 차체에는 카메라(501, 502)가 장착되어 있어서, 차체의 주위를 촬영하고 있다. 차체 위치 검출 장치(101)는, 예를 들면 GPS(Global Positioning System)를 이용하여 지구상에서의 위도 경도를 취득하는 등의 방법을 생각할 수 있다. 또한 그 밖에는, 토털 스테이션 등을 이용하여, 시공 계획의 대상 영역 내에서의 상대적인 위치를 취득하는 등의 방법도 생각할 수 있다. 차체 자세 검출 장치(102)에서는, 셔블(301)에 탑재한 각도 센서 등을 이용하여, 차체의 자세를 검출한다. 이 경우의 자세란, 하부 주행체(302)의 방향, 하부 주행체(302)와 상부 선회체(303)의 선회 각도의 차, 및, 상부 선회체(303), 붐(304), 아암(305), 버킷(306)의 각 부분간의 배치 각도의 차를 종합한 정보이다. 이 다음에, 처리를 단계 202로 이동한다.
단계 202에서는, 동작 상태 취득부(105)에 있어서, 동작 상태 검출 장치(103)로부터 출력한 정보를 기초로 동작 상태를 취득한다. 동작 상태 검출 장치(103)에서는, 예를 들면 엔진 출력 센서나 유압 센서, 속도계, 이상 검출 센서 등의 센서류로부터 얻어지는 정보를, 동작 상태 취득부(105)에 출력하고 있다. 이 다음에, 처리를 단계 203으로 이동한다.
단계 203에서는, 작업 위치 취득부(104) 및 동작 상태 취득부(105)가 출력하는 정보에 의거하여, 작업 내용 추정부(106)에서 셔블의 현재의 작업 내용을 추정한다. 작업 위치 취득부(104)가 출력하는 작업 위치 및 동작 상태 취득부(105)가 출력하는 동작 상태의 예를 도 4에 나타낸다. 여기서의 작업 위치란, 셔블 선회 중심의 바닥면이 존재하고 있는 위치의 3차원 좌표이다. 또한 동작 상태란, 셔블의 각 부가 상대적으로 형성하는 각도 θ1, θ2, θ3, θ4이다. 작업 내용의 추정에서는, 예를 들면 차체 자세 검출 장치(102)가 출력하는 차체의 자세의 정보를 기초로, 버킷(306)의 위치가 지표면보다 높고, 또한 속도계의 값이 일정값 이상인 경우에, 작업 내용이 주행 중이라고 추정한다. 또는, 버킷(306)의 각도가 변화를 계속하고 있고, 또한 유압 펌프의 토출압이 일정값 이상인 경우에, 작업 내용이 굴삭 중이라고 추정한다. 작업 내용 추정부(106)는, 이와 같이 하여 추정한 작업 내용을, 가동 정보 산출부(107)에 출력한다. 이 다음에, 처리를 단계 204로 이동한다.
단계 204에서는, 가동 정보 산출부(107)에 있어서, 작업 내용 추정부(106)로부터 입력한 작업 내용과, 작업 내용에 관련되는 위치나 속도, 각도 등의 수치 정보를 통합한다. 예를 들면, 작업 내용으로서 주행 중이라고 추정한 경우, 주행 속도를 작업 내용에 통합한다. 또는 작업 내용으로서 굴삭 중이라고 추정한 경우, 자세로서 나타내어지는 각도 정보를 통합한다. 이 결과를 가동 정보 산출부(107)의 내부에 보지해 둔다. 이 다음에, 처리를 단계 205로 이동한다.
단계 205에서는, 배치 산출부(112)에 있어서, 셔블(301)의 현재의 자세에 의거한 3차원 형상을 구축한다. 형상 정보 보지부(114)가 보지하는 셔블(301)의 3차원의 기본 형상을 입력하고, 이에 대하여 작업 위치 취득부(104)로부터 입력한 작업 위치 및 동작 상태 취득부(105)로부터 입력한 동작 상태를 적용한다. 예를 들면, 자세의 정보를 기초로, 하부 주행체(302)의 방향, 하부 주행체(302)와 상부 선회체(303)의 선회 각도의 차, 및, 상부 선회체(303), 붐(304), 아암(305), 버킷(306)의 각 부분간의 배치 각도의 차에 맞추어, 3차원 형상에 있어서의 하부 주행체(302)나 상부 선회체(303), 붐(304), 아암(305), 버킷(306) 등의 각 부품간의 각도의 차가 동등해지도록 형상을 갱신한다. 이 결과를 배치 상태 판정부(115)에 출력한다. 이 다음에, 처리를 단계 206으로 이동한다.
단계 206에서는, 카메라(501, 502)가 촬영하고 있는 셔블 주위의 영상을 이용하여, 물체 검출부(113)에 있어서 물체 검출 처리를 행한다. 물체 검출 처리의 예를 도 5에 나타낸다. 이 예에서는, 상부 선회체(303)에 전방 카메라(501)와 후방 카메라(502)를 탑재하고 있다. 카메라(501, 502)가 촬영하고 있는 영상은, 전방 카메라 영상(503), 후방 카메라 영상(504)과 같이 되어 있다. 셔블(301)의 후방에는 물체가 존재하고 있지 않기 때문에, 후방 카메라 영상(504)에는 지표면과 하늘만이 비치고 있다. 셔블(301)의 전방에는 인물(505)이 존재하고 있기 때문에, 이 인물(505)이 전방 카메라 영상(503)에 비치고 있다. 또한 차체의 자세의 상태에 따라, 전방 카메라 영상(503)에는 아암(305)과 버킷(306)이 비치고 있다.
전방 카메라 영상(503)에 있어서의 주위 물체 검출의 예를 도 6에 나타낸다. 전방 카메라 영상(503)에 있어서, 시각 ti-1에서의 모습을 도면의 좌상측에 나타내고, 그 후의 시각 ti에서의 모습을 도면의 좌하측에 나타낸다. 여기서는, 인물(505)이 셔블에 접근하고 있으며, 인물(505)의 영상이 시간 경과에 따라 전방 카메라 영상(503) 내를 하방향을 향해 이동하고 있다. 이들 시각 ti-1, ti에 있어서의 전방 카메라 영상(503)의 차분을 취득하면, 도면의 우측에 나타낸 바와 같은 결과가 된다. 영상 내에서는 인물(505)이 이동하고 있는 개소에만 영상의 차분이 발생하고 있다. 이것을 영상 상의 차분 영역(601)으로 한다. 이와 같이, 차분이 발생한 경우에는, 영상 상의 차분 영역(601)을 배치 상태 판정부(115)에 출력한다. 이 다음에, 처리를 단계 207로 이동한다.
단계 207에서는, 배치 상태 판정부(115)에 있어서, 카메라 영상의 좌표계와, 셔블(301)의 형상을 나타내는 좌표계의 사이에서 사영 변환을 행한다. 카메라 영상은 2차원의 좌표계로 표현되어 있고, 셔블(301)의 형상은 3차원의 좌표계로 표현되어 있다. 이들의 사이에서 사영 변환을 행한다. 카메라 영상 내에서 검출한 차분 영역(601)이, 셔블과의 사이에서 어떠한 상대 위치에 있는지를 산출한다. 셔블(301)의 형상은, 단계 205에서의 처리에 의해, 셔블(301)의 현재의 자세와 동등해지도록 형상을 갱신하고 있다. 셔블(301)의 형상은, 전방 카메라(501)의 설치 위치와 촬영 방향도 동시에 보지하고 있다. 또한, 작업 위치의 정보를 기초로, 지표면과 전방 카메라(501)의 사이의 상대적 위치 관계도 판명하고 있다. 인물(505)은 지표면 상에 존재하고 있는 점에서, 전방 카메라 영상(503) 내에 있어서 검출한 차분 영역(601)이, 3차원 공간 내의 지표면 상에서 어느 위치에 존재하고 있는지를, 사영 변환에 의해 구하는 것이 가능해진다. 이 모양을 도 7에 나타낸다. 사영 변환에 의해, 시각 ti에 있어서의 인물(701)이 3차원 공간 내에서 존재하는 위치를 취득한다. 이 다음에, 처리를 단계 208로 이동한다.
단계 208에서는, 셔블(301)의 구성 요소와, 시각 ti에 있어서의 인물(701)의 중복 영역을 산출한다. 예를 들면, 도 7의 상태로부터 추가로 시간이 경과하여, 인물(701)이 더 이동하고 있는 상태를 상정한다. 이 모양을 도 8에 나타낸다. 시각 ti에 있어서의 인물(701)은 이동에 의해 위치를 바꾸어, 시각 ti+1에 있어서의 인물(801)에 나타내는 바와 같이 버킷(306)의 부근으로 이동하고 있다. 이 경우에 있어서의 중복 영역은, 다음과 같이 구한다. 시각 ti+1에 있어서의 인물(801)이, 이 다음에 이동할 가능성이 있는 범위를 인물 이동 범위(803)로서 3차원 영역의 형식으로 산출한다. 인물 이동 범위(803)는, 인물이 취할 수 있는 이동 속도로, ti+2의 시간까지 이동할 가능성이 있는 범위를 나타낸다. 마찬가지로, 시각 ti+1에 있어서의 셔블(301)의 아암(305)과 버킷(306)이, 이 다음에 이동할 가능성이 있는 범위를 셔블 이동 범위(804)로서 3차원 영역의 형식으로 산출한다. 셔블 이동 범위(804)는, 시각 ti+1에 있어서의 아암(305) 및 버킷(306)의 이동 속도로부터, 최대한의 가속을 행하면서 이동한 경우에, 시각 ti+2의 시간까지 이동할 가능성이 있는 범위를 나타낸다. 중복 영역(802)은, 인물 이동 범위(803)와 셔블 이동 범위(804)가 겹친 영역(도면 중 사선으로 나타냄)으로서 산출한다. 이 다음에, 처리를 단계 209로 이동한다.
단계 209에서는, 단계 208에서의 처리에 의해 중복 영역(802)이 발생했는지의 여부를 판정한다. 발생한 경우에는, 처리를 단계 210으로 이동하고, 그 이외의 경우에는 처리를 단계 211로 이동한다.
단계 210에서는, 가동 정보 산출부(107)에 의해, 발생한 중복 영역(802)을 단계 204에서 산출한 가동 정보에 추가하여 새로운 가동 정보로 한다. 이 다음에, 처리를 단계 211로 이동한다.
단계 211에서는, 가동 정보 산출부(107)에 의해, 가동 정보를 기록 장치(109)에 기록한다. 또는, 통신 장치(108)를 통하여 외부의 기록 장치에 기록한다. 이 다음에, 처리를 단계 212로 이동한다.
단계 212에서는, 가동 정보의 기록이 종료되었는지의 여부를 판정한다. 셔블(301)의 정지 등에 의해 가동 정보의 기록이 종료된 경우에는, 도 2의 좌측에 나타낸 가동 정보 기록 시의 처리를 종료하고, 그 이외의 경우에는 처리를 단계 201로 이동한다. 가동 정보 기록 시에는, 상술과 같은 처리를 행한다.
이어서, 기록 장치(109)에 기록한 가동 정보를 검증할 때의 처리에 관하여 서술한다. 이 처리의 흐름은, 도 2의 우측에 있는 가동 정보 검증 시의 부분에 기재하고 있다.
본 실시예에 있어서의 건설 기계용 가동 기록 분석 시스템에 있어서, 가동 정보 검증 시의 동작을 개시하면, 처음에 단계 213의 처리를 행한다.
단계 213에서는, 가동 정보 산출부(107)에 의해, 기록 장치(109)에 기록해 두어 가동 정보를 취득한다. 어느 시점의 가동 정보를 취득할지는 표시 장치(110)를 이용한 시스템 이용자로부터의 입력에 의해 설정한다. 또한, 취득하는 가동 정보는 어느 한 시점의 가동 정보인 경우나, 복수의 연속하는 시점의 가동 정보를 범위로서 지정하는 경우 등이 있다. 범위로서 지정한 경우에는, 가동 정보 검증 시의 처리를 범위 내에서 연속하여 실행한다. 이 다음에, 처리를 단계 214로 이동한다.
단계 214에서는, 취득한 가동 정보에 부가되어 있는 추가 정보를 검출한다. 추가 정보가 부가되어 있지 않은 경우에는 아무것도 검출하지 않는다. 이 다음에, 처리를 단계 215로 이동한다.
단계 215에서는, 취득한 가동 정보에 추가 정보가 부가되어 있는지의 여부를 판정한다. 부가되어 있는 경우에는 처리를 단계 216으로 이동하고, 그 이외의 경우에는 처리를 단계 217로 이동한다.
단계 216에서는, 취득한 가동 정보를 추출 후보에 추가한다. 이 다음에, 처리를 단계 217로 이동한다.
단계 217에서는, 표시 장치(110)로부터 지정한 가동 정보 중, 아직 상술의 처리를 적용하고 있지 않은 가동 정보가 남아있는지의 여부를 판정한다. 남아있는 경우에는 처리를 단계 213으로 이동하고, 그 이외의 경우에는 처리를 단계 218로 이동한다.
단계 218에서는, 취득한 가동 정보를 표시 장치(110)에 표시한다. 이 다음에, 처리를 단계 219로 이동한다.
단계 219에서는, 추출 후보에 추가된 가동 정보를 강조 표시한다. 그 후 처리를 종료한다.
여기서, 가동 정보의 예를 도 9에 나타낸다. 여기서는, 시각 ti에 있어서의 가동 정보와, 시각 ti+1에 있어서의 가동 정보를 나타내고 있다. 시각 ti에 있어서 셔블(301)의 작업 내용은 "굴삭 중"이며, 셔블(301)의 위치와 자세를 가동 정보에 기록하고 있다. 이 시점에서는 중복 영역(802)은 발생하고 있지 않기 때문에, 추가 정보는 "무"로 하고 있다. 시각 ti+1에 있어서 셔블(301)의 작업 내용은 "굴삭 중"이며, 셔블(301)의 위치와 자세를 가동 정보로서 기록하고 있다. 이 시점에서, 인물(701)이 이동하여, 시각 ti+1에 있어서의 인물(801)에 나타내는 위치에 존재하며, 중복 영역 산출 처리의 결과, 중복 영역(802)이 산출되어 있다. 이 결과에 의거하여, 추가 정보는 "유"로 하고, 중복 영역(802)을 추가 정보로서 가동 정보에 추가하고 있다.
다음에, 단계 218에 있어서의 강조 표시의 예를 도 10에 나타낸다. 이 예에서는, 표시 장치(110)의 표시 화면에 있어서, 도면에 나타내는 바와 같은 그래프를 표시한다. 그래프는, 시각의 추이를 가로축에 나타내고 있다. 작업 내용의 행에는 시각의 추이에 따른 작업 내용의 변화를 나타낸다. 작업 위치의 행에는, 마찬가지로 작업 위치의 변화를 나타낸다. 여기서, 이 도면에서는 편의적으로 1개의 선에 의한 그래프 표시를 하고 있지만, 실제로는, 3차원 좌표의 변화나, 위도 경도의 변화 등을 나타내는 그래프를 표시하는 것으로 한다. 자세의 행에는, 셔블(301)의 자세의 변화를 나타낸다. 여기서도, 편의적으로 1개의 선에 의한 그래프 표시를 하고 있지만, 실제로는, θ1, θ2, θ3, θ4 등의 각도의 변화를 그래프 표시하는 것으로 한다. 가동 정보에 부가된 중복 영역(802)이 존재하는 시각에 있어서는, 중복 영역(802)이 존재하는 것을, 띠의 표시(도면 중 사선으로 나타냄)와 "중복 영역 발생"의 문자로 나타내고 있다. 이에 의해, 셔블(301)의 가동률 저하의 요인이 될 수 있는 셔블(301)과 인물(801)의 접근 상태를, 복수의 시각에 있어서의 가동 정보의 표시 중에 있어서 명시하고 있다.
본 실시예에서는, 적어도 아암(305), 버킷(306)을 가지는 프론트 작업기를 구비한 차체(301)와, 차체(301)의 위치를 검출하는 차체 위치 검출 장치(101)와, 차체(301)의 자세를 검출하는 차체 자세 검출 장치(102)와, 차체(301)의 동작 상태를 검출하는 동작 상태 검출 장치(103)와, 차체 위치 검출 장치(101) 및 차체 자세 검출 장치(102)로부터의 정보에 의거하여 차체(301)의 작업 위치를 산출하고, 상기 작업 위치 및 상기 동작 상태에 의거하여 차체(301)의 작업 내용을 추정하고, 상기 작업 위치 및 상기 작업 내용을 포함하는 가동 정보를 출력하는 컨트롤러(100)를 구비한 건설 기계용 가동 기록 분석 시스템에 있어서, 차체(301)의 주위에 존재하는 물체(505, 701, 801)를 검출하는 물체 검출 장치(111)를 구비하고, 컨트롤러(100)는, 물체 검출 장치(111)로부터의 정보에 의거하여 물체(505, 701, 801)의 위치를 산출하고, 차체 위치 검출 장치(101) 및 차체 자세 검출 장치(102)로부터의 정보와 물체(505, 701, 801)의 위치에 의거하여 차체(301)와 물체(505, 701, 801)가 근접하고 있는지의 여부를 판정하여, 그 판정 결과를 상기 가동 정보에 포함시켜 출력한다.
이상과 같이 구성한 본 실시예에 의하면, 차체(301)와 주위에 존재하는 물체(505, 701, 801)가 근접하고 있는지의 여부의 판정 결과가 가동 정보에 포함되기 때문에, 시스템 이용자는, 방대한 양의 가동 정보 중에서, 차체와 주위에 존재하는 물체가 근접했을 때의 작업 내용을 빠르게 추출할 수 있다. 이에 의해, 셔블(301)의 작업 상황의 검증 효율을 향상시키는 것이 가능해진다.
또한, 물체 검출 장치(111)는, 차체(301)의 주위를 촬영하는 카메라(501, 502)이며, 컨트롤러(100)는, 차체(301)가 카메라(501, 502)의 촬상 간격 내로 이동할 가능성이 있는 차체 이동 범위(804)의 적어도 일부와 물체(801)가 상기 촬상 간격 내로 이동할 가능성이 있는 물체 이동 범위(803)의 적어도 일부가 중복된 경우에, 차체(301)와 물체(801)가 근접하고 있다고 판정한다. 이에 의해, 차체(301) 및 물체(801)의 이동 속도에 의거하여, 차체(301)와 물체(801)가 근접하는지의 여부를 판정하는 것이 가능해진다.
또한, 본 실시예에 있어서의 건설 기계용 가동 기록 분석 시스템은, 가동 정보를 송신하는 통신 장치(108), 상기 가동 정보를 기록하는 기록 장치(109), 및 가동 정보를 표시하는 표시 장치(110)를 더 구비한다. 이에 의해, 가동 정보를 확인하는 장소의 자유도가 향상한다.
실시예 2
본 실시예에서는, 중복 영역(802)이 발생한 경우에, 중복 영역(802)을 발생시킨 요인을 표시하는 예를 설명한다.
본 실시예에 있어서의 시각 ti+1에서의 전방 카메라 영상(503)의 예를 도 11의 좌측 상방에 나타낸다. 여기서는, 시각 ti+1에 있어서의 인물(801)의 움직임에 의해, 시각 ti+1에 있어서의 차분 영역(1101)이 발생하고 있다. 이후의 처리에서, 중복 영역(802)이 발생했다고 판정된 경우, 이 시각 ti+1에 있어서의 차분 영역(1101)을 기록 장치(109)에 기록한다. 중복 영역(802)이 발생하는 경우에는 반드시 차분 영역(1101)도 존재하기 때문에, 이와 같은 상황에서는 기록 장치(109)에 반드시 차분 영역(1101)이 기록된다.
이 예에 있어서의 표시 장치(110)의 화면에의 표시의 예를 도 11의 우측에 나타낸다. 중복 영역(802)이 존재하는 시각에 있어서, 기록 장치(109)에 기록한 차분 영역(1101)을, 중복 영역 발생의 강조 표시와 함께 표시한다.
본 실시예에서는, 컨트롤러(100)는, 차체(301)와 물체(801)가 근접하고 있다고 판정한 경우에, 카메라(501, 502)가 그 판정 시에 촬영한 영상 중, 물체(801)가 카메라(501, 502)의 촬상 간격 내로 이동한 범위를 나타내는 차분 영역(1101)을 가동 정보에 포함시켜 출력한다.
이상과 같이 구성한 본 실시예에 의하면, 중복 영역(802)이 발생했을 때에, 발생의 판정 기준이 된 차분 영역(1101)을 영상으로서 표시하는 것이 가능해지고, 시스템 이용자는, 어떠한 물체가 중복 영역(802)을 발생시켰는지를 시인하는 것이 가능해진다. 시스템 이용자는, 시인한 내용을 기초로, 중복 영역(802)의 분석의 중요도를 파악하여, 이후의 대응을 신속하게 실행하는 것이 가능해진다.
실시예 3
본 실시예에서는, 중복 영역(802)이 발생한 경우에, 중복 영역(802)을 발생시킨 요인을, 그 밖의 상태도 포함시켜 표시하는 예를 설명한다.
본 실시예에 있어서의 시각 ti+1에서의 전방 카메라 영상(503)의 예를 도 12의 좌상측에 나타낸다. 여기서는, 시각 ti+1에 있어서의 인물(801)의 움직임에 의해, 시각 ti+1에 있어서의 차분 영역(1101)이 발생하고 있다. 이후의 처리에서, 중복 영역(802)이 발생했다고 판정된 경우, 이 시각 ti+1에 있어서의 차분 영역(1101)과, 시각 ti+1에 있어서의 카메라 영상(1201)을 기록 장치(109)에 기록한다. 중복 영역(802)이나 차분 영역(1101)의 산출에는 카메라 영상을 이용하기 때문에, 이와 같은 상황에서는 기록 장치(109)에 반드시 카메라 영상(1201) 및 차분 영역(1101)이 기록된다.
이 예에 있어서의 표시 장치(110)의 화면에의 표시의 예를 도 12의 우측에 나타낸다. 중복 영역(802)이 존재하는 시각에 있어서, 기록 장치(109)에 기록한 카메라 영상(1201)과 차분 영역(1101)을, 중복 영역 발생의 강조 표시와 함께 표시한다.
본 실시예에서는, 컨트롤러(100)는, 차체(301)와 물체(801)가 근접하고 있다고 판정한 경우에, 카메라(501, 502)가 그 판정 시에 촬영한 영상에 있어서 물체(801)가 카메라(501, 502)의 촬상 간격 내로 이동한 범위를 나타내는 차분 영역(1101)의 정보와, 카메라(501, 502)가 그 판정 시에 촬영한 영상을 가동 정보에 포함시켜 출력한다.
이상과 같이 구성한 본 실시예에 의하면, 중복 영역(802)이 발생했을 때에, 발생의 판정 기준이 된 차분 영역(1101)과 함께, 그 주위의 상황을 영상으로서 표시하는 것이 가능해지고, 시스템 이용자는, 어떠한 상황 하에서 중복 영역(802)이 발생하고 있는지를 시인하는 것이 가능해진다. 시스템 이용자는, 시인한 내용을 기초로, 중복 영역(802)의 분석의 중요도를 파악하여, 이후의 대응을 신속하게 실행하는 것이 가능해진다.
실시예 4
본 실시예에서는, LiDAR(Light Detection and Ranging)을 이용하여 물체 검출을 행하는 예를 설명한다.
본 실시예에 있어서의 셔블(301)의 구성을 도 13에 나타낸다. 이 구성에서는, 제 1 실시예에 있어서의 카메라(501, 502)가 LiDAR로 치환된다. 이 예에서는, 셔블(301)의 전방을 검출 대상으로 하는 전방 LiDAR(1301)과, 셔블(301)의 후방을 검출 대상으로 하는 후방 LiDAR(1302)을 탑재하고 있다.
전방 LiDAR 출력(1303) 및 후방 LiDAR 출력(1304)을 도 13의 우측에 나타낸다. 전방 LiDAR(1301)의 검출 범위 내에는, 인물(505)과 아암(305) 및 버킷(306)이 존재하고 있어서, 이들에 의해 전방 LiDAR 출력(1303)의 그래프에 파형이 생기고 있다. 좌측의 파형이 인물(505)에 의해 발생한 것이고, 우측의 파형은 아암(305) 및 버킷(306)에 의해 발생한 것이다. 또한, 후방 LiDAR(1302)의 검출 범위에는 지표면 이외의 대상이 존재하지 않아, 이것을 제외하고 후방 LiDAR 출력(1304)에는 특징적인 파형은 존재하지 않는다.
물체 검출부(113)는, 이들 LiDAR 출력을 이용하여, 물체 검출을 행한다. 그 결과, 인물(505)과 아암(305) 및 버킷(306)을 검출한다. 이 결과를 기초로, 배치 상태 판정부(115)에서는, 배치 산출부(112)가 출력하는 셔블(301)의 3차원 형상과의 비교로부터, 아암(305) 및 버킷(306)에 의해 생기는 파형을 제외하여, 인물(505)에 의해 생기는 파형을 취득한다. 이 결과를 이용하여, 중복 영역(802)의 산출을 행한다.
본 실시예에서는, 물체 검출 장치(111)는, 대상물과의 거리 정보를 취득하는 LiDAR(1301, 1302)이며, 컨트롤러(100)는, LiDAR(1301, 1302)에서 취득한 상기 대상물의 거리 정보로부터 차체(301)의 거리 정보를 제외하는 것에 의해 물체(505)의 거리 정보를 취득한다.
이상과 같이 구성한 본 실시예에 의하면, 물체 검출 장치(111)를 LiDAR(1301, 1302)로 구성한 경우에도, 제 1 실시예와 마찬가지로, 차체(301)와 주위에 존재하는 물체(505)가 근접하고 있는지의 여부의 판정 결과가 가동 정보와 함께 기록되기 때문에, 시스템 이용자는, 방대한 양의 가동 정보 중에서, 차체(301)와 주위에 존재하는 물체(505)가 근접했을 때의 작업 내용을 빠르게 추출할 수 있다. 이에 의해, 셔블(301)의 작업 상황의 검증 효율을 향상시키는 것이 가능해진다.
실시예 5
본 실시예에서는, LiDAR을 이용하여 물체 검출을 행하고, 물체 검출 시의 카메라 영상을 표시하는 예를 설명한다.
본 실시예에 있어서의 셔블(301)의 구성을 도 14에 나타낸다. 이 구성에서는, 카메라(501, 502)에 더하여, LiDAR을 설치하고, 그 출력을 물체 검출부(113)에의 입력으로 한다. 전방 LiDAR(1301) 및 후방 LiDAR(1302)을 이용한 검지 처리는 제 4 실시예와 동등하다. 본 실시예에서는 또한, 전방 카메라(501) 및 후방 카메라(502)로 셔블(301)의 주위를 촬영하고 있다. 이 촬영 내용에, LiDAR 출력을 이용한 물체 검출 결과를 겹쳐, 결과를 기록 장치(109)에 기록한다. 이 경우에 있어서의 표시 장치(110)의 표시는, 도 15와 같이 된다. 중복 영역(802)의 발생을 검출한 시각에 있어서, 기록 장치(109)에 기록한 영상을 함께 표시한다.
본 실시예에서는, 물체 검출 장치(111)는, 대상물과의 거리 정보를 취득하는 LiDAR(1301, 1302)이고, 컨트롤러(100)는, LiDAR(1301, 1302)에서 취득한 상기 대상물의 거리 정보로부터 차체(301)의 거리 정보를 제외하는 것에 의해 물체(505)의 거리 정보를 취득한다. 또한, 본 실시예에 관련된 건설 기계용 가동 기록 분석 시스템은, 차체(301)의 주위를 촬영하는 카메라(501, 502)를 더 구비하며, 컨트롤러(100)는, 차체(301)와 물체(505)가 근접하고 있다고 판정한 경우에, 카메라(501, 502)가 그 판정 시에 촬영한 영상을 가동 정보에 포함시켜 출력한다.
이상과 같이 구성한 본 실시예에 의하면, 중복 영역(802)이 발생했을 때에, 발생의 판정 기준이 된 물체 검출 결과와 함께, 그 주위의 상황을 영상으로서 표시하는 것이 가능해지고, 시스템 이용자는, 어떠한 상황 하에서 중복 영역(802)이 발생하고 있는지를 시인하는 것이 가능해진다. 시스템 이용자는, 시인한 내용을 기초로, 중복 영역(802)의 분석의 중요도를 파악하여, 이후의 대응을 신속하게 실행하는 것이 가능해진다.
이상, 본 발명의 실시예에 관하여 상술했지만, 본 발명은, 상기한 실시예에 한정되는 것은 아니고, 여러 가지 변형례가 포함된다. 예를 들면, 상기한 실시예는, 본 발명을 알기 쉽게 설명하기 위해 상세하게 설명한 것이며, 반드시 설명한 모든 구성을 구비하는 것에 한정되는 것은 아니다. 또한, 어떤 실시예의 구성에 다른 실시예의 구성의 일부를 추가하는 것도 가능하고, 어떤 실시예의 구성의 일부를 삭제하거나, 또는, 다른 실시예의 일부와 치환하는 것도 가능하다.
100 : 컨트롤러
101 : 차체 위치 검출 장치
102 : 차체 자세 검출 장치
103 : 동작 상태 검출 장치
104 : 작업 위치 취득부
105 : 동작 상태 취득부
106 : 작업 내용 추정부
107 : 가동 정보 산출부
108 : 통신 장치
109 : 기록 장치
110 : 표시 장치
111 : 물체 검출 장치
112 : 배치 산출부
113 : 물체 검출부
114 : 형상 정보 보지부
115 : 배치 상태 판정부
201∼219 : 단계
301 : 셔블(차체)
302 : 하부 주행체
303 : 상부 선회체
304 : 붐
305 : 아암
306 : 버킷
501 : 전방 카메라(물체 검출 장치)
502 : 후방 카메라(물체 검출 장치)
503 : 전방 카메라 영상
504 : 후방 카메라 영상
505 : 인물(물체)
601 : 차분 영역
701 : 시각 ti에 있어서의 인물(물체)
801 : 시각 ti+1에 있어서의 인물(물체)
802 : 중복 영역
803 : 인물 이동 범위(물체 이동 범위)
804 : 셔블 이동 범위(차체 이동 범위)
1101 : 시각 ti+1에 있어서의 차분 영역
1201 : 시각 ti+1에 있어서의 카메라 영상
1301 : 전방 LiDAR(물체 검출 장치)
1302 : 후방 LiDAR(물체 검출 장치)
1303 : 전방 LiDAR 출력
1304 : 후방 LiDAR 출력

Claims (7)

  1. 적어도 아암, 버킷을 가지는 프론트 작업기를 구비한 차체와,
    상기 차체의 위치를 검출하는 차체 위치 검출 장치와,
    상기 차체의 자세를 검출하는 차체 자세 검출 장치와,
    상기 차체의 동작 상태를 검출하는 동작 상태 검출 장치와,
    상기 차체 위치 검출 장치 및 상기 차체 자세 검출 장치로부터의 정보에 의거하여 상기 차체의 작업 위치를 산출하고, 상기 작업 위치 및 상기 동작 상태에 의거하여 상기 차체의 작업 내용을 추정하고, 상기 작업 위치 및 상기 작업 내용을 포함하는 가동 정보를 산출하는 컨트롤러를 구비한 건설 기계용 가동 기록 분석 시스템에 있어서,
    상기 차체의 주위에 존재하는 물체를 검출하는 물체 검출 장치를 구비하고,
    상기 컨트롤러는,
    상기 물체 검출 장치로부터의 정보에 의거하여 상기 물체의 위치를 산출하고,
    상기 차체 위치 검출 장치 및 상기 차체 자세 검출 장치로부터의 정보와 상기 물체의 위치에 의거하여 상기 차체와 상기 물체가 근접하고 있는지의 여부를 판정하여, 그 판정 결과를 상기 가동 정보에 추가하는 것을 특징으로 하는 건설 기계용 가동 기록 분석 시스템.
  2. 제 1 항에 있어서,
    상기 물체 검출 장치는, 상기 차체의 주위를 촬영하는 카메라이고,
    상기 컨트롤러는, 상기 차체가 상기 카메라의 촬상 간격 내로 이동할 가능성이 있는 차체 이동 범위의 적어도 일부와 상기 물체가 상기 촬상 간격 내로 이동할 가능성이 있는 물체 이동 범위의 적어도 일부가 중복된 경우에, 상기 차체와 상기 물체가 근접하고 있다고 판정하는 것을 특징으로 하는 건설 기계용 가동 기록 분석 시스템.
  3. 제 2 항에 있어서,
    상기 컨트롤러는, 상기 차체와 상기 물체가 근접하고 있다고 판정한 경우에, 상기 카메라가 그 판정 시에 촬영한 영상에 있어서 상기 물체가 상기 촬상 간격 내로 이동한 범위를 나타내는 차분 영역의 정보를 상기 가동 정보에 포함시켜 산출하는 것을 특징으로 하는 건설 기계용 가동 기록 분석 시스템.
  4. 제 2 항에 있어서,
    상기 컨트롤러는, 상기 차체와 상기 물체가 근접하고 있다고 판정한 경우에, 상기 카메라가 그 판정 시에 촬영한 영상을 상기 가동 정보에 포함시켜 산출하는 것을 특징으로 하는 건설 기계용 가동 기록 분석 시스템.
  5. 제 1 항에 있어서,
    상기 물체 검출 장치는, 대상물과의 거리 정보를 취득하는 LiDAR이고,
    상기 컨트롤러는, 상기 LiDAR에서 취득한 상기 대상물의 거리 정보로부터 상기 차체의 거리 정보를 제외하는 것에 의해 상기 물체의 거리 정보를 취득하는 것을 특징으로 하는 건설 기계용 가동 기록 분석 시스템.
  6. 제 5 항에 있어서,
    상기 차체의 주위를 촬영하는 카메라를 더 구비하고,
    상기 컨트롤러는, 상기 차체와 상기 물체가 근접하고 있다고 판정한 경우에, 상기 카메라가 그 판정 시에 촬영한 영상을 상기 가동 정보에 포함시켜 산출하는 것을 특징으로 하는 건설 기계용 가동 기록 분석 시스템.
  7. 제 1 항에 있어서,
    상기 가동 정보를 송신하는 통신 장치, 상기 가동 정보를 기록하는 기록 장치, 및 상기 가동 정보를 표시하는 표시 장치를 더 구비한 것을 특징으로 하는 건설 기계용 가동 기록 분석 시스템.
KR1020227007890A 2019-09-26 2020-09-01 건설 기계용 가동 기록 분석 시스템 KR20220044339A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-174920 2019-09-26
JP2019174920A JP7235631B2 (ja) 2019-09-26 2019-09-26 建設機械向け稼働記録分析システム
PCT/JP2020/033071 WO2021059892A1 (ja) 2019-09-26 2020-09-01 建設機械向け稼働記録分析システム

Publications (1)

Publication Number Publication Date
KR20220044339A true KR20220044339A (ko) 2022-04-07

Family

ID=75157323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227007890A KR20220044339A (ko) 2019-09-26 2020-09-01 건설 기계용 가동 기록 분석 시스템

Country Status (6)

Country Link
US (1) US20220349154A1 (ko)
EP (1) EP4015715A4 (ko)
JP (1) JP7235631B2 (ko)
KR (1) KR20220044339A (ko)
CN (1) CN114342361A (ko)
WO (1) WO2021059892A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192219A1 (ja) * 2020-03-27 2021-09-30 住友重機械工業株式会社 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6144373B2 (ko) 1979-06-14 1986-10-02 Omron Tateisi Electronics Co

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5227841B2 (ja) 2009-02-27 2013-07-03 日立建機株式会社 周囲監視装置
JP5520688B2 (ja) 2009-07-03 2014-06-11 株式会社竹中工務店 接触防止システム、建設機械およびプログラム
JP6320185B2 (ja) 2014-06-16 2018-05-09 住友重機械工業株式会社 ショベル支援装置
US9457718B2 (en) * 2014-12-19 2016-10-04 Caterpillar Inc. Obstacle detection system
JP6144373B2 (ja) * 2016-02-17 2017-06-07 住友建機株式会社 ショベル、ショベル管理システム、及び携帯通信端末
JP6675809B2 (ja) 2018-04-25 2020-04-08 住友重機械工業株式会社 ショベル支援装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6144373B2 (ko) 1979-06-14 1986-10-02 Omron Tateisi Electronics Co

Also Published As

Publication number Publication date
US20220349154A1 (en) 2022-11-03
EP4015715A1 (en) 2022-06-22
JP7235631B2 (ja) 2023-03-08
JP2021050559A (ja) 2021-04-01
CN114342361A (zh) 2022-04-12
EP4015715A4 (en) 2023-08-30
WO2021059892A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
AU2022209235B2 (en) Display control device and display control method
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
CN108885102B (zh) 形状测量系统、作业机械及形状测量方法
WO2015162710A1 (ja) 掘削装置
JP6322612B2 (ja) 施工管理システム及び形状計測方法
WO2015198410A1 (ja) 外界認識装置
AU2019292458B2 (en) Display control system, display control device, and display control method
JP6585697B2 (ja) 施工管理システム
CN109073379B (zh) 管理系统
AU2019292457B2 (en) Display control device, display control system, and display control method
JP7071203B2 (ja) 作業機械
KR101944816B1 (ko) 굴삭 작업 검측 자동화 시스템
CN110132255B (zh) 控制方法、装置、显示终端、机械设备及人机交互系统
US11532162B2 (en) Information presenting device and information presenting method
KR20220044339A (ko) 건설 기계용 가동 기록 분석 시스템
JP6606230B2 (ja) 形状計測システム
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
EP3723039A1 (en) Tip attachment discrimination device
JP2020016147A (ja) 形状計測システム及び形状計測方法
JP7166326B2 (ja) 施工管理システム
KR101944817B1 (ko) 휴대단말기를 이용한 굴삭 작업 검측 자동화 시스템
CN112446281A (zh) 具有改进的移动感测的挖掘机
EP4060286A2 (en) Surveying system, surveying method, and surveying program
KR20230133982A (ko) 작업 관리 시스템 및 작업 기계
CN114019522A (zh) 一种数据处理方法、系统及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application