KR20210139297A - 건설기계, 지원시스템 - Google Patents

건설기계, 지원시스템 Download PDF

Info

Publication number
KR20210139297A
KR20210139297A KR1020217031425A KR20217031425A KR20210139297A KR 20210139297 A KR20210139297 A KR 20210139297A KR 1020217031425 A KR1020217031425 A KR 1020217031425A KR 20217031425 A KR20217031425 A KR 20217031425A KR 20210139297 A KR20210139297 A KR 20210139297A
Authority
KR
South Korea
Prior art keywords
shovel
information
work area
controller
object detection
Prior art date
Application number
KR1020217031425A
Other languages
English (en)
Inventor
료타 쿠로사와
Original Assignee
스미토모 겐키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스미토모 겐키 가부시키가이샤 filed Critical 스미토모 겐키 가부시키가이샤
Publication of KR20210139297A publication Critical patent/KR20210139297A/ko

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2058Electric or electro-mechanical or mechanical control devices of vehicle sub-units
    • E02F9/2095Control of electric, electro-mechanical or mechanical equipment not otherwise provided for, e.g. ventilators, electro-driven fans
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/2054Fleet management

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

하나의 건설기계에서 취득되는 작업영역에 관한 정보를 동일한 작업영역에서 작업을 행하는 다른 건설기계에서도 이용할 수 있도록 하는 것이 가능한 기술을 제공한다. 본 개시의 일 실시형태에 관한 쇼벨(100)은, 쇼벨(100)(자기)의 주위의 작업영역에 관한 정보를 취득하는 컨트롤러(30)와, 컨트롤러(30)에 의하여 취득된 정보를 당해 쇼벨(100)의 주위의 다른 쇼벨(100)에 송신하는 통신기기(90)를 구비한다. 또, 본 개시의 다른 실시형태에 관한 쇼벨지원시스템(SYS)은, 소정의 작업영역 내에 위치하는 복수의 쇼벨(100)을 포함하는 쇼벨지원시스템(SYS)으로서, 복수의 쇼벨(100)은, 각각, 작업영역에 관한 정보를 취득하는 컨트롤러(30)와, 컨트롤러(30)에 의하여 취득된 정보를 다른 쇼벨(100)에 송신하는 통신기기(90)를 구비한다.

Description

건설기계, 지원시스템
본 개시는, 건설기계 및 지원시스템에 관한 것이다.
건설기계의 주위의 작업영역에 관한 유용한 정보(예를 들면, 주위의 작업자 등의 감시대상의 물체검지에 관한 정보)를 취득하는 건설기계가 알려져 있다(예를 들면, 특허문헌 1).
특허문헌 1: 일본 특허공보 6290497호
그러나, 하나의 건설기계에서 취득되는 작업영역에 관한 정보는, 동일한 작업영역(작업현장)에서 작업을 행하는 다른 건설기계에 있어서도 유용한 경우가 있을 수 있다. 따라서, 하나의 건설기계에서 취득되는 주위의 작업영역에 관한 정보는, 다른 건설기계에서도 이용 가능한 것이 바람직하다.
그래서, 상기 과제를 감안하여, 하나의 건설기계에서 취득되는 작업영역에 관한 정보를 동일한 작업영역에서 작업을 행하는 다른 건설기계에서도 이용할 수 있도록 하는 것이 가능한 기술을 제공한다.
본 개시의 일 실시형태에 있어서,
건설기계의 주위의 작업영역에 관한 정보를 취득하는 취득부와,
상기 취득부에 의하여 취득된 정보를 당해 건설기계의 주위의 다른 건설기계에 송신하는 송신부를 구비하는, 건설기계가 제공된다.
또, 본 개시의 다른 실시형태에 있어서,
소정의 작업영역 내에 위치하는 복수의 건설기계를 포함하는 지원시스템으로서,
상기 복수의 건설기계는, 각각,
상기 작업영역에 관한 정보를 취득하는 취득부와,
상기 취득부에 의하여 취득된 정보를 다른 상기 건설기계에 송신하는 송신부를 구비하는, 지원시스템이 제공된다.
상술한 실시형태에 의하면, 하나의 건설기계에서 취득되는 작업영역에 관한 정보를 동일한 작업영역에서 작업을 행하는 다른 건설기계에서도 이용할 수 있도록 하는 것이 가능한 기술을 제공할 수 있다.
도 1은 쇼벨지원시스템의 구성의 일례를 나타내는 개략도이다.
도 2는 쇼벨의 상면도이다.
도 3은 쇼벨의 구성의 일례를 나타내는 블록도이다.
도 4는 물체검지방법의 일례를 설명하는 도이다.
도 5는 쇼벨지원시스템의 정보공유기능에 관한 동작의 제1 예를 설명하는 도이다.
도 6은 쇼벨지원시스템의 정보공유기능에 관한 동작의 제1 예를 설명하는 도이다.
도 7은 쇼벨지원시스템의 정보공유기능에 관한 동작의 제3 예를 설명하는 도이다.
도 8은 쇼벨의 작업현장상황분석기능에 관한 동작의 일례를 설명하는 도이다.
도 9는 쇼벨지원시스템의 구성의 다른 예를 나타내는 개략도이다.
이하, 도면을 참조하여 실시형태에 대하여 설명한다.
[쇼벨지원시스템의 일례]
도 1~도 8을 참조하여, 본 실시형태에 관한 쇼벨지원시스템(SYS)의 일례에 대하여 설명한다.
<쇼벨지원시스템의 개요>
먼저, 도 1을 참조하여, 본 예에 관한 쇼벨지원시스템(SYS)에 대하여 설명한다.
도 1은, 쇼벨지원시스템(SYS)의 구성의 일례를 나타내는 개략도이다.
쇼벨지원시스템(SYS)은, 서로 비교적 가까운 거리로 배치되는(예를 들면, 동일한 작업현장(작업영역)에서 작업을 행하는) 복수의 쇼벨(100)을 포함하고, 각각의 쇼벨(100)에 의한 작업을 지원한다. 이하, 복수의 쇼벨(100)은, 각각, 쇼벨지원시스템(SYS)에 관하여 동일한 구성을 갖는 전제에서 설명을 진행한다.
쇼벨(100)(건설기계의 일례)은, 하부주행체(1)와, 하부주행체(1)에 선회기구(2)를 개재하여 선회 가능하게 탑재되는 상부선회체(3)와, 어태치먼트를 구성하는 붐(4), 암(5), 및, 버킷(6)과, 캐빈(10)을 포함한다.
하부주행체(1)는, 좌우 한 쌍의 크롤러(1C), 구체적으로는, 좌(左)크롤러(1CL) 및 우(右)크롤러(1CR)를 포함한다. 하부주행체(1)는, 좌크롤러(1CL) 및 우크롤러(1CR)가 주행유압모터(2M)(2ML, 2MR)로 각각 유압구동됨으로써, 쇼벨(100)을 주행시킨다.
상부선회체(3)는, 선회유압모터(2A)로 구동됨으로써, 하부주행체(1)에 대하여 선회한다. 또, 상부선회체(3)는, 선회유압모터(2A)로 유압구동되는 대신에, 전동기에 의하여 전기구동되어도 된다. 이하, 편의상, 상부선회체(3)에 있어서의 어태치먼트(AT)가 장착되어 있는 측을 전방으로 하고, 카운터웨이트가 장착되어 있는 측을 후방으로 한다.
붐(4)은, 상부선회체(3)의 전부(前部) 중앙에 부앙(俯仰) 가능하게 피봇장착(樞着)되고, 붐(4)의 선단에는, 암(5)이 상하회동 가능하게 피봇장착되며, 암(5)의 선단에는, 버킷(6)이 상하회동 가능하게 피봇장착된다. 붐(4), 암(5), 및 버킷(6)은, 유압액추에이터로서의 붐실린더(7), 암실린더(8), 및 버킷실린더(9)에 의하여 각각 유압구동된다.
캐빈(10)은, 오퍼레이터가 탑승하는 운전실이며, 상부선회체(3)의 전부 좌측에 탑재된다.
쇼벨(100)은, 예를 들면, 블루투스(등록상표)통신이나 WiFi(등록상표)통신 등의 소정의 통신프로토콜에 준거하는 소정 방식의 근거리무선통신에 의하여 다른 쇼벨(100)과 통신 가능한 접속상태, 예를 들면, 대등한 P2P(Peer to Peer)접속을 확립할 수 있다. 이로써, 쇼벨(100)은, 다른 쇼벨(100)로부터 각종 정보를 취득하거나, 다른 쇼벨(100)에 각종 정보를 송신하거나 할 수 있다. 상세는, 후술한다.
<쇼벨지원시스템의 구성>
계속해서, 도 1에 더하여, 도 2, 도 3을 참조하여, 쇼벨지원시스템(SYS)(쇼벨(100))의 구체적인 구성에 대하여 설명한다.
도 2는, 쇼벨(100)의 상면도이다. 도 3은, 쇼벨(100)의 구성의 일례를 나타내는 구성도이다.
쇼벨(100)은, 유압시스템에 관한 구성으로서, 상술한 바와 같이, 주행유압모터(2M)(2ML, 2MR), 선회유압모터(2A), 붐실린더(7), 암실린더(8), 및 버킷실린더(9) 등의 유압액추에이터를 포함한다. 또, 쇼벨(100)은, 유압시스템에 관한 구성으로서, 엔진(11)과, 레귤레이터(13)와, 메인펌프(14)와, 유온(油溫)센서(14c)와, 파일럿펌프(15)와, 컨트롤밸브(17)와, 조작장치(26)와, 토출압센서(28)와, 조작압센서(29)와, 감압밸브(50)와, 제어밸브(60)를 포함한다. 또, 쇼벨(100)은, 제어시스템에 관한 구성으로서, 컨트롤러(30)와, 엔진제어장치(ECU: Engine Control Unit)(74)와, 엔진회전수조정다이얼(75)과, 붐각도센서(S1)와, 암각도센서(S2)와, 버킷각도센서(S3)와, 기체경사센서(S4)와, 선회상태센서(S5)와, 경보장치(49)와, 물체검지장치(70)와, 촬상장치(80)와, 방향검출장치(85)와, 통신기기(90)와, 표시장치(DS)와, 레버버튼(LB)을 포함한다.
엔진(11)은, 유압시스템의 메인동력원이며, 예를 들면, 상부선회체(3)의 후부(後部)에 탑재된다. 구체적으로는, 엔진(11)은, ECU(74)에 의한 제어하에서, 미리 설정되는 목표회전수로 일정 회전하여, 메인펌프(14) 및 파일럿펌프(15) 등을 구동한다. 엔진(11)은, 예를 들면, 경유를 연료로 하는 디젤엔진이다.
레귤레이터(13)는, 메인펌프(14)의 토출량을 제어한다. 예를 들면, 레귤레이터(13)는, 컨트롤러(30)로부터의 제어지령에 따라, 메인펌프(14)의 사판(斜板)의 각도(이하, "경전각(傾轉角)")를 조절한다.
메인펌프(14)는, 예를 들면, 엔진(11)과 동일하게, 상부선회체(3)의 후부에 탑재되며, 상술한 바와 같이, 엔진(11)에 의하여 구동됨으로써, 고압유압라인을 통하여 컨트롤밸브(17)에 작동유를 공급한다. 메인펌프(14)는, 예를 들면, 가변용량식 유압펌프이며, 컨트롤러(30)에 의한 제어하에서, 상술한 바와 같이, 레귤레이터(13)에 의하여 사판의 경전각이 조절됨으로써 피스톤의 스트로크길이가 조정되어, 토출유량(토출압)이 제어된다.
유온센서(14c)는, 메인펌프(14)에 유입되는 작동유의 온도를 검출한다. 검출되는 작동유의 온도에 대응하는 검출신호는, 컨트롤러(30)에 도입된다.
파일럿펌프(15)는, 예를 들면, 상부선회체(3)의 후부에 탑재되며, 파일럿라인을 통하여 조작장치(26)에 파일럿압을 공급한다. 파일럿펌프(15)는, 예를 들면, 고정용량식 유압펌프이며, 상술한 바와 같이, 엔진(11)에 의하여 구동된다.
컨트롤밸브(17)는, 예를 들면, 상부선회체(3)의 중앙부에 탑재되며, 오퍼레이터에 의한 조작장치(26)에 대한 조작에 따라, 유압액추에이터의 제어를 행하는 유압제어장치이다. 컨트롤밸브(17)는, 상술한 바와 같이, 고압유압라인을 개재하여 메인펌프(14)와 접속되며, 메인펌프(14)로부터 공급되는 작동유를, 조작장치(26)의 조작상태(조작내용)에 따라, 유압액추에이터(주행유압모터(2ML, 2MR), 선회유압모터(2A), 붐실린더(7), 암실린더(8), 및 버킷실린더(9))에 선택적으로 공급한다.
조작장치(26)는, 캐빈(10)의 조종석 부근에 마련되고, 오퍼레이터가 각종 피구동요소(하부주행체(1), 상부선회체(3), 붐(4), 암(5), 버킷(6) 등)의 조작을 행하기 위한 조작입력수단이다. 환언하면, 조작장치(26)는, 오퍼레이터가 각각의 피구동요소를 구동하는 유압액추에이터(즉, 주행유압모터(2ML, 2MR), 선회유압모터(2A), 붐실린더(7), 암실린더(8), 버킷실린더(9) 등)의 조작을 행하기 위한 조작입력수단이다. 조작장치(26)는, 그 2차측의 파일럿라인을 통하여, 컨트롤밸브(17)에 접속된다. 이로써, 컨트롤밸브(17)에는, 조작장치(26)에 있어서의 하부주행체(1), 상부선회체(3), 붐(4), 암(5), 및 버킷(6) 등의 조작상태에 따른 파일럿압이 입력된다. 그 때문에, 컨트롤밸브(17)는, 조작장치(26)에 있어서의 조작상태에 따라, 각각의 유압액추에이터를 선택적으로 구동할 수 있다.
토출압센서(28)는, 메인펌프(14)의 토출압을 검출한다. 토출압센서(28)에 의하여 검출된 토출압에 대응하는 검출신호는, 컨트롤러(30)에 도입된다.
조작압센서(29)는, 조작장치(26)의 2차측의 파일럿압, 즉, 조작장치(26)에 있어서의 각각의 피구동요소(즉, 유압액추에이터)의 조작상태(즉, 조작내용)에 대응하는 파일럿압(이하, "조작압")을 검출한다. 조작압센서(29)에 의한 조작장치(26)에 있어서의 하부주행체(1), 상부선회체(3), 붐(4), 암(5), 및 버킷(6) 등의 조작상태에 대응하는 파일럿압의 검출신호는, 컨트롤러(30)에 도입된다.
감압밸브(50)는, 조작장치(26)의 2차측의 파일럿라인, 즉, 조작장치(26)와 컨트롤밸브(17)의 사이의 파일럿라인에 마련되고, 컨트롤러(30)에 의한 제어하에서, 조작장치(26)의 조작내용(조작량)에 상당하는 파일럿압을 조정(감압)한다. 이로써, 컨트롤러(30)는, 감압밸브(50)를 제어함으로써, 각종 피구동요소의 동작을 제어(제한)할 수 있다.
제어밸브(60)는, 조작장치(26)에 대한 조작, 즉, 쇼벨(100)의 각종 피구동요소의 조작의 유효상태와 무효상태를 전환한다. 제어밸브(60)는, 예를 들면, 컨트롤러(30)로부터의 제어지령에 따라 동작하도록 구성되는 게이트로크밸브이다. 구체적으로는, 제어밸브(60)는, 파일럿펌프(15)와 조작장치(26)의 사이의 파일럿라인에 배치되어, 컨트롤러(30)로부터의 제어지령에 따라, 파일럿라인의 연통/차단(비연통)을 전환한다. 게이트로크밸브는, 예를 들면, 캐빈(10)의 조종석의 입구 부근에 마련되는 게이트로크레버가 당겨올려지면, 연통상태가 되어, 조작장치(26)에 대한 조작이 유효상태(조작가능상태)가 되고, 게이트로크레버가 눌러내려지면, 차단상태가 되어, 조작장치(26)에 대한 조작이 무효상태(조작불가상태)가 된다. 따라서, 컨트롤러(30)는, 제어밸브(60)에 제어지령을 출력함으로써, 쇼벨(100)의 동작을 제한(정지)시킬 수 있다.
컨트롤러(30)는, 예를 들면, 캐빈(10)의 내부에 장착되어, 쇼벨(100)을 구동제어하는 제어장치이다. 컨트롤러(30)는, 축전지(BT)로부터 공급되는 전력으로 동작한다. 이하, 표시장치(DS)나 각종 센서(예를 들면, 물체검지장치(70), 촬상장치(80), 붐각도센서(S1) 등)에 대해서도 동일하다. 컨트롤러(30)의 기능은, 임의의 하드웨어나 임의의 하드웨어와 소프트웨어의 조합 등에 의하여 실현되어도 된다. 컨트롤러(30)는, 예를 들면, CPU(Central Processing Unit), RAM(Random Access Memory) 등의 메모리장치, ROM(Read Only Memory) 등의 불휘발성의 보조기억장치, 및 외부와의 입출력용의 인터페이스장치 등을 포함하는 컴퓨터를 중심으로 구성된다. 이 경우, 컨트롤러(30)는, 보조기억장치에 저장(인스톨)되는 하나 이상의 프로그램을 읽어내 메모리장치에 로드하여, CPU상에서 실행시킴으로써 각종 기능을 실현할 수 있다.
다만, 컨트롤러(30)의 기능의 일부는, 다른 컨트롤러(제어장치)에 의하여 실현되어도 된다. 즉, 컨트롤러(30)의 기능은, 복수의 컨트롤러에 의하여 분산되는 양태로 실현되어도 된다. 또, 축전지(BT)는, 엔진(11)에 의하여 구동되는 얼터네이터(11b)의 발전전력으로 충전된다.
예를 들면, 컨트롤러(30)는, 붐각도센서(S1), 암각도센서(S2), 버킷각도센서(S3), 토출압센서(28), 및 조작압센서(29) 등의 각종 센서로부터 도입되는 검출신호에 근거하여, 레귤레이터(13) 등의 제어를 행한다.
또, 예를 들면, 컨트롤러(30)는, 물체검지장치(70)에 의하여, 쇼벨(100)의 주위의 소정의 감시영역 내(예를 들면, 쇼벨(100)로부터 5미터 이내의 작업영역)에서, 감시대상의 물체(예를 들면, 사람, 트럭, 다른 건설기계 등)가 검출된 경우, 쇼벨(100)과 감시대상의 물체의 맞닿음 등을 회피시키는 제어(이하, "맞닿음회피제어")를 행한다. 구체적으로는, 컨트롤러(30)는, 맞닿음회피제어의 일례로서, 경보장치(49)에 제어지령을 출력하여, 경보를 출력시켜도 된다. 또, 컨트롤러(30)는, 맞닿음회피제어의 일례로서, 감압밸브(50) 혹은 제어밸브(60)에 제어지령을 출력하여, 쇼벨(100)의 동작을 제한해도 된다. 이때, 동작제한의 대상은, 모든 피구동요소여도 되고, 감시대상의 물체와 쇼벨(100)의 맞닿음회피를 위하여 필요한 일부의 피구동요소뿐이어도 된다.
또, 예를 들면, 컨트롤러(30)(취득부의 일례)는, 당해 쇼벨(100)의 주위의 작업영역에 관한 정보(이하, "작업영역정보")를 취득함과 함께, 취득한 주위의 다른 쇼벨(100)에 유용한 작업영역정보를, 통신기기(90)(송신부의 일례)를 통하여, 주위의 다른 쇼벨(100)에 송신한다. 구체적으로는, 컨트롤러(30)는, 후술하는 물체검지장치(70)에 의한 물체검지의 유무에 관한 정보, 즉, 당해 쇼벨(100)의 주위의 물체의 유무의 판단결과에 관한 정보(이하, "물체검지정보")를 취득하고, 통신기기(90)를 통하여, 당해 쇼벨(100)의 주위의 다른 쇼벨(100)에 송신한다. 물체검지정보는, 예를 들면, 물체의 존재의 유무, 물체의 종류, 물체의 위치 등의 정보를 포함한다. 또, 물체검지정보는, 물체검지장치(70)에 의하여 물체가 검지되고 있는 경우만 송신되어도 되고, 검지의 유무에 관계없이 송신되어도 된다. 쇼벨지원시스템(SYS)에 있어서의 복수의 쇼벨(100)의 사이에서의 당해 기능(이하, "정보공유기능")의 상세는, 후술한다(도 5~도 7 참조).
또, 예를 들면, 컨트롤러(30)는, 쇼벨(100)의 주위의 작업영역을 포함하는 작업현장의 상황을 분석하는 기능(이하, "작업현장상황분석기능")에 관한 제어를 행한다. 구체적으로는, 컨트롤러(30)는, 물체검지장치(70)나 촬상장치(80)의 출력에 근거하여, 주위의 물체를 시계열(時系列)적으로 인식하여, 작업현장의 상황을 분석한다. 작업현장상황분석기능의 상세는, 후술한다(도 8 참조).
ECU(74)는, 컨트롤러(30)에 의한 제어하에서, 엔진(11)을 구동제어한다. 예를 들면, ECU(74)는, 이그니션 온(On) 조작에 따라, 축전지(BT)로부터의 전력으로 구동되는 스타터(11a)의 동작에 맞추어, 연료분사장치 등을 적절히 제어하여, 엔진(11)을 시동시킨다. 또, 예를 들면, ECU(74)는, 컨트롤러(30)로부터의 제어신호로 지정되는 설정회전수로 엔진(11)이 정회전(定回轉)하도록, 연료분사장치 등을 적절히 제어한다(등시성(isochronous) 제어).
다만, 엔진(11)은, 컨트롤러(30)에 의하여 직접적으로 제어되어도 된다. 이 경우, ECU(74)는, 생략되어도 된다.
엔진회전수조정다이얼(75)은, 엔진(11)의 회전수(이하, "엔진회전수")를 조정하는 조작수단이다. 엔진회전수조정다이얼(75)로부터 출력되는, 엔진회전수의 설정상태에 관한 데이터는, 컨트롤러(30)에 도입된다. 엔진회전수조정다이얼(75)은, SP(Super Power)모드, H(Heavy)모드, A(Auto)모드 및 아이들링모드의 4단계로 엔진회전수를 전환 가능하게 구성되어 있다. SP모드는, 작업량을 우선하고 싶은 경우에 선택되는 엔진회전수모드이며, 엔진회전수가 가장 높은 목표회전수로 설정된다. H모드는, 작업량과 연비를 양립시키고 싶은 경우에 선택되는 엔진회전수모드이며, 엔진회전수가 두번째로 높은 목표회전수로 설정된다. A모드는, 연비를 우선시키면서 저소음으로 쇼벨(100)을 가동시키고 싶은 경우에 선택되는 엔진회전수모드이며, 엔진회전수가 세번째로 높은 목표회전수로 설정된다. 아이들링모드는, 엔진(11)을 아이들링상태로 하고 싶은 경우에 선택되는 엔진회전수모드이며, 엔진회전수가 가장 낮은 목표회전수로 설정된다. 엔진(11)은, ECU(74)의 제어하에서, 엔진회전수조정다이얼(75)로 설정된 엔진회전수모드에 대응하는 목표회전수로 일정해지도록 제어된다.
붐각도센서(S1)는, 붐(4)에 장착되어, 붐(4)의 상부선회체(3)에 대한 부앙각도(이하, "붐각도") θ1을 검출한다. 붐각도 θ1은, 예를 들면, 붐(4)을 최대로 하강시킨 상태로부터의 상승각도이다. 이 경우, 붐각도 θ1은, 붐(4)을 최대로 상승시켰을 때에 최대가 된다. 붐각도센서(S1)는, 예를 들면, 로터리인코더, 가속도센서, 6축센서, IMU(Inertial Measurement Unit: 관성계측장치) 등을 포함해도 되고, 이하, 암각도센서(S2), 버킷각도센서(S3), 기체경사센서(S4)에 대해서도 동일하다. 또, 붐각도센서(S1)는, 붐실린더(7)에 장착된 스트로크센서여도 되고, 이하, 암각도센서(S2), 버킷각도센서(S3)에 대해서도 동일하다. 붐각도센서(S1)에 의한 붐각도 θ1에 대응하는 검출신호는, 컨트롤러(30)에 도입된다.
암각도센서(S2)는, 암(5)에 장착되어, 암(5)의 붐(4)에 대한 회동각도(이하, "암각도") θ2를 검출한다. 암각도 θ2는, 예를 들면, 암(5)을 최대로 접은 상태로부터의 펼침각도이다. 이 경우, 암각도 θ2는, 암(5)을 최대로 펼쳤을 때에 최대가 된다. 암각도센서(S2)에 의한 암각도 θ2에 대응하는 검출신호는, 컨트롤러(30)에 도입된다.
버킷각도센서(S3)는, 버킷(6)에 장착되어, 버킷(6)의 암(5)에 대한 회동각도(이하, "버킷각도") θ3을 검출한다. 버킷각도 θ3은, 버킷(6)을 최대로 접은 상태로부터의 펼침각도이다. 이 경우, 버킷각도 θ3은, 버킷(6)을 최대로 펼쳤을 때에 최대가 된다. 버킷각도센서(S3)에 의한 버킷각도 θ3에 대응하는 검출신호는, 컨트롤러(30)에 도입된다.
기체경사센서(S4)는, 소정의 평면(예를 들면, 수평면)에 대한 기체(예를 들면, 상부선회체(3))의 경사상태를 검출한다. 기체경사센서(S4)는, 예를 들면, 상부선회체(3)에 장착되어, 쇼벨(100)(즉, 상부선회체(3))의 전후방향 및 좌우방향의 2축 둘레의 경사각도(이하, "전후경사각" 및 "좌우경사각")를 검출한다. 기체경사센서(S4)에 의한 경사각도(전후경사각 및 좌우경사각)에 대응하는 검출신호는, 컨트롤러(30)에 도입된다.
선회상태센서(S5)는, 상부선회체(3)에 장착되어, 상부선회체(3)의 선회상태에 관한 검출정보를 출력한다. 선회상태센서(S5)는, 예를 들면, 상부선회체(3)의 선회각속도나 선회각도를 검출한다. 선회상태센서(S5)는, 예를 들면, 자이로센서, 리졸버, 로터리인코더 등을 포함한다.
다만, 기체경사센서(S4)에 3축 둘레의 각속도를 검출 가능한 자이로센서, 6축센서, IMU 등이 포함되는 경우, 기체경사센서(S4)의 검출신호에 근거하여 상부선회체(3)의 선회상태(예를 들면, 선회각속도)가 검출되어도 된다. 이 경우, 선회상태센서(S5)는, 생략되어도 된다.
경보장치(49)는, 쇼벨(100)의 작업에 종사하는 사람(예를 들면, 캐빈(10) 내의 오퍼레이터나 쇼벨(100)의 주위의 작업자 등)에 대한 주의환기를 행한다. 경보장치(49)는, 예를 들면, 캐빈(10)의 내부의 오퍼레이터 등에 대한 주의환기를 위한 실내경보장치를 포함한다. 실내경보장치는, 예를 들면, 캐빈(10) 내에 마련된 음성출력장치, 진동발생장치, 및 발광장치 중 적어도 하나를 포함한다. 또, 실내경보장치는, 표시장치(DS)를 포함해도 된다. 또, 경보장치(49)는, 캐빈(10)의 외부(예를 들면, 쇼벨(100)의 주위)의 작업자 등에 대한 주의환기를 위한 실외경보장치를 포함해도 된다. 실외경보장치는, 예를 들면, 캐빈(10)의 외부에 마련된 음성출력장치 및 발광장치 중 적어도 하나를 포함한다. 당해 음성출력장치는, 예를 들면, 상부선회체(3)의 바닥면에 장착되어 있는 주행알람장치여도 된다. 실외경보장치는, 상부선회체(3)에 마련되는 발광장치여도 된다. 경보장치(49)는, 예를 들면, 감시영역 내에서 물체검지장치(70)에 의하여 감시대상의 물체가 검지된 경우, 상술한 바와 같이, 컨트롤러(30)의 제어하에서, 쇼벨(100)의 작업에 종사하는 사람에게 그 취지를 알려도 된다.
물체검지장치(70)는, 쇼벨(100)의 주위에 존재하는 물체를 검지한다. 검지대상의 물체는, 예를 들면, 사람, 동물, 차량, 건설기계, 건축물, 벽, 울타리, 구멍 등을 포함한다. 물체검지장치(70)는, 예를 들면, 단안(單眼)카메라(카메라의 일례), 초음파센서, 밀리파레이더, 스테레오카메라, LIDAR(Light Detecting and Ranging), 거리화상센서, 적외선센서 등 중 적어도 하나를 포함한다. 물체검지장치(70)는, 쇼벨(100)의 주위에 설정되는 소정 영역 내의 소정의 물체를 검지하도록 구성되어 있어도 된다. 또, 물체검지장치(70)는, 물체의 종류를 구별 가능한 양태, 예를 들면, 사람과 사람 이외의 물체를 구별 가능한 양태로 구성되어 있어도 된다. 예를 들면, 물체검지장치(70)는, 패턴인식모델이나 기계학습모델 등의 소정의 모델에 근거하여, 소정의 물체를 검지하거나, 물체의 종류를 구별하거나 하는 것이 가능한 구성이어도 된다. 물체검지장치(70)는, 전방센서(70F)와, 후방센서(70B)와, 좌방센서(70L)와, 우방센서(70R)를 포함한다. 물체검지장치(70)(전방센서(70F)와, 후방센서(70B)와, 좌방센서(70L)와, 우방센서(70R)의 각각)에 의한 검지결과에 대응하는 출력신호는, 컨트롤러(30)에 도입된다.
전방센서(70F)는, 예를 들면, 캐빈(10)의 상면 전단(前端)에 장착되어, 상부선회체(3)의 전방에 존재하는 물체를 검지한다.
후방센서(70B)는, 예를 들면, 상부선회체(3)의 상면 후단에 장착되어, 상부선회체(3)의 후방에 존재하는 물체를 검지한다.
좌방센서(70L)는, 예를 들면, 상부선회체(3)의 상면 좌단에 장착되어, 상부선회체(3)의 좌방에 존재하는 물체를 검지한다.
우방센서(70R)는, 예를 들면, 상부선회체(3)의 상면 우단에 장착되어, 상부선회체(3)의 우방에 존재하는 물체를 검지한다.
다만, 물체검지장치(70)는, 물체검지의 베이스가 되는 쇼벨(100)의 주위의 환경정보(예를 들면, 촬상화상이나 주위에 송출되는 밀리파나 레이저 등의 검출파에 대한 반사파의 데이터 등)를 취득하는 것만으로, 구체적인 물체의 검지처리나 물체의 종류를 구별하는 처리 등은, 물체검지장치(70)의 외부(예를 들면, 컨트롤러(30))에 의하여 실행되어도 된다.
촬상장치(80)는, 쇼벨(100)의 주위의 모습을 촬상하여, 촬상화상을 출력한다. 촬상장치(80)는, 전방카메라(80F)와, 후방카메라(80B)와, 좌방카메라(80L)와, 우방카메라(80R)를 포함한다. 촬상장치(80)(전방카메라(80F), 후방카메라(80B), 좌방카메라(80L), 및 우방카메라(80R)의 각각)에 의한 촬상화상은, 표시장치(DS)에 도입된다. 또, 촬상장치(80)에 의한 촬상화상은, 표시장치(DS)를 통하여, 컨트롤러(30)에 도입된다. 또, 촬상장치(80)에 의한 촬상화상은, 표시장치(DS)를 통하지 않고, 직접적으로, 컨트롤러(30)에 도입되어도 된다.
전방카메라(80F)는, 예를 들면, 전방센서(70F)에 인접하도록, 캐빈(10)의 상면 전단에 장착되어, 상부선회체(3)의 전방의 모습을 촬상한다.
후방카메라(80B)는, 예를 들면, 후방센서(70B)에 인접하도록, 상부선회체(3)의 상면 후단에 장착되어, 상부선회체(3)의 후방의 모습을 촬상한다.
좌방카메라(80L)는, 예를 들면, 좌방센서(70L)에 인접하도록, 상부선회체(3)의 상면 좌단에 장착되어, 상부선회체(3)의 좌방의 모습을 촬상한다.
우방카메라(80R)는, 우방센서(70R)에 인접하도록, 상부선회체(3)의 상면 우단에 장착되어, 상부선회체(3)의 우방의 모습을 촬상한다.
다만, 물체검지장치(70)에 단안카메라나 스테레오카메라 등의 촬상장치가 포함되는 경우, 촬상장치(80)의 일부 혹은 전부의 기능은, 물체검지장치(70)에 집약되어도 된다. 예를 들면, 전방센서(70F)에 촬상장치가 포함되는 경우, 전방카메라(80F)의 기능은, 전방센서(70F)에 집약되어도 된다. 후방센서(70B), 좌방센서(70L), 및 우방센서(70R)의 각각에 촬상장치가 포함되는 경우의 후방카메라(80B), 좌방카메라(80L), 및 우방카메라(80R)의 각각의 기능에 대해서도 동일하다.
방향검출장치(85)는, 상부선회체(3)의 방향과 하부주행체(1)의 방향의 상대적인 관계에 관한 정보(이하, "방향에 관한 정보"라고 한다.)를 검출하도록 구성되어 있다. 예를 들면, 방향검출장치(85)는, 하부주행체(1)에 장착된 지자기(地磁氣)센서와 상부선회체(3)에 장착된 지자기센서의 조합으로 구성되어 있어도 된다. 또, 방향검출장치(85)는, 하부주행체(1)에 장착된 GNSS(Global Navigation Satellite System)수신기와 상부선회체(3)에 장착된 GNSS수신기의 조합으로 구성되어 있어도 된다. 상부선회체(3)가 전동기로 구동되는 구성의 경우, 방향검출장치(85)는, 전동기에 장착되는 리졸버에 의하여 구성되어 있어도 된다. 또, 방향검출장치(85)는, 예를 들면, 하부주행체(1)와 상부선회체(3)의 사이의 상대회전을 실현하는 선회기구(2)에 관련하여 마련되는 센터조인트에 배치되어 있어도 된다. 방향검출장치(85)에 의한 검출정보는, 컨트롤러(30)에 도입된다.
통신기기(90)는, 작업현장 내의 각종 장치(예를 들면, 작업현장 내의 다른 건설기계나 작업자 등의 위치정보를 계측·관리하는 위치정보관리장치 등)나 당해 쇼벨(100)의 주위의 다른 쇼벨(100) 등과 소정 방식의 근거리통신을 행하는 임의의 디바이스이다. 위치정보관리장치는, 예를 들면, 쇼벨(100)의 작업현장 내의 가설사무소 등에 설치되는 단말장치이다. 단말장치는, 예를 들면, 데스크톱형의 컴퓨터단말 등의 정치형의 단말장치여도 되고, 예를 들면, 스마트폰, 태블릿단말, 랩톱형의 컴퓨터단말 등의 휴대단말이어도 된다. 또, 위치정보관리장치는, 예를 들면, 쇼벨(100)의 작업현장 내의 가설사무소 등이나 작업현장으로부터 상대적으로 가까운 장소(예를 들면, 작업현장의 가까이의 국사(局舍)나 기지국 등의 통신시설)에 설치되는 에지서버여도 된다. 또, 위치정보관리장치는, 예를 들면, 쇼벨(100)의 작업현장의 외부에 설치되는 관리센터 등의 시설에 설치되는 클라우드서버여도 된다. 통신기기(90)는, 예를 들면, 블루투스통신모듈이나 WiFi통신모듈 등이어도 된다.
표시장치(DS)는, 예를 들면, 캐빈(10)의 내부의 조종석에 착석한 오퍼레이터 등으로부터 시인하기 쉬운 장소에 장착되어, 각종 정보화상을 표시한다. 표시장치(DS)는, 예를 들면, 액정디스플레이나 유기EL(Electroluminescence)디스플레이이다. 예를 들면, 표시장치(DS)는, 촬상장치(80)로부터 도입되는 촬상화상, 혹은, 당해 촬상화상에 대하여 소정의 변환처리를 실시한 변환화상(예를 들면, 시점변환화상이나 복수의 촬상화상을 합성한 합성화상 등)을 표시한다. 표시장치(DS)는, 표시제어부(DSa)와, 화상표시부(DS1)와, 조작입력부(DS2)를 포함한다.
표시제어부(DSa)는, 조작입력부(DS2)에 대한 오퍼레이터 등의 조작입력에 따라, 화상표시부(DS1)에 각종 정보화상을 표시시키는 제어처리를 행한다. 표시제어부(DSa)는, 컨트롤러(30)와 동일하게, 예를 들면, CPU, 메모리장치, 보조기억장치, 및 인터페이스장치 등을 포함하는 컴퓨터를 중심으로 구성되어도 된다.
다만, 표시제어부(DSa)의 기능은, 표시장치(DS)의 외부에 마련되어도 되고, 예를 들면, 컨트롤러(30)에 의하여 실현되어도 된다.
화상표시부(DS1)는, 표시장치(DS)에 있어서의 정보화상을 표시하는 영역부분이다. 화상표시부(DS1)는, 예를 들면, 액정패널이나 유기EL패널 등에 의하여 구성된다.
조작입력부(DS2)는, 표시장치(DS)에 관한 조작입력을 받아들인다. 조작입력부(DS2)에 대한 조작입력에 대응하는 조작입력신호는, 표시제어부(DSa)에 도입된다. 또, 조작입력부(DS2)는, 표시장치(DS) 이외의 쇼벨(100)에 관한 각종 조작입력을 받아들여도 된다. 이 경우, 조작입력부(DS2)에 대한 각종 조작입력에 대응하는 조작입력신호는, 직접, 혹은, 표시제어부(DSa)를 통하여 간접적으로, 컨트롤러(30)에 도입된다. 조작입력부(DS2)는, 예를 들면, 화상표시부(DS1)로서의 액정패널이나 유기EL패널에 실장되는 터치패널을 포함한다. 또, 조작입력부(DS2)는, 화상표시부(DS1)와 별체의 터치패드, 버튼, 스위치, 토글, 레버 등의 임의의 조작부재를 포함해도 된다.
다만, 표시장치(DS) 이외의 쇼벨(100)에 관한 각종 조작입력을 받아들이는 조작입력부는, 예를 들면, 레버버튼(LB)과 같이, 표시장치(DS)(조작입력부(DS2))와 별개로 마련되어도 된다.
레버버튼(LB)은, 조작장치(26)에 마련되고, 쇼벨(100)에 관한 소정의 조작입력을 받아들인다. 예를 들면, 레버버튼(LB)은, 조작장치(26)로서의 조작레버의 선단에 마련된다. 이로써, 오퍼레이터 등은, 조작레버를 조작하면서 레버버튼(LB)을 조작할 수 있다(예를 들면, 조작레버를 손으로 잡은 상태로 레버버튼(LB)을 엄지로 누를 수 있다).
<물체검지방법의 구체예>
계속해서, 도 4를 참조하여, 물체검지방법의 구체예에 대하여 설명한다.
도 4는, 물체검지방법의 일례를 설명하는 도이다.
도 4에 나타내는 바와 같이, 본 예에서는, 물체검지장치(70)는, 뉴럴네트워크(Neural Network)(DNN)를 중심으로 구성되는 학습완료모델을 이용하여, 쇼벨(100)의 주위의 물체를 검지한다.
뉴럴네트워크(DNN)는, 입력층 및 출력층의 사이에 1층 이상의 중간층(은닉층)을 갖는, 이른바 딥뉴럴네트워크이다. 뉴럴네트워크(DNN)에서는, 각각의 중간층을 구성하는 복수의 뉴런마다, 하위층과의 사이의 접속강도를 나타내는 가중값부여파라미터가 규정되어 있다. 그리고, 각층(各層)의 뉴런은, 상위층의 복수의 뉴런으로부터의 입력값의 각각에 상위층의 뉴런마다 규정되는 가중값부여파라미터를 곱한 값의 총합을, 임계값함수를 통하여, 하위층의 뉴런에 출력하는 양태로, 뉴럴네트워크(DNN)가 구성된다.
뉴럴네트워크(DNN)를 대상으로 하여, 기계학습, 구체적으로는, 심층학습(딥러닝: Deep Learning)이 행해져, 상술한 가중값부여파라미터의 최적화가 도모된다. 이로써, 뉴럴네트워크(DNN)는, 입력신호 x로서, 물체검지장치(70)에서 취득되는 환경정보(예를 들면, 촬상화상)가 입력되고, 출력신호 y로서, 미리 규정되는 감시대상리스트에 대응하는 물체의 종류마다의 물체가 존재할 확률(예측확률)을 출력할 수 있다. 본 예에서는, 뉴럴네트워크(DNN)로부터 출력되는 출력신호 y1은, 쇼벨(100)의 주위, 구체적으로는, 물체검지장치(70)에 의한 환경정보의 취득범위 내에 "사람"이 존재할 예측확률이 10%인 것을 나타내고 있다.
뉴럴네트워크(DNN)는, 예를 들면, 중첩뉴럴네트워크(CNN: Convolutional Neural Network)이다. CNN은, 기존의 화상처리기술(중첩처리 및 풀링처리)을 적용한 뉴럴네트워크이다. 구체적으로는, CNN은, 물체검지장치(70)에서 취득되는 촬상화상에 대한 중첩처리 및 풀링처리의 조합을 반복함으로써 촬상화상보다 사이즈가 작은 특징량 데이터(특징맵)를 취출한다. 그리고, 취출한 특징맵의 각 화소의 화솟값이 복수의 전체결합층에 의하여 구성되는 뉴럴네트워크에 입력되고, 뉴럴네트워크의 출력층은, 예를 들면, 물체의 종류마다의 물체가 존재할 예측확률을 출력할 수 있다.
또, 뉴럴네트워크(DNN)는, 입력신호 x로서 물체검지장치(70)에서 취득되는 촬상화상이 입력되고, 촬상화상에 있어서의 물체의 위치, 크기(즉, 촬상화상 상의 물체의 점유영역), 및 그 물체의 종류를 출력신호 y로서 출력 가능한 구성이어도 된다. 즉, 뉴럴네트워크(DNN)는, 촬상화상 상의 물체의 검지(촬상화상 상에서 물체의 점유영역부분의 판단)와, 그 물체의 분류의 판단을 행하는 구성이어도 된다. 또, 이 경우, 출력신호 y는, 입력신호 x로서의 촬상화상에 대하여 물체의 점유영역 및 그 분류에 관한 정보가 중첩적으로 부가된 화상데이터형식으로 구성되어 있어도 된다. 이로써, 물체검지장치(70)는, 학습완료모델(뉴럴네트워크(DNN))로부터 출력되는, 촬상화상 중의 물체의 점유영역의 위치 및 크기에 근거하여, 당해 물체의 쇼벨(100)로부터의 상대위치(거리나 방향)를 특정할 수 있다. 물체검지장치(70)(전방센서(70F), 후방센서(70B), 좌방센서(70L), 및 우방센서(70R))는, 상부선회체(3)에 고정되고, 촬상범위(화각)가 미리 규정(고정)되어 있기 때문이다. 본 예에서는, 뉴럴네트워크(DNN)로부터 출력되는 출력신호 y1은, 쇼벨(100)의 주위, 구체적으로는, 물체검지장치(70)에 의한 환경정보의 취득범위 내에 "사람"이 존재하는 위치의 좌표가 "(e1, n1, h1)"인 것을 나타내고 있다. 그리고, 물체검지장치(70)는, 학습완료모델(뉴럴네트워크(DNN))에 의하여 검지된 물체의 위치가 감시영역 내이며, 또한, 감시대상리스트의 물체로 분류되어 있는 경우, 감시영역 내에서, 감시대상의 물체를 검지했다고 판단할 수 있다.
예를 들면, 뉴럴네트워크(DNN)는, 촬상화상 중의 물체가 존재하는 점유영역(윈도)을 추출하는 처리, 및, 추출된 영역의 물체의 종류를 특정하는 처리의 각각에 상당하는 뉴럴네트워크를 갖는 구성이어도 된다. 즉, 뉴럴네트워크(DNN)는, 물체의 검지와, 물체의 분류를 단계적으로 행하는 구성이어도 된다. 또, 예를 들면, 뉴럴네트워크(DNN)는, 촬상화상의 전체영역이 소정수의 부분영역으로 구분된 그리드셀마다 물체의 분류 및 물체의 점유영역(바운딩박스: Bounding box)을 규정하는 처리와, 그리드셀마다의 물체의 분류에 근거하여, 종류마다의 물체의 점유영역을 결합하여, 최종적인 물체의 점유영역을 확정시키는 처리의 각각에 대응하는 뉴럴네트워크를 갖는 구성이어도 된다. 즉, 뉴럴네트워크(DNN)는, 물체의 검지와, 물체의 분류를 병렬적으로 행하는 구성이어도 된다.
물체검지장치(70)는, 예를 들면, 소정의 제어주기마다, 촬상화상 상에 있어서의 물체의 종류마다의 예측확률을 산출한다. 물체검지장치(70)는, 예측확률을 산출할 때, 금회의 판단결과와 전회의 판단결과가 일치하는 경우, 금회의 예측확률을 더 높이도록 해도 된다. 예를 들면, 전회의 물체검지처리 시에, 촬상화상 상의 소정의 영역에 비쳐 있는 물체가 "사람"(y1)이라고 판단될 예측확률에 대하여, 금회도 계속해서 "사람"(y1)이라고 판단된 경우, 금회의 "사람"(y1)이라고 판단될 예측확률을 더 높여도 된다. 이로써, 예를 들면, 동일한 화상영역에 관한 물체의 분류에 관한 판단결과가 계속적으로 일치하고 있는 경우에, 예측확률이 상대적으로 높게 산출된다. 그 때문에, 물체검지장치(70)는, 실제로는, 그 종류의 물체가 존재함에도 불구하고, 어떠한 노이즈로 그 종류의 물체의 예측확률을 상대적으로 낮게 판단해 버리는 것 같은 오판단을 억제할 수 있다.
또, 물체검지장치(70)는, 쇼벨(100)의 주행이나 선회 등의 동작을 고려하여, 촬상화상 상의 물체에 관한 판단을 행해도 된다. 쇼벨(100)의 주위의 물체가 정지하고 있는 경우이더라도, 쇼벨(100)의 주행이나 선회에 의하여, 촬상화상 상의 물체의 위치가 이동하여, 동일한 물체로서 인식할 수 없게 될 가능성이 있기 때문이다. 예를 들면, 쇼벨(100)의 주행이나 선회에 의하여, 금회의 처리에서 "사람"(y1)이라고 판단된 화상영역과 전회의 처리에서 "사람"(y1)이라고 판단된 화상영역이 다른 경우가 있을 수 있다. 이 경우, 물체검지장치(70)는, 금회의 처리에서 "사람"(y1)이라고 판단된 화상영역이 전회의 처리에서 "사람"(y1)이라고 판단된 화상영역으로부터 소정의 범위 내에 있으면, 동일한 물체로 간주하여, 계속적인 일치판단(즉, 동일한 물체를 계속해서 검지하고 있는 상태의 판단)을 행해도 된다. 물체검지장치(70)는, 계속적인 일치판단을 행하는 경우, 금회의 판단에서 이용하는 화상영역을, 전회의 판단에 이용한 화상영역에 더하여, 이 화상영역으로부터 소정의 범위 내의 화상영역도 포함해도 된다. 이로써, 쇼벨(100)이 주행하거나, 선회하거나 했다고 해도, 물체검지장치(70)는, 쇼벨(100)의 주위의 동일한 물체에 관하여 계속적인 일치판단을 행할 수 있다.
또, 물체검지장치(70)는, 뉴럴네트워크(DNN)를 이용하는 방법 이외의 임의의 기계학습에 근거하는 물체검지방법을 이용하여, 쇼벨(100)의 주위의 물체를 검지해도 된다.
예를 들면, 물체검지장치(70)의 촬상화상으로부터 취득되는 다변수의 국소특징량에 대하여, 이 다변수의 공간상에서 물체의 종류마다 그 종류의 물체인 범위와 그 종류의 물체가 아닌 범위를 구분(분류)하는 경계를 나타내는 학습완료모델이, 교사가 있는 학습에 의하여 생성되어도 된다. 경계에 관한 정보의 생성에 적용되는 기계학습(교사가 있는 학습)의 수법은, 예를 들면, 서포트벡터머신(SVM: Support Vector Machine), k근방법, 혼합가우스분포모델 등이어도 된다. 이로써, 물체검지장치(70)는, 당해 학습완료모델에 근거하여, 촬상화상으로부터 취득되는 국소특징량이 소정의 종류의 물체인 범위에 있는지, 그 종류의 물체가 아닌 범위에 있는지에 근거하여, 물체를 검지할 수 있다.
<쇼벨지원시스템의 정보공유기능에 관한 동작(제1 예)>
계속해서, 도 5, 도 6을 참조하여, 쇼벨지원시스템(SYS)의 동작, 구체적으로는, 쇼벨지원시스템(SYS)에 있어서의 복수의 쇼벨(100)의 사이에서의 정보공유기능에 관한 동작의 제1 예에 대하여 설명한다.
도 5, 도 6은, 본 실시형태에 관한 쇼벨지원시스템(SYS)의 정보공유기능에 관한 동작의 제1 예를 설명하는 도이다. 구체적으로는, 도 5는, 동일한 작업현장(작업영역 400) 내의 쇼벨(100)끼리, 정보공유기능에 의하여, 물체검지정보가 공유되는 상황을 설명하는 도이다. 도 6은, 동일한 작업현장(작업영역 400) 내에서의 쇼벨(100)마다의 주위의 물체에 관한 인식상태를 설명하는 도이며, 보다 구체적으로는, 도 5의 정보공유기능에 관한 동작 시에 있어서의 쇼벨(100)마다의 주위의 물체에 관한 인식상태를 나타내는 도이다. 이하, 본 예에서는, 복수의 쇼벨(100)을 구별하기 위하여, 굴삭작업 중인 쇼벨(100)을 편의적으로 "쇼벨(100A)"이라고 칭하고, 주행 중인 쇼벨(100)을 편의적으로 "쇼벨(100B)"이라고 칭한다.
도 5에 나타내는 바와 같이, 작업영역 400 내에 있어서, 쇼벨(100A)은, 시공대상영역 401의 굴삭작업을 행하고 있고, 쇼벨(100A)의 우측방에 배토산(402)이 형성되어 있다. 또, 작업영역 400 내에 있어서, 쇼벨(100B)은, 쇼벨(100A) 및 시공대상영역 401의 좌측방을 통과하는 양태로, 주행하고 있다. 또, 쇼벨(100A)과 쇼벨(100B)이 주행하여 통과하는 띠상의 범위의 사이의 쇼벨(100)에 상대적으로 근접한 감시영역 내에서, 작업자(W)가 작업을 행하고 있다.
작업자(W)는, 쇼벨(100A)로부터 보았을 때에, 뒤를 향하여, 얼굴이 보이지 않는 상태로 작업을 행하고 있다. 그 때문에, 쇼벨(100A)의 물체검지장치(70)는, 예를 들면, 촬상화상으로부터 작업자(W)를 검지하려고 해도, 얼굴을 인식할 수 없고, 물체검지알고리즘에 따라서는, 작업자(W)를 감시대상의 물체(사람)로서 검지할 수 없는 경우가 있다. 따라서, 본 예에서는, 쇼벨(100A)의 물체검지장치(70)는, 작업자(W)를 검지할 수 없어, 본래, 작업자(W)가 쇼벨(100A)에 근접한 감시영역 내에 침입하고 있음으로써, 맞닿음회피제어가 실행되어, 경보장치(49)가 작동해야 할 때, 경보장치(49)가 작동하지 않고, 실보(失報)상태가 되어 버리고 있다. 또, 동일하게, 감압밸브(50)나 제어밸브(60)에 제어지령이 출력되어, 쇼벨(100)의 동작이 제한되어야 할 때, 쇼벨(100)의 동작이 제한되지 않는 상태가 계속되고 있다. 이 경우, 쇼벨(100A)의 오퍼레이터는, 작업자(W)를 알아차리지 못한 채, 굴삭한 토사 등을 배토산(402)에 배토시키기 위하여, 상부선회체(3)를 우선회시키면, 상부선회체(3)의 후부와 작업자(W)의 위치관계가 매우 가까워져, 최악의 경우, 접촉해 버릴 가능성이 있다.
한편, 쇼벨(100B)은, 작업자(W)의 앞을 통과하도록 주행하고 있고, 작업자(W)는, 쇼벨(100B)로부터 보았을 때에, 앞을 향하여, 얼굴이 보이는 상태로 작업을 행하고 있다. 그 때문에, 쇼벨(100B)의 물체검지장치(70)는, 쇼벨(100B)로부터 작업자(W)까지의 거리는 멀기는 하지만, 예를 들면, 촬상화상으로부터 작업자(W)의 얼굴을 인식하여, 작업자(W)를 검지할 수 있을 가능성이 높다. 따라서, 본 예에서는, 쇼벨(100B)의 물체검지장치(70)는, 작업자(W)를 검지할 수 있다.
여기에서, 쇼벨(100B)의 컨트롤러(30)는, 상술한 바와 같이, 물체검지장치(70)로부터 작업자(W)의 검지에 관한 물체검지정보를 취득하고, 통신기기(90)를 통하여, 쇼벨(100B)로부터 쇼벨(100A)에 작업자(W)의 검지에 관한 물체검지정보를 통지한다. 이로써, 쇼벨(100A)의 컨트롤러(30)는, 통신기기(90)를 통하여 쇼벨(100B)로부터 수신되는 물체검지정보에 근거하여, 작업자(W)가 쇼벨(100A)의 좌측방의 근접하는 위치에 존재하는 것을 인식할 수 있다. 그 때문에, 쇼벨(100A)의 컨트롤러(30)는, 경보장치(49)를 작동시켜, 오퍼레이터나 주위의 작업자(W)를 향하여, 쇼벨(100A)의 주위의 감시영역 내에서 작업자(W)가 검지된 것을 알릴 수 있다. 따라서, 쇼벨(100)의 오퍼레이터가 쇼벨(100)의 작업을 일시중단시키거나, 작업자(W)가 쇼벨(100)로부터 멀어지거나 하는 등, 각각이 안전확보를 위한 행동을 취하는 것이 가능해져, 쇼벨지원시스템(SYS)은, 정보공유기능을 통하여, 쇼벨(100A, 100B)이 작업하는 작업영역 400의 안전성을 향상시킬 수 있다.
구체적으로는, 도 6에 나타내는 바와 같이, 쇼벨(100B)의 컨트롤러(30)는, 통신기기(90)를 통하여, 작업현장 내의 위치정보관리장치로부터 작업영역 400의 기준점(RP)을 원점으로 하는 로컬좌표계(이하, 간단히 "로컬좌표계")에서의 쇼벨(100B) 자신의 위치정보를 취득하고, 확인할 수 있다. 또, 쇼벨(100B)의 컨트롤러(30)는, 물체검지장치(70)의 물체검지정보에 근거하여, 작업자(W)의 쇼벨(100B)에 대한 상대위치를 확인할 수 있다. 또한, 쇼벨(100B)의 컨트롤러(30)는, 물체검지장치(70)의 물체검지정보에 근거하여, 굴삭작업 중인 쇼벨(100A)의 쇼벨(100B)에 대한 상대위치를 확인할 수 있다. 그 때문에, 쇼벨(100B)의 컨트롤러(30)는, 이들 정보를 이용하여, 로컬좌표계 상에서의 쇼벨(100A)과 작업자(W)의 위치관계를 도출할 수 있다. 따라서, 쇼벨(100B)의 컨트롤러(30)는, 통신기기(90)를 통하여, 쇼벨(100B)로부터 쇼벨(100A)에 쇼벨(100A)과 작업자(W)의 위치관계에 관한 정보를 통지할 수 있다.
또, 예를 들면, 쇼벨(100A)의 상부선회체(3)의 상면에서 작업하고 있는 작업원이 있는 경우, 쇼벨(100A)의 물체검지장치(70)는, 당해 작업원을 검출할 수 없다. 이에 대하여, 쇼벨(100B)의 물체검지장치(70)는, 당해 작업원을 검지할 수 있다. 이와 같이, 쇼벨(100B)(의 물체검지장치(70))은, 쇼벨(100A)의 물체검지장치(70)의 사각(死角)영역도 보간(補間)감시할 수 있다.
다만, 쇼벨(100B)의 컨트롤러(30)는, 쇼벨(100B)에 탑재되는 측위장치(예를 들면, GNSS수신기)의 검출정보와, 미리 규정되는 로컬좌표계의 기준점(RP)에 관한 정보에 근거하여, 로컬좌표계에서의 쇼벨(100B)의 위치정보를 취득해도 되고, 쇼벨(100A)의 경우에 대해서도 동일하다. 또, 쇼벨(100B)의 컨트롤러(30)는, 로컬좌표계 대신에, 절대좌표계(예를 들면, 위도, 경도, 고도로 나타나는 세계측지계)로, 쇼벨(100B)의 위치정보를 취득하거나, 쇼벨(100A)과 작업자(W)의 위치관계 등을 도출하거나 해도 되고, 쇼벨(100A)의 경우에 대해서도 동일하다.
한편, 쇼벨(100A)의 컨트롤러(30)는, 통신기기(90)를 통하여, 작업현장 내의 위치정보관리장치로부터 로컬좌표계에서의 쇼벨(100A) 자신의 위치정보를 취득하고, 확인할 수 있다. 또, 쇼벨(100A)의 컨트롤러(30)는, 주행 중인 쇼벨(100B)로부터 통지를 수신함으로써, 쇼벨(100A) 자신과 작업자(W)의 위치관계를 확인할 수 있다. 그 때문에, 쇼벨(100A)의 컨트롤러(30)는, 이들 정보를 이용하여, 로컬좌표계 상에서 쇼벨(100A)로부터 본 작업자(W)의 상대위치를 인식할 수 있다. 따라서, 쇼벨(100A)의 컨트롤러(30)는, 작업자(W)가 감시영역 내에 있는지를 확인한 다음, 경보장치(49)를 작동시키거나, 쇼벨(100)의 동작의 제동, 정지 등의 동작제한을 행하거나 할 수 있다. 이 경우, 검지된 물체의 종류에 근거하여, 동작을 계속시킬지, 동작을 감속시킬지, 동작을 정지시킬지 등의 안전도에 관한 대응관계가 미리 설정되어 있다. 특히, 쇼벨(100)의 경우는, 액추에이터의 종류가 많기 때문에, 검지된 물체의 종류에 근거하여, 동작을 계속시킬지, 동작을 감속시킬지, 동작을 정지시킬지 등의 대응관계가 액추에이터마다 미리 설정되어도 된다.
또, 본 예에서는, 쇼벨(100A)은, 1대의 쇼벨(100B)로부터 물체검지정보를 수신하지만, 다른 쇼벨(100)로부터 물체검지정보를 더 수신해도 된다. 즉, 하나의 쇼벨(100)은, 주위의 작업을 행하는 복수의 쇼벨(100)로부터 물체검지정보를 수신해도 된다. 이 경우, 하나의 쇼벨(100)은, 복수의 쇼벨(100)로부터 수신된 물체검지정보를 종합적으로 판단하여, 주위의 작업자 등의 감시대상의 존재의 유무를 판단해도 된다. 구체적으로는, 복수의 쇼벨(100)로부터 수신된 물체검지정보 중에는, 어떤 감시대상의 존재를 긍정하는 물체검지정보와, 당해 감시대상을 검지할 수 있는 위치에 있던 쇼벨(100)로부터의 통지인 것에도 불구하고, 당해 감시대상의 존재를 부정하는 물체검지정보와의 쌍방이 존재하는 경우가 있을 수 있다. 그 때문에, 수신측의 하나의 쇼벨(100)의 컨트롤러(30)는, 예를 들면, 안전성을 우선하여, 감시대상의 존재를 긍정하는 물체검지정보를 우선적으로 채용해도 된다. 또, 수신측의 하나의 쇼벨(100)의 컨트롤러(30)는, 쇼벨(100)의 안전성과 오보에 의한 작업성의 악화의 밸런스를 중시하여, 감시대상의 존재를 긍정하는 물체검지정보의 수와, 부정하는 물체검지정보의 수를 비교하거나, 물체검지정보의 송신원인 쇼벨(100)의 물체검지장치(70)의 정밀도정보를 비교하거나 함으로써 어느 쪽을 채용할지를 판단해도 된다.
또, 하나의 쇼벨(100)에서 검지된 물체의 위치정보와, 주위의 다른 쇼벨(100)로부터 송신된 물체검지정보의 위치정보가 동일한 경우, 하나의 쇼벨(100)의 컨트롤러(30)는, 양자를 비교하여 식별정밀도가 높은 쪽을 채용할 수 있다. 예를 들면, 동일한 위치에 존재하는 물체에 대하여, 하나의 쇼벨(100)의 컨트롤러(30)에서는 식별률 50%로 목재라고 식별되고, 주위의 다른 쇼벨(100)의 컨트롤러(30)에서는 식별률 60%로 사람이라고 식별된 경우, 하나의 쇼벨(100)의 컨트롤러는, 보다 정밀도가 높은 물체검지장치(70)를 탑재하는 주위의 다른 쇼벨(100)의 컨트롤러(30)에 의한 식별결과를 채용한다.
또, 하나의 쇼벨(100)에서 검지된 물체의 위치정보와, 주위의 쇼벨(100)로부터 송신된 물체검지정보의 위치정보가 동일한 경우, 하나의 쇼벨(100)의 컨트롤러(30)는, 양자를 비교하여 안전도가 높은 쪽의 정보에 근거하여, 자기(自機)의 제어를 행할 수 있다. 예를 들면, 동일한 위치에 존재하는 물체에 대하여, 하나의 쇼벨(100)의 컨트롤러(30)에서는 식별률 50%로 목재라고 식별된 식별결과에 근거하여 동작계속의 판단(즉, 안전도가 낮은 판단)이 이루어지고, 주위의 다른 쇼벨(100)의 컨트롤러(30)에서는 식별률 30%로 사람이라고 식별된 식별결과에 근거하여 동작정지의 판단(즉, 안전도가 높은 판단)이 이루어진 경우, 주위의 다른 쇼벨(100)의 컨트롤러(30)에 의한 식별결과가 식별률 30%로 사람으로 하는 판단이었다고 해도, 하나의 쇼벨(100)의 컨트롤러(30)는, 상대적으로 안전도가 높은 판단결과, 즉, 주위의 다른 쇼벨(100)에서의 판단결과에 근거하여, 자기를 제어한다.
또, 본 예에서는, 쇼벨(100)(쇼벨(100A))에서의 경보장치(49)의 실보 등을 회피하는 경우를 예시했지만, 정보공유기능은, 당연한 바와 같이, 쇼벨(100)에서의 경보장치(49)의 오보 등을 회피하는 경우에 이용되어도 된다. 예를 들면, 쇼벨(100A)의 주위에 감시대상이 존재하지 않는 상황에서, 쇼벨(100A)의 물체검지장치(70)가, 실제는 존재하지 않는 감시대상을 도 5, 도 6의 작업자(W)의 위치에 검지한 경우를 상정한다. 이 경우, 쇼벨(100B)의 물체검지장치(70)는, 쇼벨(100A)의 좌측방에 감시대상이 존재하지 않는다고 판단하여, 감시대상이 존재하지 않는 것을 나타내는 물체검지정보를 출력할 가능성이 높다. 그 때문에, 쇼벨(100B)의 컨트롤러(30)는, 통신기기(90)를 통하여, 쇼벨(100B)로부터 쇼벨(100A)에 감시대상의 존재를 부정하는 물체검지정보를 송신한다. 따라서, 쇼벨(100A)의 컨트롤러(30)는, 어떠한 판단기준에 근거하여, 쇼벨(100B)로부터 통지를 우선하여, 감시대상이 존재하지 않는다고 판단하여, 경보장치(49)의 작동의 취소, 혹은, 작동개시 후의 경보장치(49)의 정지를 행하거나, 쇼벨(100)의 동작제한의 취소, 혹은, 제한개시 후의 쇼벨(100)의 동작제한의 정지를 행하거나 할 수 있다. 이때, 당해 판단기준에는, 예를 들면, 물체검지정보의 송신원인 쇼벨(100B)의 물체검지장치(70)의 정밀도정보가 어떤 기준을 초과하고 있는 것이나, 물체검지정보에 포함되는, 감시대상이 존재하지 않는다고 판단했을 때의 감시대상의 존재확률(예측확률)에 관한 정보가 어떤 기준을 하회하고 있는 것 등이 포함될 수 있다.
이와 같이, 쇼벨(100B)은, 쇼벨(100B)의 감시영역 내에 있어서 감시대상이 존재하는지 여부를 판단함과 함께, 쇼벨(100B)의 감시영역 외에 있어서도 감시대상이 존재하는지 여부도 판단한다. 이때, 쇼벨(100B)의 컨트롤러(30)는, 각각의 판단결과(예를 들면, 감시대상의 유무, 감시대상의 종류, 감시대상의 위치 등에 관한 정보)를 소정의 기억부(예를 들면, 보조기억장치 등)에 기억시킨다. 동일하게, 쇼벨(100A)은, 쇼벨(100A)의 감시영역 내에 있어서 감시대상이 존재하는지 여부도 판단함과 함께, 쇼벨(100A)의 감시영역 외에 있어서도 감시대상이 존재하는지 여부도 판단한다. 이때, 쇼벨(100A)의 컨트롤러(30)는, 각각의 판단결과(예를 들면, 감시대상의 유무, 감시대상의 종류, 감시대상의 위치 등에 관한 정보)를 소정의 기억부(예를 들면, 보조기억장치 등)에 기억시킨다. 그 때문에, 쇼벨(100)의 물체검지장치(70)의 사각영역을 서로 보간감시할 수 있다. 또, 쇼벨(100)의 감시영역 외에 있어서의 감시대상이 존재하는지 여부의 판단은, 쇼벨(100)이 조작불가상태에 있어서도, 실행된다.
또, 쇼벨(100A)은, 쇼벨(100B) 대신에, 혹은, 더하여, 작업영역 400 내에 정점(定点)설치되고, 물체검지장치(70)와 동일한 물체검지장치를 포함하는 정치장치로부터 물체검지정보를 수신해도 된다. 즉, 쇼벨지원시스템(SYS)은, 복수의 쇼벨(100)에 더하여, 복수의 쇼벨(100)과 비교적 가까운 위치에 배치되는(예를 들면, 복수의 쇼벨(100)이 작업하는 작업현장(작업영역)에 정치되는) 상술한 정치장치를 포함해도 된다. 이로써, 쇼벨(100A)은, 쇼벨(100B)로부터 뿐만 아니라, 정치장치로부터도 주위의 물체의 유무에 관한 물체검지정보를 수신할 수 있다.
<쇼벨지원시스템의 정보공유기능에 관한 동작(제2 예)>
계속해서, 쇼벨지원시스템(SYS)의 정보공유기능에 관한 동작의 제2 예를 설명한다.
복수의 쇼벨(100)의 사이에서 공유되는 작업영역정보는, 작업영역 내의 시공영역에 관한 정보여도 된다.
예를 들면, 복수의 쇼벨(100)이 동일한 시공영역을 담당하는 경우에, 하나의 쇼벨(100)에서 설정된 목표시공면에 관한 정보나 작업범위(하부주행체(1), 상부선회체(3), 어태치먼트 등의 피구동요소가 작업 중의 동작이 허가되는 범위)의 외측 가장자리를 나타내는 가상면(이하, "작업범위가상면") 등의 시공영역에 관한 정보를 그 외의 쇼벨(100)에 송신한다. 이로써, 하나의 쇼벨(100)에서 설정된 시공영역에 관한 정보를 그 외의 쇼벨(100)에서 그대로 이용할 수 있기 때문에, 작업효율을 향상시킬 수 있다.
구체적으로는, 2대의 쇼벨(100)이 양단(兩端)으로부터 비교적 긴 홈의 굴삭을 개시할 때, 일방의 쇼벨(100)의 컨트롤러(30)는, 당해 쇼벨(100)에서 설정된 홈의 형상을 지시하는 홈의 측면이나 바닥면에 대응하는 목표시공면에 관한 정보를, 통신기기(90)를 통하여, 타방의 쇼벨(100)에 송신해도 된다. 이때, 하나의 쇼벨(100)에 있어서, 홈의 형상을 지시하는 목표시공면에 관한 정보는, 예를 들면, 조작입력부(DS2)를 통한 오퍼레이터의 조작입력에 의하여 설정되어도 되고, 예를 들면, 이미 일부가 굴삭된 홈의 벽면 및 바닥면이나 벽면에 설치되는 널말뚝 등이 촬상장치(80)의 촬상화상 등을 통하여 인식됨으로써 자동적으로 설정되어도 된다.
또, 예를 들면, 복수의 쇼벨(100)이 동일한 작업영역 내에서 작업을 행할 때, 하나의 쇼벨(100)의 컨트롤러(30)는, 당해 쇼벨(100)에서 설정되는 작업범위가상면에 관한 정보를, 통신기기(90)를 통하여, 그 외의 쇼벨(100)에 송신해도 된다. 이때, 하나의 쇼벨(100)에 있어서, 작업범위가상면에 관한 정보는, 예를 들면, 조작입력부(DS2)를 통한 오퍼레이터의 조작입력에 의하여 설정되어도 되고, 예를 들면, 작업범위를 규정하는 복수의 로드콘이나 장해물(예를 들면, 울타리, 전주(電柱), 전선) 등이 촬상장치(80)의 촬상화상 등을 통하여 인식됨으로써 자동적으로 인식되어도 된다.
<쇼벨지원시스템의 정보공유기능에 관한 동작(제3 예)>
계속해서, 도 7을 참조하여, 쇼벨지원시스템(SYS)의 정보공유기능에 관한 동작의 제3 예를 설명한다.
본 예에서는, 쇼벨지원시스템(SYS)은, 복수의 쇼벨(100)에 더하여, 드론(700)을 포함한다.
도 7은, 본 실시형태에 관한 쇼벨지원시스템(SYS)의 정보공유기능에 관한 동작의 제3 예를 설명하는 도이다. 본 예에서는, 쇼벨(100A, 100B)은, 상술한 제1 예(도 5, 도 6)의 경우와 동일한 상황에 있고, 또한, 작업영역 400의 상공에, 쇼벨(100)과 동일한 물체검지기능을 갖는 드론(700)이 비행하고 있는 전제에서 설명을 진행한다.
작업영역 400의 작업자(W)는, 쇼벨(100A)로부터 보았을 때에, 뒤를 향하여, 얼굴이 보이지 않는 상태로 작업을 행하고 있다. 그 때문에, 본 예에서는, 쇼벨(100A)의 물체검지장치(70)는, 취득되는 촬상화상을 학습완료모델(뉴럴네트워크(DNN))에 입력해도, "사람"이 존재할 예측확률이 10%로 출력되어, 로컬좌표계 상의 위치 "(e1, n1, h1)"의 작업자(W)를 검지할 수 없다.
한편, 쇼벨(100B)은, 작업자(W)의 앞을 통과하도록 주행하고 있고, 작업자(W)는, 쇼벨(100B)로부터 보았을 때에, 앞을 향하여, 얼굴이 보이는 상태로 작업을 행하고 있다. 그 때문에, 쇼벨(100B)의 물체검지장치(70)는, 취득되는 촬상화상을 학습완료모델(뉴럴네트워크(DNN))에 입력함으로써, "사람"이 존재할 예측확률이 80%로 출력되며, 로컬좌표계 상의 위치 "(e1, n1, h1)"의 작업자(W)를 검지하고 있다. 따라서, 쇼벨(100B)의 컨트롤러(30)는, 물체검지장치(70)로부터 취득되는, 작업자(W)의 검지에 관한 물체검지정보를, 상술한 제1 예의 경우와 동일하게, 통신기기(90)를 통하여 쇼벨(100A)에 송신한다.
또한, 드론(700)은, 작업자(W)의 정면측의 상공을 비행하고 있어, 작업자(W)는, 드론(700)으로부터 보았을 때에, 앞을 향하여, 얼굴이 보이는 상태로 작업을 행하고 있다. 그 때문에, 드론(700)은, 자신에게 탑재되는 촬상장치로 취득되는 촬상화상을 학습완료모델(뉴럴네트워크)에 입력함으로써, "사람"이 존재할 예측확률이 80%로 출력되어, 로컬좌표계 상의 위치 "(e1, n1, h1)"의 작업자(W)를 검지하고 있다. 따라서, 드론(700)은, 자신에게 탑재되는 소정의 통신 기기를 통하여, 작업자(W)의 검지에 관한 물체검지정보를 쇼벨(100A, 100B)에 송신한다.
다만, 드론(700)은, 쇼벨(100)(물체검지장치(70))과 다른 환경정보나 물체검지방법을 이용하여, 물체를 검지해도 된다.
쇼벨(100A)은, 상술한 바와 같이, 자신의 물체검지장치(70)를 이용하여 작업자(W)를 검지할 수 없지만, 쇼벨(100B) 및 드론(700)으로부터 로컬좌표계의 좌표 "(e1, n1, h1)"에 있는 작업자(W)의 검지에 관한 물체검지정보를 수신할 수 있다. 이로써, 쇼벨(100A)은, 쇼벨(100B)이나 드론(700)과의 사이의 정보공유기능에 의하여, 자신의 물체검지장치(70)에서는 검지할 수 없는 작업자(W)의 존재를 인식할 수 있다. 또, 쇼벨(100A)은, 쇼벨(100B)로부터의 물체검지정보에 더하여, 드론(700)으로부터의 물체검지정보를 수신할 수 있다. 그 때문에, 복수의 장치로부터의 물체검지정보를 이용함으로써, 로컬좌표계의 좌표 "(e1, n1, h1)"에 사람(작업자(W))이 있는 확실성을 높일 수 있다. 따라서, 쇼벨(100A)은, 주위의 물체의 검지정밀도를 향상시킬 수 있다.
다만, 쇼벨(100)(100A, 100B)은, 드론(700) 대신에, 혹은, 더하여, 작업영역 400 내의 물체를 검지 가능한 다른 장치로부터 물체검지정보를 수신 가능한 정보공유기능을 갖고 있어도 된다. 다른 장치는, 예를 들면, 작업영역 400에 설치되는 정점카메라여도 된다.
<쇼벨의 작업현장상황분석기능>
다음으로, 도 8을 참조하여, 쇼벨(100)의 작업현장상황분석기능에 관한 동작에 대하여 설명한다.
도 8은, 쇼벨(100)의 작업현장상황분석기능에 관한 동작을 설명하는 도이다. 구체적으로는, 시각 t1~시각 tn(n: 3 이상의 정수)의 시계열에서의 작업현장 내의 덤프트럭(DT)의 이동상황(이동이력)을 분석하여, 작업현장 내에 있어서의 덤프트럭(DT)의 주행도로를 파악하는 과정을 나타내는 도이다.
도 8에 나타내는 바와 같이, 쇼벨(100)은, 시각 t1~시각 tn의 시계열에서의 작업현장 내의 덤프트럭(DT)의 이동상황을 파악한다.
예를 들면, 상황 801에 나타내는 바와 같이, 시각 t1에서는, 쇼벨(100)은, 정차 중인 덤프트럭(DT)으로의 토사의 적재작업을 행하고 있다. 이로써, 쇼벨(100)(컨트롤러(30))은, 물체검지장치(70)에 의하여 검지되는, 시각 t1에 있어서의 작업현장 내의 로컬좌표계 상의 덤프트럭(DT)의 좌표로부터, 토사의 적재 시의 덤프트럭(DT)의 위치를 파악할 수 있다.
또, 예를 들면, 상황 802에 나타내는 바와 같이, 시각 tk(k: 1<k<n의 정수)에서는, 쇼벨(100)의 토사의 적재작업이 종료되고, 덤프트럭(DT)은, 토사의 반출을 위하여 작업현장의 출입구를 향하여 주행하여 이동하고 있다. 이로써, 쇼벨(100)(컨트롤러(30))은, 물체검지장치(70)에 의하여 검지되는, 시각 tk에 있어서의 작업현장 내의 로컬좌표계 상의 덤프트럭(DT)의 좌표로부터, 반출 시의 덤프트럭(DT)의 위치를 파악할 수 있다.
또, 예를 들면, 상황 803에 나타내는 바와 같이, 시각 tn에서는, 덤프트럭(DT)은, 작업현장의 출입구에 도달하고 있다. 이로써, 쇼벨(100)(컨트롤러(30))은, 시각 t1(적재 시)~시각 tn(작업현장의 출입구의 통과 시)까지의 일련의 덤프트럭(DT)의 이동을 파악할 수 있다.
컨트롤러(30)는, 시각 t1~시각 tn의 이동이력을 분석함으로써, 작업현장의 덤프트럭(DT) 등의 차량의 주행도로(주행경로)를 파악할 수 있다. 주행도로에는, 덤프트럭(DT)의 적재장소 811, 덤프트럭(DT)의 반출 시나 반입 시의 방향전환장소 812, 덤프트럭(DT)이 작업현장의 출입구를 향하여 주행하는 반입반출도로 813 등이 포함된다.
또, 컨트롤러(30)는, 덤프트럭(DT)의 이동이력뿐만 아니라, 물체검지장치(70)에 의하여 검지되는, 작업현장 내의 건물(예를 들면, 가설사무소 등)의 위치를 파악해도 된다.
예를 들면, 쇼벨(100)의 작업현장에는, 정해진 도로가 부설(敷設)되어 있는 것은 아니고, 작업현장에 있어서의 덤프트럭 등의 주행도로를 나타내는 도로정보 등은, 통상, 존재하지 않는 경우가 많다. 또, 작업현장의 가설의 건물 등은, 작업현장의 상황 등에 따라, 설치개소가 계획으로부터 변경되는 경우도 있다. 또한, 작업현장의 작업의 진척이나 기후 등에 따라, 덤프트럭 등의 주행경로도 변경되는 경우가 종종 발생할 수 있다. 그 때문에, 예를 들면, 현재의 작업현장의 상황을 나타내는 정보만으로, 작업현장의 상황을 파악하는 것은 어렵다.
이에 대하여, 본 예에서는, 쇼벨(100)(컨트롤러(30))은, 시계열에서의 물체검지정보를 이용하여, 덤프트럭(DT) 등의 작업현장 내의 차량의 이동이력을 분석하여, 주행도로 등의 작업현장의 상황을 파악할 수 있다.
또, 쇼벨(100)(컨트롤러(30))은, 파악한 작업현장의 상황에 근거하여, 작업자 등의 사람이 위험성이 높은 장소(예를 들면, 주행도로에 상대적으로 가까운 범위)에 침입하면, 작업자에 대하여 주의환기를 행해도 된다. 컨트롤러(30)는, 예를 들면, 경보장치(49)를 작동시켜, 작업자에게 주의환기를 행해도 된다. 또, 컨트롤러(30)는, 통신기기(90)를 이용하여, 작업자가 소지하는 휴대단말에 소정의 신호를 송신함으로써, 휴대단말을 진동시켜, 작업자에게 주의환기를 도모해도 된다. 예를 들면, 도 8에 나타내는 바와 같이, 컨트롤러(30)는, 물체검지장치(70)에 의하여, 주행도로(반입반출도로 813)에 매우 가까운 위치에 작업자(W)가 검지되는 경우, 경보장치(49)를 작동시키거나, 통신기기(90)를 이용하여, 작업자(W)의 휴대단말에 소정의 신호를 송신하거나 해도 된다. 이로써, 쇼벨(100)은, 작업현장의 안전성을 향상시킬 수 있다.
[쇼벨지원시스템의 다른 예]
다음으로, 도 9를 참조하여, 쇼벨지원시스템(SYS)의 다른 예에 대하여 설명한다.
도 9는, 쇼벨지원시스템(SYS)의 구성의 다른 예를 나타내는 개략도이다.
도 9에 나타내는 바와 같이, 본 예에서는, 쇼벨관리시스템(SYS)은, 복수 대의 쇼벨(100)에 더하여, 지원장치(200)와, 관리장치(300)를 포함한다. 쇼벨관리시스템(SYS)은, 관리장치(300)에 의하여, 복수 대의 쇼벨(100)을 관리한다.
쇼벨관리시스템(SYS)에 포함되는 지원장치(200)는, 1개여도 되고, 복수여도 된다. 동일하게, 쇼벨관리시스템(SYS)에 포함되는 관리장치(300)는, 1개여도 되고, 복수여도 된다.
지원장치(200)는, 소정의 통신회선을 통하여, 관리장치(300)와 통신 가능하게 접속된다. 또, 지원장치(200)는, 소정의 통신회선을 통하여, 쇼벨(100)과 통신 가능하게 접속되어도 된다. 소정의 통신회선에는, 예를 들면, 기지국을 말단으로 하는 이동통신망, 통신위성을 이용하는 위성통신망, 블루투스(등록상표)나 WiFi 등의 통신규격에 의한 근거리무선통신망 등이 포함되어도 된다. 지원장치(200)는, 예를 들면, 쇼벨(100)의 오퍼레이터나 오너 등, 작업현장의 작업자나 감독자 등, 관리장치(300)의 관리자나 작업자 등의 유저(이하, "지원장치유저")가 이용하는 유저단말이다. 지원장치(200)는, 예를 들면, 랩톱형의 컴퓨터단말, 태블릿단말, 스마트폰 등의 휴대단말이다. 또, 지원장치(200)는, 예를 들면, 데스크톱형의 컴퓨터단말 등의 정치형의 단말장치여도 된다.
관리장치(300)는, 소정의 통신회선을 통하여, 쇼벨(100)이나 지원장치(200)와 통신 가능하게 접속된다. 관리장치(300)는, 예를 들면, 작업현장의 외부의 관리센터 등에 설치되는 클라우드서버이다. 또, 관리장치(300)는, 예를 들면, 작업현장 내의 가설사무소 등이나 작업현장에 상대적으로 가까운 통신시설(예를 들면, 기지국이나 국사 등)에 설치되는 에지서버여도 된다. 또, 관리장치(300)는, 예를 들면, 작업현장 내에서 사용되는 단말장치여도 된다. 단말장치는, 예를 들면, 랩톱형의 컴퓨터단말, 태블릿단말, 스마트폰 등의 휴대단말이어도 되고, 예를 들면, 데스크톱형의 컴퓨터단말 등의 정치형의 단말장치여도 된다.
지원장치(200) 및 관리장치(300) 중 적어도 일방에는, 표시장치나 원격조작용의 조작장치가 마련되고 있어도 된다. 이 경우, 지원장치(200)나 관리장치(300)를 이용하는 오퍼레이터는, 원격조작용의 조작장치를 이용하여, 쇼벨(100)을 원격조작해도 된다. 원격조작용의 조작장치를 탑재하는 지원장치(200)나 관리장치(300)는, 예를 들면, 근거리무선통신망, 이동통신망, 위성통신망 등의 소정의 통신회선을 통하여, 쇼벨(100)에 탑재되어 있는 컨트롤러(30)에 통신 가능하게 접속된다.
또, 캐빈(10)의 표시장치(DS)에 표시될 수 있는 내용(예를 들면, 쇼벨(100)의 주위의 모습을 나타내는 화상정보나 각종의 설정화면 등)과 동일한 정보화상이, 지원장치(200)나 관리장치(300)의 표시장치로 표시되어도 된다. 쇼벨(100)의 주위의 모습을 나타내는 화상정보는, 촬상장치(80)의 촬상화상 등에 근거하여 생성되어도 된다. 이로써, 지원장치유저나 관리장치유저는, 쇼벨(100)의 주위의 모습을 확인하면서, 쇼벨(100)의 원격조작을 행하거나, 쇼벨(100)에 관한 각종의 설정을 행하거나 할 수 있다.
또, 관리장치(300)는, 예를 들면, 상술한 일례의 위치정보관리장치에 상당하는 기능을 해도 된다.
또, 쇼벨(100)의 컨트롤러(30)는, 예를 들면, 통신기기(90)를 이용하여, 지원장치(200) 및 관리장치(300) 중 적어도 일방에 각종 정보를 송신해도 된다. 컨트롤러(30)는, 예를 들면, 물체검지장치(70)의 출력(물체검지정보), 및, 촬상장치(80)의 촬상화상 등 중 적어도 하나를 지원장치(200) 및 관리장치(300) 중 적어도 일방에 송신해도 된다. 또, 쇼벨(100)의 컨트롤러(30)는, 예를 들면, 작업현장상황분석기능에 의한 분석결과에 관한 정보(즉, 작업현장의 상황을 나타내는 정보)를 지원장치(200) 및 관리장치(300) 중 적어도 일방에 송신해도 된다. 이로써, 쇼벨관리시스템(SYS)은, 지원장치(200)나 관리장치(300)에 있어서, 쇼벨(100)에서 취득되는 물체검지정보나 작업현장의 상황을 나타내는 정보 등의 각종 정보를 소정의 기억부에 기억시킬 수 있다. 또, 지원장치유저나 관리장치유저는, 지원장치(200)나 관리장치(300)의 표시장치를 통하여, 물체검지정보나 작업현장의 상황을 나타내는 정보 등을 확인할 수 있다.
이와 같이, 본 예에서는, 쇼벨관리시스템(SYS)은, 쇼벨(100)에 관한 정보(쇼벨(100)에서 취득되는 정보)를 지원장치유저나 관리장치유저에게 공유시킬 수 있다. 또, 본 예에서는, 쇼벨관리시스템(SYS)은, 지원장치(200)나 관리장치(300)에 있어서, 쇼벨(100)의 물체검지정보를 소정의 기억부에 기억시킬 수 있다. 예를 들면, 지원장치(200)나 관리장치(300)는, 쇼벨(100)의 감시영역 외에 있어서의 감시대상의 종류와 감시대상의 위치 등의 감시대상에 관한 정보를 시계열적으로 기억부에 기억할 수 있다. 이때, 지원장치(200)나 관리장치(300)의 기억부에 기억되는 감시대상에 관한 정보는, 쇼벨(100)의 감시영역 외이며, 또한, 다른 쇼벨(100)의 감시영역 내에 있어서의 감시대상의 종류나 감시대상의 위치 등에 관한 정보여도 된다.
[작용]
다음으로, 본 실시형태에 관한 쇼벨지원시스템(SYS)의 작용에 대하여 설명한다.
본 실시형태에서는, 컨트롤러(30)는, 건설기계의 주위의 작업영역에 관한 정보를 취득하고, 통신기기(90)는, 컨트롤러(30)에 의하여 취득된 정보를 당해 쇼벨(100)의 주위의 다른 쇼벨(100)에 송신한다.
이로써, 하나의 쇼벨(100)에서 취득되는 작업영역에 관한 정보를 동일한 작업영역에서 작업을 행하는 다른 쇼벨(100)에서도 이용할 수 있도록 할 수 있다.
또, 본 실시형태에서는, 컨트롤러(30)에 의하여 취득되는 작업영역에 관한 정보에는, 당해 쇼벨(100)의 주위의 작업영역을 촬상하는 카메라(물체검지장치(70))의 촬상화상에 근거하여 행해지는, 작업영역에 관한 소정의 판단(예를 들면, 작업영역에 있어서의 물체의 유무의 판단이나 물체의 종류의 판단 등)의 판단결과가 포함되어도 된다.
이로써, 하나의 쇼벨(100)에서 취득되는 작업영역에 있어서의 물체의 유무의 판단이나 물체의 종류의 판단 등에 관한 정보를 동일한 작업영역에서 작업을 행하는 다른 쇼벨(100)에서도 이용할 수 있도록 할 수 있다. 그 때문에, 예를 들면, 다른 쇼벨(100)에서 감시영역 내의 물체를 검지하고 있지 않은 것 같은 경우이더라도, 다른 쇼벨(100)은, 하나의 쇼벨(100)에서 검지된 당해 물체에 관한 정보를 이용하여, 당해 물체와의 접촉 등을 회피하기 위한 맞닿음회피제어를 행할 수 있다. 따라서, 쇼벨(100)의 안전성을 향상시킬 수 있다.
또, 본 실시형태에서는, 컨트롤러(30)에 의하여 취득되는 작업영역에 관한 정보에는, 작업영역의 시공영역에 관한 정보(예를 들면, 목표시공면에 관한 정보나 작업범위가상면에 관한 정보)가 포함되어도 된다.
이로써, 하나의 쇼벨(100)에서 취득되는 시공영역에 관한 정보를 동일한 작업영역에서 작업을 행하는 다른 쇼벨(100)에서 이용할 수 있도록 할 수 있다. 그 때문에, 예를 들면, 다른 쇼벨(100)은, 하나의 쇼벨(100)에서 설정된 시공영역에 관한 정보를 그대로 이용할 수 있다. 따라서, 복수의 쇼벨(100)에서 행해지는 작업 전체의 작업효율을 향상시킬 수 있다.
또, 본 실시형태에서는, 통신기기(90)는, 당해 쇼벨(100)의 주위에 위치하는 소정의 기기(예를 들면, 다른 쇼벨(100), 주위의 작업영역을 촬상하는 정치형 카메라를 갖는 정치기기, 작업영역의 상공을 비행하는 드론(700) 등)로부터 작업영역에 관한 정보를 수신해도 된다.
이로써, 작업영역에 관한 정보를 송신하는 측의 쇼벨(100)도, 다른 쇼벨(100), 정치기기, 드론(700) 등의 소정의 기기에서 취득된 작업영역에 관한 정보를 이용할 수 있다.
또, 본 실시형태에서는, 통신기기(90)는, 정치형 카메라의 촬상화상, 혹은, 당해 촬상화상에 근거하는 작업영역에 관한 정보(예를 들면, 작업영역에 있어서의 물체의 유무의 판단에 관한 정보 등)를 정치기기로부터 수신해도 된다.
이로써, 쇼벨(100)은, 구체적으로, 정치기기에 포함되는 정치형 카메라의 촬상화상이나, 당해 촬상화상에 근거하는 작업영역에 관한 정보를 이용할 수 있다.
[변형·개량]
이상, 실시형태에 대하여 상세하게 설명했지만, 본 개시는 이러한 특정의 실시형태에 한정되는 것은 아니고, 특허청구의 범위에 기재된 요지의 범위 내에 있어서, 다양한 변형·변경이 가능하다.
예를 들면, 상술한 실시형태에서는, 복수의 쇼벨(100)이 서로 작업영역정보 등을 송수신하지만, 쇼벨(100) 대신에, 혹은, 더하여, 다른 건설기계를 포함하는 복수의 건설기계가 서로 작업영역정보 등을 송수신하는 구성이어도 된다. 즉, 상술한 실시형태에 관한 쇼벨지원시스템(SYS)은, 쇼벨(100) 대신에, 혹은, 더하여, 불도저, 휠로더, 아스팔트피니셔 등의 도로기계나, 하베스터 등을 구비하는 임업기계 등의 다른 건설기계를 포함하는 양태여도 된다.
마지막으로, 본원은, 2019년 3월 27일에 출원한 일본 특허출원 2019-61771호에 근거하여 우선권을 주장하는 것이며, 일본 특허출원의 전체 내용을 본원에 참조에 의하여 원용한다.
30 컨트롤러(취득부)
49 경보장치
50 감압밸브
60 제어밸브
70 물체검지장치(카메라)
70B 후방센서(카메라)
70F 전방센서(카메라)
70L 좌방센서(카메라)
70R 우방센서(카메라)
90 통신기기(송신부)
100 쇼벨(건설기계)
700 드론
SYS 쇼벨지원시스템(지원시스템)

Claims (10)

  1. 건설기계의 주위의 작업영역에 관한 정보를 취득하는 취득부와,
    상기 취득부에 의하여 취득된 정보를 당해 건설기계의 주위의 다른 건설기계에 송신하는 송신부를 구비하는, 건설기계.
  2. 제1항에 있어서,
    당해 건설기계의 주위의 작업영역을 촬상하는 카메라를 더 구비하고,
    상기 취득부에 의하여 취득되는 상기 작업영역에 관한 정보는, 상기 카메라의 촬상화상에 근거하여 행해지는, 상기 작업영역에 관한 소정의 판단의 판단결과를 포함하는, 건설기계.
  3. 제2항에 있어서,
    상기 소정의 판단은, 상기 작업영역에 있어서의 물체의 유무의 판단을 포함하는, 건설기계.
  4. 제1항에 있어서,
    상기 취득부에 의하여 취득되는 상기 작업영역에 관한 정보는, 상기 작업영역의 시공영역에 관한 정보를 포함하는, 건설기계.
  5. 제1항에 있어서,
    당해 건설기계의 주위에 위치하는 소정의 기기로부터 상기 작업영역에 관한 정보를 수신하는 수신부를 더 구비하는, 건설기계.
  6. 제5항에 있어서,
    상기 소정의 기기는, 상기 작업영역을 촬상하는 정치형 카메라를 갖는 정치기기를 포함하고,
    상기 수신부는, 상기 정치형 카메라의 촬상화상, 또는, 당해 촬상화상에 근거하는 상기 작업영역에 관한 정보를 상기 정치기기로부터 수신하는, 건설기계.
  7. 제5항에 있어서,
    상기 소정의 기기는, 상기 다른 건설기계를 포함하고,
    상기 수신부는, 상기 다른 건설기계에서 취득된 상기 작업영역에 관한 정보를 수신하는, 건설기계.
  8. 소정의 작업영역 내에 위치하는 복수의 건설기계를 포함하는 지원시스템으로서,
    상기 복수의 건설기계는, 각각,
    상기 작업영역에 관한 정보를 취득하는 취득부와,
    상기 취득부에 의하여 취득된 정보를 다른 상기 건설기계에 송신하는 송신부를 구비하는, 지원시스템.
  9. 제8항에 있어서,
    기억부를 구비하고,
    상기 취득부에 의하여 취득된 정보는, 상기 건설기계의 감시영역 외에 있어서의 감시대상에 관한 정보이며,
    상기 기억부에는, 상기 감시대상에 관한 정보가 기억되는, 지원시스템.
  10. 제9항에 있어서,
    상기 기억부에 기억되는 상기 감시대상에 관한 정보는, 상기 다른 건설기계의 감시영역 내에 있어서의 감시대상에 관한 정보인, 지원시스템.
KR1020217031425A 2019-03-27 2020-03-27 건설기계, 지원시스템 KR20210139297A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-061771 2019-03-27
JP2019061771 2019-03-27
PCT/JP2020/014204 WO2020196874A1 (ja) 2019-03-27 2020-03-27 建設機械、支援システム

Publications (1)

Publication Number Publication Date
KR20210139297A true KR20210139297A (ko) 2021-11-22

Family

ID=72609575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217031425A KR20210139297A (ko) 2019-03-27 2020-03-27 건설기계, 지원시스템

Country Status (6)

Country Link
US (1) US20220002978A1 (ko)
EP (1) EP3951084B1 (ko)
JP (1) JP7387718B2 (ko)
KR (1) KR20210139297A (ko)
CN (1) CN113661296A (ko)
WO (1) WO2020196874A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7508815B2 (ja) * 2020-03-13 2024-07-02 コベルコ建機株式会社 作業支援サーバ、作業支援方法
US11773567B2 (en) * 2020-07-22 2023-10-03 Baidu Usa Llc Engineering machinery equipment, and method, system, and storage medium for safety control thereof
JP7521443B2 (ja) * 2021-02-02 2024-07-24 コベルコ建機株式会社 作業支援システムおよび作業支援複合システム
JPWO2022210980A1 (ko) 2021-03-31 2022-10-06
CN118435585A (zh) * 2021-12-22 2024-08-02 住友建机株式会社 信息处理系统、程序及信息处理方法
US20230339734A1 (en) * 2022-04-26 2023-10-26 Deere & Company Object detection system and method on a work machine

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06290497A (ja) 1993-03-31 1994-10-18 Nippon Steel Corp 光磁気記録媒体用ガーネット二層膜及び光磁気記録ディスク

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002188183A (ja) * 2000-10-12 2002-07-05 Komatsu Ltd 作機機械の管理装置
JP2008179940A (ja) * 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP4720386B2 (ja) * 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
JP4964321B2 (ja) * 2010-04-16 2012-06-27 三菱電機株式会社 乗員保護装置
CN106462962B (zh) * 2014-06-03 2020-08-04 住友重机械工业株式会社 施工机械用人检测系统以及挖土机
CN104943689B (zh) * 2015-06-03 2017-05-10 奇瑞汽车股份有限公司 一种汽车主动防撞系统的控制方法
JP6674846B2 (ja) * 2016-05-31 2020-04-01 株式会社小松製作所 形状計測システム、作業機械及び形状計測方法
JP6980391B2 (ja) * 2017-01-25 2021-12-15 住友重機械工業株式会社 作業機械用周辺監視システム
US10109198B2 (en) * 2017-03-08 2018-10-23 GM Global Technology Operations LLC Method and apparatus of networked scene rendering and augmentation in vehicular environments in autonomous driving systems
JP6290497B2 (ja) 2017-06-16 2018-03-07 住友重機械工業株式会社 ショベル
US10349011B2 (en) * 2017-08-14 2019-07-09 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system
JP6960279B2 (ja) * 2017-08-31 2021-11-17 古野電気株式会社 車載装置、基地局装置、映像情報提供システム、映像情報提供方法、及びコンピュータプログラム
JP6863199B2 (ja) 2017-09-25 2021-04-21 トヨタ自動車株式会社 プラズマ処理装置
US10452353B2 (en) * 2017-11-01 2019-10-22 Deere & Company Work machine event capture
JP7150447B2 (ja) * 2018-02-28 2022-10-11 株式会社小松製作所 情報提示装置および情報提示方法
AU2019382307A1 (en) * 2018-11-22 2021-06-03 Presien Pty Ltd System and method for identifying a defined object and alerting a user

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06290497A (ja) 1993-03-31 1994-10-18 Nippon Steel Corp 光磁気記録媒体用ガーネット二層膜及び光磁気記録ディスク

Also Published As

Publication number Publication date
WO2020196874A1 (ja) 2020-10-01
JPWO2020196874A1 (ko) 2020-10-01
US20220002978A1 (en) 2022-01-06
EP3951084B1 (en) 2024-08-14
JP7387718B2 (ja) 2023-11-28
CN113661296A (zh) 2021-11-16
EP3951084A4 (en) 2022-05-18
EP3951084A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
KR20210139297A (ko) 건설기계, 지원시스템
US20200340208A1 (en) Shovel and shovel management system
CN113631779B (zh) 挖土机及施工系统
KR102700865B1 (ko) 쇼벨, 쇼벨지원시스템
US20220154431A1 (en) Shovel and information processing apparatus
KR20200133719A (ko) 쇼벨
US10279930B2 (en) Work surface failure prediction and notification system
CN113167057B (zh) 挖土机、挖土机的控制装置
WO2022210980A1 (ja) 建設機械、建設機械の支援システム
US20230008338A1 (en) Construction machine, construction machine management system, and machine learning apparatus
US20220002970A1 (en) Excavator
JP2021188258A (ja) ショベル用のシステム
JP2022085617A (ja) 周辺監視システム、表示装置
JP2022154722A (ja) ショベル
JP7488753B2 (ja) 周辺監視装置
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
EP4325318A1 (en) Obstacle detection for a mining vehicle
JP2024099211A (ja) ショベル
JP2023093109A (ja) 建設機械、及び情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right