KR20230015308A - 쇼벨용의 시공지원시스템 - Google Patents

쇼벨용의 시공지원시스템 Download PDF

Info

Publication number
KR20230015308A
KR20230015308A KR1020227030064A KR20227030064A KR20230015308A KR 20230015308 A KR20230015308 A KR 20230015308A KR 1020227030064 A KR1020227030064 A KR 1020227030064A KR 20227030064 A KR20227030064 A KR 20227030064A KR 20230015308 A KR20230015308 A KR 20230015308A
Authority
KR
South Korea
Prior art keywords
shovel
virtual
operator
simulation
support system
Prior art date
Application number
KR1020227030064A
Other languages
English (en)
Inventor
춘난 우
Original Assignee
스미도모쥬기가이고교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스미도모쥬기가이고교 가부시키가이샤 filed Critical 스미도모쥬기가이고교 가부시키가이샤
Publication of KR20230015308A publication Critical patent/KR20230015308A/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • E02F3/437—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like providing automatic sequences of movements, e.g. linear excavation, keeping dipper angle constant
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2221—Control of flow rate; Load sensing arrangements
    • E02F9/2225—Control of flow rate; Load sensing arrangements using pressure-compensating valves
    • E02F9/2228—Control of flow rate; Load sensing arrangements using pressure-compensating valves including an electronic controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2278—Hydraulic circuits
    • E02F9/2285—Pilot-operated systems
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2278—Hydraulic circuits
    • E02F9/2292—Systems with two or more pumps
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2278—Hydraulic circuits
    • E02F9/2296—Systems with a variable displacement pump
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • E02F9/268—Diagnosing or detecting failure of vehicles with failure correction follow-up actions

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Paleontology (AREA)
  • Operation Control Of Excavators (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

쇼벨(100)에 의한 시공을 지원하는 시공지원시스템(SYS)은, 쇼벨(100)의 작업환경에 근거하여 설정된 가상환경에 있어서의 쇼벨(100)의 동작의 시뮬레이션을 실행하는 컨트롤러(50)를 갖는다. 컨트롤러(50)는, 쇼벨(100)의 주위의 공간을 인식하는 공간인식장치의 출력에 근거하여 시뮬레이션을 실행해도 된다. 공간인식장치는, 쇼벨(100)에 탑재되어 있어도 되고, 쇼벨(100)의 외부에 설치되어 있어도 된다. 또, 시공지원시스템(SYS)은, 컨트롤러(50)에 의한 시뮬레이션의 결과를 표시하는 표시장치(D1)를 갖고 있어도 된다.

Description

쇼벨용의 시공지원시스템
본 개시는, 쇼벨용의 시공지원시스템에 관한 것이다.
과거의 작업기계의 조작데이터 중의 작업품질이 높은 조작데이터를 이용하여, 건설기계의 조작자의 지원을 행하는 조작지원시스템이 알려져 있다(특허문헌 1 참조).
특허문헌 1: 일본 공개특허공보 2016-156193호
그러나, 상술한 시스템은, 과거의 가장 양호한 작업자의 조작데이터를 이용할 뿐이며, 실제의 작업현장의 상황이 반영되어 있지 않다.
그래서, 쇼벨에 의한 시공을 지원할 때에 실제의 작업현장의 상황을 반영시킬 수 있는 쇼벨용의 시공지원시스템을 제공하는 것이 요망된다.
본 발명의 실시형태에 관한 쇼벨용의 시공지원시스템은, 쇼벨에 의한 시공을 지원하는 시스템으로서, 상기 쇼벨의 작업환경에 근거하여 설정된 가상환경에 있어서의 상기 쇼벨의 동작의 시뮬레이션을 실행하는 연산장치를 갖는다.
상술한 쇼벨용의 시공지원시스템은, 쇼벨에 의한 시공을 지원할 때에 실제의 작업현장의 상황을 반영시킬 수 있다.
도 1은 쇼벨의 측면도이다.
도 2는 도 1의 쇼벨에 탑재되는 구동계의 구성예를 나타내는 도이다.
도 3은 도 1의 쇼벨에 탑재되는 전기계의 구성예를 나타내는 도이다.
도 4는 원격조작실에 관한 좌표계와 쇼벨에 관한 좌표계의 관계를 나타내는 도이다.
도 5는 시공지원시스템의 구성예를 나타내는 개략도이다.
도 6은 시공지원시스템의 구성예를 나타내는 블록도이다.
도 7은 작업현장에 있어서의 쇼벨의 측면도이다.
도 8은 시공지원시스템의 다른 구성예를 나타내는 기능블록도이다.
다음으로, 첨부 도면을 참조하면서, 본 발명의 한정적이 아닌 예시의 실시형태에 대하여 설명한다.
도 1은, 본 발명의 실시형태에 관한 굴삭기로서의 쇼벨(100)을 나타내고 있다. 쇼벨(100)의 하부주행체(1)에는, 선회기구(2)를 개재하여 상부선회체(3)가 선회 가능하게 탑재되어 있다. 상부선회체(3)에는 붐(4)이 장착되어 있다. 붐(4)의 선단에는 암(5)이 장착되고, 암(5)의 선단에는 엔드어태치먼트로서의 버킷(6)이 장착되어 있다.
붐(4), 암(5), 및 버킷(6)은, 어태치먼트의 일례인 굴삭어태치먼트를 구성하고 있다. 붐(4)은 붐실린더(7)에 의하여 구동되고, 암(5)은 암실린더(8)에 의하여 구동되며, 버킷(6)은 버킷실린더(9)에 의하여 구동된다.
붐(4)에는 붐각도센서(S1)가 장착되고, 암(5)에는 암각도센서(S2)가 장착되며, 버킷링크에는 버킷각도센서(S3)가 장착되어 있다. 상부선회체(3)에는, 선회각속도센서(S4)가 장착되어 있다.
붐각도센서(S1)는, 자세검출센서의 하나이며, 붐(4)의 회동(回動)각도를 검출하도록 구성되어 있다. 본 실시형태에서는, 붐각도센서(S1)는, 붐실린더(7)의 스트로크양을 검출하는 스트로크센서이며, 붐실린더(7)의 스트로크양에 근거하여 상부선회체(3)와 붐(4)을 연결하는 붐풋핀 둘레의 붐(4)의 회동각도를 도출한다.
암각도센서(S2)는, 자세검출센서의 하나이며, 암(5)의 회동각도를 검출하도록 구성되어 있다. 본 실시형태에서는, 암각도센서(S2)는, 암실린더(8)의 스트로크양을 검출하는 스트로크센서이며, 암실린더(8)의 스트로크양에 근거하여 붐(4)과 암(5)을 연결하는 연결핀 둘레의 암(5)의 회동각도를 도출한다.
버킷각도센서(S3)는, 자세검출센서의 하나이며, 버킷(6)의 회동각도를 검출하도록 구성되어 있다. 본 실시형태에서는, 버킷각도센서(S3)는, 버킷실린더(9)의 스트로크양을 검출하는 스트로크센서이며, 버킷실린더(9)의 스트로크양에 근거하여 암(5)과 버킷(6)을 연결하는 연결핀 둘레의 버킷(6)의 회동각도를 도출한다.
다만, 붐각도센서(S1), 암각도센서(S2), 및 버킷각도센서(S3)의 각각은, 로터리인코더, 가속도센서, 퍼텐쇼미터(가변저항기), 경사센서, 또는, 관성계측장치 등이어도 된다. 관성계측장치는, 예를 들면, 가속도센서와 자이로센서의 조합으로 구성되어 있어도 된다.
선회각속도센서(S4)는, 상부선회체(3)의 선회각속도를 검출하도록 구성되어 있다. 본 실시형태에서는, 선회각속도센서(S4)는, 자이로센서이다. 선회각속도센서(S4)는, 선회각속도에 근거하여 선회각도를 산출하도록 구성되어 있어도 된다. 선회각속도센서(S4)는, 로터리인코더 등의 다른 센서로 구성되어 있어도 된다.
상부선회체(3)에는, 운전실로서의 캐빈(10), 엔진(11), 측위장치(18), 집음장치(A1), 공간인식장치(C1), 및 통신장치(T1) 등이 탑재되어 있다. 또, 캐빈(10) 내에는, 컨트롤러(30)가 탑재되어 있다. 또, 캐빈(10) 내에는, 운전석 및 조작장치 등이 설치되어 있다. 단, 쇼벨(100)은, 캐빈(10)이 생략된 무인(無人)쇼벨이어도 된다.
원동기로서의 엔진(11)은, 쇼벨(100)의 구동원이다. 본 실시형태에서는, 엔진(11)은, 디젤엔진이다. 엔진(11)의 출력축은, 메인펌프(14) 및 파일럿펌프(15)의 각각의 입력축에 연결되어 있다. 메인펌프(14)는, 엔진(11) 대신에, 축전장치로부터의 전력에 의하여 구동되는 전동기에 의하여 구동되어도 된다.
측위장치(18)는, 쇼벨(100)의 위치를 측정하도록 구성되어 있다. 본 실시형태에서는, 측위장치(18)는, GNSS컴퍼스이며, 상부선회체(3)의 위치 및 방향을 측정할 수 있도록 구성되어 있다.
집음장치(A1)는, 쇼벨(100)의 주위에서 발생하는 소리를 모으도록 구성되어 있다. 본 실시형태에서는, 집음장치(A1)는, 상부선회체(3)에 장착된 마이크이다.
공간인식장치(C1)는, 쇼벨(100)의 주위의 공간을 인식할 수 있도록 구성되어 있다. 본 실시형태에서는, 공간인식장치(C1)는, 단안(單眼)카메라, 스테레오카메라, 또는 적외선카메라 등의 촬상장치이다. 도시예에서는, 공간인식장치(C1)는, CCD 또는 CMOS 등의 촬상소자를 갖는 단안카메라이다. 구체적으로는, 공간인식장치(C1)는, 상부선회체(3)의 상면후단에 장착된 후카메라(C1B), 캐빈(10)의 상면전단에 장착된 전카메라(C1F), 상부선회체(3)의 상면좌단에 장착된 좌카메라(C1L), 및, 상부선회체(3)의 상면우단에 장착된 우카메라(C1R)를 포함한다. 공간인식장치(C1)는, 캐빈(10) 내의 소정 위치에 설치된 전천구(全天球)카메라여도 된다. 소정 위치는, 예를 들면, 캐빈(10) 내에 설치된 운전석에 착석하는 조작자의 눈의 위치에 대응하는 위치이다.
공간인식장치(C1)는, LIDAR, 초음파센서, 밀리파레이더, 레이저레이더, 또는 적외선센서 등(이하, "LIDAR 등"이라고 한다.)이어도 된다. LIDAR 등으로서의 공간인식장치(C1)는, 다수의 신호(레이저광 등)를 물체를 향하여 발신하고, 그 반사신호를 수신함으로써, 공간인식장치(C1)부터 물체까지의 거리 및 공간인식장치(C1)에서 본 물체의 방향을 검출해도 된다.
공간인식장치(C1)는, 쇼벨(100)의 주위에 존재하는 물체를 검지하도록 구성되어 있어도 된다. 물체는, 예를 들면, 지형형상(경사 혹은 구멍 등), 덤프트럭, 전선, 전주(電柱), 사람, 동물, 차량, 건설기계, 건축물, 벽, 헬멧, 안전베스트, 작업복, 또는, 헬멧에 있어서의 소정의 마크 등이다. 이 경우, 공간인식장치(C1)는, 물체의 종류, 위치, 및 형상 등 중 적어도 하나를 식별할 수 있도록 구성되어 있어도 된다. 또, 공간인식장치(C1)는, 사람과 사람 이외의 물체를 구별할 수 있도록 구성되어 있어도 된다.
액추에이터가 동작하기 전에 공간인식장치(C1)에 의하여 쇼벨(100)로부터 소정 거리의 범위 내에 사람이 존재한다고 판단된 경우에는, 컨트롤러(30)는, 조작자가 조작레버를 조작해도, 액추에이터를 동작불가능상태 혹은 미속상태로 해도 된다. 구체적으로는, 컨트롤러(30)는, 쇼벨(100)로부터 소정 거리의 범위 내에 사람이 존재한다고 판단한 경우, 게이트로크밸브를 로크상태로 함으로써 액추에이터를 동작불가능상태로 할 수 있다. 전기식의 조작레버의 경우에는, 컨트롤러(30)는, 조작용 제어밸브로의 신호를 무효로 함으로써, 액추에이터를 동작불가능상태로 할 수 있다. 조작용 제어밸브는, 컨트롤러(30)로부터의 제어지령에 대응하는 파일럿압을 출력하고 컨트롤밸브유닛(17) 내의 대응하는 제어밸브의 파일럿포트에 그 파일럿압을 작용시키도록 구성되어 있다. 다른 방식의 조작레버를 이용하는 경우이더라도, 조작용 제어밸브를 이용하는 경우에는 동일하다. 액추에이터의 동작을 미속으로 하고자 하는 경우에는, 컨트롤러(30)는, 조작용 제어밸브로의 신호(예를 들면, 전류신호의 값)를 작게 함으로써, 액추에이터를 미속상태로 할 수 있다. 이와 같이, 쇼벨(100)로부터 소정 거리의 범위 내에 사람이 존재한다고 판단되면, 조작장치가 조작되어도 액추에이터는 구동되지 않거나, 혹은, 조작장치로의 입력에 따른 출력보다 작은 출력으로 미속구동된다. 또한, 조작자가 조작레버를 조작하고 있을 때에 쇼벨(100)로부터 소정 거리의 범위 내에 사람이 존재한다고 판단된 경우에는, 컨트롤러(30)는, 조작자의 조작내용과 무관하게 액추에이터의 동작을 정지시키거나, 혹은, 감속시켜도 된다. 구체적으로는, 쇼벨(100)로부터 소정 거리의 범위 내에 사람이 존재한다고 판단된 경우, 컨트롤러(30)는, 게이트로크밸브를 로크상태로 함으로써 액추에이터를 정지시킨다. 조작용 제어밸브가 이용되는 경우에는, 컨트롤러(30)는, 조작용 제어밸브로의 신호를 무효로 함으로써, 혹은, 조작용 제어밸브에 대하여 감속지령을 출력함으로써, 액추에이터를 동작불가능상태 또는 미속상태로 할 수 있다. 또, 공간인식장치(C1)에 의하여 검지된 물체가 덤프트럭인 경우에는, 정지제어는 불필요하다. 이 경우, 검지된 덤프트럭을 회피하도록 액추에이터는 제어된다. 이와 같이, 검지된 물체의 종류의 인식에 근거하여, 액추에이터는 제어되어도 된다.
통신장치(T1)는, 쇼벨(100)의 외부에 있는 기기와의 통신을 제어하도록 구성되어 있다. 본 실시형태에서는, 통신장치(T1)는, 무선통신망을 통하여, 통신장치(T1)와 쇼벨(100)의 외부에 있는 기기의 사이의 무선통신을 제어하도록 구성되어 있다.
컨트롤러(30)는, 각종 연산을 실행하는 연산장치이다. 본 실시형태에서는, 컨트롤러(30)는, CPU 및 메모리(30a)를 포함하는 마이크로컴퓨터로 구성되어 있다. 그리고, 컨트롤러(30)의 각종 기능은, CPU가 메모리(30a)에 저장된 프로그램을 실행함으로써 실현된다.
도 2는, 도 1의 쇼벨(100)의 구동계의 구성예를 나타내는 블록도이다. 도 2에 있어서, 기계적 동력전달라인은 이중선, 작동유라인은 굵은 실선, 파일럿라인은 파선, 전기제어라인은 점선으로 각각 나타나 있다.
쇼벨(100)의 구동계는, 엔진(11), 레귤레이터(13), 메인펌프(14), 파일럿펌프(15), 컨트롤밸브유닛(17), 컨트롤러(30), 및 전자밸브유닛(45) 등으로 구성되어 있다. 엔진(11)은, 엔진컨트롤유닛(74)에 의하여 구동제어된다.
메인펌프(14)는, 작동유라인(16)을 통하여 작동유를 컨트롤밸브유닛(17)에 공급한다. 본 실시형태에서는, 메인펌프(14)는, 사판식(斜板式) 가변용량형 유압펌프이다.
레귤레이터(13)는, 메인펌프(14)의 토출량을 제어하도록 구성되어 있다. 본 실시형태에서는, 레귤레이터(13)는, 메인펌프(14)의 토출압 또는 컨트롤러(30)로부터의 제어신호 등에 따라 메인펌프(14)의 사판경전각(傾轉角)을 조절하도록 구성되어 있다. 메인펌프(14)는, 레귤레이터(13)에 의하여 1회전당 토출량(변위용적)이 제어된다.
파일럿펌프(15)는, 파일럿라인(25)을 통하여 각종 유압제어기기에 작동유를 공급하도록 구성되어 있다. 본 실시형태에서는, 파일럿펌프(15)는, 고정용량형 유압펌프이다. 단, 파일럿펌프(15)는, 생략되어도 된다. 이 경우, 파일럿펌프(15)가 담당하고 있던 기능은, 메인펌프(14)에 의하여 실현되어도 된다. 즉, 메인펌프(14)는, 컨트롤밸브유닛(17)에 작동유를 공급하는 기능과는 별도로, 스로틀 등을 통하여 전자밸브유닛(45) 등에 작동유를 공급하는 기능을 구비하고 있어도 된다.
컨트롤밸브유닛(17)은, 메인펌프(14)로부터 수용한 작동유를 하나 또는 복수의 유압액추에이터에 선택적으로 공급할 수 있도록 구성되어 있다. 본 실시형태에서는, 컨트롤밸브유닛(17)은, 복수의 유압액추에이터에 대응하는 복수의 제어밸브를 포함한다. 그리고, 컨트롤밸브유닛(17)은, 하나 또는 복수의 유압액추에이터에 대하여, 메인펌프(14)로부터 토출되는 작동유를 선택적으로 공급할 수 있도록 구성되어 있다. 유압액추에이터는, 예를 들면, 붐실린더(7), 암실린더(8), 버킷실린더(9), 좌측주행용 유압모터(1L), 우측주행용 유압모터(1R), 및 선회용 유압모터(2A)를 포함한다.
컨트롤러(30)는, 통신장치(T1)를 통하여 수신하는 조작신호에 근거하여, 전자밸브유닛(45)을 제어하도록 구성되어 있다. 본 실시형태에서는, 조작신호는, 원격조작실로부터 송신되어 온다. 조작신호는, 캐빈(10) 내에 마련된 조작장치에 의하여 생성되어도 된다.
전자밸브유닛(45)은, 파일럿펌프(15)와 컨트롤밸브유닛(17) 내의 각 제어밸브의 파일럿포트를 연결하는 각 파일럿라인(25)에 배치된 복수의 전자밸브를 포함한다.
본 실시형태에서는, 컨트롤러(30)는, 복수의 전자밸브의 각각의 개구면적을 개별적으로 제어함으로써, 각 제어밸브의 파일럿포트에 작용하는 파일럿압을 제어할 수 있다. 그 때문에, 컨트롤러(30)는, 각 유압액추에이터에 유입되는 작동유의 유량, 및, 각 유압액추에이터로부터 유출되는 작동유의 유량을 제어할 수 있고, 나아가서는, 각 유압액추에이터의 움직임을 제어할 수 있다.
이와 같이 하여, 컨트롤러(30)는, 원격조작실 등의 외부로부터의 조작신호에 따라, 붐(4)의 오르내림, 암(5)의 개폐, 버킷(6)의 개폐, 상부선회체(3)의 선회, 및 하부주행체(1)의 주행 등을 실현할 수 있다.
도 3은, 도 1의 쇼벨에 탑재되는 전기계의 구성예를 나타내는 도이다. 엔진(11)은, 도 3에 나타내는 바와 같이, 엔진컨트롤유닛(74)에 접속되어 있다. 엔진컨트롤유닛(74)로부터는, 엔진(11)의 상태를 나타내는 각종 데이터가 컨트롤러(30)에 송신된다. 컨트롤러(30)는, 엔진(11)의 상태를 나타내는 각종 데이터를 메모리(30a)에 축적할 수 있도록 구성되어 있다.
배터리(70)는, 쇼벨(100)에 탑재되어 있는 각종 전기부하에 전력을 공급하도록 구성되어 있다. 얼터네이터(11a)(발전기), 스타터(11b), 컨트롤러(30), 및 전장품(72) 등은, 배터리(70)에 축적된 전력으로 동작하도록 구성되어 있다. 스타터(11b)는, 배터리(70)에 축적된 전력으로 구동되고, 엔진(11)을 시동시키도록 구성되어 있다. 또, 배터리(70)는, 얼터네이터(11a)가 발전한 전력으로 충전되도록 구성되어 있다.
수온센서(11c)는, 엔진냉각수의 온도에 관한 데이터를 컨트롤러(30)에 송신한다. 레귤레이터(13)는, 사판경전각에 관한 데이터를 컨트롤러(30)에 송신한다. 토출압센서(14b)는, 메인펌프(14)의 토출압에 관한 데이터를 컨트롤러(30)에 송신한다. 측위장치(18)는, 쇼벨(100)의 위치에 관한 데이터를 컨트롤러(30)에 송신한다.
메인펌프(14)가 흡입하는 작동유가 저장된 작동유탱크와 메인펌프(14)의 사이의 관로(14-1)에는, 유온센서(14c)가 마련되어 있다. 유온센서(14c)는, 관로(14-1)를 흐르는 작동유의 온도에 관한 데이터를 컨트롤러(30)에 송신한다.
요소수탱크(21)에 마련된 요소수잔량센서(21a)는, 요소수의 잔량에 관한 데이터를 컨트롤러(30)에 송신한다. 연료탱크(22)에 마련된 연료잔량센서(22a)는, 연료의 잔량에 관한 데이터를 컨트롤러(30)에 송신한다.
통신장치(T1)는, 무선통신을 통하여, 원격조작실(RC)에 설치된 통신장치(T2)의 사이에서 정보를 송수신하도록 구성되어 있다. 본 실시형태에서는, 통신장치(T1)와 통신장치(T2)는, 제5세대 이동통신회선(5G회선), LTE회선, 또는 위성회선 등을 통하여 정보를 송수신하도록 구성되어 있다.
원격조작실(RC)에는, 원격컨트롤러(40), 소리출력장치(A2), 실내공간인식장치(C2), 표시장치(D1), 및 통신장치(T2) 등이 설치되어 있다. 또, 원격조작실(RC)에는, 쇼벨(100)을 원격조작하는 조작자(OP)가 앉는 운전석(DS)이 설치되어 있다.
원격컨트롤러(40)는, 각종 연산을 실행하는 연산장치이다. 본 실시형태에서는, 원격컨트롤러(40)는, 컨트롤러(30)와 동일하게, CPU 및 메모리를 포함하는 마이크로컴퓨터로 구성되어 있다. 그리고, 원격컨트롤러(40)의 각종 기능은, CPU가 메모리에 저장된 프로그램을 실행함으로써 실현된다.
소리출력장치(A2)는, 소리를 출력하도록 구성되어 있다. 본 실시형태에서는, 소리출력장치(A2)는, 스피커이며, 쇼벨(100)에 장착되어 있는 집음장치(A1)가 모은 소리를 재생하도록 구성되어 있다.
실내공간인식장치(C2)는, 원격조작실(RC) 내의 공간을 인식할 수 있도록 구성되어 있다. 본 실시형태에서는, 실내공간인식장치(C2)는, 원격조작실(RC)의 내부에 설치된 카메라이며, 운전석(DS)에 착석하는 조작자(OP)를 촬상하도록 구성되어 있다.
통신장치(T2)는, 쇼벨(100)에 장착된 통신장치(T1)와의 무선통신을 제어하도록 구성되어 있다.
본 실시형태에서는, 운전석(DS)은, 통상의 쇼벨의 캐빈 내에 설치되는 운전석과 동일한 구조를 갖는다. 구체적으로는, 운전석(DS)의 좌측에는 좌콘솔박스가 배치되고, 운전석(DS)의 우측에는 우콘솔박스가 배치되어 있다. 그리고, 좌콘솔박스의 상면전단에는 좌조작레버가 배치되고, 우콘솔박스의 상면전단에는 우조작레버가 배치되어 있다. 또, 운전석(DS)의 전방에는, 주행레버 및 주행페달이 배치되어 있다. 또한, 우콘솔박스의 상면중앙부에는, 다이얼(75)이 배치되어 있다. 좌조작레버, 우조작레버, 주행레버, 주행페달, 및 다이얼(75)의 각각은, 조작장치(26)를 구성하고 있다.
다이얼(75)은, 엔진(11)의 회전수를 조정하기 위한 다이얼이며, 예를 들면 엔진회전수를 4단계로 전환할 수 있도록 구성되어 있다.
구체적으로는, 다이얼(75)은 SP모드, H모드, A모드, 및 아이들링모드의 4단계로 엔진회전수의 전환이 가능하도록 구성되어 있다. 다이얼(75)은, 엔진회전수의 설정에 관한 데이터를 컨트롤러(30)에 송신한다.
SP모드는, 조작자(OP)가 작업량을 우선시키고자 하는 경우에 선택되는 회전수모드이며, 가장 높은 엔진회전수를 이용한다. H모드는, 조작자(OP)가 작업량과 연비를 양립시키고자 하는 경우에 선택되는 회전수모드이며, 두번째로 높은 엔진회전수를 이용한다. A모드는, 조작자(OP)가 연비를 우선시키면서 저소음으로 쇼벨을 가동시키고자 하는 경우에 선택되는 회전수모드이며, 3번째로 높은 엔진회전수를 이용한다. 아이들링모드는, 조작자(OP)가 엔진을 아이들링 상태로 하고자 하는 경우에 선택되는 회전수모드이며, 가장 낮은 엔진회전수를 이용한다. 그리고, 엔진(11)은, 다이얼(75)을 통하여 선택된 회전수모드의 엔진회전수로 일정하게 회전수제어된다.
조작장치(26)에는, 조작장치(26)의 조작내용을 검출하기 위한 조작센서(29)가 설치되어 있다. 조작센서(29)는, 예를 들면, 조작레버의 경사각도를 검출하는 경사센서, 또는, 조작레버의 요동(搖動)축 둘레의 요동각도를 검출하는 각도센서 등이다. 조작센서(29)는, 압력센서, 전류센서, 전압센서, 또는 거리센서 등의 다른 센서로 구성되어 있어도 된다. 조작센서(29)는, 검출한 조작장치(26)의 조작내용에 관한 정보를 원격컨트롤러(40)에 대하여 출력한다. 원격컨트롤러(40)는, 수신한 정보에 근거하여 조작신호를 생성하고, 생성한 조작신호를 쇼벨(100)을 향하여 송신한다. 조작센서(29)는, 조작신호를 생성하도록 구성되어 있어도 된다. 이 경우, 조작센서(29)는, 원격컨트롤러(40)를 경유하지 않고, 조작신호를 통신장치(T2)에 출력해도 된다.
표시장치(D1)는, 쇼벨(100)의 주위의 상황에 관한 정보를 표시하도록 구성되어 있다. 본 실시형태에서는, 표시장치(D1)는, 세로 3단, 가로 3열의 9개의 모니터로 구성되는 멀티디스플레이이며, 쇼벨(100)의 전방, 좌방, 및 우방의 공간의 모습을 표시할 수 있도록 구성되어 있다. 각 모니터는, 액정모니터 또는 유기EL모니터 등이다. 단, 표시장치(D1)는, 하나 또는 복수의 곡면모니터로 구성되어 있어도 되고, 프로젝터로 구성되어 있어도 된다.
표시장치(D1)는, 조작자(OP)가 착용 가능한 표시장치여도 된다. 예를 들면, 표시장치(D1)는, 헤드마운트디스플레이(VR용 고글)이며, 무선통신에 의하여, 원격컨트롤러(40)와의 사이에서 정보를 송수신할 수 있도록 구성되어 있어도 된다. 헤드마운트디스플레이는, 원격컨트롤러(40)에 유선접속되어 있어도 된다. 헤드마운트디스플레이는, 투과형 헤드마운트디스플레이여도 되고, 비투과형 헤드마운트디스플레이여도 된다. 헤드마운트디스플레이는, 편안(片眼)형 헤드마운트디스플레이여도 되고, 양안(兩眼)형 헤드마운트디스플레이여도 된다.
표시장치(D1)는, 원격조작실(RC)에 있는 조작자(OP)가 쇼벨(100)의 주위를 시인할 수 있도록 하는 화상을 표시하도록 구성되어 있다. 즉, 표시장치(D1)는, 조작자가 원격조작실(RC)에 있음에도 불구하고, 마치 쇼벨(100)의 캐빈(10) 내에 있는 것과 같이, 쇼벨(100)의 주위의 상황을 확인할 수 있도록, 화상을 표시한다.
다음으로, 도 4를 참조하여, 원격조작실(RC)에 있어서의 기준점 R1을 원점으로 하는 제1 좌표계와, 쇼벨(100)에 있어서의 기준점 R2를 원점으로 하는 제2 좌표계의 관계에 대하여 설명한다. 다만, 이하의 설명에서는, 제1 좌표계는, 조작실좌표계라고 칭해지고, 제2 좌표계는, 쇼벨좌표계라고 칭해진다. 도 4는, 조작실좌표계와 쇼벨좌표계의 관계를 나타내는 도이다.
조작실좌표계는, 원격조작실(RC)에 있어서의 기준점 R1을 원점으로 하는 3차원 UVW직교좌표계이며, 운전석(DS)의 전후방향으로 평행하게 뻗는 U축, 운전석(DS)의 좌우방향으로 평행하게 뻗는 V축, 및, U축과 V축에 직교하는 W축을 갖는다.
쇼벨좌표계는, 상부선회체(3) 상의 기준점 R2를 원점으로 하는 3차원 XYZ직교좌표계이며, 상부선회체(3)의 전후방향으로 평행하게 뻗는 X축, 상부선회체(3)의 좌우방향으로 평행하게 뻗는 Y축, 및, X축과 Y축에 직교하는 Z축을 갖는다. 도 4의 예에서는, 기준점 R2는 선회축 상의 점이고, XY평면은 수평면이며, Z축은 연직축이다. 즉, 도 4의 예에서는, 쇼벨(100)이 위치하는 가상평면인 접지면은 수평면이다. 그리고, X축은, 조작실좌표계의 U축에 대응하고, Y축은, 조작실좌표계의 V축에 대응하며, Z축은, 조작실좌표계의 W축에 대응하고 있다.
본 실시형태에서는, 조작실좌표계에 있어서의 각 3차원좌표는, 쇼벨좌표계에 있어서의 3차원좌표의 하나에 미리 대응지어져 있다. 그 때문에, 원격조작실(RC)에 있어서의 조작자(OP)의 눈의 위치인 조작자시점(E1)의 3차원좌표가 정해지면, 쇼벨(100)에 있어서의 가상조작자의 눈의 위치인 가상조작자시점(E1')의 3차원좌표는 일의적으로 정해진다. 다만, 조작자(OP)의 눈의 위치는, 예를 들면, 조작자(OP)의 좌안의 위치와 우안의 위치의 중간점이다. 단, 조작자(OP)의 눈의 위치는, 미리 설정된 위치여도 된다. 즉, 조작자시점(E1) 및 가상조작자시점(E1')은 고정점이어도 된다.
상술한 실시형태에서는, 표시장치(D1)는, 조작자(OP)의 전방, 좌전방, 및 우전방에 설치되어 있지만, 조작자(OP)를 둘러싸도록 각진 통형상 또는 원통상으로 설치되어 있어도 된다. 즉, 표시장치(D1)는, 조작자(OP)의 후방에 설치된 모니터를 포함하고 있어도 된다. 혹은, 표시장치(D1)는, 조작자(OP)를 둘러싸도록 반구상으로 설치되어 있어도 된다. 즉, 표시장치(D1)는, 조작자(OP)의 바로 위에 설치된 모니터를 포함하고 있어도 된다.
다음으로, 도 5 및 도 6을 참조하여, 쇼벨(100)의 시공지원시스템(SYS)의 구성예에 대하여 설명한다. 도 5는, 시공지원시스템(SYS)의 구성예를 나타내는 개략도이다. 도 6은, 시공지원시스템(SYS)의 구성예를 나타내는 기능블록도이다.
시공지원시스템(SYS)은, 주로, 쇼벨(100)에 탑재되어 있는 측위장치(18), 컨트롤러(30), 전자밸브유닛(45), 집음장치(A1), 공간인식장치(C1), 및 통신장치(T1)와, 원격조작실(RC)에 설치되어 있는 조작센서(29), 원격컨트롤러(40), 소리출력장치(A2), 실내공간인식장치(C2), 표시장치(D1), 및 통신장치(T2)와, 정보센터(200)에 설치되어 있는 관리장치로서의 컨트롤러(50) 및 통신장치(T3)로 구성되어 있다.
도 5에 나타내는 예에서는, 시공지원시스템(SYS)은, 쇼벨(100a)과, 쇼벨(100b)과, 쇼벨(100a)에 관한 원격조작실(RCa)과, 쇼벨(100b)에 관한 원격조작실(RCb)과, 작업현장에 설치된 공간인식장치(C3)와, 정보센터(200)로 구성되어 있다.
공간인식장치(C3)는, 작업현장 내의 공간을 인식할 수 있도록 구성되어 있다. 본 실시형태에서는, 공간인식장치(C3)는, 작업현장에 설치된 카메라이며, 작업현장의 모습을 촬상하도록 구성되어 있다.
먼저, 쇼벨(100a)에 탑재되어 있는 컨트롤러(30)가 갖는 기능에 대하여 설명한다. 컨트롤러(30)는, 도 6에 나타내는 바와 같이, 기능블록으로서, 화상생성부(31), 쇼벨상태특정부(32), 및 액추에이터구동부(33)를 갖는다. 쇼벨(100b)에 대해서도 동일하다. 화상생성부(31), 쇼벨상태특정부(32), 및 액추에이터구동부(33)는, 설명의 편의를 위하여 구별되어 나타나 있지만, 물리적으로 구별되어 있을 필요는 없고, 전체적으로 혹은 부분적으로 공통된 소프트웨어컴포넌트 혹은 하드웨어컴포넌트로 구성되어 있어도 된다.
화상생성부(31)는, 표시장치(D1)에서 표시되는 화상을 포함하는 주위화상을 생성하도록 구성되어 있다. 주위화상은, 표시장치(D1)에서의 표시 시에 이용되는 화상이다. 전형적으로는, 주위화상은, 만일 캐빈(10) 내에 조작자가 있었다면 조작자가 볼 수 있던 쇼벨(100)의 주위의 모습을 나타내는 화상이다. 본 실시형태에서는, 주위화상은, 공간인식장치(C1)로서의 촬상장치가 촬상한 화상에 근거하여 생성된다. 구체적으로는, 화상생성부(31)는, 후카메라(C1B), 전카메라(C1F), 좌카메라(C1L), 및 우카메라(C1R)의 각각이 촬상한 화상에 근거하여, 주위화상으로서의 제1 가상시점화상을 생성한다. 단, 화상생성부(31)는, 후카메라(C1B), 전카메라(C1F), 좌카메라(C1L), 및 우카메라(C1R) 중 적어도 하나가 촬상한 화상에 근거하여, 주위화상으로서의 제1 가상시점화상을 생성해도 된다. 제1 가상시점화상의 가상시점인 제1 가상시점은, 만일 캐빈(10) 내의 운전석에 조작자가 착석하고 있었을 때의 조작자의 눈의 위치에 대응하는 가상조작자시점(E1')(도 4 참조.)이다. 단, 가상조작자시점(E1')은, 캐빈(10)의 밖에 있어도 된다.
본 실시형태에서는, 제1 가상시점인 가상조작자시점(E1')의 좌표는, 원격조작실(RC)의 운전석(DS)에 조작자(OP)가 착석했을 때의 조작자(OP)의 눈의 위치인 조작자시점(E1)(도 4 참조.)에 근거하여 도출된다. 다만, 조작자시점(E1)의 좌표는, 원격컨트롤러(40)로부터 송신되어 온다. 화상생성부(31)는, 조작실좌표계에 있어서의 조작자시점(E1)의 좌표를, 쇼벨좌표계에 있어서의 좌표로 변환함으로써, 가상조작자시점(E1')의 좌표를 도출할 수 있다. 단, 조작자시점(E1)의 좌표는, 미리 설정된 고정값이어도 된다.
또, 본 실시형태에서는, 제1 가상시점화상은, 제1 가상시점을 둘러싸는 가상적인 원통상의 가상투영면의 내주면에 투영된 화상에 상당한다. 가상투영면은, 제1 가상시점을 둘러싸는 가상적인 구 또는 반구의 내면이어도 되고, 제1 가상시점을 둘러싸는 가상적인 직육면체 또는 정육면체의 내면이어도 된다. 이와 같이 생성된 제1 가상시점화상을 봄으로써, 조작자(OP)는, 쇼벨(100)의 주위의 상황을 입체적으로 파악할 수 있다. 즉, 조작자(OP)는, 제1 가상시점화상을 봄으로써, 예를 들면, 쇼벨(100)의 전방에 위치하는 덤프트럭의 짐받이의 깊이, 지면에 있는 성토의 높이, 또는, 지면에 있는 구멍의 깊이 등을 보다 정확하게 파악할 수 있다.
표시장치(D1)에서 표시되는 제1 가상시점화상 유래의 화상은, 화상생성부(31)가 생성하는 제1 가상시점화상의 일부이다.
다만, 표시장치(D1)가 헤드마운트디스플레이인 경우, 제1 가상시점화상의 전체영역에 차지하는, 표시장치(D1)에서 표시되는 화상의 영역은, 원격조작실(RC)의 운전석(DS)에 착석하고 있는 조작자(OP)의 시선의 방향에 근거하여 결정되어도 된다. 이 경우, 조작자(OP)의 시선의 방향에 관한 정보는, 원격컨트롤러(40)로부터 송신되어 온다. 화상생성부(31)는, 공간인식장치(C1)가 출력하는 화상과, 원격컨트롤러(40)로부터 송신되어 오는 조작자시점(E1)의 좌표에 근거하여 주위화상으로서의 제1 가상시점화상을 생성한다. 그리고, 화상생성부(31)는, 원격컨트롤러(40)로부터 송신되어 오는 조작자(OP)의 시선의 방향에 관한 정보에 근거하여, 생성한 제1 가상시점화상의 일부를 부분주위화상으로서 잘라내고, 잘라낸 부분주위화상을 원격조작실(RC)에 있는 표시장치(D1)를 향하여 송신한다.
쇼벨상태특정부(32)는, 쇼벨(100)의 상태를 특정하도록 구성되어 있다. 본 실시형태에서는, 쇼벨(100)의 상태는, 쇼벨(100)의 위치와 방향을 포함한다. 쇼벨(100)의 위치는, 예를 들면, 쇼벨(100)에 있어서의 기준점 R2의 위도, 경도, 및 고도이다. 쇼벨상태특정부(32)는, 측위장치(18)의 출력에 근거하여 쇼벨의 위치 및 방향을 특정한다.
액추에이터구동부(33)는, 쇼벨(100)에 탑재되어 있는 액추에이터를 구동하도록 구성되어 있다. 본 실시형태에서는, 액추에이터구동부(33)는, 원격컨트롤러(40)로부터 송신되어 오는 조작신호에 근거하여, 전자밸브유닛(45)에 포함되는 복수의 전자밸브의 각각에 대하는 작동신호를 생성하여 출력한다.
작동신호를 받은 각 전자밸브는, 컨트롤밸브유닛(17)에 있어서의 대응하는 제어밸브의 파일럿포트에 작용하는 파일럿압을 증감시킨다. 그 결과, 각 제어밸브에 대응하는 유압액추에이터는, 제어밸브의 스트로크양에 따른 속도로 동작한다.
다음으로, 원격조작실(RC)에 설치되어 있는 원격컨트롤러(40)가 갖는 기능에 대하여 설명한다. 원격컨트롤러(40)는, 기능블록으로서, 조작자상태특정부(41), 화상합성부(42), 및 조작신호생성부(43)를 갖는다. 조작자상태특정부(41), 화상합성부(42), 및 조작신호생성부(43)는, 설명의 편의를 위하여 구별되어 나타나 있지만, 물리적으로 구별되어 있을 필요는 없고, 전체적으로 혹은 부분적으로 공통된 소프트웨어컴포넌트 혹은 하드웨어컴포넌트로 구성되어 있어도 된다.
조작자상태특정부(41)는, 원격조작실(RC)에 있는 조작자(OP)의 상태를 특정하도록 구성되어 있다. 조작자(OP)의 상태는, 조작자(OP)의 눈의 위치와 시선의 방향을 포함한다. 조작자상태특정부(41)는, 실내공간인식장치(C2)의 출력에 근거하여 조작자(OP)의 눈의 위치 및 시선의 방향을 특정한다. 구체적으로는, 조작자상태특정부(41)는, 실내공간인식장치(C2)로서의 촬상장치가 촬상한 화상에 각종 화상처리를 실시하고, 조작실좌표계에 있어서의 조작자(OP)의 눈의 위치의 좌표를 조작자시점(E1)(도 4 참조.)의 좌표로서 특정한다. 또, 조작자상태특정부(41)는, 실내공간인식장치(C2)로서의 촬상장치가 촬상한 화상에 각종 화상처리를 실시하고, 조작실좌표계에 있어서의 조작자(OP)의 시선의 방향을 특정한다.
조작자상태특정부(41)는, 원격조작실(RC)에 설치된 LIDAR 등, 또는, 표시장치(D1)로서의 헤드마운트디스플레이에 장착된 관성계측장치 등, 실내공간인식장치(C2) 이외의 다른 장치의 출력에 근거하여 조작자시점(E1)의 좌표 및 조작자(OP)의 시선의 방향을 도출해도 된다. 다만, 관성계측장치는, 측위장치를 포함하고 있어도 된다.
그리고, 조작자상태특정부(41)는, 통신장치(T2)를 통하여, 조작자시점(E1)의 좌표 및 조작자(OP)의 시선의 방향에 관한 정보를 쇼벨(100)을 향하여 송신한다.
화상합성부(42)는, 컨트롤러(30)로부터 송신되어 오는 부분주위화상과, 다른 화상을 합성하여 합성화상을 생성하도록 구성되어 있다.
다른 화상은, 설계면정보(DG)에 근거하여 생성되는 화상인 설계면화상이어도 된다. 본 실시형태에서는, 화상합성부(42)는, 원격컨트롤러(40)를 구성하고 있는 불휘발성 기억장치에 미리 기억되어 있는 설계면정보(DG)에 근거하여 설계면의 위치를 나타내는 컴퓨터그래픽스 등의 도형을, 설계면화상으로서, 부분주위화상에 중첩표시시킨다. 설계면은, 쇼벨(100)을 이용한 굴삭작업이 완료되었을 때의 지면이다. 조작자는, 설계면을 봄으로써, 굴삭작업이 완료되기 전이더라도, 굴삭작업이 완료되었을 때의 쇼벨(100)의 주위의 상태를 파악할 수 있다. 이 경우, 화상합성부(42)는, 쇼벨상태특정부(32)가 특정한 쇼벨의 위치 및 방향에 근거하여, 부분주위화상에 있어서의, 설계면화상을 중첩표시해야 할 위치를 결정한다.
조작신호생성부(43)는, 조작신호를 생성하도록 구성되어 있다. 본 실시형태에서는, 조작신호생성부(43)는, 조작센서(29)의 출력에 근거하여 조작신호를 생성하도록 구성되어 있다.
다음으로, 정보센터(200)에 설치되어 있는 컨트롤러(50)가 갖는 기능에 대하여 설명한다. 컨트롤러(50)는, 각종 연산을 실행하는 연산장치이다. 본 실시형태에서는, 컨트롤러(50)는, 컨트롤러(30) 및 원격컨트롤러(40)와 동일하게, CPU 및 메모리를 포함하는 마이크로컴퓨터로 구성되어 있다. 그리고, 컨트롤러(50)의 각종 기능은, CPU가 메모리에 저장된 프로그램을 실행함으로써 실현된다.
본 실시형태에서는, 컨트롤러(50)는, 기능블록으로서, 판정부(51), 조작예측부(52), 조작개입부(53), 및 동작시뮬레이터(54)를 갖는다. 판정부(51), 조작예측부(52), 조작개입부(53), 및 동작시뮬레이터(54)는, 설명의 편의를 위하여 구별되어 나타나 있지만, 물리적으로 구별되어 있을 필요는 없고, 전체적으로 혹은 부분적으로 공통된 소프트웨어컴포넌트 혹은 하드웨어컴포넌트로 구성되어 있어도 된다.
판정부(51)는, 쇼벨(100)의 주위의 상황에 관하여, 쇼벨(100)의 조작자에게 통지해야 할 사항이 있는지 아닌지를 판정하도록 구성되어 있다. 본 실시형태에서는, 판정부(51)는, 쇼벨(100)에 장착된 정보취득장치로서의 공간인식장치(C1)가 촬상한 화상 혹은 거리화상(이하, "화상 등"이라고 한다.), 쇼벨(100)의 위치, 자세, 및 동작내용 중 적어도 하나에 근거하여, 쇼벨(100)의 조작자에게 통지해야 할 사항이 있는지 아닌지를 판정하도록 구성되어 있다. 거리화상은, 예를 들면, 공간인식장치(C1)로서의 LIDAR 등의 출력에 근거하여 생성되는 화상이다. 판정부(51)는, 공간인식장치(C1)가 촬상한 화상 등에 근거하여, 쇼벨(100)의 위치, 자세, 및 동작내용 중 적어도 하나를 판정할 수 있도록 구성되어 있어도 된다. 또, 판정부(51)는, 공간인식장치(C3)가 촬상한 화상 등 또는 시공지형정보(지형데이터)에 근거하여, 쇼벨(100)의 조작자에게 통지해야 할 사항이 있는지 아닌지를 판정하도록 구성되어 있어도 된다. 또한, 판정부(51)는, 공간인식장치(C3)가 촬상한 화상 등에 근거하여, 다른 건설기계의 위치, 자세, 및 동작내용 등 중 적어도 하나를 판정할 수 있도록 구성되어 있어도 된다. 판정부(51)는, 공간인식장치(C1) 및 공간인식장치(C3)에 의하여 취득된 화상 등으로부터 도출되는 쇼벨(100)의 주변의 상황과 쇼벨(100)의 위치, 자세, 및 동작내용에 근거하여 쇼벨(100)의 조작자에게 통지해야 할 사항이 있는지 아닌지를 판정해도 된다. 통지해야 할 사항이 있는지 아닌지는, 과거의 사례와 대조하여, 동일, 혹은, 유사한 상황의 유무에 의하여 판정되어도 된다.
예를 들면, 판정부(51)는, 표시장치(D1)에 표시되는 화상이 커버하는 범위의 외측에 사람이 존재하는 것을 검지한 경우, 조작자에게 통지해야 할 사항이 있다고 판정한다. 예를 들면, 판정부(51)는, 쇼벨(100)의 좌후방에 사람이 존재하는 것을 검지한 경우에, 조작자에게 통지해야 할 사항이 있다고 판정한다. 이 경우, 판정부(51)는, 상부선회체(3)에 장착된 공간인식장치(C1)로서의 촬상장치 또는 LIDAR 등의 출력에 근거하여 사람을 검지해도 된다. 혹은, 판정부(51)는, 작업현장에 설치된 공간인식장치(C3)로서의 촬상장치 또는 LIDAR 등의 출력에 근거하여 사람을 검지해도 된다. 이 경우, 공간인식장치(C3)는, 예를 들면, 작업현장에 설치된 폴의 선단에 장착된 반천구(半天球)카메라여도 된다. 다만, 공간인식장치(C3)는, 다른 작업기계에 장착된 촬상장치 또는 LIDAR 등이어도 되고, 작업현장의 상공을 비행하는 멀티콥터(드론) 등의 비행체에 장착된 촬상장치 또는 LIDAR 등이어도 된다. 표시장치(D1)에 표시되는 화상이 커버하는 범위의 내측에 사람이 존재하는 것을 검지한 경우에 대해서도 동일하다.
혹은, 판정부(51)는, 표시장치(D1)에 표시되는 화상이 커버하는 범위의 외측에 전선이 존재하는 것을 검지한 경우, 조작자에게 통지해야 할 사항이 있다고 판정해도 된다. 예를 들면, 판정부(51)는, 쇼벨(100)의 상방에 전선이 존재하는 것을 검지한 경우에, 조작자에게 통지해야 할 사항이 있다고 판정한다. 이 경우, 판정부(51)는, 공간인식장치(C1)의 출력에 근거하여 전선을 검지해도 된다. 혹은, 판정부(51)는, 공간인식장치(C3)가 촬상한 화상 등에 근거하여 전선을 검지해도 된다. 표시장치(D1)에 표시되는 화상이 커버하는 범위의 내측에 전선이 존재하는 것을 검지한 경우에 대해서도 동일하다.
혹은, 판정부(51)는, 시공지형정보(지형데이터)에 근거하여, 쇼벨(100)의 전방에 내리막이 존재하는 것을 검지한 경우, 조작자에게 통지해야 할 사항이 있다고 판정한다. 예를 들면, 판정부(51)는, 쇼벨(100)의 전방에 내리막이 존재하는 것을 검지한 경우에, 조작자에게 통지해야 할 사항이 있다고 판정한다. 이 경우, 판정부(51)는, 물체검지장치의 출력에 근거하여 내리막을 검지해도 된다. 혹은, 판정부(51)는, 공간인식장치(C3)가 촬상한 화상 등에 근거하여 내리막을 검지해도 된다. 혹은, 판정부(51)는, 컨트롤러(50)에 부속되어 있는 불휘발성 기억매체 등에 미리 기억되어 있는 시공지형정보(지형데이터)에 근거하여 내리막을 검지해도 된다.
쇼벨(100)의 조작자에게 통지해야 할 사항이 있다고 판정한 경우, 판정부(51)는, 조작자의 주의를 환기한다. 본 실시형태에서는, 판정부(51)는, 그 통지해야 할 사항에 관한 정보를 원격컨트롤러(40)를 향하여 송신한다. 원격컨트롤러(40)의 화상합성부(42)는, 판정부(51)로부터 수신한 정보에 관한 화상을 부분주위화상 상에 중첩표시시킨다.
조작예측부(52)는, 원격컨트롤러(40)로부터 수신한 조작신호에 근거하여, 소정 시간 후의 조작신호를 예측하도록 구성되어 있다. 통신지연에 의한 조작응답성의 저하, 즉, 원격조작실(RC)에 있어서의 조작자(OP)에 의한 조작이 쇼벨(100)의 움직임에 반영될 때까지의 지연을 억제하기 위함이다. 소정 시간은, 예를 들면, 수 밀리초~수십 밀리초이다. 예를 들면, 조작예측부(52)는, 과거의 소정 시간에 있어서의 조작신호(조작레버의 경사각도)의 추이(推移)에 근거하여, 소정 시간 후의 조작신호를 예측한다. 예를 들면, 조작예측부(52)는, 과거의 소정 시간에 있어서 조작레버의 경사각도가 증가경향에 있었던 것을 검지한 경우, 소정 시간 후의 경사각도가 현재의 경사각도보다 커진다고 예측한다.
그리고, 조작예측부(52)는, 원격컨트롤러(40)로부터 수신한 조작신호를 그대로 쇼벨(100)을 향하여 송신하는 대신에, 예측한 조작신호(이하, "예측조작신호"라고 한다.)를 쇼벨(100)을 향하여 송신한다.
이 구성에 의하여, 조작예측부(52)는, 실질적으로, 원격조작실(RC)에서 생성된 조작신호를 지연없이 쇼벨(100)에 전달할 수 있다.
조작개입부(53)는, 원격조작실(RC)에 있어서의 조작자(OP)에 의한 조작에 개입하도록 구성되어 있다. 본 실시형태에서는, 판정부(51)는, 쇼벨(100)에 장착된 공간인식장치(C1)가 촬상한 화상 등에 근거하여, 조작자(OP)에 의한 조작에 개입해야 할지 아닌지를 판정하도록 구성되어 있다.
예를 들면, 조작개입부(53)는, 쇼벨(100)과 쇼벨(100)의 주위에 있는 물체가 접촉할 우려가 있는 것을 검지한 경우, 조작자(OP)에 의한 조작에 개입해야 한다고 판정한다. 예를 들면, 조작개입부(53)는, 쇼벨(100)의 좌방에 사람이 존재하는 것을 검지하고, 또한, 좌선회조작(좌조작레버를 좌방으로 쓰러뜨리는 조작)이 개시된 것을 검지한 경우, 조작자(OP)에 의한 조작에 개입해야 한다고 판정한다. 이 경우, 조작개입부(53)는, 좌선회조작에 근거하여 생성된 조작신호를 무효로 하고, 상부선회체(3)가 좌선회하지 않도록 한다. 다만, 조작개입부(53)는, 물체검지장치의 출력에 근거하여 쇼벨(100)과 쇼벨(100)의 주위에 있는 물체가 접촉할 우려가 있는 것을 검지해도 된다. 혹은, 판정부(51)는, 공간인식장치(C3)가 촬상한 화상 등에 근거하여 쇼벨(100)과 쇼벨(100)의 주위에 있는 물체가 접촉할 우려가 있는 것을 검지해도 된다. 이와 같이 하여 조작자에게 통지해야 할 사항이 있다고 판정된 경우에는, 컨트롤러(30)는, 조작신호에 근거하여, 쇼벨(100)의 정지 또는 감속 등의 제동제어를 행하도록 구성되어 있어도 된다.
그 후, 조작자는, 예를 들면, 조작레버를 일단 중립으로 되돌리거나, 혹은, 해제버튼을 누르는 등의 조작을 행함으로써, 즉, 해제조건을 충족시킴으로써, 쇼벨(100)의 정지 또는 감속 등의 제동제어를 해제할 수 있다. 다만, 해제조건은, 쇼벨(100)이 정지상태인 것을 포함하고 있어도 된다.
동작시뮬레이터(54)는, 쇼벨(100)의 동작의 모의실험(시뮬레이션)을 실행할 수 있도록 구성되어 있다. 쇼벨(100)의 동작은, 쇼벨(100)에 의한 굴삭작업 등의 다양한 작업을 구성하고 있다. 예를 들면, 굴삭작업은, 암접음동작, 버킷접음동작, 및 붐상승동작 등의 복수의 동작에 의하여 구성되어 있다. 도 6에 나타내는 예에서는, 동작시뮬레이터(54)는, 원격조작실(RC)로부터의 개시지령에 따라 쇼벨(100)의 동작의 시뮬레이션을 개시시킨다. 구체적으로는, 동작시뮬레이터(54)는, 환경정보에 근거하여 작업현장의 가상모델인 가상작업현장을 구축한다. 환경정보는, 작업환경에 관한 정보이며, 예를 들면, 공간인식장치(C1), 공간인식장치(C3), 측위장치(18), 및 자세검출센서 중 적어도 하나가 출력하는 정보를 포함한다. 또, 환경정보는, 설계면정보(DG)를 포함하고 있어도 된다.
가상작업현장은, 가상환경의 일례이며, 예를 들면, 실제의 작업현장의 현재의 지형이 재현된 3차원의 가상공간(3차원의 모델)이다. 그리고, 동작시뮬레이터(54)는, 원격조작실(RC)에 있는 조작자(OP)가 가상작업현장의 상황을 시인할 수 있도록, 가상작업현장에 관한 화상을 표시장치(D1)를 향하여 송신한다. 3차원의 가상공간에는 가상쇼벨이 배치된다. 가상작업현장에 있어서의 현재의 지형 및 가상쇼벨의 위치 및 방향 등과 실제의 작업현장에 있어서의 현재의 지형 및 실제의 쇼벨(100)의 위치 및 방향 등이 일치하도록, 가상쇼벨은, 가상공간에 재현된 가상작업현장에 배치된다. 가상쇼벨은 실제의 쇼벨(100)과 동일하게, 가상작업현장에 있어서 가상동작을 행한다. 즉, 조작자(OP)가 조작장치(26)의 접속처를 실제의 쇼벨(100)로부터 가상쇼벨로 변환하면, 조작자(OP)는 조작장치(26)를 통하여 가상쇼벨을 조작할 수 있다. 예를 들면, 조작자(OP)는 조작장치(26)의 좌조작레버(암조작레버)를 조작하면, 가상쇼벨의 가상암을 움직이게 할 수 있다. 이와 같이 하여, 조작자(OP)는, 가상쇼벨의 각 액추에이터를 가상작업현장에 있어서 동작시킬 수 있다. 또, 실제의 작업현장에 건물 또는 전선 등의 설치물이 있는 경우에는, 가상작업현장에도 가상설치물이 재현된다. 또, 실제의 작업현장에 있어서 소정의 시각에 자재가 반입될 예정이 있는 경우에는, 가상작업현장에 있어서도 예정된 소정의 시각이 되면 가상자재가 반입되는 상황이 재현된다. 또, 가상작업현장의 지면이나 경사지 등의 지반특성(경도, 밀도, 또는 수분함유량율 등)도, 실제의 작업현장의 지반특성과 일치하도록 재현된다. 또, 소정의 시각이 되면 비가 내리는 것이 예측되는 경우에는, 가상작업현장에 있어서도 예정된 소정의 시각이 되면 비가 내리는 상황이 가상적으로 재현된다. 이와 같이, 3차원의 가상공간이 3차원모델로서 재현된다. 이로써, 원격조작실(RC)의 조작자(OP)는, 3차원의 가상공간에 배치된 가상쇼벨의 모델을 이용하여, 가상공간에 재현된 가상작업현장에서, 가상작업을 행할 수 있다. 가상작업을 실행할 때, 원격조작실(RC)의 조작자(OP)가 시인하는 화상은, 3차원의 가상공간에 배치된 가상쇼벨에 장착된 가상공간인식장치로부터 얻어지는 가상작업현장의 화상에 상당한다. 가상공간인식장치는, 예를 들면, 가상캐빈에 배치된다. 가상작업현장에 관한 화상은, 전형적으로는, 실제의 작업현장의 지형에 대응하는 입체지형화상이며, 컴퓨터그래픽스에 의하여 구성된다. 단, 가상작업현장에 관한 화상은, 적어도 부분적으로는, 촬상장치가 촬상한 화상을 이용하여 생성되어도 된다. 가상작업현장에 관한 화상을 수신한 표시장치(D1)는, 가상작업현장의 화상을 표시할 수 있다. 실제의 작업현장의 현재의 지형은, 쇼벨(100)에 마련된 공간인식장치(C1)(카메라 또는 LIDAR 등), 멀티콥터 등에 마련된 공간인식장치(카메라 또는 LIDAR 등)를 통하여 취득되어도 되고, 실제의 작업현장에 있어서의 건물 또는 철탑 등에 설치된 공간인식장치(카메라 또는 LIDAR 등)를 통하여 취득되어도 된다. 이와 같이, 동작시뮬레이터(54)는, 공간인식장치를 통하여 취득된 정보에 근거하여, 실제의 작업현장을 3차원의 가상공간(3차원의 모델)에 재현할 수 있다. 3차원의 가상공간(3차원의 모델)에 있어서의 가상작업현장은, 실제의 작업현장에 있어서의 진척상황에 따라 갱신되어도 된다. 예를 들면, 실제의 작업현장에 있어서 쓰러진 나무가 발생한 경우에는, 쇼벨(100)은, 실제의 작업현장에서 발생한 쓰러진 나무의 정보(위치, 크기, 또는 수목의 종류 등)를 공간인식장치(C1)에 의하여 취득하고, 정보센터(200)에 설치되어 있는 관리장치로서의 컨트롤러(50)로 송신한다. 컨트롤러(50)는, 수신한 실제의 작업현장의 최신의 정보를 가상작업현장에 반영시킨다. 이로써, 조작자(OP)는 가상작업현장에 있어서 가상쇼벨을 조작하여, 쓰러진 나무를 고려한 가상작업을 행할 수 있다.
가상작업현장에 관한 화상은, 전형적으로는, 가상쇼벨의 화상을 포함한다. 가상쇼벨은, 예를 들면, 쇼벨(100)의 동작의 시뮬레이션이 개시된 시점에서는, 실제의 작업현장에 있어서의 쇼벨(100)에 대응하고 있다. 즉, 시뮬레이션이 개시된 시점에서의 가상작업현장에 있어서의 가상쇼벨의 위치 및 자세 등은, 실제의 작업현장에 있어서의 쇼벨(100)의 위치 및 자세 등에 대응하고 있다. 시뮬레이션이 개시된 시점에서의 가상작업현장에 있어서의 가상쇼벨의 위치 및 자세 등은, 예를 들면, 공간인식장치(C1) 및 공간인식장치(C3) 중 적어도 일방의 출력에 근거하여 결정된다. 단, 시뮬레이션이 개시된 시점에서의 가상작업현장에 있어서의 가상쇼벨의 위치 및 자세 등은, 쇼벨(100)에 탑재되어 있는 붐각도센서(S1), 암각도센서(S2), 버킷각도센서(S3), 선회각속도센서(S4), 기체경사센서, 및 측위장치(18) 등 중 적어도 하나의 출력에 근거하여 결정되거나 혹은 조정되어도 된다.
그 후, 동작시뮬레이터(54)는, 원격조작실(RC)에 있는 조작자(OP)가 조작장치(26)를 조작했을 때에 생성되는 조작신호를 원격조작실(RC)로부터 수신하고, 수신한 조작신호에 따라 가상작업현장에 있어서의 가상쇼벨을 동작시킨다. 가상작업현장의 지형은, 가상쇼벨의 움직임에 따라 변화한다. 예를 들면, 가상작업현장의 지형은, 가상쇼벨에 의한 가상굴삭작업에 따라 변화한다.
시뮬레이션이 행해지고 있을 때에는, 조작신호는, 실제의 작업현장에 있어서의 쇼벨(100)에는 송신되지 않는다. 즉, 원격조작실(RC)에 있는 조작자(OP)는, 시뮬레이션이 행해지고 있을 때에는, 실제의 작업현장에 있어서의 쇼벨(100)을 조작할 수 없다.
도 6에 나타내는 예에서는, 시뮬레이션을 개시시키기 위한 개시지령은, 원격조작실(RC)에 있는 조작자(OP)가 소정의 개시버튼을 조작했을 때에 원격컨트롤러(40)에서 생성되고, 원격컨트롤러(40)로부터 정보센터(200)의 컨트롤러(50)에 송신된다. 개시버튼은, 예를 들면, 우콘솔박스의 상면에 배치되어 있다.
조작자(OP)는, 원격조작실(RC)로부터 조작을 행하기 때문에, 실제의 작업현장의 상황을 파악하기 어려운 경우가 있다. 이 때문에, 조작자(OP)는, 작업개시 전에, 혹은, 작업 중에, 쇼벨(100)이 존재하는 실제의 작업현장에 있어서 바람직하지 않은 사상(事象)이 발생하는 개연성을 그 바람직하지 않은 사상이 발생하기 전에 파악하는 것이 바람직하다. 이 때문에, 조작자(OP)는, 예정되어 있는 작업을 실제로 행하기 전에, 소정의 개시버튼을 조작하여 시뮬레이션을 개시시킨다. 바람직하지 않은 사상은, 예를 들면, 절벽을 굴삭할 때의 절벽의 붕괴 등이다. 여기에서의 절벽은, 예를 들면, 안식각 이상의 경사각을 갖는 경사면을 포함하는 지면을 의미한다. 조작자(OP)는, 가상작업현장에서의 가상쇼벨에 의한 가상굴삭작업을 행함으로써, 절벽을 어떻게 굴삭하면 절벽이 어떻게 붕괴하는지를 확인할 수 있다. 즉, 조작자(OP)는, 복수의 굴삭작업을 가상적으로 시험함으로써, 절벽의 어느 부분을 어떠한 순번으로 어느 정도 굴삭하면 절벽의 붕괴를 억제할 수 있는지를 확인할 수 있다. 즉, 조작자(OP)는, 실제의 굴삭작업을 행하기 전에(실제의 굴삭작업을 행하지 않고), 문제가 없는 굴삭작업의 진행방식을 도출할 수 있다.
구체적으로는, 조작자(OP)는, 하나의 굴삭작업을 가상적으로 시험한 후에, 소정의 리셋버튼을 조작함으로써, 하나의 굴삭작업의 시행에 의하여 변화한 가상작업현장의 지형을 본래의 지형으로 되돌릴 수 있다. 리셋버튼은, 예를 들면, 우콘솔박스의 상면에 배치되어 있다. 다만, 본래의 지형은, 예를 들면, 개시버튼이 조작된 시점에 있어서의 가상작업현장의 지형이며, 실제의 작업현장에 있어서의 현재의 지형에 대응하고 있다. 단, 가상작업현장의 지형은, 시뮬레이션 중의 임의의 시점에서의 지형으로 되돌려져도 된다. 이 구성에 의하여, 조작자(OP)는, 다양한 굴삭작업을 효율적으로 시험할 수 있다.
그리고, 조작자(OP)는, 절벽의 붕괴가 일어나기 어려운 굴삭작업을 확인한 후에, 시뮬레이션을 종료시킨다. 도 6에 나타내는 예에서는, 조작자(OP)는, 소정의 종료버튼을 조작함으로써, 시뮬레이션을 종료시킬 수 있다. 종료버튼은, 시뮬레이션을 개시시킬 때에 이용되는 개시버튼과 동일한 버튼이어도 되고, 개시버튼과는 다른 버튼이어도 된다.
시뮬레이션이 종료되면, 표시장치(D1)에 표시되어 있던 가상작업현장의 화상은, 쇼벨(100)에 탑재된 촬상장치 등에 의하여 촬상된 화상에 근거하는 실제의 작업현장의 화상으로 전환된다. 그리고, 조작자(OP)는, 조작장치(26)를 조작함으로써 쇼벨(100)을 움직이게 할 수 있어, 실제의 굴삭작업을 행할 수 있게 된다.
이 상태에 있어서, 조작자(OP)는, 시뮬레이션으로 확인할 수 있던 최적이라고 생각되는 굴삭작업을 행하여, 실제의 작업현장에 있어서의 절벽을 굴삭할 수 있다.
이 구성에 의하여, 컨트롤러(50)는, 예를 들면, 절벽의 굴삭 시에 발생할 수 있는 절벽의 붕괴를 억제할 수 있어, 쇼벨(100)에 의한 굴삭작업의 안전성을 높일 수 있다.
혹은, 컨트롤러(50)는, 쇼벨(100)의 움직임에 따라 바람직하지 않은 사상이 발생하는 개연성이 높다고 판정한 경우, 쇼벨(100)의 움직임을 정지시킨 다음, 조작자(OP)에게 시뮬레이션의 실행을 촉구하도록 구성되어 있어도 된다. 바람직하지 않은 사상은, 예를 들면, 절벽의 굴삭 시에 발생할 수 있는 절벽의 붕괴 등이다.
예를 들면, 컨트롤러(50)는, 공간인식장치(C1) 등의 출력에 근거하여, 조작자(OP)가 절벽을 굴삭하려고 하고 있다고 판정한 경우, 쇼벨(100)의 움직임을 정지시킨 다음, 조작자(OP)에 시뮬레이션의 실행을 촉구하도록 구성되어 있어도 된다.
다음으로, 도 7을 참조하여, 컨트롤러(50)에 있어서의 동작시뮬레이터(54)에 의하여 실행되는 시뮬레이션에 의한 효과에 대하여 설명한다. 도 7은 쇼벨(100)의 측면도이다. 도 7에 나타내는 예에서는, 쇼벨(100)의 조작자(OP)는, 절벽(CL1)을 굴삭하여 설계면(TS)을 노출시키기 위한 굴삭작업을 행하려고 하고 있다. 다만, 조작자(OP)는, 원격조작실(RC)에 설치된 조작장치(26)를 이용하여 쇼벨(100)을 원격조작한다. 조작자(OP)는, 절벽(CL1)을 굴삭하기 전에, 원격조작실(RC)에 설치된 개시버튼을 눌러 시뮬레이션을 개시시킨다.
개시버튼이 눌리면, 원격조작실(RC)에 설치된 원격컨트롤러(40)는, 개시지령을 생성하고, 또한, 그 개시지령을, 정보센터(200)의 컨트롤러(50)(동작시뮬레이터(54))를 향하여 송신한다.
개시지령을 수신한 동작시뮬레이터(54)는, 쇼벨(100)에 장착된 공간인식장치(C1)로서의 LIDAR의 출력에 근거하여, 쇼벨(100)의 주위에 있어서의 실제의 작업현장의 지형을 인식하고, 그 작업현장의 지형에 대응하는 가상작업현장의 입체지형화상을 생성한다.
동작시뮬레이터(54)에 의하여 생성된 입체지형화상은, 원격조작실(RC)에 설치된 표시장치(D1)에 송신되고, 또한, 표시장치(D1)에 표시된다.
조작자(OP)는, 표시장치(D1)에 표시된 입체지형화상을 보면서, 조작장치(26)를 조작하여 가상쇼벨을 동작시킬 수 있다.
도 7에 나타내는 예에서는, 조작자(OP)는, 예를 들면, 점선으로 구획된 토사부분(SP1)을 처음으로 굴삭하는 제1 굴삭작업과, 일점쇄선으로 구획된 토사부분(SP2)을 처음으로 굴삭하는 제2 굴삭작업을 시뮬레이션으로 시험할 수 있다.
그리고, 조작자(OP)는, 제1 굴삭작업을 시험했을 때에는, 토사부분(SP1)을 처음으로 굴삭하면, 사선으로 나타내는 토사부분(SP3)이 붕괴해 버리는 것을 확인할 수 있다. 또, 조작자(OP)는, 제2 굴삭작업을 시험했을 때에는, 토사부분(SP2)을 처음으로 굴삭해도, 다른 토사부분의 붕괴가 발생하지 않는 것을 확인할 수 있다. 이 경우, 조작자(OP)는, 시뮬레이션의 결과에 근거하여, 실제의 작업현장에서 실시되는 굴삭작업으로서 제2 굴삭작업을 실행해도 된다. 혹은, 조작자(OP)는, 토사부분(SP3)의 붕괴를 적극적으로 이용하기 위하여, 실제의 작업현장에서 실시되는 굴삭작업으로서 제1 굴삭작업을 실행해도 된다.
다음으로, 도 8을 참조하여, 쇼벨(100)의 시공지원시스템(SYS)의 다른 구성예에 대하여 설명한다. 도 8은, 시공지원시스템(SYS)의 다른 구성예를 나타내는 기능블록도이며, 도 6에 대응하고 있다.
도 8에 나타내는 시공지원시스템(SYS)은, 쇼벨(100)에 탑재되어 있는 컨트롤러(30)가 이상검지부(34)를 갖는 점에서, 도 6에 나타내는 시공지원시스템(SYS)과 상이하지만, 그 외의 점에서, 도 6에 나타내는 시공지원시스템(SYS)과 동일하다. 그 때문에, 이하에서는, 공통부분의 설명이 생략되고, 상이부분이 상세하게 설명된다.
이상검지부(34)는, 쇼벨(100)의 주변에서 발생하는 이상사상을 검지하도록 구성되어 있다. 도 8에 나타내는 예에서는, 이상검지부(34)는, 공간인식장치(C1)의 출력에 근거하여 쇼벨(100)의 주변에서 발생하는 이상사상을 사전에 검지하도록 구성되어 있다. 이상사상의 발생을 미연에 방지하기 위함이다. 쇼벨(100)의 주변에서 발생하는 이상사상은, 예를 들면, 쇼벨(100)의 절벽(CL2)(도 7 참조.)으로부터의 전락, 또는, 쇼벨(100)의 굴삭어태치먼트(AT)와 전선(EW)(도 7 참조.)의 접촉 등이다.
이상검지부(34)는, 예를 들면, 공간인식장치(C1)의 출력에 근거하여 절벽(CL2)의 존재를 인식하고, 절벽(CL2)으로부터 소정의 거리의 범위 내에 쇼벨(100)이 침입하면, 절벽(CL2)의 가까이에 있는 지면이 붕괴할 우려가 있다고 판정한다. 소정의 거리는, 과거의 사례에 관한 데이터, 지면을 구성하는 토사의 특성, 및 쇼벨(100)의 중량에 관한 데이터 등 중 적어도 하나에 근거하여 미리 설정된 값이어도 되고, 동적으로 결정되는 값이어도 된다.
이상검지부(34)는, 절벽(CL2)으로부터 소정의 거리의 범위에 쇼벨(100)이 접근했을 때에, 이상에 관한 정보를 표시장치(D1)에 표시시킴으로써 쇼벨(100)의 조작자(OP)의 주의를 환기해도 되고, 쇼벨(100)의 움직임을 둔화시켜도 되며, 쇼벨(100)의 움직임을 정지시켜도 된다.
혹은, 이상검지부(34)는, 예를 들면, 공간인식장치(C1)의 출력에 근거하여 전선(EW)의 존재를 인식하고, 전선(EW)으로부터 소정의 거리의 범위 내에 굴삭어태치먼트(AT)(암(5))의 상단이 침입하면, 굴삭어태치먼트(AT)가 전선(EW)에 접촉할 우려가 있다고 판정한다. 소정의 거리는, 과거의 사례에 관한 데이터 등에 근거하여 미리 설정된 값이어도 되고, 동적으로 결정되는 값이어도 된다.
이상검지부(34)는, 전선(EW)으로부터 소정의 거리의 범위에 굴삭어태치먼트(AT)의 상단이 접근했을 때에, 쇼벨(100)의 조작자(OP)의 주의를 환기해도 되고, 굴삭어태치먼트(AT)의 움직임을 둔화시켜도 되며, 굴삭어태치먼트(AT)의 움직임을 정지시켜도 된다.
또, 이상검지부(34)는, 쇼벨(100)의 주위에 존재하는 물체의 인식 결과에 관한 정보, 및, 이상사상이 발생할 우려가 있는지 아닌지의 판정결과에 관한 정보를, 정보센터(200)에 송신하도록 구성되어 있어도 된다. 정보센터(200)에 있어서의 동작시뮬레이터(54)가 그들의 정보를 이용할 수 있도록 하기 위함이다.
이 경우, 동작시뮬레이터(54)는, 시뮬레이션에 있어서, 조작자(OP)가 가상쇼벨을 절벽(CL2)에 접근시켰을 때에, 조작자(OP)의 주의를 환기하도록 구성되어 있어도 된다. 혹은, 동작시뮬레이터(54)는, 시뮬레이션에 있어서, 조작자(OP)가 붐(4)을 상승시켜 굴삭어태치먼트(암(5))의 상단을 전선(EW)으로부터 소정의 거리의 범위 내에 접근시켰을 때에, 이상에 관한 정보를 표시장치(D1)에 표시시킴으로써 조작자(OP)의 주의를 환기하도록 구성되어 있어도 된다. 이 구성에 의하여, 동작시뮬레이터(54)는, 시뮬레이션의 실행 중에 있어서, 절벽(CL2) 또는 전선(EW)의 존재를 조작자(OP)에게 인식시킬 수 있어, 절벽(CL2) 또는 전선(EW)에 대한 주의를 조작자(OP)에게 촉구할 수 있다.
상술한 실시형태에서는, 쇼벨(100)은, 원격조작실(RC)에 있는 조작자(OP)에 의하여 조작되지만, 캐빈(10) 내에 있는 조작자에 의하여 조작되어도 된다. 이 경우, 개시버튼, 리셋버튼, 및 종료버튼은 캐빈(10) 내에 설치된다. 혹은, 쇼벨(100)은, 조작자에 의한 조작을 필요로 하지 않는 자동운전쇼벨(무인쇼벨)이어도 된다. 이 경우, 개시버튼, 리셋버튼, 및 종료버튼은 생략되어도 된다.
쇼벨(100)이 자동운전쇼벨인 경우, 쇼벨(100)은, 미리 설정된 일련의 동작에 관한 지령(동작지령)을 이용함으로써 작업을 행하도록 구성된다. 동작지령은, 기본적으로는, 작업의 순서에 근거하여 결정된다. 작업의 순서는, 어떠한 순서로 어떠한 움직임을 쇼벨(100)에 실행시킬지를 결정하는 것을 의미한다. 예를 들면, 작업의 순서는, 작업의 효율 및 작업의 안전성 등의 다양한 요인을 고려하여 작업현장의 어느 부분을 어떠한 순서로 굴삭하는지를 결정하는 것을 의미한다. 일반적인 유인(有人)쇼벨이 이용되는 작업현장에서는, 전형적으로는, 작업의 순서는, 숙련된 조작자의 경험적인 판단에 근거하여 결정된다. 자동운전쇼벨이 이용되는 작업현장에서도, 기본적으로는, 작업의 순서는, 숙련된 조작자의 경험적인 판단에 근거하여 결정되는 순서와 동일한 것 같은 순서가 되도록 결정된다. 그 때문에, 자동운전쇼벨이 이용되는 작업현장에 있어서의 작업의 순서는, 그 작업현장에 관한 정보와, 과거의 다양한 데이터에 근거하여 결정된다. 이때에, 딥러닝 등의 기계학습에 관한 기술이 이용되어도 된다.
구체적으로는, 동작지령은, 예를 들면, 버킷(6)의 치선 등의 소정 부위가 따라가는 궤도를 미리 설정함으로써 정해진다. 그리고, 동작지령은, 임의의 방법으로 설정된다. 예를 들면, 동작지령은, 과거의 궤도에 관한 데이터에 근거하여 자동적으로 생성되어도 된다. 동작지령의 생성에는, 딥러닝 등의 기계학습이 이용되어도 된다. 이 경우, "동작지령의 생성"은, "동작지령의 학습"이라고도 칭해지거나, 혹은 간단히 "동작학습"이라고도 칭해진다.
조작자(OP)는, 공간인식장치(C1)가 출력하는 정보에 의하여 생성된 3차원의 가상공간 내의 가상의 현재지형이 가상공간 내의 목표면(예를 들면 설계면정보(DG) 등에 근거하는 지형)이 되도록 가상쇼벨을 동작시켜, 실제의 쇼벨(100)에 대한 동작지령을 정보센터(200)에 있어서의 컨트롤러(50)에 생성시킨다. 이때, 컨트롤러(50)는, 기계학습의 일례인 강화학습에 의하여, 보수(사용연료의 적음 또는 작업시간의 짧음 등)를 설정하여, 액추에이터의 동작지령을 생성해도 된다. 이와 같이, 컨트롤러(50)는, 강화학습을 이용함으로써, 가상공간 내의 가상의 현재지형을 가상공간 내의 목표면(예를 들면 설계면정보(DG) 등에 근거하는 지형)으로 할 때에, 가장 보수가 높은 동작지령을 생성할 수 있어, 효율이 높은 작업의 순서를 실현할 수 있다. 이로써, 컨트롤러(50)는, 숙련된 조작자보다 효율이 높은 동작지령을 생성할 수 있어, 효율이 높은 작업의 순서를 실현할 수 있다.
구체적으로는, 정보센터(200)에 있어서의 컨트롤러(50)는, 설계면정보(DG) 등에 근거하여 쇼벨(100)의 동작지령을 생성한다. 그리고, 컨트롤러(50)는, 생성한 동작지령에 따라 쇼벨(100)을 자동적으로 동작시킬 수 있도록 조작신호를 생성한다. 생성된 조작신호는, 쇼벨(100)에 탑재되어 있는 컨트롤러(30)를 향하여 송신된다.
그리고, 쇼벨(100)이 자동운전쇼벨인 경우, 컨트롤러(50)를 구성하는 동작시뮬레이터(54)는, 실제의 작업이 행해지기 전에, 쇼벨(100)에 의한 작업을 구성하는 동작의 시뮬레이션을 행할 수 있다.
예를 들면, 동작시뮬레이터(54)는, 동작지령에 관한 정보와 실제의 작업현장의 현재의 지형에 관한 정보에 근거하여, 쇼벨(100)에 의한 작업을 구성하는 동작을 가상적으로 실행함으로써, 쇼벨(100)에 의한 시공(작업)의 개시부터 완료까지의 지형의 변화를 가상적으로 확인할 수 있다. 여기에서, 시공은, 소정의 순서로 행해지는 하나 또는 복수의 작업(적재작업, 전압작업, 굴삭작업, 또는 매다는 작업 등)을 포함한다. 또, 작업은, 소정의 순번으로 행해지는 하나 또는 복수의 동작(굴삭동작, 선회동작, 배토(排土)동작, 또는 붐상승동작 등)을 포함한다.
그리고, 동작시뮬레이터(54)는, 동작지령에 따라 쇼벨(100)을 동작시켰을 때에 발생하는 문제(이상사상으로서의 요주의(要注意)사항)를 사전에 인식할 수 있다. 즉, 동작시뮬레이터(54)는, 요주의사항이 발생하는 장소, 시각, 또는 종류 등을 판단할 수 있다. 또, 가상작업현장에 있어서 복수의 건설기계가 존재하는 경우에는, 동작시뮬레이터(54)는, 어느 건설기계에 대하여 요주의사항이 발생하는지를 판단할 수 있다. 이와 같이, 동작시뮬레이터(54)는, 요주의사항의 추출을 행할 수 있다.
추출된 요주의사항은, 실제의 쇼벨(100)의 조작이 행해지기 전에 관리장치의 표시장치에 표시될 수 있다. 이 경우, 표시장치에는 실제의 작업현장을 재현한 3차원의 가상작업현장이 표시된다. 그리고, 3차원의 가상작업현장에 있어서 발생하는 요주의사항에 대하여, 동작시뮬레이터(54)는, 발생하는 장소, 시각, 또는 종류 등을 표시시킨다. 동작시뮬레이터(54)는, 발생하도록 요주의사항의 원인을 표시시켜도 된다. 또한, 동작시뮬레이터(54)는, 요주의사항이 발생하는 전후에 있어서의 가상작업현장 내의 가상건설기계(가상쇼벨)의 모습을 재현해도 된다. 이로써, 관리자는, 어떻게 하여 요주의사항이 발생하는지를 사전에 확인할 수 있다. 또, 가상작업현장에 있어서 복수의 건설기계가 존재하는 경우에는, 동작시뮬레이터(54)는, 어느 건설기계에 대하여 요주의사항이 발생하는지를 판단할 수 있다. 예를 들면, 가상작업현장에 있어서, 예정의 작업내용에 근거하여 예정된 시각(예를 들면, 오후 3시)에 가상자재가 반입되었을 때에, 가상자재가 하적(임시보관)된 근방에서 가상건설기계(가상쇼벨)가 굴삭작업을 행하는 경우에는, 요주의사항으로서 "가상쇼벨과 가상자재의 접촉"이 추출된다. 이 경우, 가상작업현장에 있어서 발생하는 요주의사항의 장소, 시각, 또는 종류 등이 표시장치에 표시됨으로써, 관리자는, 실제의 작업현장에 있어서의 자재의 임시보관장소의 변경이 필요한 것을 인식할 수 있다. 또, 동작시뮬레이터(54)는, 요주의사항의 발생을 해소하기 위한 개선안도 표시할 수 있다. 표시장치는 휴대단말의 표시부여도 된다. 이 경우, 동작시뮬레이터(54)는, 예를 들면, 가상자재의 하적장소를 현재 예정되어 있는 장소로부터 다른 장소로 변경한 사례에 대하여, 시뮬레이션을 행한다. 하적장소를 변경한 사례에 대한 시뮬레이션은, 복수의 변경 후의 장소에 대하여 행해져도 된다. 이와 같이, 예정되어 있는 작업내용을 변경한 경우의 복수의 사례에 대하여 시뮬레이션을 행함으로써, 동작시뮬레이터(54)는, 현재 예정되어 있는 가상자재의 당초의 하적장소보다 바람직한 하적장소를 추출하여, 개선안으로서 그 바람직한 하적장소를 표시시킬 수 있다. 이와 같이, 개선안이 표시장치에 표시됨으로써, 관리자는, 작업현장의 작업자에 대하여, 실제의 작업현장에 있어서의 자재의 하적장소의 변경을 지시할 수 있다. 이와 같이, 동작시뮬레이터(54)는, 가상작업현장에 있어서 발생하는 사상이 요주의사항인 경우에는, 발생하는 요주의사항을 해소하기 위하여, 1회 또는 복수 회에 걸쳐 작업내용을 변경하여 시뮬레이션을 다시 실행한다. 그리고, 발생하는 요주의사항을 해소하기 위한 작업내용 또는 작업의 순서 등이 도출된 경우, 도출된 작업내용 또는 작업의 순서 등에 근거하여, 그 후의 시공에 관한 시뮬레이션을 계속한다. 이와 같이, 동작시뮬레이터(54)는, 요주의사항이 발생한 경우에서도, 요주의사항을 해소하기 위한 작업내용을 시뮬레이션에 의하여 도출할 수 있다. 그리고, 동작시뮬레이터(54)에 의하여 요구된, 요주의사항을 해소하기 위한 작업내용 또는 작업의 순서 등에 대한 정보가 표시장치에 표시됨으로써, 관리자 또는 작업자는, 실제의 작업현장에 있어서, 작업내용 또는 작업의 순서 등을 변경할 수 있다. 다만, 표시장치는 휴대단말의 표시부여도 된다.
동작지령을 수정할 때에는, 동작시뮬레이터(54)는, 복수의 새로운 동작지령에 따른 쇼벨(100)의 동작의 시뮬레이션을 실행함으로써, 최적인 동작지령을 찾아낼 수 있다. 복수의 새로운 동작지령의 생성에는, 당초의 동작지령의 경우와 동일하게, 딥러닝 등의 기계학습이 이용되어도 된다.
또, 동작시뮬레이터(54)는, 자동운전쇼벨로서의 쇼벨(100)에 의한 실제의 작업이 행해지고 있을 때에, 소정 시간만큼 미래의 시점에서 어떠한 사상이 발생하는지의 시뮬레이션을 행하도록 구성되어 있어도 된다. 이 구성에 의하여, 동작시뮬레이터(54)는, 실제의 작업보다 소정 시간만큼 선행하여 가상작업(가상동작)을 행할 수 있어, 바람직하지 않은 사상이 발생하는 것을 사전에 인식할 수 있다. 그리고, 동작시뮬레이터(54)는, 바람직하지 않은 사상이 발생하는 것을 사전에 인식한 경우에는, 동작지령을 수정함으로써, 그와 같은 바람직하지 않은 사상이 발생하는 것을 미연에 방지할 수 있다.
또, 동작시뮬레이터(54)는, 상정하고 있던 사상과는 상이한 사상이 발생한 경우, 그 후의 작업을 구성하는 쇼벨(100)의 동작의 시뮬레이션을 다시 하도록 구성되어 있어도 된다. 예를 들면, 동작시뮬레이터(54)는, 쇼벨(100)에 탑재되어 있는 각종 센서의 출력에 근거하여 토사가 상정되어 있던 토사보다 점토질이거나 혹은 사질(沙質)이라고 판정한 경우, 그 후의 작업을 구성하는 쇼벨(100)의 동작의 시뮬레이션을 다시 하도록 구성되어 있어도 된다. 사질의 지반은, 점토질의 지반에 비하여 붕괴되기 쉬워, 굴삭작업 등에 의하여 변화하는 지형의 추정결과에 영향을 주기 때문이다. 즉, 점토질인 것을 전제로 하여 도출된 시뮬레이션결과는, 실제로는 보다 사질인 지반에 대해서는 부적절해져 버리기 때문이다.
예를 들면, 컨트롤러(50)는, 공간인식장치(C1)의 출력에 근거하여, 실제의 굴삭에 의하여 형성되는 구멍인 굴삭구멍의 측면으로부터 붕괴되어 굴삭구멍의 바닥에 저류하는 토사의 양을 도출할 수 있다. 그리고, 컨트롤러(50)는, 그 굴삭구멍의 바닥에 저류하는 토사의 양에 근거하여, 작업대상의 지반의 특성을 도출할 수 있다. 지반의 특성은, 예를 들면, 사질의 정도, 또는, 점토질의 정도 등이다. 전형적으로는, 컨트롤러(50)는, 굴삭구멍의 바닥에 저류하는 토사의 양이 많을수록, 사질의 정도가 크면 판정할 수 있다.
또, 컨트롤러(50)는, 공간인식장치(C1)의 출력에 근거하여, 실제의 작업현장에 있어서의 작업현장의 상황과 가상공간에 있어서 상정된 가상작업현장의 상황을 대비하여, 작업의 진척을 평가할 수 있다. 예를 들면, 실제의 작업이 가상작업과 비교하여 지연되고 있는 경우에는, 컨트롤러(50)는, 동작시뮬레이터(54)에 의하여 지연되고 있는 실제의 작업현장의 상황에 근거하여 시뮬레이션을 다시 실행하여, 동작지령을 다시 생성한다. 그리고, 컨트롤러(50)는, 다시 생성한 동작지령을 쇼벨(100)에 송신한다. 쇼벨(100)은, 다시 생성한 동작지령에 근거하여 제어된다. 또, 컨트롤러(50)는, 공간인식장치(C1)의 출력에 근거하여, 실제의 작업현장에 있어서의 작업현장의 상황과 가상공간에 있어서 상정된 가상작업현장의 상황을 대비하여, 가상작업현장에 있어서 상정(시뮬레이션)되어 있지 않은 사상이 발생했는지 어떤지를 판단해도 된다.
이 구성에 의하여, 컨트롤러(50)는, 쇼벨(100)에 의한 작업에 관한 시뮬레이션결과의 정확성을 높일 수 있어, 자동운전쇼벨로서의 쇼벨(100)의 작업효율을 높일 수 있다. 또, 컨트롤러(50)는, 자동운전쇼벨로서의 쇼벨(100)에 의한 작업의 안전성을 높일 수 있다.
상술한 바와 같이, 본 발명의 실시형태에 관한 시스템은, 쇼벨(100)에 의한 시공을 지원하는 쇼벨용의 시공지원시스템(SYS)으로서, 쇼벨(100)의 작업환경에 근거하여 설정된 가상환경에 있어서의 쇼벨(100)의 동작의 시뮬레이션을 실행하는 연산장치로서의 컨트롤러(50)를 갖는다. 컨트롤러(50)는, 예를 들면, 쇼벨(100)이 위치하고 있는 작업현장에 관한 정보에 근거하여, 가상환경의 일례인 가상작업현장을 설정하여, 가상작업현장에 있어서의 가상쇼벨에 의한 가상굴삭작업을 구성하는 가상동작의 시뮬레이션을 실행한다. 구체적으로는, 컨트롤러(50)는, 어떠한 가상동작이 행해졌을 때에 가상작업현장이 어떻게 변화하는지를 도출한다.
이 구성에 의하여, 시공지원시스템(SYS)은, 실제의 작업현장에 관한 정보에 근거하여, 쇼벨(100)에 의한 작업의 시뮬레이션을 실행함으로써, 쇼벨(100)에 의한 시공을 지원할 때에 실제의 작업현장의 상황을 반영시킬 수 있다.
컨트롤러(50)는, 쇼벨(100)의 주위의 공간을 인식하는 공간인식장치의 출력에 근거하여 시뮬레이션을 실행해도 된다. 공간인식장치는, 쇼벨(100)에 탑재되어 있어도 되고, 혹은, 쇼벨(100)의 외부에 설치되어 있어도 된다. 또, 컨트롤러(50)는, 하나의 공간인식장치의 출력에 근거하여 시뮬레이션을 실행해도 되고, 복수의 공간인식장치의 출력에 근거하여 시뮬레이션을 실행해도 된다. 공간인식장치는, 예를 들면, 쇼벨(100)에 탑재되어 있는 공간인식장치(C1)여도 된다. 혹은, 공간인식장치는, 쇼벨(100)의 외부에 설치된 공간인식장치(C3)여도 된다. 구체적으로는, 공간인식장치(C3)는, 작업현장에 설치된 폴에 장착되어 있어도 되고, 쇼벨(100) 이외의 다른 쇼벨에 장착되어 있어도 되며, 작업현장의 상공을 비행하는 비행체에 장착되어 있어도 된다.
시공지원시스템(SYS)은, 컨트롤러(50)에 의한 시뮬레이션의 결과를 표시하는 표시장치를 갖고 있어도 된다.
컨트롤러(50)는, 시뮬레이션에 의하여, 쇼벨(100)을 실제로 동작시켰을 때에 발생할 수 있는 사상을 사전에 인식할 수 있도록 구성되어 있어도 된다. 이 구성에 의하여, 시공지원시스템(SYS)은, 쇼벨(100)을 실제로 동작시켰을 때에 발생할 수 있는 바람직하지 않은 사상을 사전에 인식하여, 그와 같은 바람직하지 않은 사상이 실제로 발생해 버리는 것을 미연에 방지할 수 있다.
쇼벨(100)은, 자동운전쇼벨이어도 된다. 이 경우, 컨트롤러(50)는, 미리 설정된 동작지령에 관한 정보에 근거하여 조작신호를 생성해도 된다. 그리고, 쇼벨(100)은, 그 조작신호에 따라 동작하도록 구성되어 있어도 된다. 또, 컨트롤러(50)는, 시뮬레이션의 결과에 근거하여 동작지령을 변경할 수 있도록 구성되어 있어도 된다.
이 구성에 의하여, 시공지원시스템(SYS)은, 쇼벨(100)이 자동운전쇼벨이더라도, 쇼벨(100)에 의한 시공을 지원할 때에 실제의 작업현장의 상황을 반영시킬 수 있다.
컨트롤러(50)는, 동작지령에 따라 동작하는 쇼벨(100)에 의하여 실현되는 작업현장의 소정 시간경과 후의 미래의 상태를, 시뮬레이션에 의하여 계속적으로 도출하도록 구성되어 있어도 된다.
이 구성에 의하여, 시공지원시스템(SYS)은, 쇼벨(100)을 실제로 동작시킴과 함께, 소정 시간만큼 미래의 시점에 있어서의 작업현장의 상태를 시뮬레이션에 의하여 리얼타임으로 도출할 수 있다. 그 때문에, 시공지원시스템(SYS)은, 소정 시간만큼 미래의 시점에 있어서의 작업현장의 상태가 바람직하지 않은 상태가 되는 것을 사전에 찰지(察知)할 수 있다. 이 경우, 시공지원시스템(SYS)은, 현재 이용하고 있는 동작지령을 다른 동작지령으로 전환함으로써, 그와 같은 바람직하지 않은 상태가 실제로 발생해 버리는 것을 미연에 방지할 수 있다.
컨트롤러(50)는, 시뮬레이션의 전제조건이 바뀌었을 때에, 시뮬레이션을 다시 하도록 구성되어 있어도 된다. 시뮬레이션의 전제조건은, 예를 들면, 작업대상의 토사의 사질정도가 소정 범위 내의 값인 것이다. 토사의 사질정도는, 예를 들면, 공간인식장치의 출력에 근거하여 도출된다. 전제조건이 바뀌었음에도 불구하고, 그 전제조건에 근거하여 행해진 시뮬레이션의 결과가 이용되어 버리면, 작업현장의 상태가 바람직하지 않은 상태가 되어 버리기 때문이다.
또, 다른 사례로서, 예를 들면, 컨트롤러(50)는, 시공현장의 노면에 부설된 철판의 위치가 덤프트럭의 빈번한 통과나 지진 등에 의하여 어긋난 것을 공간인식장치가 검출한 경우에도, 요주의사항이 발생했다고 하여 관리자 또는 작업자에게 주의환기를 함과 함께, 전제조건이 변화했다고 하여 시뮬레이션을 다시 할 수 있다. 그리고, 컨트롤러(50)는, 전제조건의 변화가 시공작업에 주는 영향을 평가할 수 있다. 즉시 철판의 위치의 수정이 필요한 경우에는, 컨트롤러(50)는, 그 취지를 관리자 또는 작업자에게 표시 등에 의하여 알려도 된다.
또, 다른 사례로서, 컨트롤러(50)는, 공간인식장치(C1)에 의하여 시공현장의 상황의 변화를 검지하면, 요주의사항이 발생했다고 하여 관리자 또는 작업자에게 주의환기를 함과 함께, 전제조건이 변화했다고 하여 시뮬레이션을 다시 할 수 있다. 시공현장의 상황의 변화는, 예를 들면, 악천후(비 등)에 의한 시공현장의 지형(슬로프형상 혹은 임시보관의 토사의 형상 등)의 변화, 또는, 쓰러진 나무 혹은 낙석의 발생 등을 포함한다. 그리고, 컨트롤러(50)는, 전제조건의 변화가 시공작업에 주는 영향을 평가할 수 있다. 즉시 작업현장의 지형의 보수 등의 상황의 개선이 필요한 경우에는, 컨트롤러(50)는, 그 취지를 관리자 또는 작업자에게 표시 등에 의하여 알려도 된다. 동작시뮬레이터(54)는, 작업현장의 지형의 보수를 위한 시뮬레이션을 행해도 된다.
이와 같이, 시공개시 전이나 시공의 도중의 소정의 시간마다, 컨트롤러(50)는, 공간인식장치(C1)의 출력을 수신한다. 그리고, 컨트롤러(50)는, 공간인식장치(C1)의 출력에 근거하여, 실제의 작업현장에 있어서의 작업현장의 상황과 가상공간에 있어서 상정된 가상작업현장의 상황을 대비한다. 그리고, 컨트롤러(50)는, 대비결과에 근거하여 시뮬레이션의 전제조건이 바뀌었다고 판정하면, 전제조건의 변화가 요주의사항인지 어떤지를 판단하고, 요주의사항이라고 판단하면 관리자 또는 작업자에게 그 취지를 알린다. 그리고, 컨트롤러(50)는, 요주의사항을 해소하기 위한 시뮬레이션을 행하여, 발생한 요주의사항을 해소하기 위한 작업내용 또는 작업의 순서 등을 개선안으로서 도출한 경우, 도출한 개선안을 관리자 또는 작업자에게 알린다. 관리자 또는 작업자는, 동작시뮬레이터(54)에 의하여 도출된 개선안으로 문제없다고 판단한 경우, 컨트롤러(50)로부터 쇼벨(100)로의 동작지령의 송신을 허가한다. 그 후, 컨트롤러(50)로부터 쇼벨(100)로의 동작지령이 송신된다. 컨트롤러(30)는, 수신한 동작지령에 근거하여, 쇼벨(100)을 제어한다.
이 구성에 의하여, 시공지원시스템(SYS)은, 시뮬레이션의 전제조건이 변화했다고 판정한 경우에는, 시뮬레이션을 다시 하기 때문에, 쇼벨(100)에 의한 시공을 지원할 때에 실제의 작업현장의 상황을 보다 적절히 반영시킬 수 있다.
이상, 본 발명의 바람직한 실시형태에 대하여 상세하게 설명했다. 그러나, 본 발명은, 상술한 실시형태에 제한되지 않는다. 상술한 실시형태는, 본 발명의 범위를 벗어나지 않고, 다양한 변형 또는 치환 등이 적용될 수 있다. 또, 따로따로 설명된 특징은, 기술적인 모순이 발생하지 않는 한, 조합이 가능하다.
예를 들면, 상술한 실시형태에서는, 동작시뮬레이터(54)는, 정보센터(200)에 설치된 컨트롤러(50)의 일 기능으로서 실현되고 있지만, 컨트롤러(30)의 일 기능으로서 실현되어도 되고, 원격컨트롤러(40)의 일 기능으로서 실현되어도 된다. 혹은, 동작시뮬레이터(54)는, 컨트롤러(30), 원격컨트롤러(40), 및 컨트롤러(50)의 각각과는 다른 연산장치의 일 기능으로서 실현되어도 된다.
본원은, 2020년 5월 27일에 출원한 일본 특허출원 2020-092622호에 근거하여 우선권을 주장하는 것이며, 이 일본 특허출원의 전체내용을 본원에 참조에 의하여 원용한다.
1…하부주행체
1L…좌측주행용 유압모터
1R…우측주행용 유압모터
2…선회기구
2A…선회용 유압모터
3…상부선회체
4…붐
5…암
6…버킷
7…붐실린더
8…암실린더
9…버킷실린더
10…캐빈
11…엔진
11a…얼터네이터
11b…스타터
11c…수온센서
13…레귤레이터
14…메인펌프
14b…토출압센서
14c…유온센서
15…파일럿펌프
16…작동유라인
17…컨트롤밸브유닛
18…측위장치
21…요소수탱크
21a…요소수잔량센서
22…연료탱크
22a…연료잔량센서
25…파일럿라인
26…조작장치
29…조작센서
30…컨트롤러
30a…메모리
31…화상생성부
32…쇼벨상태특정부
33…액추에이터구동부
34…이상검지부
40…원격컨트롤러
41…조작자상태특정부
42…화상합성부
43…조작신호생성부
45…전자밸브유닛
50…컨트롤러
51…판정부
52…조작예측부
53…조작개입부
54…동작시뮬레이터
70…배터리
72…전장품
74…엔진컨트롤유닛
75…다이얼
100, 100a, 100b…쇼벨
200…정보센터
A1…집음장치
A2…소리출력장치
C1…공간인식장치
C1B…후카메라
C1F…전카메라
C1L…좌카메라
C1R…우카메라
C2…실내공간인식장치
C3…공간인식장치
D1…표시장치
DG…설계면정보
DS…운전석
E1…조작자시점
E1'…가상조작자시점
OP…조작자
RC, RCa, RCb…원격조작실
S1…붐각도센서
S2…암각도센서
S3…버킷각도센서
S4…선회각속도센서
SYS…시공지원시스템
T1, T2, T3…통신장치

Claims (12)

  1. 쇼벨에 의한 시공을 지원하는 시스템으로서,
    상기 쇼벨의 작업환경에 근거하여 설정된 가상환경에 있어서의 상기 쇼벨의 동작의 시뮬레이션을 실행하는 연산장치를 갖는, 쇼벨용의 시공지원시스템.
  2. 제1항에 있어서,
    상기 연산장치는, 상기 쇼벨의 주위의 공간을 인식하는 공간인식장치의 출력에 근거하여 상기 시뮬레이션을 실행하고,
    상기 공간인식장치는, 상기 쇼벨에 탑재되거나, 혹은, 상기 쇼벨의 외부에 설치되어 있는, 쇼벨용의 시공지원시스템.
  3. 제1항에 있어서,
    상기 연산장치에 의한 상기 시뮬레이션의 결과를 표시하는 표시장치를 갖는, 쇼벨용의 시공지원시스템.
  4. 제1항에 있어서,
    상기 연산장치는, 상기 시뮬레이션에 의하여, 상기 쇼벨을 실제로 동작시켰을 때에 발생하는 사상을 사전에 인식하도록 구성되어 있는, 쇼벨용의 시공지원시스템.
  5. 제1항에 있어서,
    상기 연산장치는, 동작지령에 관한 정보에 근거하여 조작신호를 생성하고,
    상기 쇼벨은, 자동운전쇼벨이며, 상기 조작신호에 따라 동작하도록 구성되어 있는, 쇼벨용의 시공지원시스템.
  6. 제5항에 있어서,
    상기 연산장치는, 상기 시뮬레이션의 결과에 근거하여 상기 동작지령을 변경하는, 쇼벨용의 시공지원시스템.
  7. 제5항에 있어서,
    상기 연산장치는, 상기 동작지령에 따라 동작하는 상기 쇼벨에 의하여 실현되는 작업현장의 소정 시간경과 후의 미래의 상태를 상기 시뮬레이션에 의하여 도출하도록 구성되어 있는, 쇼벨용의 시공지원시스템.
  8. 제1항에 있어서,
    상기 연산장치는, 상기 시뮬레이션의 전제조건이 바뀌었을 때에, 상기 시뮬레이션을 다시 하도록 구성되어 있는, 쇼벨용의 시공지원시스템.
  9. 제1항에 있어서,
    상기 가상환경에 있어서의 상기 쇼벨은, 조작장치에 의하여 조작되는, 쇼벨용의 시공지원시스템.
  10. 제9항에 있어서,
    상기 조작장치는, 상기 가상환경에 있어서의 상기 쇼벨, 또는, 실제의 작업현장에 배치되는 쇼벨에 선택적으로 접속되는, 쇼벨용의 시공지원시스템.
  11. 제4항에 있어서,
    상기 연산장치는, 상기 사상이 요주의사항인 경우에는, 상기 요주의사항을 해소하기 위한 작업내용의 시뮬레이션을 실행하는, 쇼벨용의 시공지원시스템.
  12. 제2항에 있어서,
    상기 연산장치는, 상기 공간인식장치의 출력을 이용하여, 실제의 작업현장에 있어서의 작업현장의 상황과 가상공간에 있어서 상정된 가상작업현장의 상황을 대비하는, 쇼벨용의 시공지원시스템.
KR1020227030064A 2020-05-27 2021-05-27 쇼벨용의 시공지원시스템 KR20230015308A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2020-092622 2020-05-27
JP2020092622 2020-05-27
PCT/JP2021/020303 WO2021241716A1 (ja) 2020-05-27 2021-05-27 ショベル用の施工支援システム

Publications (1)

Publication Number Publication Date
KR20230015308A true KR20230015308A (ko) 2023-01-31

Family

ID=78744670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227030064A KR20230015308A (ko) 2020-05-27 2021-05-27 쇼벨용의 시공지원시스템

Country Status (6)

Country Link
US (1) US20230071015A1 (ko)
EP (1) EP4159933A4 (ko)
JP (1) JPWO2021241716A1 (ko)
KR (1) KR20230015308A (ko)
CN (1) CN115279974A (ko)
WO (1) WO2021241716A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640827A (zh) * 2016-01-29 2022-06-17 住友建机株式会社 挖土机以及在挖土机的周围飞行的自主式飞行体
US20240093464A1 (en) * 2022-04-07 2024-03-21 AIM Intelligent Machines, Inc. Autonomous Control Of Operations Of Earth-Moving Vehicles Using Trained Machine Learning Models

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156193A (ja) 2015-02-25 2016-09-01 株式会社日立製作所 操作支援システムおよび操作支援システムを備えた作業機械

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05311692A (ja) * 1991-09-06 1993-11-22 Yotaro Hatamura パワーショベル
JP4061431B2 (ja) * 1997-03-14 2008-03-19 株式会社安川電機 電子部品装着機のシミュレーション装置
JP2002115271A (ja) * 2000-10-11 2002-04-19 Hitachi Constr Mach Co Ltd 自動運転ショベル
JP2003090130A (ja) * 2001-09-19 2003-03-28 Kajima Corp 工程計画システム、工程計画方法、工程計画プログラム、及び工程計画プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003118981A (ja) * 2001-10-18 2003-04-23 Hitachi Ltd クレーン接近警報装置
JP3839782B2 (ja) * 2003-02-19 2006-11-01 小松フォークリフト株式会社 作業車両の運転操作シミュレーション装置
US20060034535A1 (en) * 2004-08-10 2006-02-16 Koch Roger D Method and apparatus for enhancing visibility to a machine operator
US8139108B2 (en) * 2007-01-31 2012-03-20 Caterpillar Inc. Simulation system implementing real-time machine data
JP2013147334A (ja) * 2012-01-20 2013-08-01 Toshiba Elevator Co Ltd マルチカーエレベータの群管理制御装置
JP2016061054A (ja) * 2014-09-17 2016-04-25 住友重機械工業株式会社 ショベル及びショベルの支援装置
DE112017000279T5 (de) * 2016-03-30 2018-09-13 Komatsu Ltd. Simulationssystem und simulationsverfahren
CA3029812C (en) * 2016-08-31 2020-07-14 Komatsu Ltd. Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
JP7015108B2 (ja) * 2016-12-07 2022-02-02 三菱重工業株式会社 運用支援装置、機器運用システム、運用方法、制御方法及びプログラム
JP6889262B2 (ja) * 2017-07-18 2021-06-18 株式会社小松製作所 パラメータ特定装置、シミュレーション装置、およびパラメータ特定方法
JP7143634B2 (ja) * 2018-05-29 2022-09-29 コベルコ建機株式会社 技能評価システム及び技能評価方法
JP7212509B2 (ja) 2018-12-11 2023-01-25 株式会社カネカ 細胞濃縮方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016156193A (ja) 2015-02-25 2016-09-01 株式会社日立製作所 操作支援システムおよび操作支援システムを備えた作業機械

Also Published As

Publication number Publication date
JPWO2021241716A1 (ko) 2021-12-02
US20230071015A1 (en) 2023-03-09
EP4159933A1 (en) 2023-04-05
WO2021241716A1 (ja) 2021-12-02
EP4159933A4 (en) 2023-12-06
CN115279974A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
KR102659077B1 (ko) 쇼벨
US11492777B2 (en) Shovel and system of managing shovel
JP7328212B2 (ja) 建設機械の運転支援システム、建設機械
JP7358349B2 (ja) 掘削機、情報処理装置
KR102638315B1 (ko) 쇼벨
US20230071015A1 (en) Construction assist system for shovel
JPWO2020080538A1 (ja) ショベル
KR20210140737A (ko) 쇼벨 및 시공시스템
EP4159932A1 (en) Excavator and excavator system
US20230009234A1 (en) Information communications system for construction machine and machine learning apparatus
KR20210139297A (ko) 건설기계, 지원시스템
JPWO2019117166A1 (ja) ショベル
US20230008338A1 (en) Construction machine, construction machine management system, and machine learning apparatus
JP7438807B2 (ja) ショベルの施工支援システム
JP7346061B2 (ja) ショベル
JP2022154722A (ja) ショベル
JP2022157923A (ja) ショベル
JP2021156078A (ja) ショベル
WO2022202855A1 (ja) 建設機械及び建設機械用支援装置
JP2022157635A (ja) 建設機械の管理システム
JP2024051364A (ja) 作業機械の遠隔情報取得システム、及び遠隔情報取得システム
US20240011252A1 (en) Shovel and shovel control device
WO2023132321A1 (ja) 周辺監視システム、作業機械
JP2022182529A (ja) 遠隔操作支援システム、遠隔操作支援装置
JP2022156791A (ja) ショベル、情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination