KR20200037285A - 작업기의 외형 형상 측정 시스템, 작업기의 외형 형상 표시 시스템, 작업기의 제어 시스템 및 작업 기계 - Google Patents

작업기의 외형 형상 측정 시스템, 작업기의 외형 형상 표시 시스템, 작업기의 제어 시스템 및 작업 기계 Download PDF

Info

Publication number
KR20200037285A
KR20200037285A KR1020207004801A KR20207004801A KR20200037285A KR 20200037285 A KR20200037285 A KR 20200037285A KR 1020207004801 A KR1020207004801 A KR 1020207004801A KR 20207004801 A KR20207004801 A KR 20207004801A KR 20200037285 A KR20200037285 A KR 20200037285A
Authority
KR
South Korea
Prior art keywords
work machine
coordinate system
machine
image
vehicle body
Prior art date
Application number
KR1020207004801A
Other languages
English (en)
Other versions
KR102231510B1 (ko
Inventor
나오키 하야카와
고헤이 히로마츠
다이토 사카이
시호 이즈미
Original Assignee
히다찌 겐끼 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 히다찌 겐끼 가부시키가이샤 filed Critical 히다찌 겐끼 가부시키가이샤
Publication of KR20200037285A publication Critical patent/KR20200037285A/ko
Application granted granted Critical
Publication of KR102231510B1 publication Critical patent/KR102231510B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39393—Camera detects projected image, compare with reference image, position end effector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

측정 컨트롤러(20)는, 촬영 장치(19)에 의해 작업기(1A)의 측면을 촬영한 화상과 촬영 장치의 내부 파라미터에 기초하여, 촬영 장치 좌표계(Co1)에 있어서 작업기의 측면을 나타내는 평면(S1)의 위치를 산출하고, 촬영 화상 상에서 작업기를 구성하는 임의의 화소의 촬영 화상에 있어서의 위치 정보와 평면(S1)의 위치에 기초하여 그 임의의 화소에 대응하는 작업기 상의 점의 촬영 장치 좌표계(Co1)에 있어서의 좌표값을 산출하고, 그 임의의 화소에 대응하는 작업기 상의 점의 촬영 장치 좌표계에 있어서의 좌표값을 작업기 좌표계(Co3)에 있어서의 좌표값으로 변환하여 유압 셔블(1)의 작업 기계 컨트롤러(50)에 출력한다.

Description

작업기의 외형 형상 측정 시스템, 작업기의 외형 형상 표시 시스템, 작업기의 제어 시스템 및 작업 기계
본 발명은 작업 기계에 탑재된 작업기의 형상을 계측하는 측정 컨트롤러를 구비하는 작업기의 외형 형상 측정 시스템에 관한 것이다.
근년, 정보화 시공에의 대응에 수반하여, 유압 셔블을 포함하는 작업 기계에는, (1) 붐, 암, 버킷 등의 작업기(프론트 작업기)의 위치나 자세를 센서로 검출하고, 그 센서 정보에 입각한 위치와 자세의 버킷의 화상을 모니터에 표시하여 오퍼레이터에게 제공하는 머신 가이던스(MG)나, (2) MG와 마찬가지로 작업기의 위치나 자세의 센서 정보를 이용하여, 미리 정한 조건에 따라서 작업기를 제어하는 머신 컨트롤(MC)의 기능을 갖는 것이 있다. 통상, 이러한 기능을 탑재한 유압 셔블에서는, 실제의 버킷과 목표면의 상대적인 위치 관계를 오퍼레이터에게 알리기 위해, 버킷을 측면에서 본 화상을 목표면과 함께 운전실 내의 모니터에 표시하는 일이 행해진다.
이러한 종류의 기술과 관련하여, 특허문헌 1에는, 복수 종류의 버킷의 화상을 모니터에 표시시키는 데 있어서 오퍼레이터의 위화감을 저감시키는 관점에서 다음과 같은 기술이 개시되어 있다. 즉, 인용문헌 1은, 버킷이 설치된 작업기를 갖는 작업 기계의 표시 시스템이며, 상기 버킷의 형상 및 치수의 정보를 사용하여 상기 버킷을 측면에서 본 화상을 묘화하기 위한 묘화 정보를 생성하는 생성부와, 상기 생성부에 의해 생성된 상기 묘화 정보에 기초하여 상기 버킷을 측면에서 본 화상 및 지형의 단면을 나타내는 화상을 표시하는 표시부를 포함하고, 상기 버킷의 형상 및 치수의 정보는, 상기 버킷의 측면에서 보아, 상기 버킷의 날끝과 상기 버킷을 상기 작업기에 설치하는 버킷 핀 사이의 거리, 상기 날끝 및 상기 버킷 핀을 연결하는 직선과 상기 버킷의 저면을 나타내는 직선이 이루는 각도, 상기 날끝의 위치, 상기 버킷 핀의 위치, 및 상기 버킷을 상기 작업기에 연결하는 부분으로부터 상기 날끝까지에 있어서의 상기 버킷의 외측의 적어도 하나의 위치를 포함하는, 작업 기계의 표시 시스템을 개시하고 있다.
국제 공개 제2016/56674호 팸플릿
그런데 상기한 MG나 MC의 정확도를 향상시킨다는 관점에서는, 버킷을 비롯한 작업기의 정확한 외형 정보가 필요해진다.
통상, 버킷을 포함하는 작업기는, 작업원에 의한 용접 등의 수작업으로 제조되기 때문에, 그 과정에서 변형이나 위치 어긋남 등이 발생하여 설계 데이터와 다른 형상으로 마무리된다. 그 때문에, 작업기의 외형 정보는, 일반적으로는 측정 기기에 의한 측정이나 토탈 스테이션을 사용한 측정 등을 작업 기계마다 행함으로써 취득되고 있다. 이들 방법에서는, 충분한 측정 정밀도를 얻기 위해 작업기의 자세의 제한이나, 대규모의 측정 장치를 사용할 필요가 있다. 게다가, 작업기의 형상을 실제의 형상에 입각하여 정확하게 모니터에 표시하기 위해서는, 사전에 가능한 한 많은 점을 측정해 둘 필요가 있어, 매우 수고를 요하는 작업이 된다.
그 때문에, 외형 정보가 실물에 입각하여 정확하게 등록되어 있는 작업기는 거의 없고, 작업기의 외형 상의 대표적인 한 점(예를 들어 버킷 클로 끝)이나 수 점의 위치만이 등록되어 있는 경우가 대부분이며, 이러한 실정은 정확한 MG나 MC의 실현의 방해가 된다. 즉, MC에서는, 작업기의 외형 상에서 위치가 등록되어 있지 않은 점이 목표면과 접촉하여 목표면이 의도치 않게 변형·손상되거나, MG에서는, 목표면과 사실상의 최단 거리에 있는 외형 상의 점이 등록되지 않은 경우에는 잘못된 거리가 모니터에 제시되거나 할 우려가 있다.
본 발명의 목적은, 작업기의 외형 정보를 간단하게 측정할 수 있는 측정 시스템이나, 그것을 사용하여 오퍼레이터가 목표면을 고정밀도로 성형하는 것을 지원하는 표시 시스템 및 제어 시스템, 나아가 이들을 구비한 작업 기계를 제공하는 것이다.
본원은 상기 과제를 해결하는 수단을 복수 포함하고 있지만, 그 일례를 들면, 작업 기계에 탑재된 작업기의 형상을 계측하는 측정 컨트롤러를 구비하는 작업기의 외형 형상 측정 시스템에 있어서, 상기 작업기의 측면을 촬영하는 촬영 장치를 구비하고, 상기 측정 컨트롤러는, 상기 촬영 장치에 의해 상기 작업기의 측면을 촬영한 화상과 상기 촬영 장치의 내부 파라미터에 기초하여, 상기 촬영 장치에 설정된 3차원 좌표계인 촬영 장치 좌표계에 있어서 상기 작업기의 측면을 나타내는 평면의 위치를 산출하고, 상기 화상 상에서 상기 작업기를 구성하는 임의의 화소의 상기 화상에 있어서의 위치 정보와 상기 평면의 위치에 기초하여 상기 화소에 대응하는 상기 작업기 상의 점의 상기 촬영 장치 좌표계에 있어서의 좌표값을 산출하고, 상기 화소에 대응하는 상기 작업기 상의 점의 상기 촬영 장치 좌표계에 있어서의 좌표값을 상기 작업기에 설정된 2차원 좌표계인 작업기 좌표계에 있어서의 좌표값으로 변환하여 상기 작업 기계의 작업 기계 컨트롤러에 출력하는 것으로 한다.
본 발명에 따르면 작업기의 외형 정보를 간단하게 측정할 수 있다.
도 1은 본 발명의 실시 형태 1에 관한 유압 셔블과 촬영 장치의 구성도.
도 2는 본 발명의 실시 형태 1에 관한 시스템의 구성도.
도 3은 유압 셔블에 있어서의 좌표계를 나타내는 도면.
도 4는 본 발명의 실시 형태 1에 관한 작업기의 외형 형상 측정 시스템의 기능 블록도.
도 5는 작업기 측면 상에 설치된 기지점 마커의 예를 나타내는 도면.
도 6은 촬영 장치 좌표계에 있어서의 촬영 장치와 작업기 측면 상의 기지점 마커의 위치 관계를 나타내는 도면.
도 7은 이미지 센서 좌표계에 있어서의 상의 위치 관계를 나타내는 도면.
도 8은 촬영 장치 좌표계와 작업기 좌표계의 관계를 나타내는 도면.
도 9는 본 발명의 실시 형태 1에 관한 유압 셔블의 시스템의 기능 블록도.
도 10은 작업기 좌표계로부터 차체 좌표계로의 변환을 나타내는 도면.
도 11은 차체 좌표계에 있어서의 목표면을 나타내는 도면.
도 12는 작업기와 목표면의 관계의 예를 나타내는 도면.
도 13은 표시 모니터(18)에 표시되는 화면의 예를 나타내는 도면.
도 14는 본 발명의 제2 실시 형태에 관한 유압 셔블의 구성도.
도 15는 본 발명의 제2 실시 형태에 관한 시스템의 기능 블록도.
이하, 본 발명의 실시 형태에 대해 도면을 사용하여 설명한다. 또한, 이하에서는 본 발명이 적용되는 작업 기계로서, 작업기(프론트 작업기)의 선단의 어태치먼트로서 버킷(4)을 구비하는 유압 셔블을 예시하지만, 버킷 이외의 어태치먼트를 구비하는 유압 셔블에서 본 발명을 적용해도 상관없다. 또한, 유압 셔블 이외의 작업 기계라고 하더라도, 예를 들어 휠 로더와 같이 작업기를 갖는 작업 기계이면 본 발명은 적용 가능하다. 또한, 이하의 설명에서는, 작업기(1A)에 포함되는 복수의 프론트 부재(구체적으로는, 붐(2), 암(3) 및 버킷(4)) 중, 측정 컨트롤러(20)에 의한 형상(작업기(1A) 상의 임의의 점의 작업기 좌표계 Co3(후술)에 있어서의 위치)의 계측을 희망하는 1 이상의 프론트 부재를 작업기라고 칭하는 경우가 있다.
<제1 실시 형태>
제1 실시 형태에서는, 유압 셔블(작업 기계)(1)에 탑재된 작업기(1A)를 촬영하는 촬영 장치(예를 들어, 카메라)(19)와, 촬상 장치(19)에 의해 작업기(1A)의 측면을 촬영한 화상(이하에서는 「작업기 측면 화상」이라고 칭하는 경우가 있음)을 이용하여, 작업기(1A)의 형상에 관한 정보를 계측하는 측정 컨트롤러(20)와, 유압 셔블(1)에 탑재되고, 측정 컨트롤러(20)에서 연산된 작업기(1A)의 형상에 관한 정보를 입력하여 유압 셔블(1)에 의해 실행되는 예를 들어 MG나 MC에 이용하는 작업 기계 컨트롤러(50)를 구비하는 시스템에 대해 설명한다.
도 1은 본 발명의 실시 형태에 관한 유압 셔블(1)과 촬영 장치(19) 및 측정 컨트롤러(20)의 구성도이다. 또한 도 2는 본 실시 형태의 시스템의 구성도이다. 본 실시 형태의 시스템은, 도 2에 나타내는 바와 같이, 작업 기계 컨트롤러(50)를 탑재한 유압 셔블(1)과, 유압 셔블(1)로부터 이격된 위치에 설치되어 있는 촬영 장치(19) 및 측정 컨트롤러(20)로 이루어진다. 촬영 장치(19)는 작업기(1A)의 측면의 사진(화상)을 촬영하는 카메라이다. 측정 컨트롤러(20)는, 작업기(1A)의 측면을 나타내는 평면의 위치를 산출하고, 그 평면의 위치와 촬상 장치(19)가 촬영한 화상에 기초하여 작업기(1A)의 측면 상의 임의의 점의 작업기 좌표계 Co3에 있어서의 좌표값과 작업기(1A)의 묘화 화상을 생성한다. 유압 셔블(1)에 탑재된 작업 기계 컨트롤러(50)는 머신 가이던스(MG) 기능이나 머신 컨트롤(MC) 기능을 제공하는데, 그 MG·MC를 위한 작업기(1A)의 형상 정보나 묘화 정보로서, 측정 컨트롤러(20)가 출력하는 작업기(1A)의 측면 상의 임의의 점의 작업기 좌표계 Co3에 있어서의 좌표값과 작업기(1A)의 묘화 화상을 이용한다.
측정 컨트롤러(20) 및 작업 기계 컨트롤러(50)는 각각, 처리 장치(예를 들어, CPU)와, 그 처리 장치가 실행하는 프로그램이 저장된 기억 장치(예를 들어, ROM, RAM 등의 반도체 메모리)를 갖는 제어 장치이다. 본 실시 형태의 컨트롤러(20, 50)는 각각, 외부 장치(예를 들어, 촬영 장치(19), 목표면 데이터 입력 장치(37)(도 9 참조), 각종 센서(12, 13, 14, 16, 17), 조작 레버(10, 11))로부터의 정보나 신호를 수신하여, 작업기(1A)의 좌표값과 묘화 화상의 생성에 필요한 각종 연산이나, 유압 셔블(1)의 운전실 내에 설치된 표시 모니터(표시 장치)(18)에 대한 표시나 유압 셔블(1)의 동작에 관한 각종 연산을 행하고 있다. 이 측정 컨트롤러(20) 및 작업 기계 컨트롤러(50)가 실행하는 연산의 구체적 내용에 대해서는 도 4, 도 9의 기능 블록도를 이용하여 후술한다.
도 1에 나타내는 바와 같이, 유압 셔블(1)은, 수직 방향으로 각각 회동하는 복수의 프론트 부재(붐(2), 암(3) 및 버킷(4))를 연결하여 구성된 다관절형 작업기(프론트 작업기)(1A)와, 상부 선회체(1BA) 및 하부 주행체(1BB)로 이루어지는 차체(1B)로 구성되고, 작업기(1A)의 기단측에 위치하는 붐(2)의 기단은 상부 선회체(1BA)의 전방부에 상하 방향으로 회동 가능하게 지지되어 있다. 상부 선회체(1BA)는 하부 주행체(1BB)의 상부에 선회 가능하게 설치되어 있다. 또한 작업기(1A)의 측방에는, 작업기(1A) 측면의 사진을 촬영하기 위한 내부 파라미터(예를 들어, 초점 거리(f), 이미지 센서 사이즈(세로 h, 가로 w), 화소 수(세로 H, 가로 W), 유닛 셀 사이즈, 화상 중심 좌표 등)가 명확한 촬영 장치(19)와, 측정 컨트롤러(20)가 설치되어 있다.
촬영 장치(19)는, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자(이미지 센서)를 구비한 단안 카메라이다. 촬영 장치(19)는 촬영한 화상 데이터를 측정 컨트롤러(20)에 출력한다. 또한 촬영 장치(19)는 화상 정보 외에, 스테레오 카메라와 같은 시차를 이용한 심도 정보(피사체까지의 거리 정보)나, 레이저광 등을 발사하여 그 반사광의 도달 시간을 계측하거나 하여 심도 정보를 취득 가능한 카메라로 대체해도 된다. 또한, 측정 컨트롤러(20)는 촬영 장치(19)에 내장되어 있어도 된다.
붐(2), 암(3), 버킷(4), 상부 선회체(1BA) 및 하부 주행체(1BB)는 각각, 붐 실린더(5), 암 실린더(6), 버킷 실린더(7), 선회 유압 모터(8) 및 좌우의 주행 유압 모터(9a, 9b)(유압 액추에이터)에 의해 구동되는 피구동 부재를 구성한다. 그러한 복수의 피구동 부재들의 동작은, 상부 선회체(1BA) 상의 운전실 내에 설치된 주행 우측 레버(10a), 주행 좌측 레버(10b), 조작 우측 레버(11a) 및 조작 좌측 레버(11b)(이들을 조작 레버(10, 11)라고 총칭하는 경우가 있음)가 오퍼레이터에 의해 조작됨으로써 발생하는 파일럿압에 의해 제어된다. 상기한 복수의 피구동 부재를 구동하는 파일럿압에는, 조작 레버(10, 11)의 조작에 의해 출력되는 것뿐만 아니라, 유압 셔블(1)에 탑재된 복수의 비례 전자 밸브(39)(도 9 참조)의 일부(증압 밸브)가 조작 레버(10, 11)의 조작과는 관계없이 동작하여 출력하는 것이나, 복수의 비례 전자 밸브(39)의 일부(감압 밸브)가 동작하여 조작 레버(10, 11)의 조작에 의해 출력된 파일럿압을 감압한 것이 포함된다. 이와 같이 복수의 비례 전자 밸브(39)(증압 밸브 및 감압 밸브)로부터 출력된 파일럿압은, 미리 정해진 조건에 따라서 붐 실린더(5), 암 실린더(6) 및 버킷 실린더(7)를 동작시키는 MC를 발동시킨다.
작업기(1A)에는, 붐(2), 암(3), 버킷(4)의 회동 각도 α, β, γ(도 3 참조)를 측정 가능하도록, 붐 핀에 붐 각도 센서(12)가, 암 핀에 암 각도 센서(13)가, 버킷 링크(15)에 버킷 각도 센서(14)가 설치되어 있다. 상부 선회체(1BA)에는, 기준면(예를 들어, 수평면)에 대한 상부 선회체(1BA)(차체(1B))의 전후 방향의 경사각 θ(도 3 참조)를 검출하는 차체 전후 경사각 센서(16a)와, 상부 선회체(1BA)(차체(1B))의 좌우 방향의 경사각 φ(도시하지 않음)를 검출하는 차체 좌우 경사각 센서(16b)가 설치되어 있다. 또한, 도 3 내에 기재되어 있는 X축 및 Z축은, 붐 핀의 축심 상의 점(예를 들어, 중앙점)을 원점으로 하고, 차체 상방 방향을 Z축, 차체 전방 방향을 X축, 차체 우측 방향을 Y축으로 하는 차체 좌표계 Co4를 나타낸 것이다.
상부 선회체(1BA)에는 제1 GNSS 안테나(17a)와 제2 GNSS 안테나(17b)가 배치되어 있다. 제1 GNSS 안테나(17a) 및 제2 GNSS 안테나(17b)는 RTK-GNSS(Real Time Kinematic-Global Navigation Satellite Systems)용 안테나이며, 복수의 GNSS 위성으로부터 발신된 전파(항법 신호)를 수신한다. 작업 기계 컨트롤러(50)는, 복수의 GNSS 위성으로부터 발신된 전파가 제1 및 제2 GNSS 안테나(17a, 17b)에 도달할 때까지 요한 시간에 기초하여 각각의 안테나 위치의 위도, 경도 및 높이(타원체 높이)를 측정 가능하다. 이에 의해 3차원 좌표계인 지리 좌표계(세계 좌표계) Co5에 있어서의 유압 셔블(1)(상부 선회체(1BA))의 위치와 방향을 연산할 수 있다. 또한, 제1 및 제2 GNSS 안테나(17a, 17b)의 위치 및 높이를 전용 수신기에서 연산하고, 연산 결과를 작업 기계 컨트롤러(50)에 출력하는 구성을 채용해도 된다.
유압 셔블(1)의 운전실 내의 표시 모니터(18)의 화면 상에는, 각종 자세 센서(12, 13, 14, 16)의 출력으로부터 연산된 작업기(1A)의 자세 정보나, GNSS 안테나(17a, 17b)의 수신 신호로부터 연산된 상부 선회체(1BA)의 위치 정보 등을 바탕으로 작업기(1A)를 측면에서 본 화상 및 목표면의 단면 형상이 표시된다. 작업기(1A)를 측면에서 본 화상은 촬영 장치(19)가 촬영한 작업기 측면 화상에 기초하여 측정 컨트롤러(20)에서 생성된다. 다음으로 측정 컨트롤러(20)가 촬상 장치(19)의 작업기 측면 화상을 바탕으로 작업기(1A)의 작업기 좌표계 Co3 상의 좌표값과 묘화 화상을 생성하는 처리에 대해 도면을 사용하여 설명한다.
(측정 컨트롤러의 구성)
도 4는 본 발명의 실시 형태에 관한 측정 컨트롤러(20)의 기능 블록도다. 이 도면에 나타내는 바와 같이, 측정 컨트롤러(20)는, 작업기 좌표계 Co3에서의 작업기(1A)의 좌표값을 연산하는 작업기 좌표계 좌표 연산부(21)와, 작업기 좌표계 Co3에서의 작업기(1A)의 묘화 화상을 생성하는 작업기 좌표계 묘화 화상 생성부(22)를 구비하고 있고, 촬영 장치(19)에 의해 촬영된 작업기(1A)의 측면 사진의 입력을 받고 있다.
작업기 좌표계 좌표 연산부(21)는, 촬영 장치(19)에 설정된 3차원 좌표계인 촬영 장치 좌표계 Co1에 있어서 작업기(1A)의 측면을 나타내는 평면의 위치를 산출하는 촬영 위치 연산부(23)와, 촬영 장치(19)가 촬영한 작업기 측면 화상 상에서 작업기(1A)를 구성하는 화소(이하에서는 「작업기 구성 화소」라고 칭하는 경우가 있음)에 포함되는 임의의 화소에 대응하는 작업기(1A) 상의 점(이하에서는 「작업기 대응점」이라고 칭하는 경우가 있음)의 촬영 장치 좌표계 Co1에 있어서의 좌표값을 산출하는 촬영 장치 좌표계 좌표 변환부(24)와, 촬영 장치 좌표계 Co1에 있어서의 작업기 대응점의 좌표값을 작업기 좌표계 Co3에 있어서의 좌표값으로 변환하는 작업기 좌표계 좌표 변환부(25)를 구비하고 있다. 작업기 좌표계 좌표 연산부(21)는, 촬영 장치(19)에 의해 촬영된 작업기(1A)의 측면 화상(작업기 측면 화상)을 입력하고, 그 작업기 측면 화상 상에서 지정된 작업기 구성 화소의 작업기 대응점의 작업기 좌표계 Co3에 있어서의 좌표값을 출력한다.
또한, 촬영 장치(19)로 촬영한 작업기 측면 화상의 입력 시에, 그 작업기 측면 화상에 대해 촬영 장치(19)의 내부 파라미터를 바탕으로 왜곡 보정을 실시하는 처리를 측정 컨트롤러(20)로 실행해도 된다. 또한, 본 실시 형태에서는, 작업기 측면 화상에 있어서, 작업기 측면부와 그 밖의 부분(배경)의 경계선인 윤곽선 상의 모든 화소의 작업기 대응점에 대해 작업기 좌표계 Co3에 있어서의 좌표값(작업기 좌표계 좌표값)을 출력하는 경우에 대해 기술하지만, 작업기 측면 화상 상의 작업기 측면부의 모든 화소(즉, 작업기 측면부의 윤곽선 내의 모든 화소)의 작업기 대응점의 작업기 좌표계 좌표값을 출력하거나, 유저가 무언가의 입력 인터페이스를 통해 지정한 작업기 측면부 상의 화소의 작업기 대응점의 작업기 좌표계 좌표값을 출력하거나 하는 등, 임의의 방법을 채용해도 된다.
촬영 위치 연산부(23)는, 촬영 장치(19)에 의해 작업기(1A)의 측면을 촬영한 화상(작업기 측면 화상)과 촬영 장치(19)의 내부 파라미터에 기초하여, 촬영 장치(19)에 설정된 3차원 좌표계인 촬영 장치 좌표계 Co1에 있어서의 작업기(1A)의 측면을 나타내는 평면 S1(후술하는 도 8 참조)의 위치를 산출한다. 본 실시 형태에서는 촬영 장치 좌표계 Co1에 있어서의 평면 S1의 위치를 촬영 장치 좌표계 Co1에 있어서의 평면 S1의 방정식으로 특정하고 있다.
본 실시 형태에서는, 촬영 위치 연산부(23)에 의한 작업기(1A)를 나타내는 평면 S1의 방정식의 산출 시에, 촬영 장치(19)로 촬영되는 작업기(1A)의 측면 상에 서로의 거리가 기지인 마커(기지점 마커)(40)를, 도 5에 나타내는 바와 같이 삼각형을 이루는 위치에 세 개 설치하는 방법을 채용하고 있다. 본 실시 형태에서는, 이 세 개의 마커(40)의 작업기 측면 화상에 있어서의 화소 위치로부터 당해 세 개의 기지점 마커(40)의 촬영 장치 좌표계 Co1에 있어서의 위치(좌표)를 연산하고, 그 세 점의 위치로부터 평면 S1의 방정식을 연산하고 있다. 또한, 유압 셔블을 포함하는 작업 기계의 분야에서는, 표시 모니터(18)에 표시되는 작업기(1A)의 화상은 측면 화상이 되는 것이 일반적이기 때문에, 평면 S1이 작업기(1A)의 동작 평면(예를 들어, 붐 핀에 직교하는 면)에 평행이 되도록, 당해 동작 평면에 평행인 면 상의 세 마커를 배치하는 것이 바람직하지만, 동작 평면과 교차하는 면(즉, 동작 평면에 평행하지 않은 면) 상에 세 마커를 배치해도 상관없다. 기지점 마커(40)로 평면이 정의되면 되기 때문에, 기지점 마커(40)를 넷 이상 작업기(1A)의 측면에 설치하여 모든 마커(40)가 위치하는 평면 S1의 방정식을 구해도 된다.
마커(40)는, 소정의 크기, 색, 모양, 형상, 성질 등의 특징을 갖는 물체이며, 예를 들어 특정한 파장의 광을 반사하는 마커나 특정한 방향으로 광을 반사하는 마커, AR(Augmented Reality) 기술에서 사용되는 AR 마커나, QR 코드(등록상표)와 같은 2차원 코드를 포함하는 마커를 이용해도 된다.
도 5에 본 실시 형태에 있어서의 기지점 마커(40)의 구체적인 예를 나타낸다. 본 실시 형태에 있어서는 버킷(4)의 측면 상에 세 기지점 마커(40)가 동일 직선 상에 위치하지 않도록 설치되어 있고, 세 기지점 마커(40)의 좌표값을 구하여 평면을 산출하고 있다. 또한, 세 마커(40)의 배치 위치에 관하여, 작업기 측면 상에 세 개의 직선을 그리고, 그 세 개의 직선이 교차하는 세 교점에 세 마커(40)를 배치하도록 해도 된다.
도 6은, 촬영 장치 좌표계 Co1에 있어서 촬영 장치(19)의 촬영 장치와 작업기 측면 상의 기지점 마커(40)(P1, P2, P3)의 위치 관계를 나타낸 도면이다. 촬영 장치 좌표계 Co1은, 촬영 장치(19)의 렌즈 중심을 원점 O로 하고, 광축의 방향을 Z축, 촬영 장치(19)의 상방을 Y축, 우측 방향을 X축으로 하는 좌표계이다. 또한, 촬영 장치 좌표계 Co1에 있어서의 좌표값의 단위는, 예를 들어 밀리미터와 같은, 길이의 단위이다. 점 P1 내지 P3은 기지점 마커(40)의 위치이며, 점 P1 내지 P3과 마찬가지의 작업기 측면 상의 임의의 점을 Q라고 한다. Lij(i, j＝1 내지 3, i≠j)는 점 Pi와 점 Pj 사이의 거리(두 기지점 마커(40) 사이의 거리)이다. 여기서, Lij는 기지의 값이다. 또한, 촬영 장치(19)의 이미지 센서(35)는, 촬영 장치(19)의 초점 거리가 f일 때, Z＝-f의 평면 상에 존재한다.
도 7은 촬영 장치(19)의 이미지 센서(35) 위에 비친 점 P1 내지 3 및 점 Q의 상을 나타내고 있고, 점 P1' 내지 P3', Q'은 각각 점 P1 내지 P3, Q의 상의 위치이다. 여기서, 광축 중심을 원점 O', 센서의 우측 방향을 U축, 상측 방향을 V축으로 하는 2차원 좌표계를 이미지 센서 좌표계 Co2라고 한다. 점 P1' 내지 P3'이 화소(Uk, Vk)(k＝1 내지 3, Uk, Vk의 단위는 픽셀)에 비치고 있을 때, 이미지 센서의 사이즈가 세로 h, 가로 w이고 화소 수가 세로 H 픽셀, 가로 W 픽셀이라면, 점 P1' 내지 P3'의 촬영 장치 좌표계 Co1에 있어서의 좌표는 하기 식 (1)과 같이 나타낼 수 있다.
Figure pct00001
이때, 촬영 장치(19)의 렌즈 중심인 점 O와 점 Pk, Pk'(k＝1 내지 3)은 도 6에 나타내는 바와 같이 동일 직선형으로 위치하고 있다는 점에서 하기 식 (2)와 같이 나타낼 수 있다.
Figure pct00002
또한, rk(k＝1 내지 3)는 비례 상수이며, 이 단계에서는 미지수이다. 이 rk를 사용하여 점 Pk(k＝1 내지 3)의 촬영 장치 좌표계 Co1에 있어서의 좌표를 나타내면 하기 식 (3)이 된다.
Figure pct00003
이때 기지점 마커(40) 사이의 거리 Lij(i, j＝1 내지 3, i≠j)는 하기 식 (4)와 같이 나타낼 수 있다.
Figure pct00004
세 기지점 마커(40) 사이의 거리 Lij(i, j＝1 내지 3, i≠j)는 기지이기 때문에, L12, L23, L31의 값으로부터 세 연립 방정식을 도출할 수 있다. 이 연립 방정식을 풂으로써 rk(k＝1 내지 3)를 구할 수 있고, 상기 식 (3)으로부터 촬영 장치 좌표계 Co1에 있어서의 점 Pk(k＝1 내지 3)의 좌표(즉, 세 개의 기지점 마커(40)의 좌표)가 구해진다.
i, j, k를 1 내지 3의 각각 다른 수로 하고, c를 0 이외의 상수로 하면, 작업기(1A)의 측면을 나타내는 평면 S1(도 8 참조)의 법선 벡터 n(도 8 참조)은 하기 식 (5)와 같이 나타낼 수 있다.
Figure pct00005
그리고 점 Pk(k＝1 내지 3)의 촬영 장치 좌표계 Co1에 있어서의 좌표로부터, 하기와 같이 작업기(1A)의 측면을 나타내는 평면 S1 상의 임의의 점 Q에 관한 방정식이 구해진다.
Figure pct00006
다음으로, 촬영 장치 좌표계 좌표 변환부(24)는, 작업기 측면 화상 상에서의 임의의 작업기 구성 화소의 위치 정보와, 촬영 위치 연산부(23)에서 산출한 방정식에 기초하여, 당해 임의의 작업기 구성 화소의 작업기 대응점의 촬영 장치 좌표계 Co1에 있어서의 좌표값을 산출한다. 구체적으로는, 촬영 장치 좌표계 좌표 변환부(24)는, 촬영 장치(19)에 의해 촬영된 작업기 측면 화상으로부터 작업기(1A)의 윤곽선을 화상 처리에 의해 추출하고, 그 추출한 윤곽선 상에 위치하는 임의의 화소(작업기 구성 화소)에 대해, 화소 위치 정보와 점 Q에 관한 방정식(평면 S1의 방정식)에 기초하여 작업기 대응점의 촬영 장치 좌표계 Co1에 있어서의 좌표값을 구한다.
여기서, 작업기 측면 상의 점이 화소 위치(U, V)에 결상된 점(즉, 작업기 구성 화소)에 대응하는 작업기(1A) 상의 점(작업기 대응점)의 촬영 장치 좌표계 Co1에 있어서의 좌표를 구하는 방법은 이하와 같다. 여기서, 작업기 측면의 평면 S1 상의 임의의 점 Q(작업기 대응점)가 이미지 센서 상에 결상된 점(작업기 구성 화소)을 점 Q'이라고 한다. 점 Q'의 화소 위치가 (U, V)일 때 상기 식 (1)과 마찬가지로 하여, 점 Q'은 이하의 식 (7)과 같이 나타낼 수 있다.
Figure pct00007
점 Q', 원점 O 및 점 Q는 동일 직선 상에 있기 때문에, 직선 OQ는 상기 식 (7)을 사용하여 하기 식 (8)과 같이 나타낼 수 있다.
Figure pct00008
따라서, 촬영 장치 좌표계 Co1에 있어서의 점 Q(작업기 대응점)의 위치(좌표)는, 작업기(1A)의 측면을 나타내는 평면 S1의 방정식(상기 식 (6))과, 이미지 센서 상의 점 Q'과 원점 O를 지나는 직선의 방정식(상기 식 (8))의 교점으로부터 구해진다.
작업기 좌표계 좌표 변환부(25)는, 촬영 장치 좌표계 Co1에 있어서의 작업기 대응점의 좌표값(점 Q의 위치)을 작업기 좌표계 Co3에 있어서의 좌표값으로 변환하고, 변환 후의 좌표값(이하에 있어서 「작업기 좌표계 좌표값」이라고 칭하는 경우가 있음)을 작업 기계 컨트롤러(50)와 작업기 좌표계 묘화 화상 생성부(22)에 출력한다. 여기서, 작업기 좌표계 Co3은, 촬영 위치 연산부(23)에서 방정식을 구한 작업기(1A)의 측면을 나타내는 평면 S1 상에 정해진 2차원의 좌표계이며, 작업기 좌표계 Co3에 있어서의 좌표값의 단위는, 예를 들어 밀리미터와 같은, 길이의 단위이다. 작업기 좌표계 Co3은, 작업기(1A)의 회동 중심을 원점으로 하고, 작업기 선단 방향을 x축, x축과 직교하는 방향을 y축으로 한다.
도 8에 본 실시 형태에 있어서의 작업기(1A)의 측면을 나타내는 평면 S1과, 작업기 좌표계 Co3과, 촬영 장치 좌표계 Co1의 관계도를 나타낸다. 도 8에서는, 다관절형 작업기(1A)를 구성하는 복수의 프론트 부재(2, 3, 4) 중 버킷(4)을 대상으로 하고 있고, 버킷(4)의 회동 중심을 작업기 좌표계 Co3의 원점으로 하고, 그 원점으로부터 버킷 클로 끝을 향하는 직선을 작업기 좌표계 Co3의 x축으로 하고, 그 x축에 직교하는 방향으로 작업기 좌표계 Co3의 y축을 설정하고 있다. 또한, 붐(2)이나 암(3) 상의 점에 작업기 좌표계 Co3을 설정하는 경우에는, 각각의 기단측의 회동 중심을 원점으로 하고, 암(3)이나 버킷(4)의 회동 중심(각 프론트 부재의 선단부)을 향해 x축을 설정하면 된다.
또한, 작업기 좌표계 Co3의 설정(원점의 위치나 x축, y축의 방향)이 작업 기계 컨트롤러(50)측에서 등록되지 않은 경우에는, 좌표값뿐만 아니라 작업기 좌표계 Co3의 설정도 작업 기계 컨트롤러(50)에 출력하는 것으로 한다.
다음으로, 작업기 좌표계 묘화 화상 생성부(22)에서 행해지는 처리에 대해 설명한다. 본 실시 형태에 있어서는, 작업기 좌표계 좌표 연산부(21)가 작업기(1A)의 윤곽선 상의 모든 화소의 작업기 대응점에 대해 작업기 좌표계 좌표를 연산하여, 작업기 좌표계 묘화 화상 생성부(22)에 출력하는 경우를 예시하여 기술하지만, 윤곽선 상의 일부의 화소의 작업기 대응점에 대해 작업기 좌표계 Co3의 좌표를 연산·출력해도 된다. 또한, 윤곽선 상의 화소와 당해 윤곽선 내에 포함되는 1 이상의 화소나, 윤곽선 상의 화소와 당해 윤곽선 내에 포함되는 모든 화소나, 유저가 무언가의 입력 인터페이스를 사용하여 모든 작업기 구성 화소 중에서 임의로 지정한 1 이상의 화소의 작업기 대응점의 좌표값을 연산·출력하는 경우도 마찬가지이다. 단, MC에서의 작업기(1A)의 제어의 정확성이나 MG에서의 작업기(1A)와 목표면 사이의 거리의 정확성은, 작업기 좌표계 좌표 연산부(21)에서 연산된 좌표값만으로 담보할 수 있기 때문에, 예를 들어 표시 모니터(18)에 표시되는 작업기(1A)의 형상에 정확성을 요구하지 않는 경우에는 작업기 좌표계 묘화 화상 생성부(22)의 생략은 가능하다.
작업기 좌표계 묘화 화상 생성부(22)는, 작업기 좌표계 좌표 변환부(24)에서 변환된 작업기 좌표계 Co3에 있어서의 작업기 대응점의 좌표값을 바탕으로 작업기 좌표계 Co3에 있어서의 작업기(1A)의 묘화 화상(이하에 있어서 「작업기 좌표계 묘화 화상」이라고 칭하는 경우가 있음. 이것에는 예를 들어 버킷(4)을 측면에서 본 화상이 포함됨)을 생성하고, 그 묘화 화상을 작업 기계 컨트롤러(50)에 출력한다. 작업기(1A)의 묘화 화상의 구체적인 생성 방법으로서는, 예를 들어, 작업기 좌표계 좌표 연산부(21)에서 출력된 작업기 좌표계 Co3에 있어서의 작업기(1A)의 윤곽선 상의 점에 의해 둘러싸인 영역을, 작업기(1A)의 색으로서 미리 정해진 색으로 빈틈없이 칠하는 처리를 실행하는 방법이 있다. 또한, 작업기(1A)의 묘화 화상의 생성에 관하여, 작업기(1A)의 윤곽선의 내부 영역을 특정한 색으로 빈틈없이 칠하는 방법 외에, 작업기 측면 화상 상에서 대응하는 화소를 카피·페이스트하는 방법을 이용해도 된다. 이와 같이 묘화 화상을 작성하면 작업기 측면 화상 상에 찍힌 화상(즉, 실물의 화상)과 동일한 화상을 표시 모니터(18) 상에 표시시킬 수 있기 때문에, 오퍼레이터에 의한 위화감의 발생을 지극히 용이하게 억제할 수 있다. 또한, 미리 준비한 화상 등을 윤곽에 맞추어 변형시키는 방법 등을 이용해도 된다.
(작업기의 외형 형상 측정 시스템의 작용과 효과)
(1) 이상과 같은 촬영 장치(19) 및 측정 컨트롤러(20)로 구성된 측정 시스템에 따르면, 작업기(1A)(예를 들어, 버킷(4))의 외형 정보를 취득할 때, 유저는 작업기(1A)의 측면에 셋 이상의 기지점 마커(40)를 설치하고, 그 화상(작업기 측면 화상)을 촬영 장치(19)로 촬영하는 조작만을 행하면 된다. 작업기 측면 화상의 촬영 후에는, 측정 컨트롤러(20)가, 복수의 기지점 마커(40)에 의해 정의되는 평면 S1의 방정식을 작업기 측면 화상과 촬상 장치(18)의 내부 파라미터에 기초하여 연산하고(촬영 위치 연산부(23)에 의한 처리), 작업기 측면 화상 상에서 작업기(1A)의 윤곽선 상에 위치하는 모든 화소(작업기 구성 화소)의 위치 정보와 평면 S1의 방정식에 기초하여 당해 모든 화소의 작업기 대응점의 촬영 장치 좌표계 Co1에 있어서의 좌표값을 산출하고(촬영 장치 좌표계 좌표 변환부(24)에 의한 처리), 그 좌표값을 작업기 좌표계 Co3의 좌표값으로 변환하여 작업 기계 컨트롤러(50)에 출력한다(작업기 좌표계 좌표 변환부(25)에 의한 처리). 이에 의해 작업기 측면 화상에 있어서의 작업기(1A)의 윤곽선 상에 위치하는 모든 화소의 작업기 대응점의 위치 정보를 용이하게 취득할 수 있기 때문에, 작업 기계(1A)의 정확한 외형 정보를 종래에 비해 간단히 측정할 수 있다. 그 결과, 작업기(1A)의 실제의 형상에 입각한 MC나 MG가 실행되게 되어, 그 정확도가 향상되기 때문에 작업 효율의 향상을 예상할 수 있다.
(2) 또한, 본 실시 형태의 측정 컨트롤러(20)(촬영 장치 좌표계 좌표 변환부(24))는, 작업기 측면 화상에 있어서의 작업기(1A)의 윤곽선을 화상 처리에 의해 추출하고, 그 작업기 측면 화상에 있어서의 당해 윤곽선 상의 임의의 화소(예를 들어, 윤곽선 상의 모든 화소)의 위치 정보와 평면 S1의 방정식에 기초하여 당해 임의의 화소의 작업기 대응점의 촬영 장치 좌표계 Co1에 있어서의 좌표값을 산출하고 있다. 이에 의해 작업기(1A)를 측면에서 보았을 때의 외형(윤곽)의 위치 정보를 측정 컨트롤러(20)에서 자동적으로 취득할 수 있다.
(3) 또한, 본 실시 형태의 측정 컨트롤러(20)(작업기 좌표계 묘화 화상 생성부(22))는, 작업기 좌표계 좌표 변환부(25)에서 변환된 작업기 좌표계 Co3에 있어서의 작업기 대응점의 좌표값을 바탕으로 작업기 좌표계 Co3에 있어서의 작업기(1A)의 묘화 화상을 생성할 수 있다. 이에 의해 표시 모니터(18)에 표시되는 작업기(1A)의 묘화 화상의 외형이 실물에 가까워지기 때문에, 작업기(1A)의 화상이 실물과 달라 오퍼레이터에게 위화감을 주는 일을 방지할 수 있다.
(4) 또한, 측정 컨트롤러(20)에서, 작업기 측면 화상 상에서 작업기(1A)를 구성하는 모든 화소의 작업기 대응점에 대해 촬영 장치 좌표계 Co1에 있어서의 좌표값을 산출하고(촬영 장치 좌표계 좌표 변환부(24)), 그 각 좌표값에 대응하는 화소와 동일한 화소를 배치함(매핑함)으로써 작업기(1A)의 묘화 화상을 생성하면(작업기 좌표계 묘화 화상 생성부(22)), 표시 모니터(18)에 표시되는 작업기(1A)의 묘화 화상의 외견을 더욱 실물에 가깝게 할 수 있다.
또한, 상기한 실시 형태에서는, 세 기지점 마커(40)가 설치된 작업기(1A)의 측면 화상을 바탕으로 촬영 장치 좌표계 Co1에 있어서의 평면 S1의 위치를 특정하였지만, 평면 S1의 위치 특정 방법은 이것에 한정되지 않는다. 예를 들어, (1) 촬영 장치(19)와의 위치 관계가 기지인 프로젝터 등의 투영 장치로부터 작업기(1A)의 측면에 셋 이상의 마커(40)를 투영하여 그 마커(40)를 촬영 장치(19)로 작업기 측면 화상을 촬영하고, 그 작업기 측면 화상 상에 있어서의 마커(40)의 화소 위치로부터 평면 S1의 방정식을 산출하는 방법이나, (2) 서로의 위치 관계가 기지인 복수의 촬영 장치(예를 들어, 스테레오 카메라)로 작업기(1A)의 측면을 각각 촬영하고, 그 복수의 촬영 장치 사이의 거리를 바탕으로 2매의 작업기 측면 화상 상의 임의의 3점의 거리(위치)를 산출함으로써 평면 S1의 방정식을 산출하는 방법이나, (3) 촬영 장치(19)와의 위치 관계가 기지이며, 작업기(1A)의 측면 상의 임의의 점과 촬영 장치(19)의 거리를 계측 가능한 측거 장치(예를 들어, 레이저식, LED식, 초음파식 거리 센서)에 의해, 작업기(1A)의 측면 상의 임의의 3점 이상의 거리 정보를 취득함으로써 평면 S1의 방정식을 산출하는 방법 등을 사용해도 된다. 또한, 평면 S1의 특정은, 상기한 바와 같이 평면 S1 상의 3점 이상의 위치로부터 특정하는 방법에 한정되지 않는다. 예를 들어, 평면 S1의 기울기(예를 들어, 법선 벡터)를 알면 평면 S1 상의 한 점의 위치만으로 평면 S1을 특정할 수 있다.
(유압 셔블의 시스템 구성)
다음으로 측정 컨트롤러(20)로부터 출력된 작업기(1A)의 좌표값과 묘화 화상의 작업 기계 컨트롤러(50)에서의 이용에 대해 설명한다.
도 9는 도 1의 유압 셔블(1)의 시스템 구성도이다. 본 실시 형태의 유압 셔블(1)은, 엔진(47)과, 엔진(47)의 출력축에 기계적으로 연결되어 엔진(47)에 의해 구동되는 유압 펌프(46) 및 파일럿 펌프(도시하지 않음)와, 파일럿 펌프로부터 토출되는 압유를 조작량에 따라서 감압한 것을, 각 유압 액추에이터(5-9)의 제어 신호로서 비례 전자 밸브(39)를 통해 컨트롤 밸브(45)에 출력하는 조작 레버(10, 11)와, 유압 펌프(46)로부터 각 유압 액추에이터(5-9)에 도입되는 작동유의 유량 및 방향을, 조작 레버(10, 11) 또는 비례 전자 밸브(39)로부터 출력되는 제어 신호(파일럿압)에 기초하여 제어하는 복수의 컨트롤 밸브(45)와, 각 컨트롤 밸브(45)에 작용하는 파일럿압의 압력값을 검출하는 복수의 압력 센서(48)와, 작업기(1A)의 위치·자세 및 그 밖의 차체 정보에 기초하여 보정 목표 파일럿압을 산출하고, 그 보정 목표 파일럿압이 발생 가능한 지령 전압을 비례 전자 밸브(27)에 출력하는 작업 기계 컨트롤러(50)와, 작업기(1A)로 형성할 목표면의 정보를 작업 기계 컨트롤러(50)에 입력하기 위한 목표면 데이터 입력 장치(37)를 구비하고 있다.
유압 펌프(46)는, 각 유압 액추에이터(5-8)의 목표 출력대로 차체가 동작하도록, 기계적으로 토크·유량이 제어되고 있다.
컨트롤 밸브(45)는, 제어 대상인 유압 액추에이터(5-8)와 동일 수 존재하지만, 도 9에서는 그들을 통합하여 하나로 나타내고 있다. 각 컨트롤 밸브에는, 그 내부의 스풀을 축 방향의 한쪽 또는 다른 쪽으로 이동시키는 두 파일럿압이 작용하고 있다. 예를 들어, 붐 실린더(5)용 컨트롤 밸브(45)에는, 붐 상승 파일럿압과, 붐 하강 파일럿압이 작용한다.
압력 센서(48)는, 각 컨트롤 밸브(45)에 작용하는 파일럿압을 검출하는 것이며, 컨트롤 밸브의 2배의 수가 존재할 수 있다. 압력 센서(48)는, 컨트롤 밸브(45)의 바로 아래에 마련되어 있고, 실제로 컨트롤 밸브(45)에 작용하는 파일럿압을 검출하고 있다.
비례 전자 밸브(39)는 복수 존재하지만, 도 9 내에서는 통합하여 하나의 블록으로 나타내고 있다. 비례 전자 밸브(39)는 2종류 있다. 하나는, 조작 레버(10, 11)로부터 입력되는 파일럿압을 그대로 출력 또는 지령 전압으로 지정되는 원하는 보정 목표 파일럿압까지 감압하여 출력하는 감압 밸브이고, 다른 하나는, 조작 레버(10, 11)가 출력하는 파일럿압보다 큰 파일럿압이 필요한 경우에 파일럿 펌프로부터 입력되는 파일럿압을 지령 전압으로 지정되는 원하는 보정 목표 파일럿압까지 감압하여 출력하는 증압 밸브이다. 어느 컨트롤 밸브(45)에 대한 파일럿압에 관하여, 조작 레버(10, 11)로부터 출력되고 있는 파일럿압보다 큰 파일럿압이 필요한 경우에는 증압 밸브를 통해 파일럿압을 생성하고, 조작 레버(10, 11)로부터 출력되고 있는 파일럿압보다 작은 파일럿압이 필요한 경우에는 감압 밸브를 통해 파일럿압을 생성하고, 조작 레버(10, 11)로부터 파일럿압이 출력되고 있지 않은 경우에는 증압 밸브를 통해 파일럿압을 생성한다. 즉, 감압 밸브와 증압 밸브에 의해, 조작 레버(10, 11)로부터 입력되는 파일럿압(오퍼레이터 조작에 기초하는 파일럿압)과 다른 압력값의 파일럿압을 컨트롤 밸브(45)에 작용시킬 수 있어, 그 컨트롤 밸브(45)의 제어 대상인 유압 액추에이터에 원하는 동작을 시킬 수 있다.
하나의 컨트롤 밸브(45)에 대해, 감압 밸브와 증압 밸브는 각각 최대로 둘 존재할 수 있다. 예를 들어 본 실시 형태에서는, 붐 실린더(5)의 컨트롤 밸브(45)용으로 두 감압 밸브와 두 증압 밸브가 마련되어 있다. 구체적으로는, 붐 상승 파일럿압을 조작 레버(11)로부터 컨트롤 밸브(45)로 유도하는 제1 관로에 마련된 제1 감압 밸브와, 붐 상승 파일럿압을 파일럿 펌프로부터 조작 레버(11)를 우회하여 컨트롤 밸브(45)로 유도하는 제2 관로에 마련된 제1 증압 밸브와, 붐 하강 파일럿압을 조작 레버(11)로부터 컨트롤 밸브(45)로 유도하는 제3 관로에 마련된 제2 감압 밸브와, 붐 하강 파일럿압을 파일럿 펌프로부터 조작 레버(11)를 우회하여 컨트롤 밸브(45)로 유도하는 제4 관로에 마련된 제2 증압 밸브를 유압 셔블(1)은 구비하고 있다.
본 실시 형태에서는, 주행 유압 모터(9a, 9b)와 선회 유압 모터(8)의 컨트롤 밸브(45)용 비례 전자(39)는 존재하지 않는다. 따라서, 주행 유압 모터(9a, 9b)와 선회 유압 모터(8)는, 조작 레버(10, 11)로부터 출력되는 파일럿압에 기초하여 구동된다.
(작업 기계 컨트롤러의 구성)
작업 기계 컨트롤러(50)는, 위치 자세 검출부(26)와, 정보 처리부(30)와, 표시 제어부(33)와, 작업기 제어부(35)를 구비하고 있다.
위치 자세 검출부(26)는, 작업기 자세 검출부(27)와, 차체 위치 검출부(28)와, 차체 각도 검출부(29)를 구비하고, 각종 센서 정보를 입력하고, 작업기(1A)의 자세 정보, 차체 위치 정보, 차체 각도 정보를 출력한다.
작업기 자세 검출부(27)는, 작업기(1A)에 설치된 자세 센서(12, 13, 14)의 출력에 기초하여 차체 좌표계 Co4에 있어서의 작업기(1A)의 자세를 검출한다. 보다 구체적으로는, 붐 각도 센서(12), 암 각도 센서(13), 버킷 각도 센서(14)에 의한 정보를 바탕으로 붐(2), 암(3), 버킷(4)의 회동 각도 α, β, γ(도 3 참조)와 같은 작업기(1A)의 자세 정보를 검출한다.
차체 위치 검출부(28)는, 제1 GNSS 안테나(17a)에 의해 얻어지는 정보를 바탕으로 차체 위치 정보를 검출한다.
차체 각도 검출부(29)는, 차체 전후 경사각 센서(16a)에 의해 경사각 θ(도 3 참조)를, 차체 좌우 경사각 센서(16b)에 의해 좌우 방향의 경사각 φ(도시하지 않음)를, 제1 GNSS 안테나(17a)와 제2 GNSS 안테나(17b)의 위치 정보로부터 차체의 방위각을 검출하여 차체 각도 정보를 얻는다. 또한, 본 실시 형태에 있어서는 제1 GNSS 안테나(17a)의 정보를 바탕으로 차체 위치 정보를 얻는 것으로 하였지만, 제2 GNSS 안테나(17b)의 위치 정보를 사용해도 되고, 토탈 스테이션 등의 3차원 측량기를 사용해도 된다. 또한, 본 실시 형태에 있어서는 제1 GNSS 안테나(17a)와 제2 GNSS 안테나(17b)의 위치 정보로부터 차체의 방위각 정보를 검출하는 것으로 하였지만, 전자 컴퍼스를 사용하는 방법이나 선회 각도 센서를 사용하는 방법이어도 된다.
정보 처리부(30)는, 차체 좌표 변환부(31)와, 목표면 연산부(32)를 구비한다. 정보 처리부(30)의 입력 데이터로서는, 측정 컨트롤러(20)로부터 출력되는 작업기 좌표계 좌표값 및 작업기 좌표계 묘화 화상과, 목표면 데이터 입력 장치(37)에 의해 입력되는 목표면 데이터와, 위치 자세 검출부(26)에 의해 출력되는 작업기의 자세 정보, 차체 위치 정보, 및 차체 각도 정보가 있다. 또한, 정보 처리부(30)의 출력 데이터로서는, 위치 자세 검출부(26)로부터 입력되는 작업기(1A)의 자세 정보, 차체 위치 정보 및 차체 각도 정보 외에도, 차체 좌표 변환부(31)에 의해 구해지는 작업기(1A)의 차체 좌표계 좌표값 정보 및 차체 좌표계 묘화 화상 정보와, 목표면 연산부(32)에 의해 구해지는 차체 좌표계 Co4에서의 목표면 정보가 있다.
차체 좌표 변환부(31)는, 측정 컨트롤러(20)(작업기 좌표계 좌표 변환부(25) 및 작업기 좌표계 묘화 화상 생성부(22))로부터 출력되는 작업기 좌표계 Co3에 있어서의 작업기 대응점의 좌표값(차체 좌표계 좌표값 정보)과 작업기(1A)의 묘화 화상(차체 좌표계 묘화 화상 정보)을 유압 셔블(1)에 설정된 2차원 좌표계인 차체 좌표계 Co4에 있어서의 좌표값으로 변환한다. 구체적으로는, 측정 컨트롤러(20)로부터 출력되는 작업기 좌표계 좌표값과 작업기 좌표계 묘화 화상을, 도 10에 나타내는 바와 같이, 위치 자세 검출부(26)의 작업기 자세 검출부(27)로부터 검출된 작업기(1A)의 자세 정보에 기초하여 실제의 작업기(1A)의 위치나 자세와 일치하도록 평행 이동이나 회전을 실시하여, 차체 좌표계 Co4의 XZ 평면에 투영함으로써 차체 좌표계 Co4의 좌표값으로 변환한다. 또한, 작업기 좌표계 좌표값과 작업기 좌표계 묘화 화상을 차체 좌표계 Co4의 좌표값으로 변환하기 위한 평행 이동이나 회전의 양은, 붐(2), 암(3), 버킷(4)의 회동 각도 α, β, γ가 기지일 때, 임의의 다른 2점에 대해 작업기 좌표계 Co3의 좌표값과, 예를 들어 토탈 스테이션 등의 계측 장치에 의해 측정된 차체 좌표계 Co4의 좌표값을 비교함으로써 구해도 된다.
목표면 연산부(32)는, 도 11에 나타내는 바와 같이, 목표면 데이터 입력 장치(37)에 의해 입력되는 목표면 데이터(3차원 데이터)(51)와 차체 좌표계 Co4의 XZ 평면이 교차하는 선분을 연산하고, 그 선분을 목표면(55)으로서 설정한다. 차체 좌표계 Co4의 XZ 평면은, 위치 자세 검출부(26)에 의해 출력되는 차체 위치 정보와, 차체 각도 검출부(29)에 의해 출력되는 차체 각도 정보를 바탕으로 구해진다. 본 실시 형태에 있어서는, 목표면 데이터 입력 장치(37)에서 입력되는 목표면 데이터(51)는, 3차원 데이터를 상정하고 있지만 2차원 데이터, 즉 목표면을 나타내는 선분 데이터여도 된다. 또한, 목표면 데이터가 2차원 데이터인 경우는, 차체 위치 검출부(28)의 차체 위치 정보나, 차체 각도 검출부(29)의 차체 방위각 정보를 사용할 필요는 없다.
표시 제어부(33)는, 차체 좌표 변환부(31)에서 좌표 변환된 작업기 좌표계 Co4에 있어서의 작업기(1A)의 묘화 화상과, 차체 좌표 변환부(31)에서 좌표 변환된 작업기 대응점의 차체 좌표계 Co4에 있어서의 좌표값과, 자세 센서(12, 13, 14)에 의해 얻어진 차체 좌표계 Co4에 있어서의 작업기(1A)의 자세에 기초하여, 차체 좌표계 Co4에 있어서의 작업기(1A)의 자세에 맞추어 작업기(1A)의 묘화 화상을 표시 모니터(18)에 표시한다. 표시 제어부(33)는, 목표면 정보 연산부(34)를 구비하고, 표시 제어부(33)의 입력 데이터로서는, 정보 처리부(30)로부터 출력되는 작업기(1A)의 자세 정보, 차체 위치 정보 및 차체 각도 정보와, 작업기(1A)의 차체 좌표계 좌표값 정보 및 차체 좌표계 묘화 화상 정보와, 차체 좌표계 XZ 평면 상의 목표면 정보가 있다. 또한 출력 데이터로서는, 이와 같이 입력되는 정보들 외에도 작업기-목표면 벡터 정보를 포함한다. 출력 정보는 표시 모니터(18)에 입력되어, 유저에게 제시된다.
목표면 정보 연산부(34)에 대해, 작업기(1A)와 목표면(55)의 위치 관계의 예를 나타낸 도 12를 사용하여 설명한다. 먼저, 목표면 정보 연산부(34)는, 작업기(1A)의 윤곽선 상의 임의의 점(도 12 내의 점 P)에 대해, 목표면(55)을 구성하는 복수의 평면(이하에서는 「목표 평면:이라고 칭하는 경우가 있음) 중 작업기(1A)로부터 일정 거리 내에 존재하는 평면(도 12 내의 목표 평면 1 및 목표 평면 2)에 있어서의 최근방 점(점 P1 및 점 P2)을 구한다. 다음으로, 작업기 윤곽선 상의 임의의 점(점 P)으로부터 목표 평면 상의 최근방 점(점 P1 및 점 P2)에 대한 작업기-목표면 벡터(벡터 PP1 및 벡터 PP2)를 구한다. 이들 연산을 측정 컨트롤러(20)로부터 입력된 작업기 윤곽선 상의 모든 점(즉, 모든 작업기 좌표계 좌표값)에 대해 행하여 표시 모니터(18)에 대한 출력 정보로 한다. 본 실시 형태에 있어서는, 출력 정보를 작업기(1A) 상의 점으로부터 목표면(55)의 평면에 있어서의 최근방 점까지의 벡터 정보로 하였지만, 거리 정보를 출력해도 되고, 작업기(1A) 상의 점으로부터 목표면(55)까지의 연직 방향의 거리 등을 출력해도 된다. 또한, 본 실시 형태에서는 작업기(1A)의 윤곽선 상의 모든 점에 대해 연산을 행하는 것으로 하였지만, 작업기(1A)의 선단의 점이나 작업기(1A)의 배면의 점과 같은 특정한 점에 대해서만 연산을 행해도 된다.
표시 모니터(18)에 표시되는 화면의 예를 도 13에 나타낸다. 가이던스 화면 IM에는, 차체 좌표계 묘화 화상 정보를 바탕으로 묘화되는 차체 화상 IM1과, 차체 좌표계 Co4의 XZ 평면 상의 목표면 데이터를 바탕으로 묘화되는 목표면 화상 IM2와, 작업기-목표면 벡터 정보를 바탕으로 묘화되는 작업기-목표면 벡터 화상 IM3이 표시되어 있다. 여기서, 작업기-목표면 벡터 화상 IM3은, 목표면 정보 연산부(34)로부터 출력되는 작업기-목표면 벡터 정보 중, 각 목표 평면에 대한 벡터의 크기가 최소인 것을 묘화한 것이다. 또한, 목표면(55)에 대해 작업기 윤곽선 상의 점이 속으로 들어간 경우의 벡터의 크기는 음의 값을 취하는 것으로 한다. 또한, 가이던스 화면 IM에는 본 실시 형태에서 언급한 것 외에, 목표면 정보 연산부(34)로부터 출력되는 정보 및 그것을 가공한 정보를 표시해도 된다. 또한, 본 실시 형태에서는 머신 가이던스 기능으로서 표시 모니터(18)에 표시되는 가이던스 화면 IM에 대해서만 설명하였지만, 이러한 시각 정보 외에 소리나 진동 등에 의해 정보를 제시해도 된다.
작업기 제어부(35)는, 정보 처리부(30)로부터 입력되는 미리 정해진 목표면(55)의 위치 정보와, 차체 좌표 변환부(31)에서 좌표 변환된 작업기 대응점의 차체 좌표계 Co4에 있어서의 좌표값과, 자세 센서(12, 13, 14)에 의해 얻어진 차체 좌표계 Co4에 있어서의 작업기(1A)의 자세에 기초하여 작업기 대응점에 대응하는 작업기(1A)의 컨트롤 포인트가 목표면(55)의 상방에 유지되도록 작업기(1A)(유압 실린더(5, 6, 7))를 제어한다. 작업기 제어부(35)는, 목표 동작 연산부(36)를 구비하고, 작업기 제어부(35)의 입력 데이터로서는, 표시 제어부(33)의 출력, 위치 자세 검출부(26)의 작업기(1A)의 자세 정보, 조작 레버(10, 11)로 이루어지는 조작 입력 장치에 대한 조작 입력이 있고, 출력 데이터로서는, 비례 전자 밸브(39)의 제어 신호가 있다.
목표 동작 연산부(36)는, 상기한 입력 정보(작업기(1A)의 자세 정보, 조작 레버(10, 11)의 조작 입력 정보)를 바탕으로 작업기(1A)가 움직이는 방향이나 속도를 예측한다. 그때, 예를 들어 작업기(1A)가 목표면(55)에 대해 잠겨 들어갈 것이 예측된 경우, 작업기(1A)가 목표면(55)에 잠겨 들어가지 않는 움직임이 되도록 파일럿압을 감압 또는 증압하는 제어 신호를 전자 비례 밸브(39)에 출력한다. 전자 비례 밸브(39)에 의해 보정된 파일럿압은 컨트롤 밸브(45)를 구동하고, 그 동작에 기초하여 유압 실린더(5, 6, 7)가 적절하게 구동됨으로써 작업기(1A)가 목표면(55)에 대해 잠겨 들어가는 것이 방지된다. 또한, 본 실시 형태에서는, 전자 비례 밸브(39)는 파일럿압을 제어하지만, 전자 비례 밸브가 직접 액추에이터의 작동 유압을 제어해도 된다.
본 실시 형태에 있어서의 작업 기계 컨트롤러(50)(주로 표시 제어부(33)와 작업기 제어부(35))에서는, 측정 컨트롤러(20)에 있어서 작업기(1A)의 측면 화상을 바탕으로 연산된, 실제의 작업기(1A)의 형상과 잘 일치하는 좌표 정보 및 묘화 화상을 사용하여 MG와 MC가 행해진다. 이에 의해, 표시 제어부(33)에 의해 표시 모니터(18)에 표시되는 가이던스 정보(예를 들어, 작업기-목표면 벡터 화상 IM3이나, 작업기(1A)로부터 목표면(55)까지의 거리 정보 등)의 정확도가 향상되고, 또한 표시 모니터(18)에 표시되는 작업기(1A)의 묘화 화상에 오퍼레이터가 위화감을 갖는 것을 억제할 수 있다. 또한, 작업기 제어부(35)는, 작업기(1A)가 곡선부나 돌기부 등의 많은 컨트롤 포인트를 필요로 하는 형상이라고 하더라도 정확한 MC를 행할 수 있다.
<제2 실시 형태>
제2 실시 형태에서는, 촬영 장치(19)와 측정 컨트롤러(20)를 유압 셔블(1)에 탑재하고 있고, 작업기(1A)의 외형 정보(작업기(1A)의 차체 좌표계 좌표값 정보 및 차체 좌표계 묘화 화상 정보)의 계측을 실시간으로 행하면서 머신 가이던스나 머신 컨트롤 기능을 제공하고 있다는 점에 특징이 있다. 또한, 앞의 실시 형태와 동일한 부분에는 동일한 부호를 붙여 설명을 적절하게 생략하는 경우가 있다.
도 14에 나타내는 바와 같이 본 실시 형태의 촬영 장치(19)는, 지지 장치(다관절 암)(60)를 통해 상부 선회체(1BA)의 전방에 설치되어 있다. 도 14의 지지 장치(60)는, 복수의 수평 암을 연결하여 이루어지는 수평 다관절 암이며, 각 관절에 매립된 액추에이터(예를 들어, 모터)(19b)를 구동시킴으로써 차체 좌표계 Co4에 있어서의 촬영 장치(19)의 방향이나 위치를 변경 가능하게 되어 있다. 또한, 지지 장치(60)의 각 관절에는 각 수평 암의 회전각을 검지하는 각도 센서(촬영 장치 센서)(19a)가 마련되어 있고, 각도 센서(19a)의 검출값은 도 15에 나타내는 바와 같이 측정 컨트롤러(20)에 출력된다. 또한, 본 실시 형태에서는 지지 장치(60)를 수평 다관절 암으로 하였지만, 수직 방향의 이동이 가능한 암의 이용도 가능하고, 다른 지지 장치의 이용도 가능하다.
도 15는 본 실시 형태에 관한 유압 셔블(1)의 시스템 구성도이다. 이 도면에 나타내는 바와 같이 본 실시 형태의 유압 셔블(1)은, 촬영 장치(19)와, 측정 컨트롤러(20)와, 작업 기계 컨트롤러(50)를 구비하고 있다.
본 실시 형태에서는, 촬영 장치(19)는 소정의 간격으로 작업기 측면 화상을 촬영하고 있고, 측정 컨트롤러(20)는 그 작업기 측면 화상에 기초하여 실시간으로 작업기(1A)의 차체 좌표계 좌표값 및 차체 좌표계 묘화 화상을 연산하여 작업 기계 컨트롤러(50)에 출력하고 있다. 단, 제1 실시 형태의 측정 컨트롤러(20)는, 작업기 좌표계 Co3에 있어서의 좌표값과 묘화 화상을 출력하고 있었지만, 본 실시 형태에서는 촬영 장치(19)가 유압 셔블(1)의 차체(상부 선회체(1BA))에 설치되어 있기 때문에 차체 좌표계 Co4에 있어서의 좌표값과 묘화 화상을 직접적으로 산출할 수 있다. 또한, 본 실시 형태의 작업 기계 컨트롤러(50)는, 측정 컨트롤러(20)로부터 실시간으로 출력되는 정보를 바탕으로 머신 가이던스 및 머신 컨트롤 기능을 유저에게 제공한다.
측정 컨트롤러(20)는, 차체 좌표계 좌표 연산부(21b)와, 차체 좌표계 묘화 화상 생성부(22b)를 구비하고 있다. 측정 컨트롤러(20)에는, 촬영 장치(19)에 의해 촬영된 작업기(1A)의 측면 화상 및 각도 센서(19a)로부터 촬영 장치(19)의 차체 좌표계에 있어서의 위치 정보 및 방향 정보가 입력된다.
차체 좌표계 좌표 연산부(21b)는, 촬영 위치 연산부(23)와, 촬영 장치 좌표계 좌표 변환부(24)와, 차체 좌표계 좌표 변환부(25b)를 구비하고 있고, 촬영 장치(19)에 의해 촬영된 작업기(1A)의 측면 화상을 입력하고, 작업기(1A)의 측면 화상 상의 지정된 점에 대해 차체 좌표계 좌표값을 출력함과 함께, 차체 좌표계 Co4에 있어서의 작업기(1A)의 형상 및 치수와 일치하는 차체 좌표계 묘화 화상을 출력한다. 또한, 본 실시 형태에서도 작업기 측면 화상에 있어서의 작업기의 윤곽선 상에 있어서의 모든 화소의 작업기 대응점의 차체 좌표계 좌표값을 출력하는 것으로 하지만, 제1 실시 형태와 마찬가지로 다른 방법(예를 들어 윤곽선 상의 일부의 화소의 작업기 대응점의 좌표값만을 출력함)을 채용해도 되는 것은 물론이다.
측정 컨트롤러(20)는, 차체 좌표계 좌표 연산부(21b)에 있어서, 촬영 위치 연산부(23)와 촬영 장치 좌표계 좌표 변환부(24)는, 제1 실시 형태와 마찬가지의 연산을 행한다. 차체 좌표계 좌표 변환부(25b)에서는, 촬영 장치 좌표계 Co1에 있어서의 좌표값을, 각도 센서(19a)로부터 입력되는 촬영 장치(19)의 차체 좌표계 Co4에 있어서의 위치 정보 및 방향 정보에 기초하여 평행 이동이나 회전을 행하여, 차체 좌표계 Co4에 있어서의 좌표값으로 좌표 변환한다. 또한, 차체 좌표계 묘화 화상 생성부(22b)에 있어서도 마찬가지로 차체 좌표계 Co4에 대한 좌표 변환 후의 묘화 화상을 생성한다.
본 실시 형태에서는, 측정 컨트롤러(20)로부터 작업 기계 컨트롤러(50)에 입력되는 정보(작업기(1A)의 차체 좌표계 좌표값 및 차체 좌표계 묘화 화상)는 이미 차체 좌표계 Co4에 있어서의 정보로 되어 있다. 그 때문에 본 실시 형태의 작업 기계 컨트롤러(50)의 정보 처리부(30)에는 제1 실시 형태의 차체 좌표 변환부(31)가 존재하지 않지만, 그 밖의 부분의 구성 및 처리 내용은 동일하다. 또한, 위치 자세 검출부(26)에 있어서의 작업기 자세 검출부(27)는, 측정 컨트롤러(20)로도 작업기(1A)의 자세를 검출할 수 있기 때문에 불필요하다. 표시 제어부(33) 및 작업기 제어부(35)에 있어서의 처리 내용은 제1 실시 형태와 마찬가지이다.
이상과 같이 구성한 본 실시 형태의 유압 셔블(1)에서는, 측정 컨트롤러(20)는 실시간으로 작업기(1A)의 위치나 형상 정보를 계측한다. 그 때문에 유저는 제1 실시 형태와 같이 사전에 작업기(1A)의 형상 등을 측정할 필요가 없어, 간단하게 작업기 형상 정보를 취득할 수 있다. 또한, 실시간으로 작업기(1A)의 위치나 형상을 취득하고 있기 때문에, 작업기(1A)의 마모나 변형 등이 발생한 경우에 있어서도 정확한 작업기 형상을 계측할 수 있어, 표시 제어부(33)에 의한 머신 가이던스 기능에 있어서는 유저에게 있어서 이해하기 쉽게 제시할 수 있다. 또한 작업기 제어부(35)에 있어서는 실제의 작업기의 상태에 따라서 정확한 제어를 행할 수 있다.
또한 본 발명은, 상기한 실시 형태에 한정되는 것은 아니며, 그 요지를 일탈하지 않는 범위 내의 다양한 변형예가 포함된다. 예를 들어, 본 발명은, 상기한 실시 형태에서 설명한 모든 구성을 구비하는 것에 한정되지 않고, 그 구성의 일부를 삭제한 것도 포함된다. 또한, 어느 실시 형태에 관한 구성의 일부를, 다른 실시 형태에 관한 구성에 추가 또는 치환하는 것이 가능하다.
또한, 상기한 컨트롤러(20, 50)에 관한 각 구성이나 당해 각 구성의 기능 및 실행 처리 등은, 그들의 일부 또는 전부를 하드웨어(예를 들어 각 기능을 실행하는 로직을 집적 회로로 설계하는 등)로 실현해도 된다. 또한, 상기한 컨트롤러(20, 50)에 관한 구성은, 연산 처리 장치(예를 들어 CPU)에 의해 판독·실행됨으로써 당해 컨트롤러(20, 50)의 구성에 관한 각 기능이 실현되는 프로그램(소프트웨어)으로 해도 된다. 당해 프로그램에 관한 정보는, 예를 들어, 반도체 메모리(플래시 메모리, SSD 등), 자기 기억 장치(하드 디스크 드라이브 등) 및 기록 매체(자기 디스크, 광 디스크 등) 등에 기억시킬 수 있다.
1: 유압 셔블(작업 기계)
1A: 작업기(프론트 작업기)
1B: 차체
1BA: 상부 선회체
1BB: 하부 주행체
2: 붐
3: 암
4: 버킷
5: 붐 실린더
6: 암 실린더
7: 버킷 실린더
10, 11: 조작 레버
12: 붐 각도 센서(자세 센서)
13: 암 각도 센서(자세 센서)
14: 버킷 각도 센서(자세 센서)
18: 표시 모니터(표시 장치)
19: 촬영 장치
20: 측정 컨트롤러
21: 작업기 좌표계 좌표 연산부
22: 작업기 좌표계 묘화 화상 생성부
23: 촬영 위치 연산부
24: 촬영 장치 좌표계 좌표 변환부
25: 작업기 좌표계 좌표 변환부
39: 비례 전자 밸브
40: 기지점 마커
50: 작업 기계 컨트롤러

Claims (13)

  1. 작업 기계에 구비된 작업기의 외형 형상을 측정하는 측정 컨트롤러를 구비하는 작업기의 외형 형상 측정 시스템에 있어서,
    상기 작업기의 측면을 촬영하는 촬영 장치를 구비하고,
    상기 측정 컨트롤러는,
    상기 촬영 장치에 의해 상기 작업기의 측면을 촬영한 화상과 상기 촬영 장치의 내부 파라미터에 기초하여, 상기 촬영 장치에 설정된 3차원 좌표계인 촬영 장치 좌표계에 있어서 상기 작업기의 측면을 나타내는 평면의 위치를 산출하고,
    상기 화상 상에서 상기 작업기를 구성하는 임의의 화소의 상기 화상에 있어서의 위치 정보와 상기 평면의 위치에 기초하여 상기 화소에 대응하는 상기 작업기 상의 점의 상기 촬영 장치 좌표계에 있어서의 좌표값을 산출하고,
    상기 화소에 대응하는 상기 작업기 상의 점의 상기 촬영 장치 좌표계에 있어서의 좌표값을 상기 작업기에 설정된 2차원 좌표계인 작업기 좌표계에 있어서의 좌표값으로 변환하여 상기 작업 기계의 작업 기계 컨트롤러에 출력하는 것을 특징으로 하는 작업기의 외형 형상 측정 시스템.
  2. 제1항에 있어서,
    상기 측정 컨트롤러는, 상기 화상에 있어서의 상기 작업기의 윤곽선을 추출하고, 상기 화상에 있어서의 상기 윤곽선 상의 임의의 화소의 위치 정보와 상기 평면의 위치에 기초하여, 상기 화소에 대응하는 상기 작업기 상의 점의 상기 촬영 장치 좌표계에 있어서의 좌표값을 산출하는 것을 특징으로 하는 작업기의 외형 형상 측정 시스템.
  3. 제1항에 있어서,
    상기 측정 컨트롤러는, 상기 화상에 있어서의 상기 작업기의 윤곽선을 추출하고, 상기 화상에 있어서의 상기 윤곽선 상의 모든 화소의 위치 정보와 상기 평면의 위치에 기초하여, 상기 모든 화소에 대응하는 상기 작업기 상의 점의 상기 촬영 장치 좌표계에 있어서의 좌표값을 산출하는 것을 특징으로 하는 작업 기계의 작업기의 외형 형상 측정 시스템.
  4. 제1항에 있어서,
    상기 화소에 대응하는 상기 작업기 상의 점의 상기 촬영 장치 좌표계에 있어서의 좌표값은, 상기 화상 상에서 상기 작업기를 구성하는 모든 화소에 대응하는 상기 작업기 상의 복수의 점에 대해 연산되는 것을 특징으로 하는 작업 기계의 작업기의 외형 형상 측정 시스템.
  5. 제1항에 있어서,
    상기 측정 컨트롤러는, 상기 작업기의 측면에 설치되고 서로의 거리가 기지의 셋 이상의 마커의 상기 화상에 있어서의 화소 위치에 기초하여 상기 평면의 위치를 산출하는 것을 특징으로 하는 작업기의 외형 형상 측정 시스템.
  6. 제1항에 있어서,
    상기 촬영 장치와의 위치 관계가 기지인 투영 장치를 추가로 구비하고,
    상기 화상에는, 상기 투영 장치로부터 상기 작업기의 측면에 투영된 마커가 촬영되어 있고,
    상기 측정 컨트롤러는, 상기 화상에 있어서의 상기 마커의 화소 위치에 기초하여 상기 평면의 위치를 산출하는 것을 특징으로 하는 작업기의 외형 형상 측정 시스템.
  7. 제4항에 있어서,
    상기 촬영 장치는, 서로의 위치 관계가 기지인 복수의 촬영 장치이고,
    상기 측정 컨트롤러는, 상기 복수의 촬영 장치 사이의 거리를 바탕으로 상기 평면의 위치를 산출하는 것을 특징으로 하는 작업기의 외형 형상 측정 시스템.
  8. 제4항에 있어서,
    상기 촬영 장치와 상기 작업기의 측면 상의 임의의 점 사이의 거리를 측정하는 측거 장치를 추가로 구비하고,
    상기 측정 컨트롤러는, 상기 측거 장치에 의해 측정된 상기 작업기의 측면 상의 3점 이상의 거리 정보를 바탕으로 상기 평면의 위치를 산출하는 것을 특징으로 하는 작업 기계의 작업기의 외형 형상 측정 시스템.
  9. 제1항에 있어서,
    상기 측정 컨트롤러는, 상기 화소에 대응하는 상기 작업기 상의 점의 상기 작업기 좌표계에 있어서의 좌표값을 바탕으로 상기 작업기 좌표계에 있어서의 상기 작업기의 묘화 화상을 생성하는 것을 특징으로 하는 작업기의 외형 형상 측정 시스템.
  10. 제1항에 기재된 작업기의 외형 형상 측정 시스템과, 상기 작업 기계 컨트롤러와, 상기 작업 기계에 탑재된 표시 장치를 구비한 작업기의 외형 형상 표시 시스템에 있어서,
    상기 측정 컨트롤러는, 상기 화소에 대응하는 상기 작업기 상의 점의 상기 작업기 좌표계에 있어서의 좌표값을 바탕으로 상기 작업기 좌표계에 있어서의 상기 작업기의 묘화 화상을 생성하고,
    상기 작업 기계 컨트롤러는,
    상기 측정 컨트롤러로부터 출력되는 상기 화소에 대응하는 상기 작업기 상의 점의 상기 작업기 좌표계에 있어서의 좌표값을 상기 작업 기계에 설정된 2차원 좌표계인 차체 좌표계에 있어서의 좌표값으로 변환하고,
    상기 작업기에 설치된 자세 센서의 출력에 기초하여 상기 차체 좌표계에 있어서의 상기 작업기의 자세를 검출하고,
    상기 작업기 좌표계에 있어서의 상기 작업기의 묘화 화상과, 상기 화소에 대응하는 상기 작업기 상의 점의 상기 차체 좌표계에 있어서의 좌표값과, 상기 차체 좌표계에 있어서의 상기 작업기의 자세에 기초하여, 상기 차체 좌표계에 있어서의 상기 작업기의 자세에 맞추어 상기 작업기의 묘화 화상을 상기 표시 장치에 표시하는 것을 특징으로 하는 작업기의 외형 형상 표시 시스템.
  11. 제1항에 기재된 작업기의 외형 형상 측정 시스템과, 상기 작업 기계 컨트롤러를 구비한 작업기의 제어 시스템에 있어서,
    상기 작업 기계 컨트롤러는,
    상기 측정 컨트롤러로부터 출력되는 상기 화소에 대응하는 상기 작업기 상의 점의 상기 작업기 좌표계에 있어서의 좌표값을 상기 작업 기계에 설정된 2차원 좌표계인 차체 좌표계에 있어서의 좌표값으로 변환하고,
    상기 작업기에 설치된 자세 센서의 출력에 기초하여 상기 차체 좌표계에 있어서의 상기 작업기의 자세를 검출하고,
    미리 정해진 목표면의 위치 정보와, 상기 화소에 대응하는 상기 작업기 상의 점의 상기 차체 좌표계에 있어서의 좌표값과, 상기 차체 좌표계에 있어서의 상기 작업기의 자세에 기초하여, 상기 화소에 대응하는 상기 작업기의 컨트롤 포인트가 상기 목표면의 상방에 유지되도록 상기 작업기를 제어하는 것을 특징으로 하는 작업기의 제어 시스템.
  12. 작업기와, 표시 장치와, 미리 정해진 목표면과 상기 작업기의 위치 관계를 상기 표시 장치에 표시시키는 작업 기계 컨트롤러를 구비한 작업 기계에 있어서,
    상기 작업기의 측면을 촬영하는 촬영 장치와,
    상기 촬영 장치에 의해 상기 작업기의 측면을 촬영한 화상과 상기 촬영 장치의 내부 파라미터에 기초하여, 상기 촬영 장치에 설정된 3차원 좌표계인 촬영 장치 좌표계에 있어서 상기 작업기의 측면을 나타내는 평면의 위치를 산출하고, 상기 화상 상에서 상기 작업기를 구성하는 임의의 화소의 상기 화상에 있어서의 위치 정보와 상기 평면의 위치에 기초하여 상기 화소에 대응하는 상기 작업기 상의 점의 상기 촬영 장치 좌표계에 있어서의 좌표값을 산출하고, 상기 화소에 대응하는 상기 작업기 상의 점의 상기 촬영 장치 좌표계에 있어서의 좌표값을 상기 작업 기계의 차체에 설정된 2차원 좌표계인 차체 좌표계에 있어서의 좌표값으로 변환하여 상기 작업 기계 컨트롤러에 출력하고, 상기 화소에 대응하는 상기 작업기 상의 점의 상기 차체 좌표계에 있어서의 좌표값을 바탕으로 상기 차체 좌표계에 있어서의 상기 작업기의 묘화 화상을 생성하여 상기 작업 기계 컨트롤러에 출력하는 측정 컨트롤러를 구비하고,
    상기 작업 기계 컨트롤러는,
    상기 작업기에 설치된 자세 센서의 출력에 기초하여 상기 차체 좌표계에 있어서의 상기 작업기의 자세를 검출하고,
    상기 차체 좌표계에 있어서의 상기 작업기의 묘화 화상과, 상기 화소에 대응하는 상기 작업기 상의 점의 상기 차체 좌표계에 있어서의 좌표값과, 상기 차체 좌표계에 있어서의 상기 작업기의 자세에 기초하여, 상기 차체 좌표계에 있어서의 상기 작업기의 자세에 맞추어 상기 작업기의 묘화 화상을 상기 표시 장치에 표시하는
    것을 특징으로 하는 작업 기계.
  13. 제12항에 있어서,
    상기 작업 기계 컨트롤러는, 미리 정해진 목표면의 위치 정보와, 상기 화소에 대응하는 상기 작업기 상의 점의 상기 차체 좌표계에 있어서의 좌표값과, 상기 차체 좌표계에 있어서의 상기 작업기의 자세에 기초하여, 상기 화소에 대응하는 상기 작업기 상의 점에 대응하는 상기 작업기의 컨트롤 포인트가 상기 목표면의 상방에 유지되도록 상기 작업기를 제어하는
    것을 특징으로 하는 작업 기계.
KR1020207004801A 2018-09-25 2018-09-25 작업기의 외형 형상 측정 시스템, 작업기의 외형 형상 표시 시스템, 작업기의 제어 시스템 및 작업 기계 KR102231510B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/035525 WO2020065738A1 (ja) 2018-09-25 2018-09-25 作業機の外形形状測定システム，作業機の外形形状表示システム，作業機の制御システム及び作業機械

Publications (2)

Publication Number Publication Date
KR20200037285A true KR20200037285A (ko) 2020-04-08
KR102231510B1 KR102231510B1 (ko) 2021-03-24

Family

ID=69952994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004801A KR102231510B1 (ko) 2018-09-25 2018-09-25 작업기의 외형 형상 측정 시스템, 작업기의 외형 형상 표시 시스템, 작업기의 제어 시스템 및 작업 기계

Country Status (6)

Country Link
US (1) US11434623B2 (ko)
EP (1) EP3859090A4 (ko)
JP (1) JP6826233B2 (ko)
KR (1) KR102231510B1 (ko)
CN (1) CN111226009B (ko)
WO (1) WO2020065738A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155516B2 (ja) * 2017-12-20 2022-10-19 コベルコ建機株式会社 建設機械
CN112218988B (zh) * 2018-07-31 2023-06-09 住友建机株式会社 挖土机
JP7166108B2 (ja) * 2018-08-31 2022-11-07 株式会社小松製作所 画像処理システム、表示装置、画像処理方法、学習済みモデルの生成方法、および学習用データセット
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
CN109782767B (zh) * 2019-01-25 2022-06-07 北京百度网讯科技有限公司 用于输出信息的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114235A (ja) * 2003-10-07 2005-04-28 Hitachi Constr Mach Co Ltd 移動式作業機の埋設物処理支援装置
JP2014101664A (ja) * 2012-11-19 2014-06-05 Komatsu Ltd 掘削機械の表示システム及び掘削機械
US20150168136A1 (en) * 2013-12-12 2015-06-18 The Regents Of The University Of Michigan Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers
WO2016056674A1 (ja) 2015-10-23 2016-04-14 株式会社小松製作所 作業機械の表示システム、作業機械及び表示方法
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3222042B1 (en) * 2014-11-17 2022-07-27 Yanmar Power Technology Co., Ltd. Display system for remote control of working machine
WO2016196292A1 (en) * 2015-05-29 2016-12-08 Hexagon Metrology, Inc. Coordinate measuring machine with object location logic
JP6322612B2 (ja) * 2015-10-05 2018-05-09 株式会社小松製作所 施工管理システム及び形状計測方法
JP6925775B2 (ja) * 2015-10-05 2021-08-25 株式会社小松製作所 施工管理システム
JP6546558B2 (ja) * 2016-03-31 2019-07-17 日立建機株式会社 建設機械及び建設機械の較正方法
JP6674846B2 (ja) * 2016-05-31 2020-04-01 株式会社小松製作所 形状計測システム、作業機械及び形状計測方法
CA3029812C (en) * 2016-08-31 2020-07-14 Komatsu Ltd. Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
JP6867132B2 (ja) * 2016-09-30 2021-04-28 株式会社小松製作所 作業機械の検出処理装置及び作業機械の検出処理方法
JP6496338B2 (ja) * 2017-03-14 2019-04-03 ファナック株式会社 工作機械の制御システム
JP6445070B2 (ja) * 2017-03-27 2018-12-26 ファナック株式会社 工作機械の制御システム
GB2563262B (en) * 2017-06-08 2020-06-10 Caterpillar Sarl Improvements in the stability of work machines
US10262411B2 (en) * 2017-09-01 2019-04-16 Deere & Company Site scanning using a work machine with a camera
JP6927821B2 (ja) * 2017-09-15 2021-09-01 株式会社小松製作所 表示システム、及び表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005114235A (ja) * 2003-10-07 2005-04-28 Hitachi Constr Mach Co Ltd 移動式作業機の埋設物処理支援装置
JP2014101664A (ja) * 2012-11-19 2014-06-05 Komatsu Ltd 掘削機械の表示システム及び掘削機械
US20150168136A1 (en) * 2013-12-12 2015-06-18 The Regents Of The University Of Michigan Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
WO2016056674A1 (ja) 2015-10-23 2016-04-14 株式会社小松製作所 作業機械の表示システム、作業機械及び表示方法
KR20170048234A (ko) * 2015-10-23 2017-05-08 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 표시 시스템, 작업 기계 및 표시 방법

Also Published As

Publication number Publication date
EP3859090A4 (en) 2022-05-18
US20210156121A1 (en) 2021-05-27
US11434623B2 (en) 2022-09-06
CN111226009B (zh) 2022-03-04
JPWO2020065738A1 (ja) 2021-01-07
WO2020065738A1 (ja) 2020-04-02
JP6826233B2 (ja) 2021-02-03
KR102231510B1 (ko) 2021-03-24
EP3859090A1 (en) 2021-08-04
CN111226009A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
KR102231510B1 (ko) 작업기의 외형 형상 측정 시스템, 작업기의 외형 형상 표시 시스템, 작업기의 제어 시스템 및 작업 기계
US11634890B2 (en) Image display system for work machine
US11427988B2 (en) Display control device and display control method
WO2016031009A1 (ja) 作業車両の表示システム、表示制御装置、作業車両、及び表示制御方法
CN112673284B (zh) 坐标转换系统及作业机械
CN106029994B (zh) 校正系统、作业机械和校正方法
US20190211532A1 (en) Construction machine
US11772556B2 (en) Display control system and display control method
WO2016047807A1 (ja) 校正システム、作業機械及び校正方法
WO2018043299A1 (ja) 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法
US11459735B2 (en) Display control system, display control device, and display control method
US11746505B2 (en) Bucket height notification device and bucket height notification method
US12088968B2 (en) Display control device, display control system, and display control method
JP2024052764A (ja) 表示制御装置及び表示方法
JP2017193958A (ja) 校正システム、作業機械及び校正方法
US20230267895A1 (en) Display control device and display control method
US11908076B2 (en) Display system and display method
JP7333551B2 (ja) 作業機械の画像表示システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant