KR20170112999A - 교정 시스템, 작업 기계 및 교정 방법 - Google Patents

교정 시스템, 작업 기계 및 교정 방법 Download PDF

Info

Publication number
KR20170112999A
KR20170112999A KR1020167029420A KR20167029420A KR20170112999A KR 20170112999 A KR20170112999 A KR 20170112999A KR 1020167029420 A KR1020167029420 A KR 1020167029420A KR 20167029420 A KR20167029420 A KR 20167029420A KR 20170112999 A KR20170112999 A KR 20170112999A
Authority
KR
South Korea
Prior art keywords
image pickup
pair
information
working machine
pickup devices
Prior art date
Application number
KR1020167029420A
Other languages
English (en)
Other versions
KR101885704B1 (ko
Inventor
히로요시 야마구치
쇼고 아쓰미
? 가와모토
šœ 가와모토
다이키 스가와라
Original Assignee
가부시키가이샤 고마쓰 세이사쿠쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 고마쓰 세이사쿠쇼 filed Critical 가부시키가이샤 고마쓰 세이사쿠쇼
Publication of KR20170112999A publication Critical patent/KR20170112999A/ko
Application granted granted Critical
Publication of KR101885704B1 publication Critical patent/KR101885704B1/ko

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2203Arrangements for controlling the attitude of actuators, e.g. speed, floating function
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Operation Control Of Excavators (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

교정 시스템은, 작업기를 구비하는 작업 기계에 구비되어, 대상을 촬상하는 적어도 한 쌍의 촬상 장치와, 상기 작업기의 위치를 검출하는 위치 검출기와, 적어도 한 쌍의 상기 촬상 장치에 의해 촬상된 상기 작업기의 소정의 위치에 관한 정보인 제1 위치 정보와, 적어도 한 쌍의 상기 촬상 장치가 상기 소정의 위치를 촬상했을 때의 상기 작업기의 자세에서, 상기 위치 검출기에 의해 검출된 상기 소정의 위치에 관한 정보인 제2 위치 정보와, 적어도 한 쌍의 상기 촬상 장치에 의해 촬상된 상기 작업 기계의 외부에서의 소정의 위치에 관한 정보인 제3 위치 정보를 사용하여, 적어도 한 쌍의 상기 촬상 장치의 위치 및 자세에 관한 정보와, 적어도 한 쌍의 상기 촬상 장치가 촬상한 상기 대상의 위치를 제1 좌표계로부터 제2 좌표계로 변환하기 위해 사용되는 변환 정보를 구하는 처리부를 포함한다.

Description

교정 시스템, 작업 기계 및 교정 방법{CALIBRATION SYSTEM, AND CALIBRATION METHOD FOR WORK MACHINE}
본 발명은, 작업 기계(work implement)에 구비되어 대상의 위치를 검출하는 위치 검출부를 교정하기 위한, 교정 시스템, 작업 기계 및 교정 방법에 관한 것이다.
대상의 위치를 검출하는 수단으로서, 스테레오 방식에 의한 3차원 계측에 사용되는 촬상(撮像) 장치를 구비한 작업 기계가 있다(예를 들면, 특허 문헌 1).
일본 공개특허 제2012―233353호 공보
스테레오 방식에 의한 3차원 계측에 사용되는 촬상 장치는, 교정을 행할 필요가 있다. 촬상 장치를 구비한 작업 기계는, 예를 들면, 공장으로부터 출하되기 전에 촬상 장치의 교정이 행해지지만, 이 교정은, 기기(機器) 및 설비가 필요하므로, 작업 현장에서 촬상 장치의 교정을 행하는 것이 곤란한 경우가 있다.
본 발명의 태양(態樣)은, 스테레오 방식에 의한 3차원 계측을 실행하는 촬상 장치를 구비한 작업 기계의 작업 현장에서도, 촬상 장치의 교정을 실현하는 것을 목적으로 한다.
본 발명의 제1 태양에 따르면, 작업기를 구비하는 작업 기계에 구비되어, 대상을 촬상하는 적어도 한 쌍의 촬상 장치와, 상기 작업기(work machine)의 위치를 검출하는 위치 검출기와, 적어도 한 쌍의 상기 촬상 장치에 의해 촬상된 상기 작업기의 소정의 위치에 관한 정보인 제1 위치 정보와, 적어도 한 쌍의 상기 촬상 장치가 상기 소정의 위치를 촬상했을 때의 상기 작업기의 자세에서, 상기 위치 검출기에 의해 검출된 상기 소정의 위치에 관한 정보인 제2 위치 정보와, 적어도 한 쌍의 상기 촬상 장치에 의해 촬상된 상기 작업 기계의 외부에서의 소정의 위치에 관한 정보인 제3 위치 정보를 사용하여, 적어도 한 쌍의 상기 촬상 장치의 위치 및 자세에 관한 정보와, 적어도 한 쌍의 상기 촬상 장치가 촬상한 상기 대상의 위치를 제1 좌표계로부터 제2 좌표계로 변환하기 위해 사용되는 변환 정보를 구하는 처리부를 포함하는, 교정 시스템이 제공된다.
본 발명의 제2 태양에 따르면, 작업기와, 제1 태양에 관한 교정 시스템을 포함하는 작업 기계가 제공된다.
본 발명의 제3 태양에 따르면, 적어도 한 쌍의 촬상 장치에 의해 작업기의 소정의 위치 및 상기 작업기를 구비하는 작업 기계의 주위의 소정의 위치를 촬상하는 동시에, 적어도 한 쌍의 상기 촬상 장치는 상이한 위치 검출기에 의해 상기 작업 기계의 소정의 위치를 검출하는 검출 단계와, 적어도 한 쌍의 상기 촬상 장치에 의해 촬상된 상기 작업기의 소정의 위치에 관한 정보인 제1 위치 정보와, 적어도 한 쌍의 상기 촬상 장치가 상기 소정의 위치를 촬상했을 때의 상기 작업기의 자세에서, 상기 위치 검출기에 의해 검출된 상기 소정의 위치에 관한 정보인 제2 위치 정보와, 적어도 한 쌍의 상기 촬상 장치에 의해 촬상된 상기 작업 기계의 외부에서의 소정의 위치에 관한 정보인 제3 위치 정보를 사용하여, 적어도 한 쌍의 상기 촬상 장치의 위치 및 자세에 관한 정보와, 적어도 한 쌍의 상기 촬상 장치가 촬상한 대상의 위치를 제1 좌표계로부터 제2 좌표계로 변환하기 위해 사용되는 변환 정보를 구하는 연산 단계를 포함하는, 교정 방법이 제공된다.
본 발명은, 작업 기계에 구비된, 대상의 위치를 검출하는 수단에 의해 검출된 대상의 위치 정보를, 대상의 위치를 검출하는 수단 이외의 좌표계로 변환하기 위한 변환 정보를 구할 수 있다.
본 발명의 태양에 의하면, 스테레오 방식에 의한 3차원 계측을 실행하는 촬상 장치를 구비한 작업 기계의 작업 현장에서도, 촬상 장치의 교정을 실현할 수 있다.
도 1은 실시형태에 관한 교정 시스템을 구비한 유압 셔블(hydraulic shovel)의 사시도이다.
도 2는 실시형태에 관한 유압 셔블의 운전석 부근을 사시도이다.
도 3은 실시형태에 관한 유압 셔블이 가지는 작업기의 치수 및 유압 셔블의 좌표계를 나타낸 도면이다.
도 4는 실시형태에 관한 교정 시스템을 나타낸 도면이다.
도 5는 실시형태에 관한 처리 장치가 실시형태에 관한 교정 방법을 실행할 때, 촬상 장치에 의해 촬상되는 대상을 나타낸 도면이다.
도 6은 촬상 장치에 의해 촬상된 타겟의 화상의 일례를 나타낸 도면이다.
도 7은 버킷(bucket)의 날에 장착된 타겟이 촬상 장치에 의해 촬상되는 위치를 나타낸 사시도이다.
도 8은 유압 셔블의 외부에 설치된 타겟이 촬상 장치에 의해 촬상되는 위치를 나타낸 사시도이다.
도 9는 실시형태에 관한 처리 장치(20)가 실시형태에 관한 교정 방법을 실행할 때의 처리예를 나타낸 플로우차트이다.
도 10은 제3 위치 정보를 얻기 위한 타겟의 다른 예를 나타낸 도면이다.
도 11은 적어도 한 쌍의 촬상 장치의 교정이 행해지는 장소를 설명하기 위한 도면이다.
도 12는 유압 셔블의 외부에 타겟을 설치할 때 사용되는 툴(tool)의 일례를 나타낸 도면이다.
본 발명을 실시하기 위한 형태(실시형태)에 대하여, 도면을 참조하면서 상세하게 설명한다.
<유압 셔블의 전체 구성>
도 1은, 실시형태에 관한 교정 시스템을 구비한 유압 셔블(100)의 사시도이다. 도 2는, 실시형태에 관한 유압 셔블(100)의 운전석 부근을 사시도이다. 도 3은, 실시형태에 관한 유압 셔블이 가지는 작업기(2)의 치수 및 유압 셔블(100)의 좌표계를 나타낸 도면이다.
작업 기계인 유압 셔블(100)은, 차체(1) 및 작업기(2)를 가진다. 차체(1)는, 선회체(旋回體)(3), 운전실(4) 및 주행체(5)를 가진다. 선회체(3)는, 주행체(5)에 선회 가능하게 장착되어 있다. 운전실(4)은 선회체(3)의 전부(前部)에 배치되어 있다. 운전실(4) 내에는, 도 2에 나타내는 조작 장치(25)가 배치된다. 주행체(5)는 크롤러 트랙(crawler track)(5a, 5b)을 가지고 있고, 크롤러 트랙(5a, 5b)이 회전함으로써 유압 셔블(100)이 주행한다.
작업기(2)는, 차체(1)의 전부에 장착되어 있다. 작업기(2)는, 붐(boom)(6), 암(arm)(7), 작업구(operation tool)인 버킷(8), 붐 실린더(10), 암 실린더(11) 및 버킷 실린더(12)를 가진다. 실시형태에 있어서, 차체(1)의 전방은, 도 2에 나타내는 운전석(4S)의 등받이(4SS)로부터 조작 장치(25)를 향하는 방향측이다. 차체(1)의 후방은, 조작 장치(25)로부터 운전석(4S)의 등받이(4SS)를 향하는 방향측이다. 차체(1)의 전부는, 차체(1)의 전방측의 부분이며, 차체(1)의 카운터웨이트(counterweight) WT와는 반대측의 부분이다. 조작 장치(25)는, 작업기(2) 및 선회체(3)를 조작하기 위한 장치이며, 우측 레버(25R) 및 좌측 레버(25L)를 가진다. 운전실(4) 내에는, 운전석(4S)의 전방에 모니터 패널(26)이 설치된다.
붐(6)의 기단부(基端部)는, 붐 핀(boom pin)(13)을 통하여 차체(1)의 전부에 장착되어 있다. 붐 핀(13)은, 붐(6)의 선회체(3)에 대한 동작 중심에 상당한다. 암(7)의 기단부는, 암 핀(arm pin)(14)을 통하여 붐(6)의 선단부에 장착되어 있다. 암 핀(14)은, 암(7)의 붐(6)에 대한 동작 중심에 상당한다. 암(7)의 선단부에는, 버킷 핀(bucket pin)(15)을 통하여 버킷(8)이 장착되어 있다. 버킷 핀(15)은, 버킷(8)의 암(7)에 대한 동작 중심에 상당한다.
도 3에 나타낸 바와 같이, 붐(6)의 길이, 즉 붐 핀(13)과 암 핀(14)과의 사이의 길이는 L1이다. 암(7)의 길이, 즉 암 핀(14)과 버킷 핀(15)과의 사이의 길이는 L2이다. 버킷(8)의 길이, 즉 버킷 핀(15)과 버킷(8)의 날(9)의 선단인 날끝(blade tip)(P3)과의 사이의 길이는, L3이다.
도 1에 나타내는 붐 실린더(10), 암 실린더(11) 및 버킷 실린더(12)는, 각각 유압(油壓)에 의해 구동되는 유압 실린더이다. 이들은, 유압 셔블(100)의 차체(1)에 구비되어, 작업기(2)를 동작시키는 액추에이터이다. 붐 실린더(10)의 기단부는, 붐 실린더 풋 핀(foot pin)(10a)을 통하여 선회체(3)에 장착되어 있다. 붐 실린더(10)의 선단부는, 붐 실린더 탑 핀(10b)을 통하여 붐(6)에 장착되어 있다. 붐 실린더(10)는, 유압에 의해 신축함으로써, 붐(6)을 동작시킨다.
암 실린더(11)의 기단부는, 암 실린더 풋 핀(11a)을 통하여 붐(6)에 장착되어 있다. 암 실린더(11)의 선단부는, 암 실린더 탑 핀(11b)을 통하여 암(7)에 장착되어 있다. 암 실린더(11)는, 유압에 의해 신축함으로써, 암(7)을 동작시킨다.
버킷 실린더(12)의 기단부는, 버킷 실린더 풋 핀(12a)을 통하여 암(7)에 장착되어 있다. 버킷 실린더(12)의 선단부는, 버킷 실린더 탑 핀(12b)을 통하여 제1 링크 부재(47)의 일단 및 제2 링크 부재(48)의 일단에 장착되어 있다. 제1 링크 부재(47)의 타단은, 제1 링크 핀(47a)을 통하여 암(7)의 선단부에 장착되어 있다. 제2 링크 부재(48)의 타단은, 제2 링크 핀(48a)을 통하여 버킷(8)에 장착되어 있다. 버킷 실린더(12)는, 유압에 의해 신축함으로써, 버킷(8)을 동작시킨다.
도 3에 나타낸 바와 같이, 붐 실린더(10)와 암 실린더(11)와 버킷 실린더(12)에는, 각각 제1 각도 검출부(18A)와 제2 각도 검출부(18B)와 제3 각도 검출부(18C)가 설치되어 있다. 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)는, 예를 들면, 스트로크 센서이다. 이들은, 각각이, 붐 실린더(10), 암 실린더(11) 및 버킷 실린더(12)의 스트로크 길이를 검출함으로써, 차체(1)에 대한 붐(6)의 동작각과, 붐(6)에 대한 암(7)의 동작각과, 암(7)에 대한 버킷(8)의 동작각을 간접적으로 검출한다.
실시형태에서는, 제1 각도 검출부(18A)는, 붐 실린더(10)의 동작량, 즉 스트로크 길이를 검출한다. 후술하는 처리 장치(20)는, 제1 각도 검출부(18A)가 검출한 붐 실린더(10)의 스트로크 길이로부터, 도 3에 나타내는 유압 셔블(100)의 좌표계(Xm, Ym, Zm)의 Zm축에 대한 붐(6)의 동작각 δ1을 연산한다. 이하에 있어서, 유압 셔블(100)의 좌표계를 적절히, 차체 좌표계라고 한다. 도 2에 나타낸 바와 같이, 차체 좌표계의 원점은, 붐 핀(13)의 중심이다. 붐 핀(13)의 중앙이란, 붐 핀(13)이 신장되는 방향에 직교하는 평면에서 붐 핀(13)을 잘랐을 때의 단면(斷面)의 중심, 또한 붐 핀(13)이 신장되는 방향에서의 중심이다. 차체 좌표계는, 실시형태의 예에 한정되지는 않고, 예를 들면, 선회체(3)의 선회 중심을 Zm축으로 하고, 붐 핀(13)이 연장되는 방향과 평행한 축선을 Ym축으로 하고, Zm축 및 Ym축과 직교하는 축선을 Xm축으로 하는 것이라도 된다.
제2 각도 검출부(18B)는, 암 실린더(11)의 동작량, 즉 스트로크 길이를 검출한다. 처리 장치(20)는, 제2 각도 검출부(18B)가 검출한 암 실린더(11)의 스트로크 길이로부터, 붐(6)에 대한 암(7)의 동작각 δ2을 연산한다. 제3 각도 검출부(18C)는, 버킷 실린더(12)의 동작량, 즉 스트로크 길이를 검출한다. 처리 장치(20)는, 제3 각도 검출부(18C)가 검출한 버킷 실린더(12)의 스트로크 길이로부터, 암(7)에 대한 버킷(8)의 동작각 δ3을 연산한다.
<촬상 장치>
도 2에 나타낸 바와 같이, 유압 셔블(100)은, 예를 들면, 운전실(4) 내에, 복수의 촬상 장치(30a, 30b, 30c, 30d)를 가진다. 이하에 있어서, 복수의 촬상 장치(30a, 30b, 30c, 30d)를 구별하지 않을 경우에는 적절히, 촬상 장치(30)라고 한다. 촬상 장치(30)의 종류는 한정되지 않지만, 실시형태에서는, 예를 들면, CCD(Couple Charged Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 구비한 촬상 장치가 사용된다.
실시형태에 있어서, 복수, 상세하게는 4개의 촬상 장치(30a, 30b, 30c, 30d)는, 유압 셔블(100)에 장착된다. 보다 상세하게는, 도 2에 나타낸 바와 같이, 촬상 장치(30a)와 촬상 장치(30b)와는 소정 간격을 두고 같은 방향을 향해, 예를 들면, 운전실(4) 내에 배치된다. 촬상 장치(30c)와 촬상 장치(30d)와는 소정 간격을 두고 같은 방향을 향해 운전실(4) 내에 배치된다. 촬상 장치(30b) 및 촬상 장치(30d)는, 작업기(2) 쪽으로 약간 향해, 즉 촬상 장치(30a) 및 촬상 장치(30c) 측의 쪽으로 약간 향해 배치되는 것도 있다. 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 2개가 조합되어 스테레오 카메라를 구성한다. 실시형태에서는, 촬상 장치(30a, 30b)의 조합과, 촬상 장치(30c, 30d)의 조합으로 스테레오 카메라가 구성된다.
실시형태에 있어서, 유압 셔블(100)은, 4개의 촬상 장치(30)를 가지지만, 유압 셔블(100)이 가지는 촬상 장치(30)의 수는 2개 이상, 즉 한 쌍이면 되고, 4개에 한정되지 않는다. 유압 셔블(100)은, 적어도 한 쌍의 촬상 장치(30)와 스테레오 카메라를 구성하여, 대상을 스테레오 촬영하기 때문이다.
복수의 촬상 장치(30a, 30b, 30c, 30d)는, 운전실(4) 내의 전방 또한 상방에 배치된다. 상방이란, 유압 셔블(100)이 가지는 크롤러 트랙(5a, 5b)의 접지면(接地面)과 직교하고, 또한 접지면으로부터 이격되는 방향이다. 크롤러 트랙(5a, 5b)의 접지면은, 크롤러 트랙(5a, 5b) 중 적어도 한쪽이 접지(接地)하는 부분의, 동일 직선 상에는 존재하지 않는 적어도 3점에서 규정되는 평면이다. 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 유압 셔블(100)의 차체(1)의 전방에 존재하는 대상을 스테레오 촬영한다. 대상은, 예를 들면, 작업기(2)가 굴삭하는 대상이다.
도 1 및 도 2에 나타내는 처리 장치(20)는, 적어도 한 쌍의 촬상 장치(30)에 의한 스테레오 촬영의 결과를 사용하여, 대상을 3차원 계측한다. 즉, 처리 장치(20)는, 적어도 한 쌍의 촬상 장치(30)가 촬상한 동일 대상의 화상에 스테레오 방식에 의한 화상 처리를 행하여, 전술한 대상을 3차원 계측한다. 복수의 촬상 장치(30a, 30b, 30c, 30d)가 배치되는 장소는, 운전실(4) 내의 전방 또한 상방에 한정되는 것은 아니다.
실시형태에 있어서, 4개의 복수의 촬상 장치(30a, 30b, 30c, 30d) 중, 촬상 장치(30c)를 4개의 촬상 장치 복수의 촬상 장치(30a, 30b, 30c, 30d)의 기준으로 한다. 촬상 장치(30c)의 좌표계(Xs, Ys, Zs)를 적절히, 촬상 장치 좌표계라고 한다. 촬상 장치 좌표계의 원점은, 촬상 장치(30c)의 중심이다. 촬상 장치(30a), 촬상 장치(30b) 및 촬상 장치(30d)의 각각의 좌표계의 원점은, 각각의 촬상 장치의 중심이다.
<교정 시스템>
도 4는, 실시형태에 관한 교정 시스템(50)을 나타낸 도면이다. 교정 시스템(50)은, 복수의 촬상 장치(30a, 30b, 30c, 30d)와, 처리 장치(20)를 포함한다. 이들은, 도 1 및 도 2에 나타낸 바와 같이, 유압 셔블(100)의 차체(1)에 구비되어 있다. 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 작업 기계인 유압 셔블(100)에 장착되어, 대상을 촬상하고, 촬상에 의해 얻어진 대상의 화상을 처리 장치(20)에 출력한다.
처리 장치(20)는, 처리부(21)와, 기억부(22)와, 입출력부(23)를 가진다. 처리부(21)는, 예를 들면, CPU(Central Processing Unit)와 같은 프로세서 및 메모리에 의해 실현된다. 처리 장치(20)는, 실시형태에 관한 교정 방법을 실현한다. 이 경우, 처리부(21)는, 기억부(22)에 기억된 컴퓨터 프로그램을 읽어들여 실행한다. 이 컴퓨터 프로그램은, 실시형태에 관한 교정 방법을 처리부(21)에 실행시키기 위한 것이다.
처리 장치(20)는, 실시형태에 관한 교정 방법을 실행할 때, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 한 쌍의 화상을 스테레오 방식에서의 화상 처리를 실행함으로써, 대상의 위치, 구체적으로는 3차원 좌표계에서의 대상의 좌표를 구한다. 이와 같이, 처리 장치(20)는, 동일한 대상을 적어도 한 쌍의 촬상 장치(30)에 의해 촬상함으로써 얻어진 한 쌍의 화상을 사용하여, 대상을 3차원 계측할 수 있다. 즉, 적어도 한 쌍의 촬상 장치(30) 및 처리 장치(20)는, 스테레오 방식에 의해 대상을 3차원 계측하는 것이다.
실시형태에 있어서, 적어도 한 쌍의 촬상 장치(30) 및 처리 장치(20)는, 유압 셔블(100)에 구비되어, 대상의 위치를 검출하는 제1 위치 검출부에 상당한다. 촬상 장치(30)가, 스테레오 방식에 의한 화상 처리를 실행하여 대상을 3차원 계측하는 기능을 가지고 있는 경우, 적어도 한 쌍의 촬상 장치(30)가 제1 위치 검출부에 상당한다.
기억부(22)는, RAM(Random Access Memory), ROM(Read Only Memory), 플래시 메모리, EPROM(Erasable Progra㎜able Read Only Memory), EEPROM(Electrically Erasable Progra㎜able Read Only Memory) 등의 불휘발성 또는 휘발성의 반도체 메모리, 자기(磁氣) 디스크, 플렉시블 디스크 및 광자기 디스크 중 하나 이상이 사용된다. 기억부(22)는, 실시형태에 관한 교정 방법을 처리부(21)에 실행하도록 하기 위한 컴퓨터 프로그램을 기억하고 있다.
기억부(22)는, 처리부(21)가 실시형태에 관한 교정 방법을 실행할 때 사용되는 정보를 기억한다. 이 정보는, 예를 들면, 각각의 촬상 장치(30)의 자세, 촬상 장치(30)끼리의 위치 관계, 작업기(2) 등의 기지(旣知)의 치수, 촬상 장치(30)와 유압 셔블(100)에 탑재된 고정물과의 위치 관계를 나타낸 기지의 치수, 차체 좌표계의 원점에서 각각의 촬상 장치(30) 또는 어느 하나의 촬상 장치(30)까지의 위치 관계를 나타낸 기지의 치수, 및 작업기(2)의 자세로부터 작업기(2)의 일부의 위치를 구하기 위해 필요한 정보를 포함한다.
입출력부(23)는, 처리 장치(20)와 기기 종류를 접속하기 위한 인터페이스 회로이다. 입출력부(23)에는, 허브(51), 입력 장치(52), 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)가 접속된다. 허브(51)는, 복수의 촬상 장치(30a, 30b, 30c, 30d)가 접속되어 있다. 허브(51)를 이용하지 않고, 촬상 장치(30)와 처리 장치(20)가 접속되어도 된다. 촬상 장치(30a, 30b, 30c, 30d)의 촬상한 결과는, 허브(51)를 통하여 입출력부(23)에 입력된다. 처리부(21)는, 허브(51) 및 입출력부(23)를 통하여, 촬상 장치(30a, 30b, 30c, 30d)에 의해 촬상된 결과를 취득한다. 입력 장치(52)는, 처리부(21)가 실시형태에 관한 교정 방법을 실행할 때 필요한 정보를 입출력부(23)에 제공하기 위해서 사용된다.
입력 장치(52)는, 예를 들면, 스위치 및 터치 패널이 예시되지만, 이들에 한정되는 것은 아니다. 실시형태에 있어서, 입력 장치(52)는, 도 2에 나타내는 운전실(4) 내, 보다 상세하게는 운전석(4S)의 근방에 설치된다. 입력 장치(52)는, 조작 장치(25)의 우측 레버(25R) 및 좌측 레버(25L) 중 적어도 한쪽에 장착되어 있어도 되고, 운전실(4) 내의 모니터 패널(26)에 설치되어 있어도 된다. 또한, 입력 장치(52)는, 입출력부(23)에 대하여 분리 가능해도 되고, 전파 또는 적외선을 사용한 무선 통신에 의해 입출력부(23)에 정보를 부여해도 된다.
처리 장치(20)는, 전용(專用)의 하드웨어로 실현되어도 되고, 복수의 처리 회로가 연계하여 처리 장치(20)의 기능을 실현하는 것이라도 된다.
작업기(2)의 각 부의 치수 및 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)에 의해 검출된 정보인 작업기(2)의 동작각 δ1, δ2, δ3으로부터, 차체 좌표계(Xm, Ym, Zm)에서의 작업기(2)의 소정의 위치가 구해진다. 작업기(2)의 치수 및 동작각 δ1, δ2, δ3으로부터 구해지는 작업기(2)의 소정의 위치는, 예를 들면, 작업기(2)가 가지는 버킷(8)의 날(9)의 위치, 버킷 핀(15)의 위치 및 제1 링크 핀(47a)의 위치가 있다. 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)는, 실시형태의 작업 기계인 유압 셔블(100)의 위치, 예를 들면, 작업기(2)의 위치를 검출하는 위치 검출기에 상당한다.
적어도 한 쌍의 촬상 장치(30)가 교정되는 경우, 위치 검출기에 의해 검출되는 유압 셔블(100)의 소정의 위치는, 적어도 한 쌍의 촬상 장치(30)의 촬상의 대상이 된 작업기(2)의 소정의 위치와 동일하다. 실시형태에 있어서, 위치 검출기에 의해 검출되는, 유압 셔블(100)의 소정의 위치는 작업기(2)의 소정의 위치이지만, 유압 셔블(100)을 구성하는 요소(要素)의 소정의 위치이면, 작업기(2)의 소정의 위치에 한정되지 않는다.
<촬상 장치(30)의 교정>
실시형태에 있어서, 도 2에 나타내는 한 쌍의 촬상 장치(30a, 30b)의 조합과, 한 쌍의 촬상 장치(30c, 30d)의 조합으로, 각각 스테레오 카메라가 구성된다. 유압 셔블(100)이 가지는 촬상 장치(30a, 30b, 30c, 30d)는, 유압 셔블(100)이 실제의 작업에 사용되기 전에, 외부 교정 및 차체 교정이 행해진다. 외부 교정은, 한 쌍의 촬상 장치(30)끼리의 위치 및 자세를 구하는 작업이다. 상세하게는, 외부 교정은, 한 쌍의 촬상 장치(30a, 30b)끼리의 위치 및 자세와, 한 쌍의 촬상 장치(30c, 30d)끼리의 위치 및 자세를 구한다. 이들 정보가 얻어지지 않으면, 스테레오 방식에 의한 3차원 계측은 실현할 수 없다.
한 쌍의 촬상 장치(30a, 30b)끼리의 위치 및 자세의 관계는 식(1)에서, 한 쌍의 촬상 장치(30c, 30d)끼리의 위치 및 자세의 관계는 식(2)에서 얻어진다. Pa는 촬상 장치(30a)의 위치, Pb는 촬상 장치(30b)의 위치, Pc는 촬상 장치(30c)의 위치, Pd는 촬상 장치(30d)의 위치이다. R1은 위치 Pb를 위치 Pa로 변환하기 위한 회전 행렬이며, R2는 위치 Pd를 위치 Pc로 변환하기 위한 회전 행렬이다. T1은 위치 Pb를 위치 Pa로 변환하기 위한 병진(竝進) 행렬이며, R2는 위치 Pd를 위치 Pc로 변환하기 위한 병진 행렬이다.
Pa=R1·Pb+T1 … (1)
Pc=R2·Pd+T2 … (2)
차체 교정은, 촬상 장치(30)와 유압 셔블(100)의 차체(1)와의 위치 관계를 구하는 작업이다. 차체 교정은, 내부 교정이라고도 한다. 실시형태의 차체 교정에서는, 촬상 장치(30a)와 차체(1)와의 위치 관계 및 촬상 장치(30c)와 차체(1)와의 위치 관계가 요구된다. 이들의 위치 관계가 얻어지지 않으면, 스테레오 방식에 의해 3차원 계측한 결과를 현장 좌표계로 변환할 수 없다.
촬상 장치(30a)와 차체(1)와의 위치 관계는 식(3)에서, 촬상 장치(30b)와 차체(1)와의 위치 관계는 식(4)에서, 촬상 장치(30c)와 차체(1)와의 위치 관계는 식(5)에서, 촬상 장치(30d)와 차체(1)와의 위치 관계는 식(6)에서 얻어진다. Pma는 차체 좌표계에서의 촬상 장치(30a)의 위치, Pmb는 차체 좌표계에서의 촬상 장치(30b)의 위치, Pmc는 차체 좌표계에서의 촬상 장치(30c)의 위치, Pmd는 차체 좌표계에서의 촬상 장치(30d)의 위치이다. R3은 위치 Pa를 차체 좌표계에서의 위치로 변환하기 위한 회전 행렬이며, R4는 위치 Pb를 차체 좌표계에서의 위치로 변환하기 위한 회전 행렬이며, R5는 위치 Pc를 차체 좌표계에서의 위치로 변환하기 위한 회전 행렬이며, R6은 위치 Pd를 차체 좌표계에서의 위치로 변환하기 위한 회전 행렬이다. T3은 위치 Pa를 차체 좌표계에서의 위치로 변환하기 위한 병진 행렬이며, T4는 위치 Pb를 차체 좌표계에서의 위치로 변환하기 위한 병진 행렬이며, T5는 위치 Pc를 차체 좌표계에서의 위치로 변환하기 위한 병진 행렬이며, T6은 위치 Pd를 차체 좌표계에서의 위치로 변환하기 위한 병진 행렬이다.
Pma=R3·Pa+T3 … (3)
Pmb=R4·Pb+T4 … (4)
Pmc=R5·Pc+T5 … (5)
Pmd=R6·Pd+T6 … (6)
처리 장치(20)는, 회전 행렬(R3, R4, R5, R6) 및 병진 행렬(T3, T4, T5, T6)을 구한다. 이들이 구해지면, 촬상 장치(30a, 30b, 30c, 30d)의 위치 Pa, Pb, Pc, Pd가 차체 좌표계에서의 위치 Pma, Pmb, Pmc, Pmd로 변환된다. 회전 행렬(R3, R4, R5, R6)은, 도 2에 나타내는 차체 좌표계(Xm, Ym, Zm)의 Xm축 주위에서의 회전각 α, Ym축 주위에서의 회전각 β 및 Zm축 주위에서의 회전각 γ을 포함한다. 병진 행렬(T3, T4, T5, T6)은, Xm 방향에서의 크기 xm, Ym 방향에서의 크기 ym 및 Zm 방향에서의 크기 zm을 포함한다.
병진 행렬(T3)의 요소인 크기 xm, ym, zm은, 차체 좌표계에서의 촬상 장치(30a)의 위치를 나타낸다. 병진 행렬(T4)의 요소인 크기 xm, ym, zm은, 차체 좌표계에서의 촬상 장치(30b)의 위치를 나타낸다. 병진 행렬(T5)의 요소인 크기 xm, ym, zm은, 차체 좌표계에서의 촬상 장치(30c)의 위치를 나타낸다. 병진 행렬(T6)의 요소인 크기 xm, ym, zm은, 차체 좌표계에서의 촬상 장치(30d)의 위치를 나타낸다.
회전 행렬(R3)에 포함되는 회전각 α, β, γ는, 차체 좌표계에서의 촬상 장치(30a)의 자세를 나타낸다. 회전 행렬(R4)에 포함되는 회전각 α, β, γ는, 차체 좌표계에서의 촬상 장치(30b)의 자세를 나타낸다. 회전 행렬(R5)에 포함되는 회전각 α, β, γ는, 차체 좌표계에서의 촬상 장치(30c)의 자세를 나타낸다. 회전 행렬(R6)에 포함되는 회전각 α, β, γ는, 차체 좌표계에서의 촬상 장치(30d)의 자세를 나타낸다.
유압 셔블(100)은, 예를 들면, 공장으로부터 출하되기 전에 외부 교정 및 차체 교정이 행해진다. 이들의 결과는 도 4에 나타내는 처리 장치(20)의 기억부(22)에 기억된다. 공장의 출하에 있어서, 외부 교정은, 예를 들면, 공장의 건물 내에 설치된, 전용 설비로 되는 터릿(turret; 망루) 및 교정을 위한 기기로서의 토탈 스테이션이라는 계측기를 사용하여 행해진다. 이 터릿은, 폭이 수미터로 높이가 10미터 가까운, 철골 부재 등에 의해 교정되는 큰 구조물이다. 유압 셔블(100)의 작업 현장에서 촬상 장치(30)의 위치 어긋남이 발생하거나 촬상 장치(30)를 교환하거나 한 경우에는, 촬상 장치(30)의 외부 교정이 필요해진다. 작업 현장에서는 외부 교정용의 터릿 및 토탈 스테이션을 준비하는 것이 곤란하다.
교정 시스템(50)은, 실시형태에 관한 교정 방법을 실행함으로써, 유압 셔블(100)의 작업 현장에서 촬상 장치(30)의 외부 교정 및 차체 교정을 실현한다. 상세하게는, 교정 시스템(50)은, 작업기(2)의 소정의 위치, 실시형태에서는 버킷(8)의 날(9)의 위치를 사용하고, 상이한 작업기(2)의 자세에 의해 얻어진 복수의 버킷(8)의 날(9)의 위치와, 유압 셔블(100)의 외부에서의 소정의 위치를 사용하여, 외부 교정 및 차체 교정의 양쪽을 실현한다. 유압 셔블(100)의 외부에서의 소정의 위치의 상세한 것에 대해서는, 후술하는 도 8 등을 사용하여 설명한다.
도 5는, 실시형태에 관한 처리 장치(20)가 실시형태에 관한 교정 방법을 실행할 때, 촬상 장치(30)에 의해 촬상되는 대상을 나타낸 도면이다. 교정 시스템(50)은, 촬상 장치(30)를 교정하는 경우, 버킷(8)의 날(9)에 장착된 타겟 Tg의 위치를, 작업기(2)의 소정의 위치로 하여 사용한다. 타겟 Tg는, 작업기(2)의 소정의 위치에 배치된 제1 표지(indicator)이다. 타겟 Tg는, 예를 들면, 날(9L, 9C, 9R)에 장착된다. 운전실(4)로부터 버킷(8)을 보았을 때 있어서, 날(9L)은 좌측단, 날(9L)은 우측단, 날(9C)은 중앙에 배치되어 있다. 그리고, 실시형태에 있어서는, 날(9)을 구비한 버킷(8)을 사용한 경우를 설명하지만, 유압 셔블(100)은, 날(9)을 구비하지 않는, 예를 들면, 법면(法面) 버킷과 같은 다른 형태의 버킷을 구비해도 된다.
적어도 한 쌍의 촬상 장치(30)의 교정에 타겟 Tg를 사용하므로, 작업기(2)의 소정의 위치 및 유압 셔블(100)의 외부에서의 소정의 위치가 확실하게 검출된다. 실시형태에 있어서, 타겟 Tg는, 흰 바탕에 흑점이 기록된 것이다. 이와 같은 타겟에 의해, 콘트라스트가 명료하게 되므로, 작업기(2)의 소정의 위치 및 유압 셔블(100)의 외부에서의 소정의 위치는, 더욱 확실하게 검출된다.
실시형태에 있어서, 타겟 Tg는, 버킷(8)의 폭 방향 W, 즉 버킷 핀(15)이 신장되는 방향과 평행한 방향으로 정렬되어 있다. 실시형태에 있어서, 버킷(8)의 폭 방향 W은, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d) 중 적어도 한쪽이 배열되어 있는 방향이다. 실시형태에 있어서는, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)의 양쪽이 배열되어 있는 방향은 동일하다. 버킷(8)의 폭 방향 W에서의 중앙의 날(9)은, 차체 좌표계에 있어서 1개의 평면, 즉 Xm―Zm 평면 상만을 이동한다. 중앙의 날(9)의 위치는, 버킷(8)의 폭 방향 W에서의 자세의 변동의 영향을 쉽게 받지 않으므로, 위치의 정밀도가 높다
실시형태에 있어서, 버킷(8)은, 3개의 날(9)에 타겟 Tg가 설치되지만, 타겟 Tg의 수, 즉 계측 대상이 되는 날(9)의 수는 3개에 한정되지 않는다. 타겟 Tg는, 1개 이상의 날(9)에 설치되어도 된다. 단, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)를 사용한 스테레오 방식에 의한 위치의 계측의 정밀도가 저하되는 것을 억제하기 위해, 실시형태에 관한 교정 방법에서는, 2개 이상의 타겟 Tg가 버킷(8)의 폭 방향 W에 이격된 위치에 설치되어 있는 것이, 높은 계측 정밀도를 얻는 데 있어서 바람직하다.
도 6은, 촬상 장치(30a, 30b, 30c, 30d)에 의해 촬상된 타겟 Tg의 화상 IMG의 일례를 나타낸 도면이다. 도 7은, 버킷(8)의 날(9)에 장착된 타겟 Tg가 촬상 장치(30a, 30b, 30c, 30d)에 의해 촬상되는 위치를 나타낸 사시도이다. 도 8은, 유압 셔블(100)의 외부에 설치된 타겟 Tg가 촬상 장치(30a, 30b, 30c, 30d)에 의해 촬상되는 위치를 나타낸 사시도이다.
촬상 장치(30a, 30b, 30c, 30d)가 버킷(8)의 날(9)의 타겟 Tg를 촬상하면, 화상 IMG에는 3개의 타겟 Tgl, Tgc, Tgr이 존재한다. 타겟 Tgl는 날(9L)에 장착된 것이다. 타겟 Tgc는 날(9C)에 장착된 것이다. 타겟 Tgr은 날(9R)에 장착된 것이다.
스테레오 카메라를 구성하는 한 쌍의 촬상 장치(30a, 30b)가 타겟 Tg를 촬상하면, 촬상 장치(30a) 및 촬상 장치(30b)로부터, 각각 화상 IMG를 얻을 수 있다. 스테레오 카메라를 구성하는 한 쌍의 촬상 장치(30c, 30d)가 타겟 Tg를 촬상하면, 촬상 장치(30c) 및 촬상 장치(30d)로부터, 각각 화상 IMG를 얻을 수 있다. 타겟 Tg는, 버킷(8)의 날(9)에 장착되어 있으므로, 타겟 Tg의 위치는, 버킷(8)의 날(9)의 위치, 즉 작업기(2)의 소정의 위치를 나타낸다. 타겟 Tg의 위치 정보는, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 작업기(2)의 소정의 위치에 관한 정보인 제1 위치 정보로 된다. 타겟 Tg의 위치 정보는, 화상 IMG에서의 위치 정보이며, 예를 들면, 화상 IMG를 구성하는 화소의 위치 정보이다.
제1 위치 정보는, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)가, 상이한 자세의 작업기(2)로부터 제1 표지인 타겟 Tg의 위치를 촬상함으로써 얻어진 정보이다. 실시형태에 있어서는, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)는, 도 7에 나타낸 바와 같이, 위치 A, B, C, D, E, F, G, H의 8개소에서, 타겟 Tg를 촬상한다.
도 7은, 타겟 Tg를 Xg―Yg―Zg 좌표계로 나타내고 있다. Xg축은, 유압 셔블(100)의 차체 좌표계의 Xm축과 평행한 축이며, 유압 셔블(100)의 선회체(3)의 전단(前端)을 0으로 한다. Yg축은, 유압 셔블(100)의 차체 좌표계의 Ym축과 평행한 축이다. Zg축은, 유압 셔블(100)의 차체 좌표계의 Zm축과 평행한 축이다. 타겟 Tg의 Yg축 방향의 위치 Yg0, Yg1, Yg2는, 타겟 Tg가 장착된 버킷(8)의 날(9L, 9C, 9R)의 위치에 대응한다. Yg축 방향의 위치 Yg1은, 버킷(8)의 폭 방향 W에서의 중앙의 위치이다.
위치 A, 위치 B, 위치 C는, Xg축 방향에서의 위치가 Xg1이며, Zg축 방향에서의 위치는 각각 Zg1, Zg2, Zg3이다. 위치 D, 위치 E, 위치 F는, Xg축 방향에서의 위치가 Xg2이며, Zg축 방향에서의 위치는 각각 Zg1, Zg2, Zg3이다. 위치 G, 위치 H는, Xg축 방향에서의 위치가 Xg3이며, Zg축 방향에서의 위치는 각각 Zg2, Zg3이다. 위치 Xg1, Xg2, Xg3은, 상기 순서로 유압 셔블(100)의 선회체(3)로부터 멀어진다.
실시형태에 있어서, 처리 장치(20)는, 각각의 위치 A, B, C, D, E, F, G, H와, 버킷(8)의 폭 방향 W의 중앙에 배치된 날(9C)의 위치를 구한다. 상세하게는, 처리 장치(20)는, 각각의 위치 A, B, C, D, E, F, G, H와, 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)의 검출값을 취득하여, 동작각 δ1, δ2, δ3을 구한다. 처리 장치(20)는, 구한 동작각 δ1, δ2, δ3 및 작업기(2)의 길이 L1, L2, L3로부터 날(9C)의 위치를 구한다. 이와 같이 하여 얻어진 날(9C)의 위치는, 유압 셔블(100)의 차체 좌표계에서의 위치이다. 위치 A, B, C, D, E, F, G, H에 있어서 얻어진 차체 좌표계에서의 날(9C)의 위치 정보는, 위치 검출기인 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)가, 상이한 자세의 작업기(2)로부터 작업기(2)의 소정의 위치인 날(9C)의 위치를 검출함으로써 얻어진 정보, 즉 제2 위치 정보이다.
실시형태에 있어서, 도 8에 나타낸 바와 같이, 유압 셔블(100)의 외부에서의 소정의 위치에는, 타겟 Tg가 설치된다. 유압 셔블(100)의 외부에 설치되는 타겟 Tg는, 제2 표지이다. 실시형태에 있어서, 타겟 Tg는, 예를 들면, 유압 셔블(100)이 가동(稼動)하는 작업 현장에 설치된다. 상세하게는, 타겟 Tg는, 유압 셔블(100)의 전방의 지면 GD에 설치된다. 타겟 Tg가 유압 셔블(100)의 전방에 설치되는 것에 의해, 처리 장치(20)가 촬상 장치(30)의 교정에 필요로 하는 시간, 보다 상세하게는 실시형태에 관한 교정 방법의 연산이 수속하는 시간을 짧게 할 수 있다.
타겟 Tg는, 제1 방향과, 제1 방향에 직교하는 제2 방향으로, 예를 들면, 격자형으로 설치된다. 제1 방향에 있어서, 타겟 Tg는, 유압 셔블(100)의 선회체(3)의 전단(3T)을 기준으로 하여, 거리 X1, X2, X3의 위치에 설치된다. 제2 방향에 있어서, 타겟 Tg는, 거리 Y1의 범위에 3개 배치된다. 거리 X1, X2, X3, Y1의 크기는 특정한 값에 한정되는 것은 아니지만, 촬상 장치(30)의 촬상 범위 가득하게 타겟 Tg가 배치되도록 하는 것이 바람직하다. 또한, 선회체(3)로부터 가장 먼 거리 X3는, 작업기(2)를 최대한 신장한 상태의 길이보다 크게 하는 것이 바람직하다.
한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)는, 유압 셔블(100)의 외부에 설치된 타겟 Tg를 촬상한다. 타겟 Tg의 위치 정보는, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된, 유압 셔블(100)의 외부에서의 소정의 위치에 관한 정보인 제3 위치 정보로 된다. 타겟 Tg의 위치 정보는, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된 화상에서의 위치 정보이며, 예를 들면, 화상을 구성하는 화소의 위치 정보이다.
유압 셔블(100)의 외부에 설치되는 복수의 타겟 Tg는, 가능한 한, 각각의 촬상 장치(30a, 30b, 30c, 30d)에 공통으로 찍히도록 하는 것이 바람직하다. 또한, 타겟 Tg는, 각각의 촬상 장치(30a, 30b, 30c, 30d)를 향하도록 설치되는 것이 바람직하다. 이 때문에, 타겟 Tg는 지면 GD에 설치된 시트에 장착되어도 된다. 교정의 현장에 있어서, 유압 셔블(100)의 전방에, 유압 셔블(100)로부터 멀어짐에 따라 높이가 높아지는 경사면이 있으면, 타겟 Tg는 이 경사면에 설치되어도 된다. 또한, 교정의 현장에 있어서, 건물 등의 구조물의 벽면이 있으면, 타겟 Tg는 이 벽면에 설치되어도 된다. 이 경우, 유압 셔블(100)을, 타겟 Tg가 설치된 벽면의 앞으로 이동시키면 된다. 이와 같이, 타겟 Tg가 설치되면, 타겟 Tg는 촬상 장치(30a, 30b, 30c, 30d)를 향하므로, 촬상 장치(30a, 30b, 30c, 30d)는 타겟 Tg를 확실하게 촬상할 수 있다. 실시형태에서는, 설치되는 타겟 Tg의 수가 9개인 경우를 나타내지만, 타겟 Tg의 수는 적어도 6개 있으면 되고, 9개 이상이라도 된다.
처리 장치(20)의 처리부(21)는, 제1 위치 정보와, 제2 위치 정보와, 제3 위치 정보를 사용하여, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)의 위치 및 자세에 관한 정보를 구한다. 처리부(21)는, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)가 촬상한 대상의 위치를 제1 좌표계로부터 제2 좌표계로 변환하기 위해 사용되는 변환 정보를 구한다. 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)의 위치에 관한 정보(이하에 있어서 적절히, 위치 정보라고 함)는, 병진 행렬 X3, X4, X5, X6에 포함되는 크기 xm, ym, zm이다. 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)의 자세에 관한 정보(이하에 있어서, 적절히, 자세 정보라고 함)는, 회전 행렬 R3, R4, R5, R6에 포함되는 회전각 α, β, γ이다. 변환 정보는, 회전 행렬 R3, R4, R5, R6이다.
처리부(21)는, 번들법을 이용하여 제1 위치 정보, 제2 위치 정보 및 제3 위치 정보를 처리하고, 위치 정보, 자세 정보 및 변환 정보를 구한다. 번들법을 이용하여 위치 정보, 자세 정보 및 변환 정보를 구하는 방법은, 공중 사진 측량의 방법과 같다.
도 5에 나타내는 타겟 Tg의 차체 좌표계에서의 위치를 Pm(Xm, Ym, Zm) 또는 Pm으로 한다. 도 6에 나타내는, 촬상 장치(30)에 의해 촬상된 타겟 Tg의 화상 IMG 중에서의 위치를 Pg(i, j) 또는 Pg로 한다. 촬상 장치 좌표계에서의 타겟 Tg의 위치를 Ps(Xs, Ys, Zs) 또는 Ps로 한다. 차체 좌표계 및 촬상 장치 좌표계에서의 타겟 Tg의 위치는 3차원의 좌표로 표현되고, 화상 IMG에서의 타겟 Tg의 위치는 2차 원래의 좌표로 표현된다.
촬상 장치 좌표계에서의 타겟의 위치 Ps와 차체 좌표계에서의 타겟 Tg의 위치 Pm과의 관계는, 식(7)에 의해 표현된다. R은 위치 Pm을 위치 Ps로 변환하기 위한 회전 행렬, T는 위치 Pm을 위치 Ps로 변환하기 위한 병진 행렬이다. 회전 행렬 R 및 병진 행렬 T는, 촬상 장치(30a, 30b, 30c, 30d)마다 상이하다. 화상 IMG 중에서의 타겟 Tg의 위치 Pg와 촬상 장치 좌표계에서의 타겟의 위치 Ps와의 관계는, 식(8)에 의해 표현된다. 식(8)은, 3차원의 촬상 장치 좌표계에서의 타겟의 위치 Ps를, 2차 원래의 화상 IMG 중에서의 타겟 Tg의 위치 Pg로 변환하는 계산식이다.
Ps=R·Pm+T … (7)
(i―cx, j―cx) D=(Xs, Ys)/Zs … (8)
식(8)에 포함되는 D는, 초점 거리를 1㎜로 했을 때의 화소비(㎜/pixel)이다. 또한, (cx, cy)은, 화상 중심이라는 것이며, 촬상 장치(30)의 광축과 화상 IMG와의 교점(交点)의 위치를 나타낸다. D 및 cx, cy는, 내부 교정에 의해 구해진다.
식(7) 및 식(8)로부터, 1개의 촬상 장치(30)에 의해 촬상된 1개의 타겟 Tg에 대하여, 식(9)로부터 식(11)이 얻어진다.
f(Xm, i, j;R, T)=0 … (9)
f(Ym, i, j;R, T)=0 … (10)
f(Zm, i, j;R, T)=0 … (11)
처리부(21)는, 촬상 장치(30a, 30b, 30c, 30d)에 의해 촬상된 타겟 Tg의 수만큼, 식(9)로부터 식(11)을 작성한다. 처리부(21)는, 버킷(8)의 폭 방향 W에서의 중앙의 날(9)에 장착된 타겟 Tg의 위치에 대해서는, 기지의 좌표로서 차체 좌표계에서의 위치 Pm의 값을 부여한다. 처리부(21)는, 버킷(8)의 날(9)에 장착된 나머지의 타겟 Tg, 즉 버킷(8)의 양단의 날(9)에 장착된 타겟 Tg의 위치에 대해서는, 좌표가 미지(未知)인 것으로 한다. 처리부(21)는, 유압 셔블(100)의 외부에 설치된 타겟 Tg의 위치에 대해서도, 좌표가 미지인 것으로 한다. 버킷(8)의 폭 방향 W에서의 중앙의 날(9)에 장착된 타겟 Tg의 위치는, 공중 사진 측량에서의 기준점에 상당한다. 버킷(8)의 양단의 날(9)에 장착된 타겟 Tg의 위치 및 유압 셔블(100)의 외부에 설치된 타겟 Tg의 위치는, 공중 사진 측량에서의 패스 포인트에 상당한다.
실시형태에 있어서, 버킷(8)의 폭 방향 W에서의 중앙의 날(9)에 장착된 타겟 Tg는 8개, 버킷(8)의 양단의 날(9)에 장착된 타겟 Tg는 16개, 유압 셔블(100)의 외부에 설치된 타겟 Tg 중 교정에 사용되는 것을 5개로 하면, 1개의 촬상 장치(30)에 의해 촬상된 합계 29개의 타겟 Tg에 대하여, 식(9)로부터 식(11)을 얻을 수 있다. 실시형태에 관한 교정 방법은, 외부 교정에 의해, 적어도 한 쌍의 촬상 장치(30)에 의한 스테레오 매칭을 실현하는 것이므로, 처리부(21)는, 한 쌍의 촬상 장치(30)에 의해 촬상된 합계 29개의 타겟 Tg에 대하여, 각각 식(9)로부터 식(11)을 생성한다. 처리부(21)는, 최소 제곱법을 이용하여, 얻어진 복수의 식으로부터 회전 행렬 R 및 병진 행렬 T을 구한다.
처리부(21)는, 얻어진 복수의 식을, 예를 들면, 뉴튼랩슨법(Newton Raphson method)을 이용하여 해제하는 것에 의해, 얻어진 복수의 식 중의 미지수를 결정한다. 이 때, 처리부(21)는, 초기값으로서, 예를 들면, 유압 셔블(100)이 공장으로부터 출하되기 전에 행해진 외부 교정 및 차체 교정의 결과를 사용한다. 또한, 좌표가 미지의 타겟 Tg에 대하여, 처리부(21)는 추정값을 사용한다. 예를 들면, 버킷(8)의 양단의 날(9)에 장착된 타겟 Tg의 위치의 추정값은, 버킷(8)의 폭 방향 W에서의 중앙의 날(9)에 장착된 타겟 Tg의 위치 및 버킷(8)의 폭 방향 W의 치수로부터 얻어진다. 유압 셔블(100)의 외부에 설치된 타겟 Tg의 위치의 추정값은, 유압 셔블(100)의 차체 좌표계의 원점에서 계측한 값으로 할 수 있다.
실시형태에 있어서, 예를 들면, 유압 셔블(100)이 공장으로부터 출하되기 전에 행해진 외부 교정 및 차체 교정의 결과는, 도 4에 나타내는 기억부(22)에 기억된다. 유압 셔블(100)의 외부에 설치된 타겟 Tg의 위치의 추정값은, 교정을 행하는 작업자, 예를 들면, 서비스 맨 또는 유압 셔블(100)의 오퍼레이터에 의해 미리 구해져, 기억부(22)에 기억된다. 처리부(21)는, 얻어진 복수의 식 중의 미지수를 결정하는 데 있어서, 기억부(22)로부터 외부 교정의 결과, 차체 교정의 결과 및 유압 셔블(100)의 외부에 설치된 타겟 Tg의 위치의 추정값을 판독하여, 얻어진 복수의 식을 풀 때의 초기값으로 한다.
초기값이 설정되었다면, 처리부(21)는, 얻어진 복수의 식을 푼다. 처리부(21)는, 얻어진 복수의 식을 해제하는 연산이 수속(收束)되었으면, 이 때의 값을 위치 정보, 자세 정보 및 변환 정보로 한다. 상세하게는, 연산이 수속되었을 때 있어서의 각각의 촬상 장치(30a, 30b, 30c, 30d)에 대하여 얻어진 크기 xm, ym, zm 및 회전각 α, β, γ가, 각각의 촬상 장치(30a, 30b, 30c, 30d)의 위치 정보 및 자세 정보로 된다. 변환 정보는, 회전각 α, β, γ를 포함하는 회전 행렬 R 및 크기 xm, ym, zm을 요소로 하는 병진 행렬 T이다.
도 9는, 실시형태에 관한 처리 장치(20)가 실시형태에 관한 교정 방법을 실행할 때의 처리예를 나타낸 플로우차트이다. 검출 단계인 스텝 S11에서, 처리 장치(20)의 처리부(21)는, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)에, 작업기(2)의 복수의 상이한 자세로 버킷(8)의 날(9)에 장착된 타겟 Tg를 촬상시킨다. 이 때, 처리부(21)는, 작업기(2)의 각각의 자세일 때, 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)로부터 검출값을 취득한다. 그리고, 처리부(21)는, 취득한 검출값에 기초하여 날(9C)의 위치를 구한다. 처리부(21)는, 구한 날(9C)의 위치를, 기억부(22)에 일시적으로 기억시킨다. 처리부(21)는, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)에, 유압 셔블(100)의 외부에 설치된 타겟 Tg를 촬상시킨다. 처리부(21)는, 각각의 촬상 장치(30a, 30b, 30c, 30d)에 의해 촬상된 화상 IMG 중에서의 타겟 Tg의 위치 Pg를 구하고, 기억부(22)에 일시적으로 기억시킨다.
처리부(21)는, 번들법을 이용하여 제1 위치 정보, 제2 위치 정보 및 제3 위치 정보를 처리하여, 위치 정보, 자세 정보 및 변환 정보를 구하기 위한 복수의 식을 생성한다. 스텝 S12에서, 처리부(21)는, 초기값을 설정한다. 연산 단계인 스텝 S13에서, 처리부(21)는, 번들법의 연산을 실행한다. 스텝 S14에서, 처리부(21)는, 연산의 수속 판정을 실행한다.
처리부(21)는, 연산이 수속되지 않은 것으로 판정한 경우(스텝 S14, No), 스텝 S15로 진행하고, 번들법에 의한 연산을 개시할 때의 초기값을 변경하고, 스텝 S13의 연산 및 스텝 S14의 수속 판정을 실행한다. 처리부(21)는, 연산이 수속된 것으로 판정한 경우(스텝 S14, Yes), 교정을 종료한다. 이 경우, 연산이 수속되었을 때의 값을 위치 정보, 자세 정보 및 변환 정보로 한다.
<제3 위치 정보를 얻기 위한 타겟 Tg>
도 10은, 제3 위치 정보를 얻기 위한 타겟 Tg의 다른 예를 나타낸 도면이다. 전술한 바와 같이, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)는, 상이한 복수의 자세의 작업기(2)로부터, 버킷(8)의 날(9)에 장착된 타겟 Tg를 촬상한다. 도 10에 나타내는 예에서는, 유압 셔블(100)의 외부에 설치된 타겟 Tg를 사용하여, 아래쪽을 향해 장착된 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된 화상 중에 차지하는 타겟 Tg의 비율을 증가시킨다.
이와 같이, 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된 화상 중에 차지하는 타겟 Tg의 비율이 증가하면 되므로, 제3 위치 정보는, 유압 셔블(100)의 외부에 설치된 타겟 Tg로부터 얻어지는 것에는 한정되지 않는다. 예를 들면, 도 10에 나타낸 바와 같이, 타겟 Tg는, 장착구(60)에 의해 버킷(8)의 폭보다 큰 위치에 배치되어도 된다.
장착구(60)는, 타겟 Tg가 장착되는 축(軸) 부재(62)와, 축 부재(62)의 일단부에 장착된 고정용 부재(61)를 가진다. 고정용 부재(61)는 자석을 가지고 있다. 고정용 부재(61)는, 작업기(2)에 흡착함으로써, 예를 들면, 타겟 Tg 및 축 부재(62)를 작업기(2)에 장착한다. 이와 같이, 고정용 부재(61)는, 작업기(2)에 장착할 수 있고, 또한 작업기(2)로부터 분리해 낼 수 있다. 이 예에서는, 고정용 부재(61)가 버킷 핀(15)에 흡착되어, 타겟 Tg 및 축 부재(62)를 작업기(2)에 고정하고 있다. 작업기(2)에 타겟 Tg가 장착되면, 타겟 Tg는 버킷(8)의 날(9)에 장착된 타겟 Tg보다, 버킷(8)의 폭 방향 W의 외측에 배치된다.
외부 교정 및 차체 교정에 있어서, 처리부(21)는, 장착구(60)에 의해 작업기(2)에 장착된 타겟 Tg 및 버킷(8)의 날(9)에 장착된 타겟 Tg를, 작업기(2)의 자세를 상이하게 하여, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)에 촬상시킨다. 장착구(60)에 의해 작업기(2)에 장착된 타겟 Tg가 촬상되는 것에 의해, 아래쪽을 향해 장착된 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된 화상 중에 차지하는 타겟 Tg의 비율의 저하가 억제된다.
이 예는, 외부 교정 및 차체 교정에 있어서, 장착구(60)를 사용하여 작업기(2)에 타겟 Tg를 장착하는 것만으로 되므로, 유압 셔블(100)의 외부에 타겟 Tg를 설치할 필요는 없다. 그러므로, 외부 교정 및 차체 교정의 준비를 간단하게 할 수 있다.
<교정이 행해지는 장소에 대하여>
도 11은, 적어도 한 쌍의 촬상 장치(30)의 교정이 행해지는 장소를 설명하기 위한 도면이다. 도 11에 나타낸 바와 같이, 유압 셔블(100)은, 유압 셔블(100)으로부터 멀어짐에 따라 높이가 낮아지는 경사면 SP의 바로 앞에 설치되어 있다. 이와 같은 경사면 SP가 유압 셔블(100)의 전방에 있는 위치에 유압 셔블(100)이 설치된 상태에서, 적어도 한 쌍의 촬상 장치(30)의 교정이 행해져도 된다.
실시형태의 교정에 있어서, 처리부(21)는, 버킷(8)의 날(9)에 장착된 타겟 Tg를, 작업기(2)의 자세를 상이하게 하여, 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)에 촬상시킨다. 이 경우, 경사면 SP 상에서 버킷(8)을 상하동시킴으로써, 버킷(8)이 동작하는 범위는, 유압 셔블(100)이 설치되어 있는 면보다 낮은 범위까지 넓어진다. 그러므로, 아래쪽을 향해 장착된 한 쌍의 촬상 장치(30c, 30d)는, 유압 셔블(100)이 설치되어 있는 면보다 낮은 범위에 버킷(8)이 위치했을 때, 버킷(8)의 날(9)에 장착된 타겟 Tg를 촬상할 수 있다. 그 결과, 아래쪽을 향해 장착된 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된 화상 중에 차지하는 타겟 Tg의 비율의 저하가 억제된다.
<교정의 준비에 사용되는 툴의 예>
도 12는, 유압 셔블(100)의 외부에 타겟 Tg를 설치할 때 사용되는 툴의 일례를 나타낸 도면이다. 타겟 Tg의 설치 시에, 설치 작업을 보조하는 툴로서, 예를 들면, 타겟 Tg의 가이던스(guidance)를 화면(71)에 표시하는 표시부를 구비한 휴대 단말기 장치(70)가 이용되어도 된다. 이 예에 있어서, 휴대 단말기 장치(70)는, 교정의 대상으로 되어 있는 한 쌍의 촬상 장치(30)가 촬상하고 있는 화상을, 유압 셔블(100)의 처리 장치(20)로부터 취득한다. 그리고, 휴대 단말기 장치(70)는, 촬상 장치(30)가 촬상하고 있는 화상을, 가이드 프레임(73, 74)과 함께 표시부의 화면(71)에 표시한다.
가이드 프레임(73, 74)은, 한 쌍의 촬상 장치(30)에 의해 촬상된 한 쌍의 화상에 있어서, 스테레오 매칭에 사용할 수 있는 범위를 나타내고 있다. 스테레오 매칭에 있어서는, 한 쌍의 촬상 장치(30)에 의해 촬상된 한 쌍의 화상 중의 대응하는 부분을 탐색한다. 한 쌍의 촬상 장치(30)는 각각 촬상 범위가 상이하므로, 한 쌍의 촬상 장치(30)가 촬상한 범위 중 공통되는 부분이 탐색의 대상, 즉 스테레오 매칭(3차원 계측)에 사용할 수 있는 범위로 된다. 가이드 프레임(73, 74)은 한 쌍의 촬상 장치(30)가 촬상한 범위 중 공통되는 부분을 나타낸 화상이다.
도 12에 나타내는 예에서는, 한쪽의 촬상 장치(30)에 의해 촬상된 화상이 화면(71)의 좌측에 표시되고, 다른 쪽의 촬상 장치(30)에 의해 촬상된 화상이 화면(71)의 우측에 표시되어 있다. 각각의 화상에는, 5개의 타겟 Tg1, Tg2, Tg3, Tg4, Tg5가 나타나 있다. 모든 타겟 Tg1, Tg2, Tg3, Tg4, Tg5는 가이드 프레임(73)의 내측으로 들어가 있지만, 타겟 Tg1은 가이드 프레임(74)의 외측에 있다. 이 경우, 타겟 Tg는, 교정에 이용되지 않게 되어, 교정의 정밀도를 확보할 수 없게 된다. 그러므로, 교정을 행하는 작업자는, 휴대 단말기 장치(70)의 화면(71)을 보면서 타겟 Tg5가 가이드 프레임(74) 내에 들어가도록 타겟 Tg5의 위치를 조정한다.
화면(71)에는, 타겟 Tg5가 이동하는 모양을 나타낸 것으로, 교정을 행하는 작업자는, 많은 타겟 Tg를, 한 쌍의 촬상 장치(30)의 스테레오 매칭에 사용할 수 있는 범위에 배치할 수 있는 동시에, 전술한 범위 전체에 타겟 Tg를 배치할 수 있다. 그 결과, 실시형태에 관한 교정의 정밀도가 향상된다. 휴대 단말기 장치(70)의 화면에 가이드 프레임(73, 74) 및 한 쌍의 촬상 장치(30)에 의해 촬상된 화상이 표시되므로, 교정을 행하는 작업자는, 타겟 Tg를 설치하면서 결과를 확인 가능하므로, 타겟 Tg를 설치할 때의 작업 효율이 향상된다.
이 예에서는, 한 쌍의 촬상 장치(30)에 의해 촬상된 한 쌍의 화상이 휴대 단말기 장치(70)에 구비된 표시부의 화면(71)에 표시되었지만, 유압 셔블(100)이 가지는 한 쌍의 촬상 장치(30a, 30b) 및 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된, 합계 4개의 화상이 화면(71)에 표시되어도 된다. 이와 같이 함으로써, 교정을 행하는 작업자는, 유압 셔블(100)이 가지는 모든 촬상 장치(30a, 30b, 30c, 30d)에 의해 촬상된 화상 중에서의 타겟 Tg의 배치의 밸런스를 고려하면서, 타겟 Tg를 설치할 수 있다.
가이드 프레임(73, 74) 및 한 쌍의 촬상 장치(30)에 의해 촬상된 화상은, 휴대 단말기 장치(70)의 화면(71) 이외의 화면에 표시되어도 된다. 예를 들면, 유압 셔블(100)의 운전실(4) 내에 설치된 모니터 패널(26)에 가이드 프레임(73, 74) 및 한 쌍의 촬상 장치(30)에 의해 촬상된 화상이 표시되어도 된다. 이와 같이 하면, 휴대 단말기 장치(70)는 불필요하게 된다.
이상, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 작업기(2)의 소정의 위치를 적어도 한 쌍의 촬상 장치(30)에 의해 촬상하는 동시에, 얻어진 화상으로부터 작업기(2)의 소정의 위치에 관한 제1 위치 정보를 구하고, 촬상 시에서의 소정의 위치에 관한 제2 위치 정보를 적어도 한 쌍의 촬상 장치(30)와는 상이한 위치 검출기에 의해 구하고, 작업 기계의 외부에서의 소정의 위치를 적어도 한 쌍의 촬상 장치(30)에 의해 촬상하는 동시에, 얻어진 화상으로부터 작업 기계의 외부에서의 소정의 위치에 관한 제3 위치 정보를 구한다. 그리고, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 제1 위치 정보, 제2 위치 정보 및 제3 위치 정보를 사용하여, 적어도 한 쌍의 촬상 장치(30)의 위치 및 자세에 관한 정보와, 적어도 한 쌍의 촬상 장치(30)가 촬상한 대상의 위치를 제1 좌표계로부터 제2 좌표계로 변환하기 위해 사용되는 변환 정보를 구한다. 이와 같은 처리에 의해, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 작업 기계에 장착된 적어도 한 쌍의 촬상 장치(30)의 외부 교정과 차체 교정을 동시에 행할 수 있다. 또한, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 작업기(2)의 소정의 위치 및 작업 기계의 외부에서의 소정의 위치를 적어도 한 쌍의 촬상 장치(30)에 의해 촬상함으로써 교정에 필요한 정보를 얻을 수 있으므로, 교정을 위한 기기, 그 기기를 조작하기 위한 인원, 및 전용 설비 등을 준비하는 것이 곤란한 작업 현장에 있어서도, 적어도 한 쌍의 촬상 장치(30)를 교정할 수 있다.
실시형태에 관한 교정 시스템(50) 및 교정 방법은, 작업기(2)에 장착된 타겟 Tg에 더하여, 작업 기계의 외부에 타겟 Tg가 설치되므로, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 화상의 넓은 범위에 타겟 Tg를 존재하게 할 수 있다. 그 결과, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상되는 대상의 넓은 범위에서, 스테레오 방식에 의한 3차원 계측의 정밀도를 향상시킬 수 있다. 또한, 작업 기계의 외부에 타겟 Tg가 설치되므로, 아래쪽을 향해 설치된 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된 화상에 차지하는 타겟 Tg의 비율의 저하가 억제된다. 그 결과, 스테레오 방식에 의해 지면을 확실하게 3차원 계측할 수 있는 동시에, 계측 정밀도를 향상시킬 수 있다.
실시형태에 있어서, 제2 위치 정보를, 적어도 한 쌍의 촬상 장치(30)가 배열되어 있는 방향에서의, 상기 작업기의 중앙의 위치에 관한 정보로 함으로써, 차체 교정의 정밀도 저하가 억제된다. 실시형태에 있어서, 제2 위치 정보는, 작업기(2)의 상이한 적어도 3개의 자세에 의해 얻어진 복수의 정보이면 된다. 실시형태에 있어서는, 2대의 촬상 장치(30)를 교정했지만, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 한 쌍의 촬상 장치(30)의 교정, 및 3대 이상의 촬상 장치(30)의 교정에도 적용할 수 있다.
실시형태에 있어서, 위치 검출기는, 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)였지만, 이들에 한정되지 않는다. 예를 들면, 유압 셔블(100)이 RTK―GNSS(Real Time Kinematic―Global Navigation Satellite Systems, GNSS는 전지구 항법 위성 시스템을 말함)용의 안테나를 구비하고, GNSS에 의해 안테나의 위치를 계측함으로써 자차의 위치를 검출하는 위치 검출 시스템을 구비하고 있는 것으로 한다. 이 경우, 전술한 위치 검출 시스템을 위치 검출기로 하고, GNSS용의 안테나의 위치를 작업 기계의 소정의 위치로 한다. 그리고, GNSS용의 안테나의 위치를 변화시키면서 적어도 한 쌍의 촬상 장치(30) 및 위치 검출기에 의해 GNSS용의 안테나의 위치를 검출함으로써 제1 위치 정보 및 제2 위치 정보를 얻는다. 처리부(21)는, 얻어진 제1 위치 정보 및 제2 위치 정보와, 작업 기계의 외부에 설치된 타겟 Tg로부터 얻어진 제3 위치 정보를 사용하여, 위치 정보, 자세 정보 및 변환 정보를 구한다.
이외에도, 분리 가능한 GNSS 수신기를 유압 셔블(100)의 소정의 위치, 예를 들면, 주행체(5) 또는 작업기(2)의 소정의 위치에 장착하여, GNSS 수신기를 위치 검출기로 함으로써, 전술한 자차의 위치를 검출하는 위치 검출 시스템을 위치 검출기로 한 경우와 마찬가지로 변환 정보를 얻을 수 있다.
작업 기계는, 적어도 한 쌍의 촬상 장치(30)를 구비하고, 적어도 한 쌍의 촬상 장치(30)를 사용하여 스테레오 방식으로 대상을 3차원 계측하는 것이면 유압 셔블(100)에 한정되지 않는다. 작업 기계는, 작업기를 가지고 있으면 되고, 예를 들면, 휠 로더(wheel loader) 또는 불도저(bulldozer)와 같은 작업 기계라도 된다.
실시형태에 있어서, 위치 정보, 자세 정보 및 변환 정보를 구할 때, 날(9)에 타겟 Tg를 설치하였으나, 이들은 반드시 필요한 것은 아니다. 예를 들면, 도 4에 나타내는 입력 장치(52)에 의해, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 대상의 화상 내에, 처리부(21)가 위치를 구하는 부분, 예를 들면, 버킷(8)의 날(9)의 부분이 지정되어도 된다.
이상, 실시형태를 설명하였으나, 전술한 내용에 의해 실시형태가 한정되는 것은 아니다. 또한, 전술한 구성 요소에는, 당업자가 용이하게 상정(想定)할 수 있는 것, 실질적으로 동일한 것, 이른바 균등한 범위의 것이 포함된다. 전술한 구성 요소는 적절히 조합시키는 것이 가능하다. 실시형태의 요지를 벗어나지 않는 범위에 의해 구성 요소의 각종 생략, 치환 및 변경 중 하나 이상을 행할 수 있다.
1: 차체
2: 작업기
3: 선회체
3T: 전단
4: 운전실
5: 주행체
6: 붐
7: 암
8: 버킷
9, 9L, 9C, 9R: 날
10: 붐 실린더
11: 암 실린더
12: 버킷 실린더
18A: 제1 각도 검출부
18B: 제2 각도 검출부
18C: 제3각도 검출부
20: 처리 장치
21: 기억부
21: 처리부
22: 기억부
23: 입출력부
30, 30a, 30b, 30c, 30d: 촬상 장치
50: 교정 시스템
100: 유압 셔블
Tg,Tg1,Tg2,Tg3,Tg4,Tg5,Tgl,Tgc,Tgr: 타겟

Claims (6)

  1. 작업기를 구비하는 작업 기계에 구비되어, 대상을 촬상하는 적어도 한 쌍의 촬상 장치;
    상기 작업기의 위치를 검출하는 위치 검출기; 및
    적어도 한 쌍의 상기 촬상 장치에 의해 촬상된 상기 작업기의 소정의 위치에 관한 정보인 제1 위치 정보와, 적어도 한 쌍의 상기 촬상 장치가 상기 소정의 위치를 촬상했을 때의 상기 작업기의 자세에서, 상기 위치 검출기에 의해 검출된 상기 소정의 위치에 관한 정보인 제2 위치 정보와, 적어도 한 쌍의 상기 촬상 장치에 의해 촬상된 상기 작업 기계의 외부에서의 소정의 위치에 관한 정보인 제3 위치 정보를 사용하여, 적어도 한 쌍의 상기 촬상 장치의 위치 및 자세에 관한 정보와, 적어도 한 쌍의 상기 촬상 장치가 촬상한 상기 대상의 위치를 제1 좌표계로부터 제2 좌표계로 변환하기 위해 사용되는 변환 정보를 구하는 처리부;
    를 포함하는 교정 시스템.
  2. 제1항에 있어서,
    상기 작업기의 상기 소정의 위치에는 제1 표지가 배치되어 있고, 상기 제1 위치 정보는, 적어도 한 쌍의 상기 촬상 장치가, 상이한 자세의 상기 작업기로부터 상기 제1 표지의 위치를 촬상함으로써 얻어진 정보이며,
    상기 제2 위치 정보는, 상기 위치 검출기가, 상이한 자세의 상기 작업기로부터 상기 소정의 위치를 검출함으로써 얻어진 정보이며,
    상기 제3 위치 정보는, 상기 작업 기계의 외부에 설치된 제2 표지의 위치 정보인, 교정 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 제2 위치 정보는, 적어도 한 쌍의 상기 촬상 장치가 배열되어 있는 방향에서의, 상기 작업기의 중앙의 위치에 관한 정보이며, 상기 작업기의 상이한 적어도 3개의 자세에 의해 얻어진 복수의 정보인, 교정 시스템.
  4. 제1항 또는 제2항에 있어서,
    상기 위치 검출기는, 상기 작업 기계에 구비되어, 상기 작업기를 동작시키는 액추에이터의 동작량을 검출하는 센서인, 교정 시스템.
  5. 작업기; 및
    제1항 내지 제4항 중 어느 한 항에 기재된 상기 교정 시스템;
    을 포함하는 작업 기계.
  6. 적어도 한 쌍의 촬상 장치에 의해 작업기의 소정의 위치 및 상기 작업기를 구비하는 작업 기계의 주위의 소정의 위치를 촬상하는 동시에, 적어도 한 쌍의 상기 촬상 장치는 상이한 위치 검출기에 의해 상기 작업 기계의 소정의 위치를 검출하는 검출 단계; 및
    적어도 한 쌍의 상기 촬상 장치에 의해 촬상된 상기 작업기의 소정의 위치에 관한 정보인 제1 위치 정보와, 적어도 한 쌍의 상기 촬상 장치가 상기 소정의 위치를 촬상했을 때의 상기 작업기의 자세에서, 상기위치 검출기에 의해 검출된 상기 소정의 위치에 관한 정보인 제2 위치 정보와, 적어도 한 쌍의 상기 촬상 장치에 의해 촬상된 상기 작업 기계의 외부에서의 소정의 위치에 관한 정보인 제3 위치 정보를 사용하여, 적어도 한 쌍의 상기 촬상 장치의 위치 및 자세에 관한 정보와, 적어도 한 쌍의 상기 촬상 장치가 촬상한 대상의 위치를 제1 좌표계로부터 제2 좌표계로 변환하기 위해 사용되는 변환 정보를 구하는 연산 단계;
    를 포함하는 교정 방법.
KR1020167029420A 2016-03-29 2016-03-29 교정 시스템, 작업 기계 및 교정 방법 KR101885704B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/060273 WO2016148309A1 (ja) 2016-03-29 2016-03-29 校正システム、作業機械及び校正方法

Publications (2)

Publication Number Publication Date
KR20170112999A true KR20170112999A (ko) 2017-10-12
KR101885704B1 KR101885704B1 (ko) 2018-08-06

Family

ID=56919811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167029420A KR101885704B1 (ko) 2016-03-29 2016-03-29 교정 시스템, 작업 기계 및 교정 방법

Country Status (6)

Country Link
US (1) US20170284071A1 (ko)
JP (1) JP6229097B2 (ko)
KR (1) KR101885704B1 (ko)
CN (1) CN106029994B (ko)
DE (1) DE112016000038B4 (ko)
WO (1) WO2016148309A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210036964A (ko) * 2018-09-21 2021-04-05 히다찌 겐끼 가부시키가이샤 좌표 변환 시스템 및 작업 기계

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018017617A (ja) * 2016-07-28 2018-02-01 株式会社神戸製鋼所 建設機械
KR102089454B1 (ko) * 2016-10-31 2020-03-16 가부시키가이샤 고마쓰 세이사쿠쇼 계측 시스템, 작업 기계 및 계측 방법
JP6949483B2 (ja) * 2016-12-22 2021-10-13 株式会社クボタ 作業機
JP6966218B2 (ja) * 2017-04-27 2021-11-10 株式会社小松製作所 撮像装置の校正装置、作業機械および校正方法
DE102017114450B4 (de) * 2017-06-29 2020-10-08 Grammer Aktiengesellschaft Vorrichtung und Verfahren zum Abbilden von Bereichen
KR20190019889A (ko) * 2017-07-13 2019-02-27 가부시키가이샤 고마쓰 세이사쿠쇼 유압 셔블 및 유압 셔블의 교정 방법
US10526766B2 (en) * 2017-07-31 2020-01-07 Deere & Company Work machines and methods and systems to control and determine a position of an associated implement
KR102248026B1 (ko) * 2017-09-01 2021-05-03 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 계측 시스템, 작업 기계, 및 작업 기계의 계측 방법
JP6840645B2 (ja) * 2017-09-08 2021-03-10 株式会社小松製作所 施工管理装置および施工管理方法
JP7177608B2 (ja) * 2018-06-11 2022-11-24 株式会社小松製作所 作業機械を含むシステム、コンピュータによって実行される方法、学習済みの位置推定モデルの製造方法、および学習用データ
JP7203105B2 (ja) * 2018-06-29 2023-01-12 株式会社小松製作所 撮像装置の校正装置、監視装置、作業機械および校正方法
JP7428588B2 (ja) * 2020-05-22 2024-02-06 鉄建建設株式会社 建設車両用映像表示システム
JP2022001836A (ja) 2020-06-19 2022-01-06 株式会社小松製作所 校正装置および校正方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055762A (ja) * 1999-08-13 2001-02-27 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその位置計測手段の校正方法
JP2012233353A (ja) 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5227139B2 (ja) * 2008-11-12 2013-07-03 株式会社トプコン 建設機械
US9139977B2 (en) * 2010-01-12 2015-09-22 Topcon Positioning Systems, Inc. System and method for orienting an implement on a vehicle
US8965642B2 (en) * 2012-10-05 2015-02-24 Komatsu Ltd. Display system of excavating machine and excavating machine
JP6258582B2 (ja) * 2012-12-28 2018-01-10 株式会社小松製作所 建設機械の表示システムおよびその制御方法
WO2015162710A1 (ja) * 2014-04-23 2015-10-29 株式会社日立製作所 掘削装置
US9666843B2 (en) * 2014-07-30 2017-05-30 Ford Global Technologies, Llc Array frame design for electrified vehicle battery arrays
US9824490B1 (en) * 2015-06-08 2017-11-21 Bentley Systems, Incorporated Augmentation of a dynamic terrain surface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055762A (ja) * 1999-08-13 2001-02-27 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその位置計測手段の校正方法
JP2012233353A (ja) 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210036964A (ko) * 2018-09-21 2021-04-05 히다찌 겐끼 가부시키가이샤 좌표 변환 시스템 및 작업 기계

Also Published As

Publication number Publication date
JP6229097B2 (ja) 2017-11-08
KR101885704B1 (ko) 2018-08-06
CN106029994B (zh) 2020-04-03
CN106029994A (zh) 2016-10-12
DE112016000038B4 (de) 2020-10-01
WO2016148309A1 (ja) 2016-09-22
US20170284071A1 (en) 2017-10-05
DE112016000038T5 (de) 2017-03-23
JPWO2016148309A1 (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
KR101885704B1 (ko) 교정 시스템, 작업 기계 및 교정 방법
JP6050525B2 (ja) 位置計測システム、作業機械及び位置計測方法
KR20170039612A (ko) 교정 시스템, 작업 기계 및 교정 방법
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
JP5337658B2 (ja) 広角撮像装置及び測定システム
CN108700402B (zh) 位置测量系统、作业机械及位置测量方法
KR102501073B1 (ko) 좌표 변환 시스템 및 작업 기계
JP6966218B2 (ja) 撮像装置の校正装置、作業機械および校正方法
JP7203105B2 (ja) 撮像装置の校正装置、監視装置、作業機械および校正方法
JP6585697B2 (ja) 施工管理システム
JP6058483B2 (ja) 空撮測量方法および装置
WO2020065738A1 (ja) 作業機の外形形状測定システム,作業機の外形形状表示システム,作業機の制御システム及び作業機械
KR101944816B1 (ko) 굴삭 작업 검측 자동화 시스템
AU2021201940A1 (en) Construction method, work machine control system, and work machine
JP2017193958A (ja) 校正システム、作業機械及び校正方法
KR20170119066A (ko) Gps 및 경사센서를 활용한 토공량 산출시스템
JP6598552B2 (ja) 位置計測システム
KR101944817B1 (ko) 휴대단말기를 이용한 굴삭 작업 검측 자동화 시스템
KR20220139031A (ko) 건설기계의 제어 시스템 및 작업 가이드 라인 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant