KR20170039612A - 교정 시스템, 작업 기계 및 교정 방법 - Google Patents

교정 시스템, 작업 기계 및 교정 방법 Download PDF

Info

Publication number
KR20170039612A
KR20170039612A KR1020167004863A KR20167004863A KR20170039612A KR 20170039612 A KR20170039612 A KR 20170039612A KR 1020167004863 A KR1020167004863 A KR 1020167004863A KR 20167004863 A KR20167004863 A KR 20167004863A KR 20170039612 A KR20170039612 A KR 20170039612A
Authority
KR
South Korea
Prior art keywords
information
coordinate system
working machine
image pickup
detecting
Prior art date
Application number
KR1020167004863A
Other languages
English (en)
Inventor
? 가와모토
šœ 가와모토
다이키 스가와라
히로요시 야마구치
Original Assignee
가부시키가이샤 고마쓰 세이사쿠쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 고마쓰 세이사쿠쇼 filed Critical 가부시키가이샤 고마쓰 세이사쿠쇼
Publication of KR20170039612A publication Critical patent/KR20170039612A/ko

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/22Hydraulic or pneumatic drives
    • E02F9/2203Arrangements for controlling the attitude of actuators, e.g. speed, floating function
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • E02F9/262Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • E02F9/265Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • GPHYSICS
    • G12INSTRUMENT DETAILS
    • G12BCONSTRUCTIONAL DETAILS OF INSTRUMENTS, OR COMPARABLE DETAILS OF OTHER APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G12B13/00Calibrating of instruments and apparatus
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/40Special vehicles
    • B60Y2200/41Construction vehicles, e.g. graders, excavators
    • B60Y2200/412Excavators
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

교정 시스템은, 작업기를 가지는 작업 기계에 구비되어, 대상의 위치를 검출하여 출력하는 제1 위치 검출부와, 상기 제1 위치 검출부에 의해 검출된 상기 작업 기계의 소정의 위치에 관한 정보인 제1 위치 정보, 및 상기 제1 위치 검출부가 상기 소정의 위치를 검출했을 때의 상기 작업 기계의 자세에서, 제2 위치 검출부에 의해 검출된 상기 소정의 위치에 관한 정보인 제2 위치 정보를 이용하여, 상기 제1 위치 검출부가 검출한 위치를 상기 제1 위치 검출부의 좌표계로부터 상기 제1 위치 검출부의 좌표계와는 상이한 좌표계로 변환하기 위해 사용되는 변환 정보를 구하여 출력하거나, 또는 상기 제2 위치 검출부가 검출한 위치를 상기 제2 위치 검출부의 좌표계로부터 상기 제2 위치 검출부의 좌표계와는 상이한 좌표계로 변환하기 위해 사용되는 변환 정보를 구하여 출력하는 처리부를 포함한다.

Description

교정 시스템, 작업 기계 및 교정 방법{CALIBRATION SYSTEM, WORK MACHINE, AND CALIBRATION METHOD}
본 발명은, 작업 기계에 구비되어 대상(對象)의 위치를 검출하는 위치 검출부를 교정하기 위한, 교정 시스템, 작업 기계 및 교정 방법에 관한 것이다.
대상의 위치를 검출하는 수단으로서, 촬상(撮像) 장치를 구비한 작업 기계가 있다(예를 들면, 특허 문헌 1).
일본 공개특허 제2012―233353호 공보
작업 기계에 구비된, 대상의 위치를 검출하는 위치 검출 수단에 의해 검출된 대상의 위치를 이용하여, 예를 들면, 대상의 위치가 위치 검출 수단의 좌표계에 기초한 것인 경우, 검출된 대상의 위치가 지구 상의 어느 위치에 있는지를 알기 위해는, 위치 검출 수단의 좌표계로부터 이와는 상이한 좌표계로 변환될 필요가 있다. 특허 문헌 1에는, 촬상 장치를 사용하여 작업기를 교정하는 기술이 기재되어 있다. 그러나, 특허 문헌 1에는, 작업 기계에 구비된, 대상의 위치를 검출하는 수단에 의해 검출된 대상의 위치를, 대상의 위치를 검출하는 수단 이외의 좌표계로 변환하는 것에 대해서는 기재도 시사도 되어 있지 않다.
본 발명은, 작업 기계에 구비된, 대상의 위치를 검출하는 수단에 의해 검출된 대상의 위치 정보를, 대상의 위치를 검출하는 수단 이외의 좌표계로 변환하기 위한 변환 정보를 구하는 것을 목적으로 한다.
본 발명은, 작업기를 가지는 작업 기계에 구비되어, 대상의 위치를 검출하여 출력하는 제1 위치 검출부와, 상기 제1 위치 검출부에 의해 검출된 상기 작업 기계의 소정의 위치에 관한 정보인 제1 위치 정보, 및 상기 제1 위치 검출부가 상기 소정의 위치를 검출했을 때의 상기 작업 기계의 자세에서, 제2 위치 검출부에 의해 검출된 상기 소정의 위치에 관한 정보인 제2 위치 정보를 이용하여, 상기 제1 위치 검출부가 검출한 위치를 상기 제1 위치 검출부의 좌표계로부터 상기 제1 위치 검출부의 좌표계와는 상이한 좌표계로 변환하기 위해 사용되는 변환 정보를 구하여 출력하거나, 또는 상기 제2 위치 검출부가 검출한 위치를 상기 제2 위치 검출부의 좌표계로부터 상기 제2 위치 검출부의 좌표계와는 상이한 좌표계로 변환하기 위해 사용되는 변환 정보를 구하여 출력하는 처리부를 포함하는 교정 시스템이다.
상기 제1 위치 정보는, 상기 제1 위치 검출부가, 상이한 자세의 상기 작업 기계로부터 상기 소정의 위치를 검출함으로써 얻어진 복수의 정보이며, 상기 제2 위치 정보는, 상기 제2 위치 검출부가, 상이한 자세의 상기 작업기 기계로부터 상기 소정의 위치를 검출함으로써 얻어진 복수의 정보인 것이 바람직하다.
상기 제1 위치 검출부는, 적어도 한 쌍의 촬상 장치에 의해 구성된 스테레오 카메라이며, 상기 제2 위치 검출부는, 상기 작업 기계에 구비되어, 상기 작업기를 동작시키는 액추에이터의 동작량을 검출하는 센서인 것이 바람직하다.
상기 소정의 위치는, 상기 스테레오 카메라를 구성하는 한 쌍의 상기 촬상 장치가 배열되어 있는 방향에서의, 상기 작업 기계의 복수의 위치인 것이 바람직하다.
본 발명은, 작업기와, 상기 교정 시스템을 포함하는, 작업 기계이다.
본 발명은, 제1 방법 및 제2 방법에 의해 작업 기계의 소정의 위치를, 상기 작업 기계의 자세가 상이한 상태에서 검출하고, 상기 제1 방법에 의해 검출된 상기 소정의 위치에 관한 정보인 제1 위치 정보, 및 상기 제1 방법에 의해 상기 소정의 위치가 검출되었을 때의 상기 작업기의 자세에서 상기 제2 방법에 의해 검출된 상기 소정의 위치에 관한 정보인 제2 위치 정보를 이용하여, 상기 제1 방법에 의해 검출된 위치를 상기 제1 방법에서의 좌표계로부터 상기 제1 위치 검출부의 좌표계와는 상이한 좌표계로 변환하기 위해 사용되는 변환 정보를 구하거나, 또는 상기 제2 위치 검출부가 검출한 위치를 상기 제2 위치 검출부의 좌표계로부터 상기 제2 위치 검출부의 좌표계와는 상이한 좌표계로 변환하기 위해 사용되는 변환 정보를 구하는 교정 방법이다.
상기 제1 위치 검출부가 상이한 자세의 상기 작업 기계로부터 상기 소정의 위치를 검출함으로써 얻어진 복수의 정보가 상기 제1 위치 정보이며, 상기 제2 위치 검출부가 상이한 자세의 상기 작업 기계로부터 상기 소정의 위치를 검출함으로써 얻어진 복수의 정보가 상기 제2 위치 정보이며, 상기 소정의 위치를 검출하는 경우, 상기 제1 위치 검출부 및 상기 제2 위치 검출부는, 상이한 자세의 상기 작업 기계로부터 상기 소정의 위치를 검출하는 것이 바람직하다.
상기 제1 방법은, 스테레오 방식에 의해 상기 소정의 위치를 3차원 계측하는 것이며, 상기 소정의 위치는, 상기 스테레오 방식에 의한 상기 3차원 계측에 사용되는 한 쌍의 촬상 장치가 배열되어 있는 방향에서의, 상기 작업 기계의 복수의 위치인 것이 바람직하다.
본 발명은, 작업 기계에 구비된, 대상의 위치를 검출하는 수단에 의해 검출된 대상의 위치 정보를, 대상의 위치를 검출하는 수단 이외의 좌표계로 변환하기 위한 변환 정보를 구할 수 있다.
도 1은, 실시형태에 관한 교정 시스템을 구비한 유압 셔블(hydraulic shovel)의 사시도이다.
도 2는, 실시형태에 관한 유압 셔블의 운전석 부근을 나타낸 사시도이다.
도 3은, 실시형태에 관한 유압 셔블이 가지는 작업기의 치수 및 유압 셔블의 좌표계를 나타낸 도면이다.
도 4는, 복수의 촬상 장치가 대상을 촬상함으로써 얻어진 화상의 일례를 나타낸 도면이다.
도 5는, 복수의 촬상 장치가 촬상하는 대상의 일례를 나타낸 도면이다.
도 6은, 실시형태에 관한 교정 시스템을 나타낸 도면이다.
도 7은, 실시형태에 관한 교정 방법을 설명하는 도면이다.
도 8은, 실시형태에 관한 처리 장치가 실시형태에 관한 교정 방법을 실행할 때의 처리예를 나타낸 플로우차트이다.
도 9는, 실시형태에 관한 처리 장치가 실시형태에 관한 교정 방법을 실행할 때 촬상 장치(30)가 촬상하는 대상을 나타낸 도면이다.
도 10은, 실시형태에 관한 처리 장치가 실시형태에 관한 교정 방법을 실행할 때 촬상 장치가 촬상하는 대상을 나타낸 도면이다.
도 11은, 실시형태에 관한 처리 장치가 실시형태에 관한 교정 방법을 실행할 때 촬상 장치가 촬상하는 대상의 자세를 나타낸 도면이다.
도 12는, 실시형태에 관한 처리 장치가 실시형태에 관한 교정 방법을 실행할 때 촬상 장치가 촬상하는 대상의 자세를 나타낸 도면이다.
도 13은, 실시형태에 관한 처리 장치가 실시형태에 관한 교정 방법을 실행할 때 촬상 장치가 촬상하는 대상의 자세를 나타낸 도면이다.
본 발명을 실시하기 위한 형태(실시형태)에 대하여, 도면을 참조하면서 상세하게 설명한다.
<유압 셔블의 전체 구성>
도 1은, 실시형태에 관한 교정 시스템을 구비한 유압 셔블(100)의 사시도이다. 도 2는, 실시형태에 관한 유압 셔블(100)의 운전석 부근을 나타낸 사시도이다. 도 3은, 실시형태에 관한 유압 셔블이 가지는 작업기(2)의 치수 및 유압 셔블(100)의 좌표계를 나타낸 도면이다.
작업 기계인 유압 셔블(100)은, 차체(1) 및 작업기(2)를 가진다. 차체(1)는, 선회체(旋回體)(3), 운전실(4) 및 주행체(5)를 가진다. 선회체(3)는, 주행체(5)에 선회 가능하게 장착되어 있다. 선회체(3)는, 도시하지 않은 유압(油壓) 펌프 및 엔진 등의 장치를 수용하고 있다. 운전실(4)은 선회체(3)의 앞부분에 배치되어 있다. 운전실(4) 내에는, 도 2에 나타내는 조작 장치(25)가 배치된다. 주행체(5)는 크롤러 트랙(crawler track)(5a, 5b)을 가지고 있고, 크롤러 트랙(5a, 5b)이 회동하는 것에 의해 유압 셔블(100)이 주행한다.
작업기(2)는, 차체(1)의 앞부분에 장착되어 있고, 붐(boom)(6), 암(arm)(7), 작업구로서의 버킷(bucket)(8), 붐 실린더(10), 암 실린더(11) 및 버킷 실린더(12)를 가진다. 실시형태에 있어서, 차체(1)의 전방은, 도 2에 나타내는 운전석(4S)의 등받이(4SS)로부터 조작 장치(25)를 향하는 방향 측이다. 차체(1)의 후방은, 조작 장치(25)로부터 운전석(4S)의 등받이(4SS)를 향하는 방향 측이다. 차체(1)의 앞부분은, 차체(1)의 전방측의 부분이며, 차체(1)의 카운터 웨이트(counter weight) WT와는 반대측의 부분이다. 조작 장치(25)는, 작업기(2) 및 선회체(3)를 조작하기 위한 장치이며, 우측 레버(25R) 및 좌측 레버(25L)를 가진다. 운전실(4) 내에는, 운전석(4S)의 전방에 모니터 패널(26)이 설치된다.
붐(6)의 기단부(基端部)는, 붐 핀(boom pin)(13)을 통하여 차체(1)의 앞부분으로 회동(回動) 가능하게 장착되어 있다. 붐 핀(13)은, 붐(6)의 선회체(3)에 대한 회동 중심에 상당한다. 암(7)의 기단부는, 암 핀(arm pin)(14)을 통하여 붐(6)의 선단부에 회동 가능하게 장착되어 있다. 암핀(14)은, 암(7)의 붐(6)에 대한 회동 중심에 상당한다. 암(7)의 선단부에는, 버킷 핀(bucket pin)(15)을 통하여 버킷(8)이 회동 가능하게 장착되어 있다. 버킷 핀(15)은, 버킷(8)의 암(7)에 대한 회동 중심에 상당한다.
도 3에 나타낸 바와 같이, 붐(6)의 길이, 즉 붐 핀(13)과 암 핀(14)과의 사이의 길이는 L1이다. 암(7)의 길이, 즉 암 핀(14)과 버킷 핀(15)과의 사이의 길이는 L2이다. 버킷(8)의 길이, 즉 버킷 핀(15)과 버킷(8)의 날(9)의 선단인 날끝(blade edge)(P3)과의 사이의 길이는, L3이다.
도 1에 나타내는 붐 실린더(10), 암 실린더(11) 및 버킷 실린더(12)는, 각각 유압에 의해 구동되는 유압 실린더이다. 이들은, 유압 셔블(100)의 차체(1)에 구비되어, 작업기(2)를 동작시키는 액추에이터이다. 붐 실린더(10)의 기단부는, 붐 실린더 후드핀(10a)을 통하여 선회체(3)에 회동 가능하게 장착되어 있다. 붐 실린더(10)의 선단부는, 붐 실린더 탑 핀(10b)을 통하여 붐(6)에 회동 가능하게 장착되어 있다. 붐 실린더(10)는, 유압에 의해 신축함으로써, 붐(6)을 구동한다.
암 실린더(11)의 기단부는, 암 실린더 후드핀(11a)을 통하여 붐(6)에 회동 가능하게 장착되어 있다. 암 실린더(11)의 선단부는, 암 실린더 탑 핀(11b)을 통하여 암(7)에 회동 가능하게 장착되어 있다. 암 실린더(11)는, 유압에 의해 신축됨으로써, 암(7)을 구동한다.
버킷 실린더(12)의 기단부는, 버킷 실린더 후드핀(12a)을 통하여 암(7)에 회동 가능하게 장착되어 있다. 버킷 실린더(12)의 선단부는, 버킷 실린더 탑 핀(12b)을 통하여 제1 링크 부재(47)의 일단 및 제2 링크 부재(48)의 일단에 회동 가능하게 장착되어 있다. 제1 링크 부재(47)의 타단은, 제1 링크 핀(47a)을 통하여 암(7)의 선단부에 회동 가능하게 장착되어 있다. 제2 링크 부재(48)의 타단은, 제2 링크 핀(48a)을 통하여 버킷(8)에 회동 가능하게 장착되어 있다. 버킷 실린더(12)는, 유압에 의해 신축함으로써, 버킷(8)을 구동한다.
도 3에 나타낸 바와 같이, 붐(6)과 암(7)과 버킷(8)에는, 각각 제1 각도 검출부(18A)와, 제2 각도 검출부(18B)와, 제3 각도 검출부(18C)가 설치되어 있다. 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)는, 예를 들면, 스트로크 센서이다. 이들은, 각각이, 붐 실린더(10), 암 실린더(11) 및 버킷 실린더(12)의 스트로크 길이를 검출함으로써, 차체(1)에 대한 붐(6)의 회동각(回動角)과, 붐(6)에 대한 암(7)의 회동각과, 암(7)에 대한 버킷(8)의 회동각을 간접적으로 검출한다.
실시형태에서는, 제1 각도 검출부(18A)는, 붐 실린더(10)의 동작량, 즉 스트로크 길이를 검출한다. 후술하는 처리 장치(20)는, 제1 각도 검출부(18A)가 검출한 붐 실린더(10)의 스트로크 길이로부터, 도 3에 나타내는 유압 셔블(100)의 좌표계(Xm, Ym, Zm)의 Zm 축에 대한 붐(6)의 회동각(δ1)을 연산한다. 이하에 있어서, 유압 셔블(100)의 좌표계를 적절히, 차체 좌표계라고 한다. 도 2에 나타낸 바와 같이, 차체 좌표계의 원점은, 붐 핀(13)의 중심이다. 붐 핀(13)의 중앙이란, 붐핀(13)이 신장되는 방향에 직교하는 평면에서 붐 핀(13)을 잘랐을 때의 단면(斷面)의 중심, 또한 붐 핀(13)이 신장되는 방향에서의 중심이다. 차체 좌표계는, 실시형태의 예에 한정되지 않고, 예를 들면, 선회체(3)의 선회 중심을 Zm 축으로 하고, 붐 핀(13)이 연장되는 방향과 평행한 축선을 Ym 축으로 하고, Zm축 및 Ym축과 직교하는 축선을 Xm 축으로 하는 것이라도 된다.
제2 각도 검출부(18B)는, 암 실린더(11)의 동작량, 즉 스트로크 길이를 검출한다. 처리 장치(20)는, 제2 각도 검출부(18B)가 검출한 암 실린더(11)의 스트로크 길이로부터, 붐(6)에 대한 암(7)의 회동각(δ2)을 연산한다. 제3 각도 검출부(18C)는, 버킷 실린더(12)의 동작량, 즉 스트로크 길이를 검출한다. 처리 장치(20)는, 제3 각도 검출부(18C)가 검출한 버킷 실린더(12)의 스트로크 길이로부터, 암(7)에 대한 버킷(8)의 회동각(δ3)을 연산한다.
<촬상 장치>
도 2에 나타낸 바와 같이, 유압 셔블(100)은, 예를 들면, 운전실(4) 내에, 복수의 촬상 장치(30a, 30b, 30c, 30d)를 가진다. 이하에 있어서, 복수의 촬상 장치(30a, 30b, 30c, 30d)를 구별하지 않을 경우에는 적절히, 촬상 장치(30)라고 한다. 촬상 장치(30)의 종류는 한정되지 않지만, 실시형태에서는, 예를 들면, CCD(Couple Charged Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 구비한 촬상 장치가 사용된다.
실시형태에서는 복수(4개)의 촬상 장치(30a, 30b, 30c, 30d)는, 유압 셔블(100)에 장착된다. 더욱 상세하게는, 도 2에 나타낸 바와 같이, 촬상 장치(30a)와 촬상 장치(30b)는 소정 간격을 두고 같은 방향을 향해, 예를 들면, 운전실(4) 내에 배치된다. 촬상 장치(30c)와 촬상 장치(30d)는 소정 간격을 두고 같은 방향을 향해 운전실(4) 내에 배치된다. 촬상 장치(30b) 및 촬상 장치(30d)는, 작업기(2) 쪽으로 약간 향해, 즉 촬상 장치(30a) 및 촬상 장치(30c) 측의 쪽으로 약간 향해 배치되는 것도 있다. 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 2개가 조합되어 스테레오 카메라를 구성한다. 실시형태에서는, 촬상 장치(30a, 30b)의 조합과 촬상 장치(30c, 30d)의 조합으로 스테레오 카메라가 구성된다.
실시형태에 있어서, 유압 셔블(100)은, 4개의 촬상 장치(30)를 가지지만, 유압 셔블(100)이 가지는 촬상 장치(30)의 수는 2개 이상이면 되고, 4개에 한정되지 않는다. 유압 셔블(100)은, 적어도 한 쌍의 촬상 장치(30)로 스테레오 카메라를 구성하여, 대상을 스테레오 촬영하기 때문이다.
복수의 촬상 장치(30a, 30b, 30c, 30d)는, 운전실(4) 내의 전방 또한 위쪽에 배치된다. 위쪽이란, 유압 셔블(100)이 가지는 크롤러 트랙(5a, 5b)의 접지면(接地面)과 직교하고, 또한 접지면으로부터 이격되는 방향이다. 크롤러 트랙(5a, 5b)의 접지면은, 크롤러 트랙(5a, 5b) 중 적어도 한쪽이 접지(接地)되는 부분의, 동일 직선 상에는 존재하지 않는 적어도 3점에서 규정되는 평면이다. 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 유압 셔블(100)의 차체(1)의 전방에 존재하는 대상을 스테레오 촬영한다. 대상은, 예를 들면, 작업기(2)가 굴삭하는 대상이다. 도 1 및 도 2에 나타내는 처리 장치(20)는, 적어도 한 쌍의 촬상 장치(30)에 의한 스테레오 촬영의 결과를 사용하여, 대상을 3차원 계측한다. 즉, 처리 장치(20)는, 적어도 한 쌍의 촬상 장치(30)가 촬상한 동일 대상의 화상에 스테레오 방식에 의한 화상 처리를 행하여, 전술한 대상을 3차원 계측한다. 복수의 촬상 장치(30a, 30b, 30c, 30d)가 배치되는 장소는, 운전실(4) 내의 전방 또한 위쪽에 한정되는 것은 아니다.
도 4는, 복수의 촬상 장치(30a, 30b, 30c, 30d)가 대상을 촬상함으로써 얻어진 화상의 일례를 나타낸 도면이다. 도 5는, 복수의 촬상 장치(30a, 30b, 30c, 30d)가 촬상하는 대상(OJ)의 일례를 나타낸 도면이다. 도 4에 나타내는 화상 PIa, PIb, PIc, PId는, 예를 들면, 도 5에 나타내는 복수의 촬상 장치(30a, 30b, 30c, 30d)가 대상(OJ)을 촬상함으로써 얻어진다. 이 예에서는, 대상(OJ)은, 제1 부분 OJa와 제2 부분(OJb)와 제3 부분 OJc를 가진다.
화상 PIa는 촬상 장치(30a)에 의해 촬상된 것이며, 화상 PIb는 촬상 장치(30b)에 의해 촬상된 것이며, 화상 PIc는 촬상 장치(30c)에 의해 촬상된 것이며, 화상 PId는 촬상 장치(30d)에 의해 촬상된 것이다. 한 쌍의 촬상 장치(30a, 30b)는, 유압 셔블(100)의 위쪽을 향해 배치되어 있으므로, 화상 PIa, PIb에는 대상(OJ)의 위쪽이 비치고 있다. 한 쌍의 촬상 장치(30c, 30d)는, 유압 셔블(100)의 아래쪽을 향해 배치되어 있으므로, 화상 PIc, PId에는 대상(OJ)의 아래쪽이 비치고 있다.
도 4로부터 알 수 있는 바와 같이, 한 쌍의 촬상 장치(30a, 30b)에 의해 촬상된 화상 PIa, PIb와, 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된 화상 PIc, PId에는, 대상(OJ)의 영역의 일부, 이 예에서는 제2 부분(OJb)이 중복하여 비치고 있다. 즉, 위쪽을 향하고 있는 한 쌍의 촬상 장치(30a, 30b)의 촬상 영역과, 아래쪽을 향하고 있는 한 쌍의 촬상 장치(30c, 30d)의 촬상 영역은, 중복되는 부분을 가지고 있다.
처리 장치(20)는, 복수의 촬상 장치(30a, 30b, 30c, 30d)가 촬상한 동일한 대상(OJ)의 화상 PIa, PIb, PIc, PId에 스테레오 방식에 의한 화상 처리를 행하는 경우, 한 쌍의 촬상 장치(30a, 30b)에 의해 촬상된 화상 PIa, PIb로부터 제1 시차 화상을 얻는다. 또한, 처리 장치(20)는, 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된 화상 PIc, PId로부터 제2 시차 화상을 얻는다. 그후, 처리 장치(20)는, 제1 시차 화상과 제2 시차 화상을 맞추어(match), 1개의 시차 화상을 얻는다. 처리 장치(20)는, 얻어진 시차 화상을 사용하여 대상을 3차원 계측한다. 이와 같이, 처리 장치(20) 및 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 1회의 촬상으로 대상(OJ)의 소정의 영역 전체를 3차원 계측한다.
실시형태에 있어서, 4개의 복수의 촬상 장치(30a, 30b, 30c, 30d) 중, 촬상 장치(30c)를 4개의 촬상 장치 복수의 촬상 장치(30a, 30b, 30c, 30d)의 기준으로 한다. 촬상 장치(30c)의 좌표계(Xs, Ys, Zs)를 적절히, 촬상 장치 좌표계라고 한다. 촬상 장치 좌표계의 원점은, 촬상 장치(30c)의 중심이다. 촬상 장치(30a), 촬상 장치(30b) 및 촬상 장치(30d)의 각각의 좌표계의 원점은, 각각의 촬상 장치의 중심이다.
<교정 시스템>
도 6은, 실시형태에 관한 교정 시스템(50)을 나타낸 도면이다. 교정 시스템(50)은, 복수의 촬상 장치(30a, 30b, 30c, 30d)와, 처리 장치(20)를 포함한다. 이들은, 도 1 및 도 2에 나타낸 바와 같이, 유압 셔블(100)의 차체(1)에 구비되어 있다. 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 작업 기계인 유압 셔블(100)에 장착되어, 대상을 촬상하고, 촬상에 의해 얻어진 대상의 화상을 처리 장치(20)에 출력한다.
처리 장치(20)는, 처리부(21)와, 기억부(22)와, 입출력부(23)를 가진다. 처리부(21)는, 예를 들면, CPU(Central Processing Unit)와 같은 프로세서 및 메모리에 의해 실현된다. 처리 장치(20)는, 실시형태에 관한 교정 방법을 실현한다. 이 경우, 처리부(21)는, 기억부(22)에 기억된 컴퓨터 프로그램을 읽어들여 실행한다. 이 컴퓨터 프로그램은, 실시형태에 관한 교정 방법을 처리부(21)에 실행시키기 위한 것이다.
처리 장치(20)는, 실시형태에 관한 교정 방법을 실행할 때, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 한 쌍의 화상을 스테레오 방식에서의 화상 처리를 실행함으로써, 대상의 위치, 구체적으로는 3차원 좌표계에서의 대상의 좌표를 구한다. 이와 같이, 처리 장치(20)는, 동일한 대상을 적어도 한 쌍의 촬상 장치(30)에 의해 촬상함으로써 얻어진 한 쌍의 화상을 사용하여, 대상을 3차원 계측할 수 있다. 즉, 적어도 한 쌍의 촬상 장치(30) 및 처리 장치(20)는, 스테레오 방식에 의해 대상을 3차원 계측하는 것이다. 실시형태에 있어서, 적어도 한 쌍의 촬상 장치(30) 및 처리 장치(20)는, 유압 셔블(100)에 구비되어, 대상의 위치를 검출하여 출력하는 제1 위치 검출부에 상당한다. 촬상 장치(30)가, 스테레오 방식에 의한 화상 처리를 실행하여 대상을 3차원 계측하는 기능을 가지고 있는 경우, 적어도 한 쌍의 촬상 장치(30)가 제1 위치 검출부에 상당한다. 실시형태에 있어서, 제1 위치 검출부는, 제1 방법에 의해 대상의 위치를 검출하여 출력한다. 제1 방법은, 스테레오 방식에 의해 대상, 예를 들면, 실시형태의 작업 기계인 유압 셔블(100)의 소정의 위치를 3차원 계측하는 것이지만, 예를 들면, 레이저 측장기에 의해 유압 셔블(100)의 소정의 위치를 계측하는 방법이라도 되고, 스테레오 방식에 의한 3차원 계측에 한정되지 않는다. 실시형태에 있어서, 제1 방법에서 사용되는, 유압 셔블(100)의 소정의 위치는 작업기(2)의 소정의 위치이지만, 유압 셔블(100)을 구성하는 요소(要素)의 소정의 위치이면, 작업기(2)의 소정의 위치에 한정되지 않는다.
기억부(22)는, RAM(Random Access Memory), ROM(Random Access Memory), 플래시 메모리, EPROM(Erasable Progra㎜able Random Access Memory, EEPROM(Electrically Erasable Progra㎜able Random Access Memory) 등의 불휘발성 또는 휘발성의 반도체 메모리, 자기(磁氣) 디스크, 플렉시블 디스크 및 광자기 디스크 중 하나 이상이 사용된다. 기억부(22)는, 실시형태에 관한 교정 방법을 처리부(21)에 실행하도록 하기 위한 컴퓨터 프로그램을 기억하고 있다. 기억부(22)는, 처리부(21)가 실시형태에 관한 교정 방법을 실행할 때 사용되는 정보를 기억한다. 이 정보는, 예를 들면, 각각의 촬상 장치(30)의 내부 교정 데이터, 각각의 촬상 장치(30)의 자세, 촬상 장치(30)끼리의 위치 관계, 작업기(2) 등의 기지(旣知)의 치수, 촬상 장치(30)와 유압 셔블(100)에 탑재된 고정물과의 위치 관계를 나타내는 기지의 치수, 차체 좌표계의 원점에서 각각의 촬상 장치(30) 또는 어느 하나의 촬상 장치(30)까지의 위치 관계를 나타내는 기지의 치수, 및 작업기(2)의 자세보다 작업기(2)의 일부의 위치를 구하기 위해 필요한 정보를 포함한다.
입출력부(23)는, 처리 장치(20)와 기기류를 접속하기 위한 인터페이스 회로이다. 입출력부(23)에는, 허브(51), 입력 장치(52), 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)가 접속된다. 허브(51)는, 복수의 촬상 장치(30a, 30b, 30c, 30d)가 접속되어 있다. 허브(51)를 이용하지 않고, 촬상 장치(30)와 처리 장치(20)가 접속되어도 된다. 촬상 장치(30a, 30b, 30c, 30d)의 촬상한 결과는, 허브(51)를 통하여 입출력부(23)에 입력된다. 처리부(21)는, 허브(51) 및 입출력부(23)를 통하여, 촬상 장치(30a, 30b, 30c, 30d)의 촬상한 결과를 취득한다. 입력 장치(52)는, 처리부(21)가 실시형태에 관한 교정 방법을 실행할 때 필요한 정보를 입력하기 위해 사용된다.
입력 장치(52)는, 예를 들면, 스위치 및 터치 패널이 예시되지만, 이들에 한정되는 것은 아니다. 실시형태에 있어서, 입력 장치(52)는, 도 2에 나타내는 운전실(4) 내, 보다 구체적으로는 운전석(4S)의 근방에 설치된다. 입력 장치(52)는, 조작 장치(25)의 우측 레버(25R) 및 좌측 레버(25L) 중 적어도 한쪽에 장착되어 있어도 되고, 운전실(4) 내의 모니터 패널(26)에 설치되어 있어도 된다. 또한, 입력 장치(52)는, 입출력부(23)에 분리 가능해도 되고, 전파 또는 적외선을 사용한 무선 통신에 의해 입출력부(23)에 정보를 입력해도 된다.
작업기(2)의 각 부의 치수 및 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)에 의해 검출된 정보인 작업기(2)의 회동각(δ1, δ2, δ3)으로부터, 차체 좌표계(Xm, Ym, Zm)에서의 작업기(2)의 소정의 위치가 구해진다. 작업기(2)의 치수 및 회동각(δ1, δ2, δ3)으로부터 구해지는 작업기(2)의 소정의 위치는, 예를 들면, 작업기(2)가 가지는 버킷(8)의 날(9)의 선단의 위치, 버킷 핀(15)의 위치 및 제1 링크 핀(47a)의 위치가 있다. 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)는, 실시형태의 작업 기계인 유압 셔블(100)의 위치, 예를 들면, 작업기(2)의 위치를 검출하는 제2 위치 검출부에 상당한다. 제2 위치 검출부는, 제2 방법에 의해 대상의 위치를 검출한다. 실시형태에 있어서, 제2 방법은, 실시형태의 작업 기계인 유압 셔블(100)의 치수 및 자세로부터 유압 셔블(100)의 소정의 위치를 구하는 것이지만, 제2 방법은 제1 방법과 상이한 것이면, 실시형태의 방법에 한정되지 않는다. 실시형태에 있어서, 제2 방법에서 사용되는, 유압 셔블(100)의 소정의 위치는, 제1 방법의 계측 대상이 된 유압 셔블(100)의 소정의 위치와 동일하다. 실시형태에 있어서, 제2 방법에서 사용되는, 유압 셔블(100)의 소정의 위치는, 작업기(2)의 소정의 위치이지만, 유압 셔블(100)을 구성하는 요소의 소정의 위치이면, 작업기(2)의 소정의 위치에 한정되지 않는다.
도 7은, 실시형태에 관한 교정 방법을 설명하는 도면이다. 적어도 한 쌍의 촬상 장치(30)가 촬상한 대상의 화상에 스테레오 방식에 의한 화상 처리가 행해지는 것에 의해, 대상의 위치 정보 Ps(xs, ys, zs)를 얻을 수 있다. 얻어진 위치 정보 Ps(xs, ys, zs)는, 도 7에 나타낸 바와 같이, 제1 위치 검출부의 좌표계인 촬상 장치 좌표계(Xs, Ys, Zs)로부터 촬상 장치 좌표계(Xs, Ys, Zs)와는 상이한 좌표계의 위치 정보 Pm(xm, ym, zm)로 변환된다. 실시형태에 있어서, 촬상 장치 좌표계(Xs, Ys, Zs)와는 상이한 좌표계는 차체 좌표계(Xm, Ym, Zm)이지만, 이에 한정되는 것은 아니다.
적어도 한 쌍의 촬상 장치(30)로부터 얻어진 위치 정보 Ps(xs, ys, zs)는, 3차원의 정보이며, 실시형태에서는 좌표로 표시된다. 위치 정보 Ps(xs, ys, zs)를 사용하여, 촬상 장치(30)로부터 대상까지의 거리가 구해진다. 실시형태에 관한 교정 방법은, 적어도 한 쌍의 촬상 장치(30)로부터 얻어진 위치 정보 Ps(xs, ys, zs)가, 촬상 장치 좌표계(Xs, Ys, Zs)로부터 차체 좌표계(Xm, Ym, Zm)의 위치 정보 Pm(xm, ym, zm)로 변환될 때 사용되는 변환 정보를 구하는 것이다. 즉, 변환 정보는, 제1 위치 검출부인 적어도 한 쌍의 촬상 장치(30)가 검출한 위치를, 제1 위치 검출부의 좌표계로부터 차체(1)의 좌표계로 변환하기 위해 사용되는 정보이다.
촬상 장치 좌표계의 위치 정보 Ps는, 식(1)에 의해 차체 좌표계의 위치 정보 Pm로 변환된다. 식(1) 중의 R은 식(2)로 표현되는 회전 행렬, 식(1) 중의 T는 식(3)으로 표현되는 병진(竝進) 벡터이다. α는 촬상 장치 좌표계의 Xs 축 주위의 회전 각도, β는 촬상 장치 좌표계의 Ys 축 주위의 회전 각도, γ는 촬상 장치 좌표계의 Zs 축 주위의 회전 각도이다. 회전 행렬 R 및 병진 벡터 T가 변환 정보이다.
Pm= R·Ps+T … (1)
[수식 1]
Figure pct00001
[수식 2]
Figure pct00002
처리부(21)는, 실시형태에 관한 교정 방법을 실행하는 데 있어서, 전술한 변환 정보를 구한다. 구체적으로는, 처리부(21)는, 적어도 한 쌍의 촬상 장치(30)에 의해 검출된 제1 위치 정보와, 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)에 의해 검출된 제2 위치 정보를 이용하여, 변환 정보를 구하여 출력한다. 실시형태에 있어서, 적어도 한 쌍의 촬상 장치(30)는 촬상 장치(30c, 30d)이지만, 기준의 촬상 장치(30c)를 포함하고 있으면 된다. 제2 위치 정보는, 각각의 각도 검출기(18)의 검출값에 더하여, 유압 셔블(100)에 탑재된, 도 1 및 도 2에 나타내는 IMU(Inertial Measurement Unit: 관성 계측 장치)(24)의 검출값도 사용하여 구해도 된다.
제1 위치 정보는, 제1 위치 검출부인 적어도 한 쌍의 촬상 장치(30) 및 처리 장치(20)에 의해 검출된 작업기(2)의 소정의 위치, 예를 들면, 버킷(8)의 날(9)의 위치의 정보이다. 제2 위치 정보는, 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)에 의해 검출된, 작업기(2)의 소정 위치의 정보이다. 제2 위치 정보는, 제1 위치 검출부가 소정의 위치를 검출했을 때의 작업기(2)의 자세이며, 제2 위치 검출부의 일례인 제1 각도 검출부(18A) 등에 의해 검출된 정보이다. 제1 위치 정보 및 제2 위치 정보는, 모두 작업기(2)가 동일한 자세로서, 또한 작업기(2)의 동일한 위치의 정보이다. 즉, 제1 위치 정보 및 제2 위치 정보는, 작업기(2)가 동일한 자세의 상태에서 작업기(2)의 동일한 위치가, 상이한 방법에 의해 구해진 것이다. 실시형태에 있어서, 제1 위치 정보 및 제2 위치 정보는, 작업기(2)가 작동되는 것에 의해 작업기(2)가 상이한 자세로 되었을 때 각각 얻어진 복수의 정보이며, 복수의 상태에서 얻어진 복수의 정보이다.
제1 위치 정보 및 제2 위치 정보는, 작업기(2)의 소정의 위치를 특정할 수 있는 정보이면 된다. 예를 들면, 제1 위치 정보 및 제2 위치 정보는, 작업기(2) 자체의 소정 위치의 정보라도 되고, 작업기에 장착되어 작업기(2)와의 위치 관계가 기지인 부재의 위치의 정보라도 된다. 즉, 제1 위치 정보 및 제2 위치 정보는, 작업기(2) 자체의 소정 위치의 정보에 한정되지 않는다.
처리 장치(20)는, 전용(專用)의 하드웨어에 의해 실현되어도 되고, 복수의 처리 회로가 제휴하여 처리 장치(20)의 기능을 실현하는 것이라도 된다. 다음에, 처리 장치(20)가 실시형태에 관한 교정 방법을 실행할 때의 처리예를 설명한다.
<처리예>
도 8은, 실시형태에 관한 처리 장치(20)가 실시형태에 관한 교정 방법을 실행할 때의 처리예를 나타낸 플로우차트이다. 도 9 및 도 10은, 실시형태에 관한 처리 장치(20)가 실시형태에 관한 교정 방법을 실행할 때 촬상 장치(30)가 촬상하는 대상을 나타낸 도면이다. 도 11 내지 도 13은, 실시형태에 관한 처리 장치(20)가 실시형태에 관한 교정 방법을 실행할 때 촬상 장치(30)가 촬상하는 대상의 자세를 나타낸 도면이다.
실시형태에 관한 교정 방법은, 미지수인 회전 행렬 R에 포함되는 각도 α, β, γ 및 병진 벡터의 성분 x0, y0, z0을, 적어도 한 쌍의 촬상 장치(30)에 의해 얻어진 작업기(2)의 소정 위치의 정보인 제1 위치 정보와, 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)에 의해 검출된 제2 위치 정보로부터 구하는 것이다. 처리 장치(20)가 실시형태에 관한 교정 방법을 실행하는 데 있어서, 처리부(21)는, 스텝 S101에 있어서, 카운트 수 N, M을 0으로 한다.
스텝 S102에 있어서, 처리부(21)는, 한 쌍의 촬상 장치(30c, 30d)에 대상을 촬상시킨다. 또한, 처리부(21)는, 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)의 검출값을 취득한다.
한 쌍의 촬상 장치(30c, 30d)가 촬상하는 대상은, 작업기(2)의 소정의 위치이며, 실시형태에서는 유압 셔블(100)의 버킷(8), 보다 구체적으로는 날(9)이다. 버킷(8)은, 도 9에 나타낸 바와 같이, 날(9)에 마크 MKl, MKc, MKr이 형성되어 있다. 마크 MKl은 가장 좌측의 날(9)에 형성되고, 마크 MKc는 중앙의 날(9)에 형성되고, 마크 MKr은 가장 우측의 날(9)에 형성된다. 이하에 있어서, 마크 MKl, MKc, MKr을 구별하지 않을 경우, 적절히, 마크 MK라고 한다.
스텝 S102에 있어서, 처리부(21)는, 한 쌍의 촬상 장치(30c, 30d)가 버킷(8)을 촬상했을 때의 작업기(2)의 자세에 있어서, 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)의 검출값을 취득한다. 이와 같이, 실시형태에서는, 처리부(21)는, 같은 작업기(2)의 자세에서, 한 쌍의 촬상 장치(30c, 30d)에 의한 촬상과 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)의 검출값의 취득을 실행한다. 처리부(21)는, 촬상 장치(30)에 의한 촬상의 결과 얻어진 화상과, 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)의 검출값을, 기억부(22)에 기억시킨다.
실시형태에 있어서, 마크 MKl, MKc, MKr은, 버킷(8)의 폭방향(W), 즉 버킷 핀(15)이 신장되는 방향과 평행한 방향으로 정렬되어 있다. 실시형태에 있어서, 버킷(8)의 폭 방향(W)은, 한 쌍의 촬상 장치(30c, 30d)가 배열되어 있는 방향이다. 버킷(8)의 폭 방향(W)에서의 중앙의 날(9)은, 차체 좌표계에 있어서 1개의 평면, 즉 Xm―Zm 평면 상 밖으로 이동하지 않는다. 그러므로, 중앙의 날(9)만 위치를 구하는 경우, 구속 조건이 약해지기 때문에, 한 쌍의 촬상 장치(30c, 30d)를 사용한 스테레오 방식에 의한 위치의 계측에 있어서는, 차체 좌표계에서의 Ym 축 방향의 정밀도가 저하된다.
실시형태에 관한 교정 방법은, 버킷(8)의 폭 방향(W)에서의 복수의 위치, 구체적으로는 3개의 날(9)의 위치가 계측되고, 제1 위치 정보로 된다. 그러므로, 변환 정보인 회전 행렬 R 및 병진 벡터 T를 구할 때는, 버킷(8)의 폭 방향(W)에 대하여 복수의 평면의 위치 정보를 이용 가능하므로, 회전 행렬 R 및 병진 벡터 T의 정밀도 저하가 억제된다. 실시형태에 관한 교정 방법에 의해 얻어진 회전 행렬 R 및 병진 벡터 T가, 한 쌍의 촬상 장치(30c, 30d)를 사용한 스테레오 방식에 의한 위치의 계측에 사용되는 것에 의해, 차체 좌표계에서의 Ym 축 방향의 계측 정밀도의 저하가 억제된다.
실시형태에 있어서, 버킷(8)은, 3개의 날(9)에 마크 MKl, MKc, MKr이 형성되지만, 마크 MK의 수, 즉 계측 대상이 되는 날(9)의 수는 3개에 한정되지 않는다. 마크 MK는, 하나 또는 복수의 날(9)에 설치되어도 된다. 단, 한 쌍의 촬상 장치(30c, 30d)를 사용한 스테레오 방식에 의한 위치의 계측의 정밀도가 저하되는 것을 억제하기 위해, 실시형태에 관한 교정 방법에서는, 2개 이상의 마크 MK가 버킷(8)의 폭 방향(W)으로 이격된 위치에 설치되어, 2개 이상의 날(9)이 계측되는 것이, 높은 계측 정밀도를 얻는 데 있어서 바람직하다.
도 10은, 날(9)의 위치 대신에, 작업기(2)에 장착된 계측용 타겟(60)이 사용되는 예를 나타내고 있다. 이예에 있어서, 적어도 한 쌍의 촬상 장치(30) 및 처리부(21)는, 작업기(2)에 장착된 계측용 타겟(60)의 위치를 계측하고, 실시형태에 관한 교정 방법에 있어서 제1 위치 정보로서 사용한다. 계측용 타겟(60)은, 마크 MKa, MKb가 형성된 타겟 부재(63a, 63b)와, 2개의 타겟 부재(63a, 63b)를 연결하는 축(軸) 부재(62)와, 축 부재(62)의 일단부에 장착된 고정용 부재(61)를 가진다.
타겟 부재(63a, 63b)는, 축 부재(62)가 연장되는 방향으로 나란히 배치된다. 고정용 부재(61)는 자석을 가지고 있다. 고정용 부재(61)는, 작업기(2)에 흡착함으로써, 예를 들면, 타겟 부재(63a, 63b) 및 축 부재(62)를 작업기(2)에 장착한다. 이와 같이, 고정용 부재(61)는, 작업기(2)에 장착할 수 있고, 또한 작업기(2)로부터 분리해 낼 수 있다. 실시형태에서는, 고정용 부재(61)가 버킷 핀(15)에 흡착되어, 타겟 부재(63a, 63b) 및 축 부재(62)를 작업기(2)에 고정하고 있다. 버킷 핀(15)에 계측용 타겟(60)이 장착되면, 타겟 부재(63a, 63b)가 버킷(8)의 폭 방향(W)에 나란히 배치된다.
계측용 타겟(60)이 가지는 마크 MKa, MKb의 위치는 계측용 타겟(60)의 치수로부터 미리 구해진다. 계측용 타겟(60)의 고정용 부재(61)가 장착되는 작업기(2)의 부분과, 날(9)의 위치는, 버킷(8)의 치수로부터 미리 구해진다. 따라서, 계측용 타겟(60)이 가지는 마크 MKa, MKb의 위치를 알 수 있으면, 버킷(8)의 날(9)의 위치를 알 수 있다. 계측용 타겟(60)이 가지는 마크 MKa, MKb와 버킷(8)의 날(9)과의 위치 관계는, 처리 장치(20)의 기억부(22)에 기억되어 있다. 처리부(21)는, 실시형태에 관한 교정 방법을 실행하는 경우, 기억부(22)로부터 마크 MKa, MKb와 버킷(8)의 날(9)과의 위치 관계를 판독하여, 제1 위치 정보 또는 제2 위치 정보를 생성할 때 사용한다.
스텝 S102에 있어서 한 쌍의 촬상 장치(30c, 30d)에 의한 촬상 및 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)의 검출값을 사용한 소정 위치의 계측이 종료되면, 처리는 스텝 S103으로 진행한다. 스텝 S103에 있어서, 처리부(21)는 작업기(2)를 동작시켜, 버킷(8)을 지면으로부터 이격되는 방향, 즉 위쪽으로 이동시킨다. 스텝 S104에 있어서, 처리부(21)는, 카운트 수 N에 1을 부가한 값을 새로운 카운트 수 N이라고 한다.
스텝 S105에 있어서, 처리부(21)는, 현재의 카운트 수 M이 Mc―1 이하인 경우, 현재의 카운트 수 N과 카운트 수 임계값 Nc1을 비교한다. 현재의 카운트 수 M이 Mc인 경우, 처리부(21)는, 현재의 카운트 수 N과 카운트 수 임계값 Nc2를 비교한다. 실시형태에 있어서, 카운트 수 임계값 Nc1은 2이다. 카운트 수 임계값 Nc2는 카운트 수 임계값 Nc1보다 작고, 예를 들면, 1이다.
스텝 S105에 있어서, 카운트 수 N이 카운트 수 임계값 Nc1이 아닐 경우(스텝 S105, No), 처리부(21)는, 스텝 S102로부터 스텝 S105의 처리를 반복한다. 스텝 S105에 있어서, 카운트 수 N이 카운트 수 임계값 Nc1인 경우(스텝 S105, Yes), 처리는 스텝 S106으로 진행한다.
스텝 S106에 있어서, 처리부(21)는, 작업기(2)를 동작시켜 버킷(8)을 안길이 방향, 즉 도 1에 나타내는 선회체(3)로부터 멀어지는 방향으로 이동시킨다. 스텝 S107에 있어서, 처리부(21)는, 카운트 수 M에 1을 부가한 값을 새로운 카운트 수 M으로 한다. 스텝 S108에 있어서, 처리부(21)는, 현재의 카운트 수 M과 카운트 수 임계값 Mc를 비교한다. 실시형태에 있어서, 카운트 수 임계값 Mc는 2이다.
스텝 S108에 있어서, 카운트 수 M이 카운트 수 임계값 Mc가 아닐 경우(스텝 S108, No), 처리부(21)는, 스텝 S109에 있어서, 카운트 수 N을 0으로 한다. 그 후, 처리부(21)는, 스텝 S102로부터 스텝 S105의 처리를 실행한다.
스텝 S101로부터 스텝 S105에 의해, 한 쌍의 촬상 장치(30c, 30d)는, 복수의 촬상 장치(30)와 버킷(8)과의 수평 거리 L이 같은 조건 하에서, 유압 셔블(100)의 상하 방향으로 Nc+1회, 버킷(8)을 촬상한다. 즉, 한 쌍의 촬상 장치(30c, 30d)는, 버킷(8)의 상하 방향의 위치를 상이하게 하여, Nc+1회 촬상한다. 수평 거리 L은, 유압 셔블(100)의 접지면, 즉 도 1에 나타내는 크롤러 트랙(5a, 5b)의 접지면과 평행, 또한 도 2에 나타내는 붐 핀(13)이 신장되는 방향에 직교하는 방향에서의, 선회체(3)와 버킷(8)과의 거리이다. 복수의 촬상 장치(30)는, 스텝 S106으로부터 스텝 S108을 반복함으로써, 유압 셔블(100)의 접지면과 평행한 선회체(3)와 버킷(8)과의 거리인 수평 거리 L을 Mc+1회 상이하게 한다. 즉, 한 쌍의 촬상 장치(30c, 30d)는, 버킷(8)의 수평 거리 L을 상이하게 하여, Nc+1회 촬상한다.
구체적으로는, 도 11에 나타낸 바와 같이, 한 쌍의 촬상 장치(30c, 30d)는, 수평 거리 L=L1에 있어서, 위치 A와, 위치 A보다 높은 위치 B와, 위치 B보다 높은 위치 C와의 3개소에서 버킷(8)을 촬상한다. 그러므로, 수평 거리 L1에 있어서는, 상이한 3 단계의 높이에서 마크 MKl, MKc, MKr의 위치 정보를 얻을 수 있다. 위치 A, B, C는, 도 11 중의 화살표 h로 나타내는 방향 쪽이, 더욱 높아진다.
도 12에 나타낸 바와 같이, 한 쌍의 촬상 장치(30c, 30d)는, 수평 거리 L=L2에 있어서, 위치 D와, 위치 D보다 높은 위치 E와, 위치 E보다 높은 위치 F와의 3개소에서 버킷(8)을 촬상한다. 그러므로, 수평 거리 L2에 있어서도, 상이한 3 단계의 높이에서 마크 MKl, MKc, MKr의 위치의 정보를 얻을 수 있다. 수평 거리 L2는, 수평 거리 L1보다 크다. 수평 거리 L2가 수평 거리 L1보다 큰 것은, 버킷(8)이, 촬상 장치(30c) 및 촬상 장치(30d)로부터 먼 위치에 있는 것을 나타낸다. 위치 D, E, F 는, 도 12 중의 화살표 h로 나타내는 방향 쪽이, 더욱 높아진다.
도 13에 나타낸 바와 같이, 한 쌍의 촬상 장치(30c, 30d)는, 수평 거리 L=L3에 있어서, 위치 G와, 위치 G보다 높은 위치 H와의 2개소에서 버킷(8)을 촬상한다. 그러므로, 수평 거리 L3에 있어서는, 상이한 2 단계의 높이에서 마크 MKl, MKc, MKr의 위치의 정보를 얻을 수 있다. 수평 거리 L3는, 수평 거리 L2보다 크다. 수평 거리 L3가 수평 거리 L2보다 큰 것은, 버킷(8)이, 촬상 장치(30c) 및 촬상 장치(30d)로부터 더 먼 위치에 있는 것을 나타낸다. 위치 G, H는, 도 13 중의 화살표 h로 나타내는 방향 쪽이, 더욱 높아진다.
실시형태에 있어서, 수평 거리가 가장 큰 L3인 경우, 한 쌍의 촬상 장치(30c, 30d)는 상하 방향의 2개소에서 버킷(8)을 촬상하지만, 상하 방향에서의 촬상 개소(箇所)는 2개소에 한정되지 않는다. 또한, 수평 거리 L을 일정하게 하여 상하 방향으로 버킷을 이동시켜 버킷(8)이 촬상되는 경우, 상하 방향에서의 촬상 개소는 실시형태의 것에는 한정되지 않는다.
버킷(8)은, 수평 거리 L1와 3회, 수평 거리 L2와 3회, 수평 거리 L3에서 2회의 합계 8회, 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된다. 스테레오 방식에 의한 3차원 계측에 있어서, 계측의 대상이 되는 부분, 실시형태에서는 마크 MKl, MKc, MKr이, 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된 화상의 끝에 있는 쪽이 구속 조건은 강해지므로, 계측의 정밀도가 향상된다. 그러므로, 처리부(21)는, 같은 수평 거리 L에 있어서는, 높이를 변경하여 복수 개소에서 버킷(8), 보다 구체적으로는 마크 MKl, MKc, MKr을 한 쌍의 촬상 장치(30c, 30d)에 촬상시킨다. 이와 같이 함으로써, 복수의 촬상 장치(30)에 의해 촬상된 화상의 양단, 구체적으로는 상하 방향에서의 양단에 마크 MKl, MKc, MKr이 배치되므로, 계측의 정밀도가 향상된다.
실시형태에 있어서, 수평 거리 L은 3단계로 변화시켜, 높이 방향의 촬상 횟수는 3회 또는 2회로 하였으나, 이에 한정되지 않는다. 수평 거리 L을 변화시키는 횟수는, 카운트 수 임계값 Mc를 변경함으로써 변경된다. 높이 방향의 촬상 횟수는, 카운트 수 임계값 Nc1 및 카운트 수 임계값 Nc2 중 적어도 한쪽을 변경함으로써 변경된다.
스테레오 방식에 의한 3차원 계측에 있어서, 먼 곳에 존재하는 대상을 계측한 쪽이, 보다 넓은 범위에 있어서 스테레오 방식에 의한 3차원 계측의 정밀도는 향상된다. 그러므로, 처리부(21)는, 버킷(8)의 수평 거리 L을 변경하여 버킷(8), 보다 구체적으로는 마크 MKl, MKc, MKr을 한 쌍의 촬상 장치(30)에 촬상시킨다. 이와 같이 함으로써, 넓은 범위에서 3차원 계측의 정밀도가 향상된다.
스텝 S108로 복귀하고, 카운트 수 M이 카운트 수 임계값 Mc인 경우(스텝 S108, Yes), 처리는 스텝 S110으로 진행한다. 스텝 S110에 있어서, 처리부(21)는, 제1 위치 정보 및 제2 위치 정보를 구한다. 구체적으로는, 처리부(21)는, 한 쌍의 촬상 장치(30c, 30d)가 버킷(8)을 복수 회(실시형태에서는 8회) 촬상함으로써 얻어진 복수 쌍의 화상(실시형태에서는 8쌍 화상)을 기억부(22)로부터 취득한다. 그리고, 처리부(21)는, 취득한 복수 쌍의 화상 중, 각각 쌍으로 되는 화상에 스테레오 방식에 의한 화상 처리를 행하고, 마크 MKl, MKc, MKr의 위치를 3차원 계측한다. 실시형태에 있어서, 처리부(21)는 마크 MKl, MKc, MKr을 화상 처리에 의해 추출한다. 예를 들면, 처리부(21)는, 마크 MKl, MKc, MKr의 형상의 특징에 기초하여, 이들을 화상 중으로부터 추출할 수 있다. 후술하는 바와 같이, 마크 MKl, MKc, MKr은, 도 6에 나타내는 입력 장치(52)를 오퍼레이터가 조작함으로써 선택되어도 된다.
3차원 계측에 있어서, 처리부(21)는, 한 쌍의 촬상 장치(30c, 30d)로부터 얻어진 한 쌍의 화상 중에 존재하는 마크 MKl, MKc, MKr의 위치를 삼각측량에 의해 구한다. 이와 같이 하여 구해진 마크 MKl, MKc, MKr의 위치의 정보가, 제1 위치 정보이다. 처리부(21)는, 스텝 S101로부터 스텝 S109)에 의해 얻어진 8개소에서의 촬상의 결과 각각에 대하여, 제1 위치 정보를 구하여, 예를 들면, 기억부(22)에 출력하고, 일시적으로 기억시킨다.
1개소에서의 촬상에 의해, 상이한 위치에 형성된 3개의 마크 MKl, MKc, MKr이 촬상되므로, 1개소에서의 촬상에 의해, 3개의 제1 위치 정보를 얻을 수 있다. 전술한 바와 같이, 버킷(8)은 8개소에서 촬상되므로, 합계 24개의 제1 위치 정보를 얻을 수 있다.
스텝 S110에 있어서, 처리부(21)는, 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)의 검출값과 작업기(2)의 치수를 취득한다. 제1 각도 검출부(18A) 등의 검출값은, 작업기(2)의 자세가 한 쌍의 촬상 장치(30c, 30d)에 의해 버킷(8)이 촬상되었을 때의 자세일 때, 제1 각도 검출부(18A) 등이 검출한 값이다. 처리부(21)는, 취득한 검출값 및 작업기(2)의 치수로부터, 버킷(8)의 날(9)의 위치, 보다 구체적으로는 마크 MKl, MKc, MKr의 위치를 구한다. 제1 각도 검출부(18A) 등의 검출값 및 작업기(2)의 치수로부터 구해진 마크 MKl, MKc, MKr의 위치의 정보가, 제2 위치 정보이다. 처리부(21)는, 스텝 S101로부터 스텝 S109에 의해 얻어진 8개소에서의 촬상의 결과 각각에 대하여, 제2 위치 정보를 구하여, 예를 들면, 기억부(22)에 출력하고, 일시적으로 기억시킨다.
1개소에서의 촬상에 대하여, 3개의 제2 위치 정보를 얻을 수 있다. 전술한 바와 같이, 버킷(8)은 8개소에서 촬상되므로, 합계 24개의 제2 위치 정보를 얻을 수 있다. 처리부(21)는, 같은 작업기(2)의 자세에서 얻어진 제1 위치 정보와 제2 위치 정보를 대응되어, 기억부(22)에 일시적으로 기억시킨다. 제1 위치 정보와 제2 위치 정보와의 조합은, 실시형태에 있어서는 합계 24개이다.
스텝 S111에 있어서, 처리부(21)는, 제1 위치 정보와 제2 위치 정보를 이용하여, 회전 행렬 R 및 병진 벡터 T를 구한다. 보다 구체적으로는, 처리부(21)는, 제1 위치 정보와 제2 위치 정보를 이용하여, 회전 행렬 R에 포함되는 각도 α, β, γ 및 병진 벡터 T의 성분 x0, y0, z0을 구한다. 각도 α, β, γ 및 성분 x0, y0, z0을 구하는 데 있어서, 24개의 제1 위치 정보와 제2 위치 정보와의 조합이 사용되지만, 오차가 큰 것은 제외되어도 된다. 이와 같이 함으로써, 각도 α, β, γ 및 성분 x0, y0, z0의 정밀도 저하가 억제된다.
제1 위치 정보는 차체 좌표계의 좌표이므로 (xm, ym, zm)으로 표현된다. 제2 위치 정보는 촬상 장치 좌표계이므로 (xs, ys, zs)로 표현된다. 식(4)는, 식(1)의 좌측 변으로부터 우측 변을 감산하고, 2승(乘)한 값을 J로 한 것이다.
J= {Pmi―(R·Psi+T)}2 … (4)
처리부(21)는, 같은 작업기(2)의 자세에서 얻어진 제1 위치 정보 및 제2 위치 정보를 기억부(22)로부터 판독하고, 제1 위치 정보를 식(4)의 위치 정보 Pm에, 제2 위치 정보를 식(4)의 위치 정보 Ps에게 준다. 그러면, 회전 행렬 R에 포함되는 각도 α, β, γ와 병진 벡터 T의 성분 x0, y0, z0 중 어느 하나를 포함하는, 3개의 식을 얻을 수 있다. 실시형태에 있어서, 제1 위치 정보와 제2 위치 정보와의 조합은 24개이므로, 처리부(21)는, 24개의 제1 위치 정보와 제2 위치 정보와의 조합을 식(4)에 주는 것에 의해, 회전 행렬 R에 포함되는 각도 α, β, γ라고 병진 벡터 T의 성분 x0, y0, z0 중 어느 하나를 포함하는, 합계 72개의 J를 얻는다.
합계 72개의 J의 총계 JS는, 식(5)에 의해 구해진다. 처리부(21)는, 식(5)로부터, 총계 JS를 구한다.
JS=ΣJi=Σ{Pmi―(R·Psi+T)}2, {i: 1로부터 72} … (5)
다음에, 처리부(21)는, JS가 최소로 되도록 한다. 그러므로, 처리부(21)는, Σ{Pmi―(R·Psi+T)}2를, 각도 α, 각도 β, 각도 γ, 성분 x0, 성분 y0, 성분 z0 각각에 의해 편미분(偏微分)하고, 얻어진 것이 0으로 되도록 한다. 처리부(21)는, 이와 같이 하여 얻어진 6개의 방정식을, 예를 들면, 뉴튼랩슨법(Newton Raphson method)에 의해 푸는 것에 의해, 각도 α, β, γ 및 병진 벡터 T의 성분 x0, y0, z0을 구한다. 처리부(21)는, 구한 각도 α, β, γ 및 병진 벡터 T의 성분 x0, y0, z0으로부터 회전 행렬 R 및 병진 벡터 T를 구한다. 이와 같이 하여 얻어진 회전 행렬 R 및 병진 벡터 T가, 제1 위치 검출부에 의해 검출된 대상의 위치 정보를, 제1 위치 검출부 이외의 좌표계, 실시형태에서는 차체 좌표계로 변환하기 위한 변환 정보이다.
그리고, 처리부(21)는, 제2 위치 검출부에 의해 검출된 대상의 위치를, 제2 위치 검출부의 좌표계와는 상이한 좌표계, 예를 들면, 제1 위치 검출부의 좌표계로 변환하기 위한 변환 정보를 구해도 된다. 이 경우, 식(6)에 의해, 제2 위치 검출부가 검출한, 제2 위치 검출부의 좌표계에서의 대상의 위치를, 제1 위치 검출부의 좌표계로 변환할 수 있다. 이 예에 있어서, 제2 위치 검출부의 좌표계는 차체 좌표계이며, 제1 위치 검출부의 좌표계는 촬상 장치 좌표계이다.
Ps= R―1·Pm―R―1·T … (6)
식(6) 중의 R―1은, 전술한 식(2)로 표현되는 회전 행렬의 역행열, 식(6) 중의 T는 전술한 식(3)으로 표현되는 병진 벡터이다. 위치 정보 Pm은 차체 좌표계에서의 대상의 위치이며, 위치 정보 Ps는 촬상 장치 좌표계에서의 대상의 위치이다. 역행열R―1 및 병진 벡터 T와 R―1과의 곱이 변환 정보이다. 이와 같이, 처리부(21)의 처리 및 실시형태의 교정 방법은, 제2 위치 검출부가 검출한 위치를 제2 위치 검출부의 좌표계로부터 제2 위치 검출부의 좌표계와는 상이한 좌표계로 변환하기 위해 사용되는 변환 정보를 구하여 출력하는 것도 가능하다.
실시형태에 있어서, 제2 위치 검출부는, 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)였지만, 이들에 한정되지 않는다. 예를 들면, 유압 셔블(100)이 RTK―GNSS(Real Time Kinematic―Global Navigation Satellite Systems, GNSS는 전지구 항법 위성 시스템을 말함)용의 안테나를 구비하고, GNSS에 의해 안테나의 위치를 계측함으로써 자차(自車)의 위치를 검출하는 위치 검출 시스템을 구비하고 있는 것으로 한다. 이 경우, 전술한 위치 검출 시스템을 제2 위치 검출부로 하고, GNSS용의 안테나의 위치를 작업 기계의 소정의 위치로 한다. 그리고, GNSS용의 안테나의 위치를 변화시키면서 제1 위치 검출부 및 제2 위치 검출부에 의해 GNSS용의 안테나의 위치를 검출함으로써 제1 위치 정보 및 제2 위치 정보를 얻는다. 처리부(21)는, 얻어진 제1 위치 정보 및 제2 위치 정보를 이용하여, 제1 위치 검출부에 의해 검출된 대상의 위치 정보를 제1 위치 검출부 이외의 좌표계, 실시형태에서는 차체 좌표계로 변환하기 위한 변환 정보를 구한다. 또한, 처리부(21)는, 얻어진 제1 위치 정보 및 제2 위치 정보를 이용하여, 제2 위치 검출부에 의해 검출된 대상의 위치 정보를, 제2 위치 검출부 이외의 좌표계로 변환하기 위한 변환 정보를 구하는 것도 가능하다.
이외에도, 분리 가능한 GNSS 수신기를 유압 셔블(100)의 소정의 위치, 예를 들면, 주행체(5) 또는 작업기(2)의 소정의 위치에 장착하여, GNSS 수신기를 제2 위치 검출부로 함으로써, 전술한 자차의 위치를 검출하는 위치 검출 시스템을 제2 위치 검출부로 한 경우와 마찬가지로 변환 정보를 얻을 수 있다.
실시형태에 관한 교정 시스템(50) 및 교정 방법은, 유압 셔블(100)이 가지는 작업기(2)의 자세가 동일한 상태에서, 대상의 위치를 검출하는 수단인 제1 위치 검출부 및 제1 위치 검출부와는 상이한 제2 위치 검출부를 사용하여 작업기(2)의 소정의 위치를 구한다. 그리고, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 제1 위치 검출부에 의해 구해진 제1 위치 정보와, 제2 위치 검출부에 의해 구해진 제2 위치 정보를 이용하여, 회전 행렬 R 및 병진 벡터 T를 구한다. 이와 같은 처리에 의해, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 제1 위치 검출부에 의해 검출된 대상의 위치 정보를, 제1 위치 검출부 이외의 좌표계로 변환하기 위한 변환 정보를 구할 수 있다.
복수의 촬상 장치(30) 중 적어도 한 쌍의 촬상 장치(30)가 촬상한 대상의 화상에 스테레오 방식에 의한 화상 처리가 행해져, 촬상 장치 좌표계에서의 대상의 위치 정보를 얻을 수 있다. 실시형태에 관한 교정 시스템(50) 및 교정 방법에 의해 변환 정보를 얻을 수 있으면, 촬상 장치 좌표계에서의 대상의 위치 정보를 차체 좌표계에서의 위치 정보로 변환할 수 있으므로, 유압 셔블(100)은, 변환 후의 대상의 위치 정보를 이용하여 작업기(2)를 제어하거나, 모니터에 작업기(2)의 가이던스(guidance) 화면을 표시하게 하거나 할 수 있다.
실시형태에 관한 교정 시스템(50) 및 교정 방법은, 유압 셔블(100)에 구비된 처리 장치(20) 및 한 쌍의 촬상 장치(30c, 30d)를 사용하므로, 회전 행렬 R 및 병진 벡터 T를 구하기 위한 외부의 기기는 불필요하다. 그러므로, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 예를 들면, 유압 셔블(100)의 사용자의 사용처에 있어서, 회전 행렬 R 및 병진 벡터 T를 구할 수 있다. 이와 같이, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 회전 행렬 R 및 병진 벡터 T를 구하기 위한 외부의 기기가 없는 장소라도, 회전 행렬 R 및 병진 벡터 T를 구할 수 있는 장점이 있다.
실시형태에 관한 교정 시스템(50) 및 교정 방법은, 제1 위치 정보 및 제2 위치 정보를, 상이한 자세의 작업기(2)로부터 검출한 소정 위치의 정보로 함으로써, 변환 정보인 회전 행렬 R 및 병진 벡터 T를 구하기 위한 정보량을 많게 할 수 있다. 그 결과, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 회전 행렬 R 및 병진 벡터 T를 양호한 정밀도로 구할 수 있다.
실시형태에 있어서, 제1 위치 검출부는 적어도 한 쌍의 촬상 장치(30)로 구성되는 스테레오 카메라인 것으로 했지만, 이에 한정되지 않는다. 제1 위치 검출부는, 예를 들면, 레이저 스캐너 또는 3D 스캐너라도 된다. 작업 기계는, 적어도 한 쌍의 촬상 장치를 구비하고, 이 한 쌍의 촬상 장치를 사용하여 스테레오 방식으로 대상을 3차원 계측하는 것이면 유압 셔블(100)에 한정되지 않는다. 작업 기계는, 작업기를 가지고 있으면 되고, 예를 들면, 휠 로더(wheel loader) 또는 불도저(bulldozer)와 같은 작업 기계라도 된다.
실시형태에 있어서, 회전 행렬 R 및 병진 벡터 T를 구할 때, 날(9)에 마크 MKl, MKc, MKr을 형성하였으나, 이들은 반드시 필요한 것은 아니다. 예를 들면, 도 6에 나타내는 입력 장치(52)에 의해, 촬상 장치(30)에 의해 촬상된 대상의 화상 내에, 처리부(21)가 위치를 구하는 부분, 예를 들면, 버킷(8)의 날(9)의 부분이 지정되어도 된다. 이 경우, 처리부(21)는, 지정된 부분에 대하여, 3차원 계측을 실행한다.
이상, 실시형태를 설명하였으나, 전술한 내용에 의해 실시형태가 한정되는 것은 아니다. 또한, 전술한 구성 요소에는, 당업자가 용이하게 상정(想定)할 수 있는 것, 실질적으로 동일한 것, 이른바 균등한 범위의 것이 포함된다. 전술한 구성 요소는 적절히 조합시키는 것이 가능하다. 실시형태의 요지를 벗어나지 않는 범위에 의해 구성 요소의 각종 생략, 치환 및 변경 중 하나 이상을 행할 수 있다.
1; 차체
2; 작업기
3; 선회체
4; 운전실
5; 주행체
6; 붐
7; 암
8; 버킷
9; 날
10; 붐 실린더
11; 암 실린더
12; 버킷 실린더
13; 붐 핀
14; 암 핀
15; 버킷 핀
18A; 제1 각도 검출부
18B; 제2 각도 검출부
18C; 제3 각도 검출부
20; 처리 장치
21; 처리부
22; 기억부
23; 입출력부
25; 조작 장치
26; 모니터 패널
30a, 30b, 30c, 30d; 촬상 장치
50; 교정 시스템
52; 입력 장치
60; 계측용 타겟
100; 유압 셔블
P3; 날끝
R; 회전 행렬
T; 병진 벡터
W; 폭 방향
x0, y0, z0; 성분
α, β, γ; 각도

Claims (8)

  1. 작업기를 가지는 작업 기계에 구비되어, 대상(對象)의 위치를 검출하여 출력하는 제1 위치 검출부; 및
    상기 제1 위치 검출부에 의해 검출된 상기 작업 기계의 소정의 위치에 관한 정보인 제1 위치 정보, 및 상기 제1 위치 검출부가 상기 소정의 위치를 검출했을 때의 상기 작업 기계의 자세에서, 제2 위치 검출부에 의해 검출된 상기 소정의 위치에 관한 정보인 제2 위치 정보를 이용하여, 상기 제1 위치 검출부가 검출한 위치를 상기 제1 위치 검출부의 좌표계로부터 상기 제1 위치 검출부의 좌표계와는 상이한 좌표계로 변환하기 위해 사용되는 변환 정보를 구하여 출력하거나, 또는 상기 제2 위치 검출부가 검출한 위치를 상기 제2 위치 검출부의 좌표계로부터 상기 제2 위치 검출부의 좌표계와는 상이한 좌표계로 변환하기 위해 사용되는 변환 정보를 구하여 출력하는 처리부;
    를 포함하는 교정 시스템.
  2. 제1항에 있어서,
    상기 제1 위치 정보는, 상기 제1 위치 검출부가, 상이한 자세의 상기 작업 기계로부터 상기 소정의 위치를 검출함으로써 얻어진 복수의 정보이며,
    상기 제2 위치 정보는, 상기 제2 위치 검출부가, 상이한 자세의 상기 작업 기계로부터 상기 소정의 위치를 검출함으로써 얻어진 복수의 정보인, 교정 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 제1 위치 검출부는, 적어도 한 쌍의 촬상(撮像) 장치에 의해 구성된 스테레오 카메라이며,
    상기 제2 위치 검출부는, 상기 작업 기계에 구비되어, 상기 작업기를 동작시키는 액추에이터의 동작량을 검출하는 센서인, 교정 시스템.
  4. 제3항에 있어서,
    상기 소정의 위치는, 상기 스테레오 카메라를 구성하는 한 쌍의 상기 촬상 장치가 배열되어 있는 방향에서의, 상기 작업 기계의 복수의 위치인, 교정 시스템.
  5. 작업기; 및
    제1항 내지 제4항 중 어느 한 항에 기재된 교정 시스템;
    을 포함하는 작업 기계.
  6. 제1 방법 및 제2 방법에 의해 작업 기계의 소정의 위치를, 상기 작업 기계의 자세가 상이한 상태에서 검출하고,
    상기 제1 방법에 의해 검출된 상기 소정의 위치에 관한 정보인 제1 위치 정보, 및 상기 제1 방법에 의해 상기 소정의 위치가 검출되었을 때의 상기 작업기의 자세에서, 상기 제2 방법에 의해 검출된 상기 소정의 위치에 관한 정보인 제2 위치 정보를 이용하여, 상기 제1 방법에 의해 검출된 위치를 상기 제1 방법에서의 좌표계로부터 상기 제1 위치 검출부의 좌표계와는 상이한 좌표계로 변환하기 위해 사용되는 변환 정보를 구하거나, 또는 상기 제2 위치 검출부가 검출한 위치를 상기 제2 위치 검출부의 좌표계로부터 상기 제2 위치 검출부의 좌표계와는 상이한 좌표계로 변환하기 위해 사용되는 변환 정보를 구하는,
    교정 방법.
  7. 제6항에 있어서,
    상기 제1 위치 검출부가 상이한 자세의 상기 작업 기계로부터 상기 소정의 위치를 검출함으로써 얻어진 복수의 정보가 상기 제1 위치 정보이며, 상기 제2 위치 검출부가 상이한 자세의 상기 작업 기계로부터 상기 소정의 위치를 검출함으로써 얻어진 복수의 정보가 상기 제2 위치 정보이며,
    상기 소정의 위치를 검출하는 경우, 상기 제1 위치 검출부 및 상기 제2 위치 검출부는, 상이한 자세의 상기 작업 기계로부터 상기 소정의 위치를 검출하는, 교정 방법.
  8. 제6항 또는 제7항에 있어서,
    상기 제1 방법은, 스테레오 방식에 의해 상기 소정의 위치를 3차원 계측하는 것이며,
    상기 소정의 위치는, 상기 스테레오 방식에 의한 상기 3차원 계측에 사용되는 한 쌍의 촬상 장치가 배열되어 있는 방향에서의, 상기 작업 기계의 복수의 위치인, 교정 방법.
KR1020167004863A 2015-09-30 2015-09-30 교정 시스템, 작업 기계 및 교정 방법 KR20170039612A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/077872 WO2016047807A1 (ja) 2015-09-30 2015-09-30 校正システム、作業機械及び校正方法

Publications (1)

Publication Number Publication Date
KR20170039612A true KR20170039612A (ko) 2017-04-11

Family

ID=55581322

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167004863A KR20170039612A (ko) 2015-09-30 2015-09-30 교정 시스템, 작업 기계 및 교정 방법

Country Status (6)

Country Link
US (1) US9790666B2 (ko)
JP (1) JPWO2016047807A1 (ko)
KR (1) KR20170039612A (ko)
CN (1) CN106817905A (ko)
DE (1) DE112015000132T5 (ko)
WO (1) WO2016047807A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6925816B2 (ja) * 2017-02-09 2021-08-25 株式会社小松製作所 位置計測システム、作業機械、及び位置計測方法
US10132060B2 (en) * 2017-02-27 2018-11-20 Caterpillar Inc. Implement orientation by image processing
JP6822234B2 (ja) * 2017-03-15 2021-01-27 セイコーエプソン株式会社 プロジェクターシステム
JP6714534B2 (ja) * 2017-03-29 2020-06-24 日立建機株式会社 建設機械
JP6966218B2 (ja) * 2017-04-27 2021-11-10 株式会社小松製作所 撮像装置の校正装置、作業機械および校正方法
US11508091B2 (en) 2018-06-29 2022-11-22 Komatsu Ltd. Calibration device for imaging device, monitoring device, work machine and calibration method
US10781575B2 (en) 2018-10-31 2020-09-22 Deere & Company Attachment calibration control system
TWI677413B (zh) * 2018-11-20 2019-11-21 財團法人工業技術研究院 用於機械手臂系統之校正方法及裝置
CN109816778B (zh) 2019-01-25 2023-04-07 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
CN109903337B (zh) * 2019-02-28 2022-06-14 北京百度网讯科技有限公司 用于确定挖掘机的铲斗的位姿的方法和装置
EP4097552A4 (en) * 2020-01-28 2023-11-22 Topcon Positioning Systems, Inc. SYSTEM AND METHOD FOR CONTROLLING A WORK DEVICE ON A WORK MACHINE USING MACHINE VISION
GB2593759B (en) * 2020-04-02 2023-04-26 Caterpillar Inc Method and control unit for generating a control command to at least one actuator of an electro-hydraulic machine

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012233353A (ja) 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3827480B2 (ja) * 1999-08-13 2006-09-27 日立建機株式会社 自動運転建設機械およびその位置計測手段の校正方法
US8718880B2 (en) * 2008-03-10 2014-05-06 Deere & Company Hydraulic system calibration method and apparatus
JP2010014535A (ja) 2008-07-03 2010-01-21 Yanmar Co Ltd 回転検出装置及び不整地用走行車両
JP5390813B2 (ja) * 2008-09-02 2014-01-15 東急建設株式会社 空間情報表示装置及び支援装置
JP5052463B2 (ja) * 2008-09-10 2012-10-17 日立建機株式会社 作業機械のステレオ画像処理装置
JP5237409B2 (ja) * 2011-03-24 2013-07-17 株式会社小松製作所 油圧ショベルの較正装置及び油圧ショベルの較正方法
JP2012225111A (ja) * 2011-04-22 2012-11-15 Kajima Corp 建設車両周辺の作業者検出装置
US8543298B2 (en) * 2011-06-03 2013-09-24 Caterpillar Inc. Operator interface with tactile feedback
JP5783184B2 (ja) * 2013-01-10 2015-09-24 コベルコ建機株式会社 建設機械
JP6219043B2 (ja) * 2013-03-18 2017-10-25 株式会社タダノ ブームの先端位置検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012233353A (ja) 2011-05-02 2012-11-29 Komatsu Ltd 油圧ショベルの較正システム及び油圧ショベルの較正方法

Also Published As

Publication number Publication date
US9790666B2 (en) 2017-10-17
JPWO2016047807A1 (ja) 2017-04-27
DE112015000132T5 (de) 2016-11-10
WO2016047807A1 (ja) 2016-03-31
US20170089041A1 (en) 2017-03-30
CN106817905A (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
KR20170039612A (ko) 교정 시스템, 작업 기계 및 교정 방법
CN106029994B (zh) 校正系统、作业机械和校正方法
JP6050525B2 (ja) 位置計測システム、作業機械及び位置計測方法
JP6995767B2 (ja) 計測システム、作業機械及び計測方法
JP5759798B2 (ja) 建設機械制御システム
CN108700402B (zh) 位置测量系统、作业机械及位置测量方法
US10527413B2 (en) Outside recognition device
JP6289731B2 (ja) 作業機械の制御システム、作業機械の制御方法、及びナビゲーションコントローラ
JP2016045150A (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
KR20170048231A (ko) 촬상 장치의 교정 시스템, 작업 기계 및 촬상 장치의 교정 방법
JP6585697B2 (ja) 施工管理システム
KR20180115756A (ko) 형상 계측 시스템, 작업 기계 및 형상 계측 방법
KR20200037285A (ko) 작업기의 외형 형상 측정 시스템, 작업기의 외형 형상 표시 시스템, 작업기의 제어 시스템 및 작업 기계
US8941732B2 (en) Three-dimensional measuring method
JP2019190193A (ja) 作業機械
KR102509346B1 (ko) 교정 작업 지원 시스템
JP2017193958A (ja) 校正システム、作業機械及び校正方法
JP2019203291A (ja) 油圧ショベル、およびシステム
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
KR20230002979A (ko) 정보 취득 시스템 및 정보 취득 방법
US20230291989A1 (en) Display control device and display method
JP2017032276A (ja) 位置計測システム
KR102415420B1 (ko) 굴삭기의 버켓 위치 확인 시스템 이를 이용한 버켓 위치 확인 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment