KR102089454B1

KR102089454B1 - 계측 시스템, 작업 기계 및 계측 방법

Info

Publication number: KR102089454B1
Application number: KR1020197007346A
Authority: KR
Inventors: 슌 가와모토; ? 가와모토; 히로요시 야마구치; 다이키 스가와라
Original assignee: 가부시키가이샤 고마쓰 세이사쿠쇼
Priority date: 2016-10-31
Filing date: 2017-10-30
Publication date: 2020-03-16
Also published as: KR20190034340A; JPWO2018079789A1; CN109716058A; JP6995767B2; US20190360174A1; DE112017004688T5; CN109716058B; US11441294B2; DE112017004688B4; WO2018079789A1

Abstract

계측 시스템은, 작업 기계의 선회체에 장착되어, 상기 작업 기계의 주위의 형상을 촬상하는 촬상부와, 상기 선회체의 위치를 구하는 위치 검출부와, 상기 선회체의 선회 동작 중인, 상기 촬상부의 촬상 시에서의 상기 촬상부의 위치를 연산하는 촬상부 위치 연산부와, 상기 촬상부 위치 연산부에 의해 연산된 상기 촬상부의 위치에 기초하여, 상기 촬상 시에서의 상기 작업 기계의 주위의 3차원 위치를 구하는 3차원 위치 연산부를 구비한다.

Description

계측 시스템, 작업 기계 및 계측 방법

본 발명은, 작업 기계의 주위를 계측하는 계측 시스템, 작업 기계(work machine) 및 계측 방법에 관한 것이다.

촬상(撮像) 장치를 가지는 작업 기계가 있다. 특허문헌 1에는, 기억부에 기억된 시공(施工) 계획 데이터와, 스테레오 카메라의 위치 정보에 기초하여 시공 계획 화상 데이터를 작성하고, 시공 계획 화상 데이터와 스테레오 카메라로 촬상된 현황 화상 데이터를 중첩시키고, 중첩된 합성 화상을 3차원 표시 장치에 3차원 표시시키는 기술이 기재되어 있다.

일본 공개특허 제2013―036243호 공보

작업 기계의 주위의 형상을 광범위하게 계측하고자 하는 요망이 있다. 작업 기계의 주위의 형상을 광범위하게 계측하는 것에 대하여, 특허문헌 1에는 기재도 시사도 되어 있지 않고, 개선의 여지가 있다.

본 발명은, 작업 기계의 주위의 형상을 광범위하게 계측하는 것을 목적으로 한다.

본 발명의 제1 태양에 따르면, 작업 기계의 선회체(旋回體)에 장착되어, 상기 작업 기계의 주위의 형상을 촬상하는 촬상부(撮像部)와, 상기 선회체의 위치를 구하는 위치 검출부와, 상기 선회체의 선회 동작 중인, 상기 촬상부의 촬상 시에서의 상기 촬상부의 위치를 연산하는 촬상부 위치 연산부와, 상기 촬상부 위치 연산부에 의해 연산된 상기 촬상부의 위치에 기초하여, 상기 촬상 시에서의 상기 작업 기계의 주위의 3차원 위치를 구하는 3차원 위치 연산부를 구비하는 계측 시스템이 제공된다.

본 발명의 제2 태양에 따르면, 제1 태양에 있어서, 상기 작업 기계의 선회 동작 중에 상기 촬상부에 의해 촬상된 복수의 2차원 화상에서의 공통 부분을 구하는 공통 부분 추출부를 가지고, 촬상부 위치 연산부는, 상기 촬상부의 촬상 시에서의 상기 촬상부의 위치를 연산하는 계측 시스템이 제공된다.

본 발명의 제3 태양에 따르면, 제1 태양(態樣) 또는 제2 태양에 있어서, 상기 촬상부 위치 연산부는, 촬상 시에서의 상기 촬상부의 위치를 연산하기 위하여, 촬상 시에서의 상기 선회체의 선회 각도를 연산하고, 상기 촬상부의 위치를 연산하는 계측 시스템이 제공된다.

본 발명의 제4 태양에 따르면, 제1 태양 내지 제3 태양 중 어느 하나에 있어서, 상기 촬상부 위치 연산부는, 상기 선회체의 선회 동작 전에서의 상기 선회체의 위치, 또는 상기 선회체의 선회 동작 후에서의 상기 선회체의 위치를 이용하여, 상기 촬상부의 촬상 시에서의 상기 촬상부의 위치를 보정하는 계측 시스템이 제공된다.

본 발명의 제5 태양에 따르면, 제3 태양 또는 제4 태양에 있어서, 상기 촬상부 위치 연산부는, 상기 선회체의 선회 동작 전에서의 상기 선회체의 선회 각도와, 상기 선회체의 선회 동작 후에서의 상기 선회체의 선회 각도를 사용하여, 상기 선회체의 선회 동작 중에서의 선회 각도를 보정하는 계측 시스템이 제공된다.

본 발명의 제6 태양에 따르면, 제2 태양 내지 제5 태양 중 어느 하나에 있어서, 상기 촬상부 위치 연산부는, 복수의 공통 부분을 사용하여 최소 제곱법을 이용하여 상기 촬상부의 위치를 연산하는 계측 시스템이 제공된다.

본 발명의 제7 태양에 따르면, 제1 태양 내지 제6 태양 중 어느 하나에 있어서, 상기 3차원 위치 연산부는, 상기 선회체의 선회 동작 중에 얻어진 복수의 상기 작업 기계의 주위의 3차원 위치를 결합하는 계측 시스템이 제공된다.

본 발명의 제8 태양에 따르면, 제1 태양 내지 제7 태양 중 어느 하나에 관한 계측 시스템을 구비하는 작업 기계가 제공된다.

본 발명의 제9 태양에 따르면, 작업 기계에 장착되는 선회체의 선회 동작 중인, 상기 선회체에 장착된 촬상부의 촬상 시에서의 상기 촬상부의 위치를 연산하고, 연산된 상기 촬상부의 위치에 기초하여, 상기 촬상 시에서의 상기 작업 기계의 주위의 3차원 위치를 구하는 계측 방법이 제공된다.

본 발명의 태양에 의하면, 작업 기계의 주위의 형상을 광범위하게 계측할 수 있다.

도 1은 실시형태에 관한 유압 셔블을 나타낸 사시도이다.
도 2는 실시형태에 관한 유압 셔블의 운전석 부근의 사시도이다.
도 3은 실시형태에 관한 계측 시스템을 나타낸 도면이다.
도 4는 유압 셔블의 주위를 연속하여 계측하는 예를 설명하는 평면도이다.
도 5는 실시형태에 관한 계측 시스템이 선회체의 선회 동작 중에 유압 셔블의 주위를 3차원 계측하는 것을 설명하기 위한 도면이다.
도 6은 선회체가 선회 동작함으로써 촬상 장치 좌표계가 이동하는 것을 설명하기 위한 도면이다.
도 7은 선회체의 선회 동작 중에 촬상된 화상의 일례를 나타낸 도면이다.
도 8은 선회체의 선회 동작 중에 촬상되고, 3차원 위치가 구해진 복수의 화상을 결합하는 것을 설명하기 위한 도면이다.
도 9는 선회 각도를 보정하는 것을 설명하기 위한 도면이다.
도 10은 실시형태에 관한 계측 방법의 수순의 일례를 나타낸 플로우차트이다.
도 11은 선회체의 선회 동작 중 및 선회 동작의 전후에 얻어진 복수의 거리 화상을 결합하는 예를 나타낸 도면이다.
도 12는 실시형태에 관한 계측 시스템이 유압 셔블의 주행 동작 중에 유압 셔블의 주위를 3차원 계측하는 것을 설명하기 위한 도면이다.

본 발명을 실시하기 위한 형태(실시형태)에 대하여, 도면을 참조하면서 상세하게 설명한다.

<유압 셔블의 전체 구성>

도 1은, 실시형태에 관한 유압 셔블(1)을 나타낸 사시도이다. 도 2는, 실시형태에 관한 유압 셔블(1)의 운전석 부근의 사시도이다. 작업 기계의 일례인 유압 셔블(1)은, 차체(1B) 및 작업기(2)를 구비한다. 차체(1B)는, 선회체(3), 운전실(4) 및 주행체(5)를 구비한다. 선회체(3)는, 선회 중심축 Zr을 중심으로 하여 주행체(5)에 선회 가능하게 장착되어 있다. 선회체(3)는, 유압(油壓) 펌프 및 엔진 등의 장치를 수용하고 있다.

선회체(3)는, 작업기(2)가 장착되어 선회 동작한다. 선회체(3)의 상부에는 난간(9)이 장착되어 있다. 난간(9)에는, 안테나(25F, 25S)가 장착된다. 안테나(25F, 25S)는, GNSS[Global Navigation Satellite Systems, GNSS는 전지구(全地球) 항법 위성 시스템을 말함]용의 안테나이다. 안테나(25F, 25S)는, 차체 좌표계(Xm, Ym, Zm)의 Ym축과 평행한 방향을 따라 일정 거리만큼 이격되어 배치되어 있다. 안테나(25F, 25S)는, GNSS 전파를 수신하고, 수신한 GNSS 전파에 따른 신호를 출력한다. 안테나(25F, 25S)는, GPS(Global Positioning System)용의 안테나라도 된다.

운전실(4)은 선회체(3)의 전부(前部)에 탑재되어 있다. 운전실(4)의 루프(roof)에는, 통신용의 안테나(25A)가 장착되어 있다. 주행체(5)는, 크롤러(crawlers)(5a, 5b)를 구비한다. 크롤러(5a, 5b)가 회전함으로써 유압 셔블(1)이 주행한다.

작업기(2)는, 차체(1B)의 전부에 장착되어 있다. 작업기(2)는, 붐(boom)(6), 암(arm)(7), 작업구(operation tool)로서의 버킷(bucket)(8), 붐 실린더(10), 암 실린더(11) 및 버킷 실린더(12)를 구비한다. 실시형태에 있어서, 차체(1B)의 전방은, 도 2에 나타낸 운전석(4S)의 등받이(4SS)로부터 조작 장치(35)를 향하는 방향 측이다. 차체(1B)의 후방은, 조작 장치(35)로부터 운전석(4S)의 등받이(4SS)를 향하는 방향 측이다. 차체(1B)의 전부는, 차체(1B)의 전방측의 부분이며, 차체(1B)의 카운터웨이트(counterweight) WT와는 반대측의 부분이다. 조작 장치(35)는, 작업기(2) 및 선회체(3)를 조작하기 위한 장치이며, 우측 레버(35R) 및 좌측 레버(35L)를 구비한다.

선회체(3)는, 위치 검출부의 일례인 위치 검출 장치(23)와,자세 검출부의 일례인 IMU(Inertial Measurement Unit: 관성 계측 장치)(24)를 구비한다. 위치 검출 장치(23)는, 유압 셔블(1)의 위치, 본 실시형태에서는 선회체(3)의 위치를 구한다. 상세하게는, 위치 검출 장치(23)는, 안테나(25F, 25S)로부터 취득한 신호를 사용하여, 글로벌 좌표계(Xg, Yg, Zg)에서의 안테나(25F, 25S)의 현재 위치 및 선회체(3)의 방위를 검출하여, 출력한다. 선회체(3)의 방위는, 글로벌 좌표계에서의 선회체(3)의 방향을 나타낸다. 선회체(3)의 방향은, 예를 들면, 글로벌 좌표계의 Zg축 주위에서의 선회체(3)의 전후 방향의 방향으로 표현할 수 있다. 방위각은, 선회체(3)의 전후 방향에서의 기준축의, 글로벌 좌표계의 Zg축 주위에서의 회전각이다. 방위각에 의해 선회체(3)의 방위가 표현된다. 전술한 바와 같이, 유압 셔블(1)의 방위각 θd는, 위치 검출 장치(23) 또는 IMU(24) 중 어느 한쪽에 의해 구해지지만, 어느 쪽을 사용해도 된다.

IMU(24)는, 유압 셔블(1)의 자세, 본 실시형태에서는 선회체(3)의 자세를 구한다. 유압 셔블(1)의 자세는, 롤각 θr, 피치각 θp 및 방위각 θd로 표현된다. 유압 셔블(1)에 작용하는 가속도 및 각속도(角速度)로부터, 유압 셔블(1)의 롤각 θr, 피치각 θp 및 방위각 θd을 얻을 수 있다. IMU(24)는, 자체에 작용하는 가속도 및 각속도, 즉 유압 셔블(1)에 작용하는 가속도 및 각속도를 검출하여, 유압 셔블(1)의 롤각 θr, 피치각 θp 및 방위각 θd을 구하여 출력한다. 이와 같이, IMU(24)는, 유압 셔블(1)의 자세를 구한다. IMU(24)가 검출한 가속도 및 각속도를 사용하여, 연산 장치가 유압 셔블(1)의 롤각 θr, 피치각 θp 및 방위각 θd을 구해도 된다. 이 경우, IMU(24)와, 전술한 연산 장치가 자세 검출 장치가 된다. 유압 셔블(1)의 롤각 θr, 피치각 θp 및 방위각 θd는, IMU(24) 이외의 장치, 예를 들면, 쟈이로(gyro) 등에 의해 구해져도 된다.

<촬상부(장치)>

도 2에 나타낸 바와 같이, 유압 셔블(1)은, 운전실(4) 내에 촬상부인 촬상 장치(30a, 30b, 30c, 30d)를 복수 가진다. 이하에 있어서, 복수의 촬상 장치(30a, 30b, 30c, 30d)를 구별하지 않을 경우에는 적절히, 촬상 장치(30)라고 한다. 복수의 촬상 장치(30)는, 선회체(3)에 장착되어, 유압 셔블(1)의 주위의 형상을 촬상하여, 형상 정보인 형상 정보를 출력한다.

복수의 촬상 장치(30) 중 촬상 장치(30a) 및 촬상 장치(30c)는, 작업기(2) 측에 배치된다. 촬상 장치(30)의 종류는 한정되지 않지만, 실시형태에서는, 예를 들면, CCD(Couple Charged Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 구비한 촬상 장치가 사용된다.

도 2에 나타낸 바와 같이, 촬상 장치(30a)와 촬상 장치(30b)는 소정 간격을 두고 같은 방향 또는 상이한 방향을 향해 운전실(4) 내에 배치된다. 촬상 장치(30c)와 촬상 장치(30d)는 소정 간격을 두고 같은 방향 또는 상이한 방향을 향해 운전실(4) 내에 배치된다. 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 이들 중 2개가 조합되어 스테레오 카메라를 구성한다. 실시형태에서는, 촬상 장치(30a, 30b)의 조합의 스테레오 카메라, 및 촬상 장치(30c, 30d)의 조합의 스테레오 카메라가 구성된다.

실시형태에 있어서, 촬상 장치(30a) 및 촬상 장치(30b)는 위쪽을 향하고 있고, 촬상 장치(30c) 및 촬상 장치(30d)는 아래쪽을 향하고 있다. 적어도 촬상 장치(30a) 및 촬상 장치(30c)는, 유압 셔블(1), 실시형태에서는 선회체(3)의 정면을 향하고 있다. 촬상 장치(30b) 및 촬상 장치(30d)는, 작업기(2) 측으로, 즉 촬상 장치(30a) 및 촬상 장치(30c) 측의 쪽으로 약간 향해 배치되는 경우도 있다.

실시형태에 있어서, 유압 셔블(1)은, 4개의 촬상 장치(30)를 가지지만, 유압 셔블(1)이 가지는 촬상 장치(30)의 수는 2개 이상, 즉 적어도 한 쌍이면 되고, 4개에 한정되지 않는다. 유압 셔블(1)은, 적어도 한 쌍의 촬상 장치(30)와 스테레오 카메라를 구성하여, 시공 대상을 스테레오 촬영하기 때문이다

복수의 촬상 장치(30a, 30b, 30c, 30d)는, 운전실(4) 내의 전방 또한 상방에 배치된다. 위쪽이란, 유압 셔블(1)이 가지는 크롤러(5a, 5b)의 접지면(接地面)과 직교하고, 또한 접지면으로부터 이격되는 방향 측이다. 크롤러(5a, 5b)의 접지면은, 크롤러(5a, 5b) 중 적어도 한쪽이 접지하는 부분의, 동일 직선 상에는 존재하지 않는 적어도 3점에 의해 규정되는 평면이다. 아래쪽은, 위쪽과는 반대 방향 측, 즉 크롤러(5a, 5b)의 접지면과 직교하고, 또한 접지면을 향하는 방향 측이다.

복수의 촬상 장치(30a, 30b, 30c, 30d)는, 유압 셔블(1)의 주위, 상세하게는 차체(1B)의 전방에 존재하는 시공 대상을 스테레오 촬영한다. 시공 대상은, 예를 들면, 유압 셔블(1)이 지금부터 시공하는 부분, 시공 중인 부분 및 시공 후의 부분이 포함된다.

복수의 촬상 장치(30a, 30b, 30c, 30d)는, 유압 셔블(1)의 소정 위치, 실시형태에서는 운전실(4) 내의 전방 또한 상방으로부터 시공 대상을 검출한다. 실시형태에 있어서는, 적어도 한 쌍의 촬상 장치(30)에 의한 스테레오 촬영의 결과를 사용하여, 시공 대상이 3차원 계측된다. 복수의 촬상 장치(30a, 30b, 30c, 30d)가 배치되는 장소는, 운전실(4) 내의 전방 또한 상방에 한정되는 것은 아니다.

복수의 촬상 장치(30a, 30b, 30c, 30d) 중, 예를 들면, 촬상 장치(30c)를 이들의 기준으로 한다. 4개의 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 각각 좌표계를 가진다. 이들 좌표계를 적절히, 촬상 장치 좌표계라고 한다. 도 2에서는, 기준으로 되는 촬상 장치(30c)의 촬상 장치 좌표계(Xs, Ys, Zs)만을 나타내고 있다. 촬상 장치 좌표계의 원점은, 예를 들면, 각각의 촬상 장치(30a, 30b, 30c, 30d)의 중심이다.

실시형태에 있어서, 각각의 촬상 장치(30a, 30b, 30c, 30d)의 촬상 범위는, 유압 셔블(1)의 작업기(2)를 시공할 수 있는 범위보다 크다. 이와 같이 함으로써, 각각의 촬상 장치(30a, 30b, 30c, 30d)는, 작업기(2)가 굴삭(掘削; excavation) 가능한 범위의 시공 대상을 확실하게 스테레오 촬영할 수 있다.

전술한 차체 좌표계(Xm, Ym, Zm)는, 차체(1B), 실시형태에서는 선회체(3)에 고정된 원점을 기준으로 하는 좌표계이다. 실시형태에 있어서, 차체 좌표계(Xm, Ym, Zm)의 원점은, 예를 들면, 선회체(3)의 스윙 서클(swing circle)의 중심이다. 스윙 서클의 중심은, 선회체(3)의 선회 중심축 Zr 상에 존재한다. 차체 좌표계(Xm, Ym, Zm)의 Zm축은 선회체(3)의 선회 중심축 Zr로 되는 축이며, Xm축은 선회체(3)의 전후 방향으로 연장되고, 또한 Zm축과 직교하는 축이다. Xm축은, 선회체(3)의 전후 방향에서의 기준축이다. Ym축은, Zm축 및 Xm축과 직교하는, 선회체(3)의 폭 방향으로 연장되는 축이다. 차체 좌표계는, 실시형태의 예에는 한정되지 않는다. 전술한 글로벌 좌표계(Xg, Yg, Zg)는, GNSS에 의해 계측되는 좌표계이며, 지구에 고정된 원점을 기준으로 한 좌표계이다.

<계측 시스템>

도 3은, 실시형태에 관한 계측 시스템(50)을 나타낸 도면이다. 도 3에 나타낸 계측 시스템(50)의 장치 구성은 일례이며, 실시형태의 장치 구성에 한정되지는 않는다. 계측 시스템(50)은, 도 1에 나타낸 유압 셔블(1)의 차체(1B), 실시형태에서는 선회체(3)에 구비되어 있다. 계측 시스템(50)은, 검출 장치인 복수의 촬상 장치(30a, 30b, 30c, 30d)와, 처리 장치(40)를 포함한다. 실시형태에 있어서, 계측 시스템(50)은, 또한 위치 검출 장치(23), IMU(24) 및 입력 장치(32)를 가지지만, 적어도 복수의 촬상 장치(30a, 30b, 30c, 30d)와, 처리 장치(40)를 가지고 있으면 된다.

처리 장치(40)는, 처리부(41)와, 기억부(42)와, 입출력부(43)를 구비한다. 처리부(41)는, 예를 들면, CPU(Central Processing Unit)와 같은 프로세서와 메모리와의 조합에 의해 실현된다. 처리 장치(40)는, 실시형태에 관한 계측 방법을 실현한다. 이 경우, 처리부(41)는, 기억부(42)에 기억된 컴퓨터 프로그램을 읽어들여 실행한다. 이 컴퓨터 프로그램은, 실시형태에 관한 계측 방법을 처리부(41)에 실행시키기 위한 것이다.

처리부(41)는, 공통 부분 추출부(41A)와, 이동량 연산부(41B)와, 차체 상태 연산부(41C)와, 3차원 위치 연산부(41D)를 구비한다. 공통 부분 추출부(41A)는, 유압 셔블(1)의 동작 중, 본 실시형태에서는 선회체(3)의 선회 동작 중에, 촬상 장치(30)에 의해 복수 회 촬상된 경우에, 촬상 장치(30)에 의해 얻어진 복수의 2차원 화상에서의 공통 부분을 구한다. 유압 셔블(1)의 동작 중에는, 유압 셔블(1)의 선회체(3)의 선회 동작(선회)이 포함된다. 선회체(3)의 선회 동작 중에 있어서, 공통 부분 추출부(41A)는, 선회체(3)가 선회하는 방향의 상이한 위치에 있어서, 1개 이상의 촬상 장치(30)에 의해 촬상된 복수의 2차원 화상으로부터 공통 부분을 구한다.

이동량 연산부(41B)는, 얻어진 공통 부분에 기초하여 선회체(3)의 선회 각도를 구한다. 차체 상태 연산부(41C)는, 얻어진 선회 각도와, 선회체(3)가 선회하기 전에 정지하고 있는 상태에서 위치 검출 장치(23)에 의해 구해진 유압 셔블(1)의 위치와, 선회체(3)가 선회하기 전에 정지하고 있는 상태에서 IMU(24)에 의해 구해진 유압 셔블(1)의 자세에 기초하여 선회체(3)의 선회 동작 중에서의 유압 셔블(1)의 위치 및 자세를 구한다. 3차원 위치 연산부(41D)는, 얻어진 유압 셔블(1)의 위치 및 자세와, 선회체(3)가 선회하는 방향의 복수의 위치에 있어서, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 화상을 사용하여 유압 셔블(1)의 주위의 3차원 위치를 구한다. 이동량 연산부(41B)와 차체 상태 연산부(41C)는, 촬상부 위치 연산부(41E)를 구성한다. 촬상부 위치 연산부(41E)는, 공통 부분 추출부(41A)에 의해 구해진 공통 부분에 기초하여, 촬상 시에서의 촬상 장치(30)의 위치를 연산한다. 선회체(3)의 선회 동작 중에 있어서, 촬상부 위치 연산부(41E)는, 촬상 시에서의 촬상 장치(30)의 위치를 연산하기 위하여, 촬상 시에서의 선회체(3)의 선회 각도를 연산하고, 촬상 장치(30)의 위치를 연산한다.

기억부(42)는, RAM(Random Access Memory), ROM(Read Only Memory), 플래시 메모리, EPROM(Erasable Progra㎜able Read Only Memory), EEPROM(Electrically Erasable Progra㎜able Read Only Memory) 등의 불휘발성 또는 휘발성의 반도체 메모리, 자기(磁氣) 디스크, 플렉시블 디스크 및 광자기 디스크 중 하나 이상이 사용된다.

기억부(42)는, 실시형태에 관한 계측 방법을 처리부(41)에 실행하도록 하기 위한 컴퓨터 프로그램을 기억하고 있다. 기억부(42)는, 처리부(41)가 실시형태에 관한 계측 방법을 실행할 때 사용되는 정보를 기억한다. 이 정보는, 예를 들면, 각각의 촬상 장치(30)의 내부 교정 데이터, 각각의 촬상 장치(30)의 자세, 촬상 장치(30)끼리의 위치 관계, 작업기(2) 등의 기지(旣知)의 치수, 차체 좌표계의 원점으로부터 각각의 촬상 장치(30) 또는 어느 하나의 촬상 장치(30)까지의 위치 관계를 나타내는 기지의 치수, 및 작업기(2)의 자세로부터 작업기(2)의 일부의 위치를 구하기 위해 필요한 정보를 포함한다.

입출력부(43)는, 처리 장치(40)와 기기류(機器類)를 접속하기 위한 인터페이스 회로이다. 입출력부(43)에는, 위치 검출 장치(23), IMU(24), 입력 장치(32) 및 허브(51)가 접속된다. 위치 검출 장치(23) 및 IMU(24)는, 통신선을 통하여 입출력부(43)에 접속되어 있어도 된다. 통신선을 사용한 경우, 통신의 규격은 CAN(Controller Area Network)가 예시되지만, 이에 한정되지 않는다.

허브(51)에는, 복수의 촬상 장치(30a, 30b, 30c, 30d), 입력 장치(32) 및 라이트(33)가 접속되어 있다. 허브(51)를 이용하지 않고, 촬상 장치(30)와 처리 장치(40)가 접속되어도 된다. 촬상 장치(30a, 30b, 30c, 30d)의 촬상한 결과인 형상 정보 SI는, 허브(51)를 통하여 입출력부(43)에 입력된다. 처리부(41)는, 허브(51) 및 입출력부(43)를 통하여, 촬상 장치(30a, 30b, 30c, 30d)의 촬상한 결과를 취득한다. 입력 장치(32)는, 처리부(41)가 실시형태에 관한 계측 방법을 실행할 때 필요한 정보를 입력하기 위해 사용된다. 라이트(33)은, 위치 검출 장치(23) 및 IMU(24)가 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하여, 출력하면 점등한다.

입력 장치(32)는, 예를 들면, 스위치 및 터치 패널이 예시되지만, 이들에 한정되는 것은 아니다. 실시형태에 있어서, 입력 장치(32)는, 도 2에 나타낸 운전실(4) 내, 상세하게는 운전석(4S)의 근방에 설치된다. 입력 장치(32)는, 조작 장치(35)의 우측 레버(35R) 및 좌측 레버(35L) 중 적어도 한쪽에 장착되어 있어도 되고, 운전실(4) 내의 모니터 패널에 설치되어 있어도 된다. 또한, 입력 장치(32)는, 입출력부(43)에 대하여 분리 가능해도 되고, 전파 또는 적외선을 사용한 무선 통신에 의해 입출력부(43)에 정보를 입력해도 된다. 입력 장치(32)는, 휴대 단말기 장치에 구비되어 있어도 된다.

계측 시스템(50)의 처리 장치(40)는, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 시공 대상의 한 쌍의 화상에, 스테레오 방식에서의 화상 처리를 행함으로써, 시공 대상의 3차원 위치, 상세하게는 3차원 좌표계에서의 시공 대상의 좌표를 구한다. 이와 같이, 처리 장치(40)는, 동일한 시공 대상을 적어도 한 쌍의 촬상 장치(30)에 의해 촬상함으로써 얻어진 한 쌍의 화상을 사용하여, 시공 대상을 3차원 계측한다. 즉, 적어도 한 쌍의 촬상 장치(30) 및 처리 장치(40)는, 스테레오 방식에 의해 시공 대상을 3차원 계측하는 것이다. 스테레오 방식에서의 화상 처리란, 동일한 시공 대상을 2개의 상이한 촬상 장치(30)로부터 관측하여 얻어지는 2개의 화상으로부터, 그 시공 대상까지의 거리를 얻는 방법이다. 시공 대상까지의 거리는, 예를 들면, 시공 대상까지의 거리 정보를 농담(濃淡)에 의해 가시화한 거리 화상으로서 표현된다. 거리 화상은, 시공 대상의 3차원 형상 또는 3차원 위치를 나타내는 정보이다. 거리 화상에 포함되는 각 화소는, 시공 대상의 3차원 위치 정보를 가진다.

실시형태에 있어서, 처리 장치(40)가 가지는 처리부(41)의 3차원 위치 연산부(41D)는, 스테레오 방식에 의한 화상 처리를 실행한다. 처리 장치(40)는, 적어도 한 쌍의 촬상 장치(30)에 의해 검출, 즉 촬상된 시공 대상의 형상 정보 SI를 취득하고, 취득한 형상 정보 SI에 기초하여 시공 대상의 3차원 위치를 구한다. 형상 정보 SI는, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 시공 대상의 화상이다. 처리 장치(40)는, 시공 대상의 화상에 스테레오 방식에 의한 화상 처리를 행함으로써 시공 대상의 3차원 위치를 구하고, 출력한다. 이와 같이, 처리 장치(40)는, 동일한 시공 대상을 적어도 한 쌍의 촬상 장치(30)에 의해 촬상함으로써 얻어진 한 쌍의 화상을 사용하여, 시공 대상을 3차원 계측한다. 이와 같이, 적어도 한 쌍의 촬상 장치(30) 및 처리 장치(40)는, 스테레오 방식에 의해 시공 대상, 실시형태에서는 유압 셔블(1)의 주위를 3차원 계측한다.

스테레오 방식에 의한 화상 처리가 실행되면, 거리 화상을 얻을 수 있다. 거리 화상의 각 화소가 가지는 시공 대상의 3차원 위치는, 촬상 장치 좌표계에서의 3차원 위치이다. 계측 시스템(50)에 의해 3차원 계측되는 유압 셔블(1)의 주위의 위치는, 글로벌 좌표계에서의 3차원 위치이다. 그러므로, 계측 시스템(50), 상세하게는 처리 장치(40)는, 스테레오 방식에 의한 화상 처리를 실행함으로써 얻어진 3차원 위치를, 촬상 장치 좌표계에서의 위치로부터 글로벌 좌표계에서의 위치로 변환한다. 이 변환은, 처리부(41)의 3차원 위치 연산부(41D)가 실행한다.

3차원 위치 연산부(41D)는, 위치 검출 장치(23)에 의해 구해진 글로벌 좌표계에서의 유압 셔블(1)의 위치와, IMU(24)에 의해 구해진 유압 셔블(1)의 자세를 취득한다. 유압 셔블(1)의 위치는, 안테나(25F, 25S) 중 적어도 한쪽의 위치이다. 유압 셔블(1)의 자세는, 롤각 θr, 피치각 θp 및 방위각 θd이다. 3차원 위치 연산부(41D)는, 유압 셔블(1)의 위치 및 자세를 사용하여, 적어도 한 쌍의 촬상 장치(30)에 의해 검출된 형상 정보 SI로부터 얻어진 거리 화상에 포함되는 3차원 위치를, 촬상 장치 좌표계로부터 글로벌 좌표계로 좌표 변환하고, 출력한다.

<연속된 3차원 계측>

도 4는, 유압 셔블(1)의 주위를 연속하여 계측하는 예를 설명하는 평면도이다. 계측 시스템(50)의 촬상 장치(30)는, 유압 셔블(1)의 선회체(3)에 장착되어 있으므로, 선회체(3)의 선회 동작 중에 적어도 한 쌍의 촬상 장치(30)가 유압 셔블(1)의 주위 CR을 촬상함으로써, 유압 셔블(1)의 주위 CR의 전체의 3차원 위치를 계측할 수 있다. 계측 시스템(50)의 처리 장치(40)는, 스테레오 방식에 의한 화상 처리를 실행함으로써 얻어진 촬상 장치 좌표계의 3차원 위치를, 글로벌 좌표계에서의 3차원 위치로 좌표 변환한다. 이 좌표 변환에 있어서, 위치 검출 장치(23) 및 IMU(24)의 정보가 필요해진다.

위치 검출 장치(23)는, 소정의 주기마다 위치를 출력한다. 그러므로, 위치 검출 장치(23)로부터 얻어진 정보에 기초하여, 처리 장치(40)가 선회체(3)의 선회 동작 중에서의 주위 CR의 3차원 위치를 구하면, 촬상 장치(30)에 의한 촬상 타이밍과, 위치 검출 장치(23)에 의한 유압 셔블(1)의 위치 및 방위의 취득 타이밍이 상이한 경우, 유압 셔블(1)의 위치 및 방위의 정밀도가 저하된다. 그 결과, 3차원 위치의 정밀도가 저하될 가능성이 있다. 또한, IMU(24)는, 자신이 움직이고 있는 경우에서의 자세 및 가속도의 검출 정밀도가 저하되는 것이 있다. 이와 같은 IMU(24)로부터 얻어진 정보에 기초하여, 처리 장치(40)가 선회체(3)의 선회 동작 중에서의 주위 CR의 3차원 위치를 구하면, IMU(24)에 의해 검출된 유압 셔블(1)의 자세 및 가속도의 정밀도가 저하되므로, 3차원 위치의 정밀도가 저하될 가능성이 있다.

선회체(3)를 선회시키면서 유압 셔블(1)의 주위 CR을 계측하는 경우, 위치 검출 장치(23) 및 IMU(24)가 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하게 되고나서 촬상 장치(30)가 촬상하는 방법을 생각할 수 있다. 이 경우, 선회체(3)는 간헐적으로 선회하게 된다. 또한, 위치 검출 장치(23) 및 IMU(24)가 유압 셔블(1)의 위치 및 자세를 안정적으로 검출할 때까지, 촬상 장치(30)에 의한 촬상을 기다릴 필요가 있다. 그러므로, 위치 검출 장치(23) 및 IMU(24)가 안정될 때까지 촬상을 대기하는 방법에서는, 계측에 시간을 요한다.

실시형태에 있어서, 계측 시스템(50)은, 유압 셔블(1)의 선회체(3)의 간헐적인 선회는 아니고 연속된 선회 동작 중에, 유압 셔블(1)의 주위 CR의 형상 정보 SI를 검출하고, 검출된 형상 정보 SI에 기초하여 유압 셔블(1)의 주위 CR의 3차원 위치를 구한다. 이와 같은 처리에 의하여, 계측 시스템(50)은, 유압 셔블(1)의 주위 CR의 형상 정보 SI를 검출하는 시간을 단축할 수 있다.

도 5는, 실시형태에 관한 계측 시스템(50)이 선회체(3)의 선회 동작 중에 유압 셔블(1)의 주위 CR을 3차원 계측하는 것을 설명하기 위한 도면이다. 도 6은, 선회체(3)가 선회 동작함으로써 촬상 장치 좌표계(Xs, Ys, Zs)가 이동하는 것을 설명하기 위한 도면이다. 도 7은, 선회체(3)의 선회 동작 중에 촬상된 화상 PTf, PTs의 일례를 나타낸 도면이다.

실시형태에 있어서, 계측 시스템(50)은, 위치 검출 장치(23) 및 IMU(24)가 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하여, 출력하고 있는 상태에서, 위치 검출 장치(23)로부터 유압 셔블(1)의 위치를 취득하고, IMU(24)로부터 유압 셔블(1)의 자세를 취득한다. 상세하게는, 계측 시스템(50)은, 선회체(3)가 선회 동작을 개시하기 전에, 선회체(3)가 정지하고 있는 상태에서, 위치 검출 장치(23)로부터 유압 셔블(1)의 위치를 취득하고, IMU(24)로부터 유압 셔블(1)의 자세를 취득한다. 이 경우, 선회체(3)가 정지하고 있고, 또한 유압 셔블(1)도 주행하고 있지 않은 상태이다. 위치 검출 장치(23) 및 IMU(24)가 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하여, 출력하고 있는 상태로 하기 때문이다. 처리부(41)는, 예를 들면, 선회체(3)가 정지하고 나서 미리 정해진 시간이 경과했으면, 위치 검출 장치(23) 및 IMU(24)가 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하여, 출력하고 있는 상태로 되었던 것으로 판정한다.

선회체(3)가 계측의 시공 대상을 향하고나서 정지한 후에, 계측 시스템(50)의 처리 장치(40), 상세하게는 처리부(41)는, 위치 검출 장치(23) 및 IMU(24)가 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하고, 출력하게 된 것으로 판정하면, 예를 들면, 그 취지를 통지한다. 실시형태에서는, 처리부(41)는, 도 3에 나타낸 라이트(33)를 점등시킴으로써, 전술한 통지를 행한다.

처리부(41)는, 라이트(33)를 점등시킨 후, 입력 장치(32)로부터 촬상 장치(30)의 촬상 개시 지령을 받으면, 위치 검출 장치(23) 및 IMU(24)로부터, 각각 유압 셔블(1)의 위치 및 자세를 취득한다. 기억부(42)는, 선회체(3)의 선회 동작 전에 취득된 유압 셔블(1)의 위치 및 자세를 일시적으로 기억한다. 처리부(41)는, 유압 셔블(1)의 위치 및 자세를 취득하면, 촬상 장치(30a, 30b, 30c, 30d)에 의한 촬상을 개시하게 하고, 또한 선회체(3)를 선회시킨다. 선회체(3)는, 유압 셔블(1)의 오퍼레이터의 조작에 의해 선회해도 된다.

촬상 장치(30a, 30b, 30c, 30d)의 각각은, 선회체(3)의 선회 동작 중에 소정 주기마다 복수 회 촬상함으로써, 선회체(3)가 선회하는 방향(예를 들면, 도 5의 화살표 R로 나타내는 방향)에서의 복수의 위치에서, 유압 셔블(1)의 주위 CR의 화상을 복수 얻는다. 기억부(42)는, 얻어진 화상을 일시적으로 기억한다. 선회체(3)가 소정 각도, 예를 들면, 360°선회하면, 처리부(41)는 선회체(3)를 정지시킨다. 이 때, 유압 셔블(1)은 정지하고 있다. 선회체(3)가 정지한 후, 위치 검출 장치(23) 및 IMU(24)가 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하고, 출력하게 되면, 처리부(41)는, 위치 검출 장치(23) 및 IMU(24)로부터, 각각 유압 셔블(1)의 위치 및 자세를 취득한다. 기억부(42)는, 선회체(3)의 선회 동작 다음에, 있어 위치 검출 장치(23) 및 IMU(24)가 유압 셔블(1)의 위치 및 자세를 안정적으로 출력하게 되고나서 취득된 유압 셔블(1)의 위치 및 자세를 일시적으로 기억한다. 촬상 장치(30a, 30b, 30c, 30d)는, 선회체(3)의 선회 동작 후에에 위치 검출 장치(23) 및 IMU(24)가 유압 셔블(1)의 위치 및 자세를 안정적으로 출력하게 되고나서, 시공 대상을 촬상한다.

선회체(3)가 유압 셔블(1)의 오퍼레이터의 조작에 의해 선회하는 경우, 촬상 장치(30a, 30b, 30c, 30d)의 각각은, 입력 장치(32)로부터 촬상 개시 지령을 접수한 나중에, 소정 주기마다 복수 회 촬상하도록 해도 된다. 또한, 촬상 장치(30a, 30b, 30c, 30d)의 각각은, 선회체(3)가 선회를 개시한 것을 위치 검출 장치(23) 또는 IMU(24)가 검지하고 나서, 소정 주기마다 복수 회 촬상하도록 해도 된다. 유압 셔블(1)의 오퍼레이터의 조작에 의해 선회체(3)의 선회가 정지한 경우, 촬상 장치(30a, 30b, 30c, 30d)의 각각은, 위치 검출 장치(23) 및 IMU(24)가 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하고, 출력하게 되면, 소정 주기마다의 촬영을 정지하도록 해도 된다. 촬상 장치(30a, 30b, 30c, 30d)가 복수 회 촬상한 경우에 있어서, 최초의 1회의 촬상 및 최후의 1회의 촬상 중 적어도 한쪽은, 선회체(3)의 정지 중에 행해진다. 유압 셔블(1)의 동작 중에 행해진, 촬상 장치(30a, 30b, 30c, 30d)에 의한 촬상에는, 유압 셔블(1)의 정지 중에 행해진 촬상이 1개 이상의 포함된다.

처리부(41)는, 유압 셔블(1)의 주위 CR의 3차원 위치를 구하는 데 있어서, 선회체(3)가 선회하기 전에 선회체(3) 및 유압 셔블(1)이 정지하고 있는 상태에서 얻어진 유압 셔블(1)의 위치 및 자세와, 선회체(3)의 선회 각도 θ에 기초하여, 선회체(3)의 선회 중에서의 유압 셔블(1)의 위치 및 자세 구한다. 그러므로, 처리부(41)는, 선회체(3)의 선회 각도 θ를 구한다.

도 7에 나타낸 바와 같이, 처리부(41)의 공통 부분 추출부(41A)는, 선회체(3)의 선회 동작 중에서의 제1 위치에서, 예를 들면, 촬상 장치(30c)에 촬상된 화상 PTf와, 선회체(3)의 선회 동작 중에서의 제2 위치에서 촬상 장치(30c)에 촬상된 화상 PTs로부터, 양자의 공통 부분 PCM을 구한다. 제1 위치 PF에서부터 제2 위치 PS에 이르기까지, 촬상 장치(30c, 30d)는, 선회체(3)의 선회 중심축 Zr, 실시형태에서는 차체 좌표계의 Zm축을 중심으로, 선회 각도 Δθ만큼 선회한다.

공통 부분 PCM은, 선회체(3)가 선회하는 방향의 상이한 위치에 있어서, 복수의 촬상 장치(30) 중 하나 이상에 의해 촬상된 복수의 화상 PTf, PTs로부터 구해진다. 화상 PTf는, 도 5에 나타낸 제1 위치 PF에서, 촬상 장치(30c)에 의해 촬상된 제1 범위 FMF에 대응한다. 화상 PTs는, 도 5에 나타낸 제2 위치 PS에서, 촬상 장치(30c)에 의해 촬상된 제2 범위 FMS에 대응한다.

제1 범위 FMF와 제2 범위 FMS가 중첩되는 부분에는, 특징 부분 FP가 존재한다. 특징 부분 FP는, 화상 PTf 중에서는 일부분 PCMf이며, 화상 PTs 중에서는 일부분 PCMs이다. 일부분 PCMf, PCMs는, 화상 PTf와 화상 PTs와의 공통 부분 PCM이다. 공통 부분 추출부(41A)가 화상 PTf와 화상 PTs와의 공통의 특징 부분 FP를 추출하는 데 있어서는, 공통 부분 추출부(41A)는, 먼저 각각의 화상 PTf 및 화상 PTs로부터 특징 부분 FP를 추출하여, 그 중에서 유사한 특징 부분을 발견하는 방법이 예시된다. 공통 부분 추출부(41A)는, 화상 PTf 및 화상 PTs를 기억부(42)로부터 취득하고, 공통 부분 PCM을 추출한다. 공통 부분 추출부(41A)는, 예를 들면, Harris 오퍼레이터와 같은, 복수의 화상의 특징점을 검출하는 알고리즘을 사용하여, 화상 PTf 및 화상 PTs로부터 공통 부분 PCM을 추출한다. 공통 부분 추출부(41A)는, Harris 오퍼레이터 이외의 알고리즘을 사용하여, 화상 PTf 및 화상 PTs로부터 공통 부분 PCM을 추출해도 된다.

공통 부분 PCM이 추출되었다면, 처리부(41)의 이동량 연산부(41B)는, 공통 부분 PCM에 기초하여, 선회 각도 Δθ를 구한다. 화상 PTf와 화상 PTs와의 사이에 공통 부분 PCM이 존재하는 경우, 양자 간에서 공통 부분 PCM이 비치고 있는 위치가 변화한다. 이 변화량 d가, 선회 각도 Δθ에 대응한다.

선회체(3)가 선회 중심축 Zr을 중심으로 선회 각도 Δθ만큼 선회하면, 촬상 장치 좌표계(Xs, Ys, Zs)가, 도 6에 나타낸 바와 같이, 선회체(3)가 선회 중심축 Zr을 중심으로, 제1 위치 PF에서부터 제2 위치 PS까지, 선회 각도 θ만큼 이동한다. 선회체(3)는 선회 중심축 Zr, 실시형태에서는 차체 좌표계의 Zr축을 중심으로 선회하므로, 제1 위치 PF와 제2 위치 PS와의 사이에서, 촬상 장치 좌표계(Xs, Ys, Zs)가 Zs축의 주위로 회전한 각도가, 선회 각도 θ가 된다. 도 6에 기재되어 있는 바와 같이, 선회 중심축 Zr로부터 촬상 장치(30c, 30d)를 향해 연장되는 1점 쇄선과, 촬상 장치 좌표계(Xs, Ys, Zs)의 Xs축은, 반드시 일치하고 있을 필요는 없다.

이 경우, 선회 각도 Δθ는, 예를 들면, 8점 알고리즘법, 3D(dimension)―3D(dimension) 변환법 및 번들법 중 하나 이상에 의해 구해진다. 선회 각도 Δθ를 구하는 데 있어서, 선회체(3)가 선회 중심축 Zr을 중심으로 선회 각도 θ만큼 선회한다는 조건, 즉 선회의 중심으로 구속(拘束; restrain)된다는 조건이 있으므로, 예를 들면, 8점 알고리즘법이 사용되는 경우, 화상 PTf와 화상 PTs와의 사이에 공통 부분 PCM이 1개 존재하면, 8점 알고리즘법에 의해 선회 각도 Δθ를 풀 수가 있다.

처리부(41)의 이동량 연산부(41B)는, 화상 PTf와 화상 PTs와의 사이의 공통 부분 PCM을 이용하고, 8점 알고리즘법 등에 기초하여 선회 각도 Δθ를 구한다. 선회 각도 θ는, 선회체(3)의 선회 개시 시로부터 선회 종료 시까지의 전체에 걸쳐, 공통 부분 PCM을 얻어진 1조(組)의 화상끼리에 대하여, 각각 구해진다.

8점 알고리즘법에 기초하여 선회 각도 Δθ를 구하는 경우, 선회 동작 전의 화상 중에 존재하는 공통 부분 PCM은, 선회 동작 후에 있어서는 선회 각도 Δθ의 크기에 따라 화상 상을 이동시키는 것을 이용한다. 실제로는, 공통 부분 PCM의 3차원 위치에 따라서도, 공통 부분 PCM의 이동처는 변경된다. 공통 부분 PCM의 3차원 위치가 불명해도, 화상 중에 1점 이상의 공통 부분 PCM이 있으면, 공통 부분 PCM의 3차원 위치와 관계없이, 변수(變數)가 선회 각도 θ에만 한정되므로, 선회 각도 Δθ를 구할 수 있다. 이와 같이, 1점 있으면 선회 각도 Δθ는 구해지지만, 오차가 클 가능성이 있으므로, 복수 점의 공통 부분 PCM로부터 최소 제곱법을 이용하여 양호한 정밀도로 선회 각도 θ가 산출된다. 8점 알고리즘법에 기초하여 선회 각도 Δθ를 구하는 경우에는, 선회의 전후에 있어서, 스테레오 카메라에 의한 시공 대상의 계측은 불필요하다. 변수를 선회 각도 Δθ에만 한정되지 않고, 촬상 장치(30)의 위치에서의 Xs 방향 변수, Ys 방향 변수, Zs 방향 변수와, 촬상 장치의 자세의 3변수, 즉 Xs축, Ys축, Zs축 각각에 대한 회전 방향 변수와의 합계 6개의 변수를 8점 알고리즘법에 의해 구하는 경우에는, 선회 전후의 화상 중에 8점 이상의 공통 부분 PCM이 필요해진다.

3D―3D 변환법에 기초하여 선회 각도 Δθ를 구하는 경우, 선회 동작 전의 화상 중에 존재하는 공통 부분 PCM의 3차원 위치(스테레오 카메라에 의한 계측으로 산출)는, 선회 동작 후에 선회 각도 Δθ의 크기에 따라 촬상 장치(30)로부터 본 3차원 위치가 변화하는 것을 이용한다. 예를 들면, 선회 동작 전에서의 스테레오 카메라에 의한 계측으로 차체 좌표계의 (1, 0, 0)의 위치였던 공통 부분 PCM이, 선회 동작 후의 스테레오 계측으로 차체 좌표계의 (0, 1, 0)의 위치로 되어 있으면, 선회체(3)가 차체 좌표계의 Zm축 주위로 90°선회했다고 할 수 있다. 이와 같이, 1점 있으면 선회 각도 Δθ는 구해지지만, 오차가 큰 가능성이 있으므로, 복수 점의 공통 부분 PCM로부터 최소 제곱법을 이용하여 양호한 정밀도로 선회 각도 Δθ를 산출한다. 3D―3D 변환법에 기초하여 선회 각도 Δθ를 구하는 경우에는, 선회의 전후에 있어서, 스테레오 카메라에 의한 시공 대상의 계측이 필요하다. 변수를 선회 각도 Δθ에만 한정하지 않고, 촬상 장치(30)의 위치에서의 Xs 방향 변수, Ys 방향 변수, Zs 방향 변수와, 촬상 장치의 자세의 3변수, 즉 Xs축, Ys축, Zs축 각각에 대한 회전 방향 변수와의 합계 6개의 변수를 3D―3D 변환법에 의해 구하는 경우에는, 선회 전후의 화상 중에 3점 이상의 공통 부분 PCM이 필요해진다.

번들법에 기초하여 선회 각도 θ를 구하는 경우, 선회 동작 전의 화상 중에 존재하는 공통 부분 PCM의 3차원 위치(스테레오 카메라에 의한 계측으로 산출)는, 선회 동작 후에 선회 각도 θ의 크기에 따른 화상 상의 위치에 있는 것, 또는 선회 동작 전의 화상 중에 존재하는 공통 부분 PCM의 위치는, 선회 각도 Δθ의 크기에 따라 선회 동작 후에 촬상 장치(30)로부터 본 3차원 위치가 변화하는 것을 이용한다. 번들법에 있어서도, 1점 이상의 공통 부분 PCM이 있으면, 변수가 선회 각도 Δθ에만 한정되어 있으면, 선회 각도 Δθ를 구할 수 있다. 이와 같이, 1점 있으면 선회 각도 Δθ는 구해지지만, 오차가 큰 가능성이 있으므로, 복수 점의 공통 부분 PCM로부터 최소 제곱법을 이용하여 양호한 정밀도로 선회 각도 Δθ를 산출한다.

번들법에 기초하여 선회 각도 Δθ를 구하는 경우에는, 선회의 전에서의 스테레오 카메라에 의한 시공 대상의 계측, 또는 선회의 후에서의 스테레오 카메라에 의한 시공 대상의 계측이 필요하다. 변수를 선회 각도 Δθ에만 한정하지 않고, 촬상 장치(30)의 위치에서의 Xs 방향 변수, Ys 방향 변수, Zs 방향 변수와, 촬상 장치의 자세의 3변수, 즉 Xs축, Ys축, Zs축 각각에 대한 회전 방향 변수와의 합계 6개의 변수를 번들법에 의해 구하는 경우에는, 선회 전후의 화상 중에 6점 이상의 공통 부분 PCM이 필요해진다.

선회 각도 Δθ가 얻어지면, 처리부(41)의 차체 상태 연산부(41C)는, 얻어진 선회 각도 Δθ와, 선회체(3)의 선회 동작 전에 정지하고 있는 상태에서 위치 검출 장치(23)에 의해 구해진 유압 셔블(1)의 위치와, 선회체(3)의 선회 동작 전에 정지하고 있는 상태에서 IMU(24)에 의해 구해진 유압 셔블(1)의 자세에 기초하여, 선회 동작 중에서의 유압 셔블(1)의 위치 및 자세를 구한다. 선회체(3)가 정지 상태로부터 선회 각도 Δθ만큼 선회한 경우, 차체 상태 연산부(41C)는, 차체 좌표계(Xm, Ym, Zm)의 Xm―Ym 평면에 있어서, 선회 중심축 Zr(실시형태에서는 Zm축) 주위를 선회 각도 θ만큼 선회했다는 조건을 사용하여, 선회 동작 전의 정지 상태에서의 유압 셔블(1)의 위치 및 자세에 기초하여, 선회 각도 Δθ만큼 선회한 상태에서의 유압 셔블(1)의 위치 및 자세를 구한다.

도 5에 나타낸 예에 있어서, 제1 위치 PF(정지 중, 선회 동작 전), 제2 위치 PS(선회 동작 중), 제3 위치 PT(선회 동작 중)에 있어서 촬상 장치(30)와 촬영을 한 것으로 한다. 제1 위치 PF(정지 중)에 있어서 유압 셔블(1)의 위치 및 자세가 계측 가능하며, 제1 위치 PF에서부터 제2 위치 PS까지의 선회각 Δθ1을 특징점에 의해 구하면, 제2 위치 PS(선회 동작 중)에서의 유압 셔블(1)의 위치 및 자세를 알 수 있다. 그리고, 제2 위치 PS로부터 제3 위치 PT까지의 선회각 Δθ2를 특징점에 의해 구할 수 있어, 제3 위치 PT(선회 동작 중)에서의 유압 셔블(1)의 위치 및 자세를 알 수 있다. 이와 같이, 선회 동작 중에 촬상 장치(30)에 의해 촬영된 개소에서의 유압 셔블(1)의 위치 및 자세가 단계적으로 판명된다.

예를 들면, 차체 상태 연산부(41C)는, 선회 동작 전의 정지 상태에서의 유압 셔블(1)의 위치 및 자세를, 차체 좌표계(Xm, Ym, Zm)의 Zm축을 중심으로 선회 각도 Δθ만큼 회전 변환시킴으로써, 선회 동작 중 또는 선회 동작 후에서의 유압 셔블(1)의 위치 및 자세를 구한다. 선회 동작 중 또는 선회 동작 후에서의 유압 셔블(1)의 위치 및 자세는, 예를 들면, 선회 동작 전의 정지 상태에서의 차체 좌표계(Xm, Ym, Zm)에서의 위치 및 자세로 할 수 있다. 실시형태에 있어서, 선회 동작 중 또는 선회 동작 후에서의 유압 셔블(1)의 위치 및 자세는, 선회 동작 전의 차체 좌표계(Xm, Ym, Zm)에서의 선회 동작 중 또는 선회 동작 후에서의 촬상 장치(30)의 위치 및 자세로 하고 있지만, 이에 한정되지는 않는다.

전술한 선회 각도 Δθ는, 선회체(3)의 각 위치에서의 1개전의 위치와의 선회 각도의 차이이다. 이하에 있어서 선회 각도 차를Δθ로 하여, Δθ를 적산하는 것을 선회 각도 θ로 한다. 선회 동작 중인 유압 셔블(1)의 위치 및 자세, 즉 선회체(3)가 선회하는 방향에서의 상이한 위치에서의 선회 개시 나중에 선회 종료 전까지의 유압 셔블(1)의 위치 및 자세는, 선회체(3)의 주위 방향에서의 각 위치에서의 선회 각도 θ를 사용하여, 선회 동작 전의 정지 상태에서의 유압 셔블(1)의 위치 및 자세로부터 구해진다. 선회 동작 후의 유압 셔블(1)의 위치 및 자세는, 선회 동작 후에서의 선회체(3)의 주위 방향에서의 위치의 선회 각도 θ를 사용하여, 선회 동작 전의 정지 상태에서의 유압 셔블(1)의 위치 및 자세로부터 구해진다. 선회체(3)의 주위 방향에서의 각 위치의 선회 각도 θ는, 선회 동작 전의 정지 상태에서의 선회 각도를 기준으로 한 것이다. 선회체(3)의 주위 방향에서의 각 위치의 선회 각도 θ는, 선회 동작 전의 정지 상태에서의 선회 각도를 기준으로 한 것이다.

선회 동작 전에서의 촬상 장치(30)의 위치를 Ps1(Xs1, Ys1, Zs1)이라고 하고, 선회 동작 중 또는 선회 동작 후에서의 촬상 장치(30)의 위치를 Ps2(Xs2, Ys2, Zs2)라고 한다. 위치 Ps1 및 위치 Ps2는, 모두 촬상 장치 좌표계의 위치이다. 위치 Ps1 및 위치 Ps2를 차체 좌표계로 변환한 후의 위치를, 각각 위치 Pm1(Xm1, Ym1, Zm1), 위치 Pm2(Xm2, Ym2, Zm2)라고 한다. 위치 Ps1은 식(1)에 의해 위치 Pm1로 변환되고, 위치 Ps2는 식(2)에 의해 위치 Pm2로 변환된다. 처리부(41)의 3차원 위치 연산부(41D)는, 식(2)를 사용하여, 선회 동작 중인 유압 셔블(1)의 위치인 선회 동작 중에서의 촬상 장치(30)의 위치 Ps2를, 선회 동작 전의 정지 상태에서의 차체 좌표계(Xm, Ym, Zm)에서의 위치 Pm2로 변환한다. 선회 동작 중인 유압 셔블(1)의 자세인 선회 동작 중에서의 촬상 장치(30)의 자세도, 선회 동작 중에서의 촬상 장치(30)의 위치 Ps2와 마찬가지로, 식(2)에 의해 선회 동작 전의 정지 상태에서의 차체 좌표계(Xm, Ym, Zm)의 자세로 변환된다.

[수식 1]

[수식 2]

[수식 3]

식(2) 중의 R은, 식(3)으로 표현된다. 식(1) 및 식(2) 중의 α는 촬상 장치 좌표계의 Xs 축 주위의 회전 각도, β는 촬상 장치 좌표계의 Ys 축 주위의 회전 각도, γ는 촬상 장치 좌표계의 Zs 축 주위의 회전 각도 변위(變位)이다. Xt, Yt, Zt는, 차체 좌표계(Xm, Ym, Zm)에서의, 촬상 장치 좌표계(Xs, Ys, Zs)와 차체 좌표계(Xm, Ym, Zm)와의 Xm축 방향, Ym축 방향, Zm축 방향의 변위이다.

선회 동작 중에서의 유압 셔블(1)의 위치 및 자세가 얻어지면, 3차원 위치 연산부(41D)는, 선회 동작 중에서의 유압 셔블(1)의 위치 및 자세와, 선회체(3)가 선회하는 방향의 복수의 위치에 있어서, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 결과를 사용하여, 유압 셔블(1)의 주위 CR의 3차원 위치를 구한다. 예를 들면, 선회체(3)가 정지 상태로부터 선회 각도 θ만큼 선회한 위치에 있어서, 글로벌 좌표계에서의 유압 셔블(1)의 위치 및 자세가 얻어져 있다. 그러므로, 3차원 위치 연산부(41D)는, 이 위치 및 자세를 이용하여, 거리 화상 중의 화소에 포함되는 3차원 위치를, 촬상 장치 좌표계로부터 글로벌 좌표계로 좌표 변환할 수 있다. 이와 같이 하여, 3차원 위치 연산부(41D)는, 글로벌 좌표계에서의, 유압 셔블(1)의 주위 CR의 3차원 위치를 구할 수 있다.

3차원 위치 연산부(41D)는, 선회 동작 중에서의 유압 셔블(1)의 위치 및 자세를 이용하지 않고, 유압 셔블(1)의 주위 CR의 3차원 위치를 구해도 된다. 이 경우, 식(1) 및 식(2)에 있어서, 선회 동작 전에 있어서 촬상 장치(30)에 의해 촬상된 시공 대상의 위치를 Ps1(Xs1, Ys1, Zs1)라고 하고, 선회 동작 중 또는 선회 동작 후에 있어서 촬상 장치(30)에 의해 촬상된 시공 대상의 위치를 Ps2(Xs2, Ys2, Zs2)라고 한다. 3차원 위치 연산부(41D)는, 식(2)를 사용하여, 선회 동작 중에서의 촬상 장치(30)에 의해 촬상된 시공 대상의, 촬상 장치 좌표계(Xs, Ys, Zs)에서의 위치 Ps2를, 선회 동작 전의 정지 상태에서의 차체 좌표계(Xm, Ym, Zm)에서의 위치 Pm2로 변환한다. 이와 같이 하여, 3차원 위치 연산부(41D)는, 선회 각도 θ를 사용하여, 선회 동작 중 또는 선회 동작 후에 얻어진 거리 화상 중의 화소에 포함되는3차원 위치를 구할 수 있다. 3차원 위치 연산부(41D)는, 선회 동작 전의 정지 상태에서의 유압 셔블(1)의 위치 및 자세를 이용하여, 선회 동작 전의 정지 상태에서의 차체 좌표계(Xm, Ym, Zm)에서의 위치 Pm2를 글로벌 좌표계의 위치로 변환한다.

이와 같이, 3차원 위치 연산부(41D)는, 선회 각도 θ와, 선회체(3)가 선회하기 전에 정지하고 있는 상태에서 위치 검출 장치(23)에 의해 구해진 유압 셔블(1)의 위치와, 선회체(3)가 선회하기 전에 정지하고 있는 상태에서 IMU(24)에 의해 구해진 유압 셔블(1)의 자세와, 선회체(3)가 선회하는 방향의 복수의 위치에 있어서 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 결과를 사용하여, 유압 셔블(1)의 주위 CR의 3차원 위치를 구한다.

도 8은, 선회체(3)의 선회 동작 중에 촬상되고, 3차원 위치가 구해진 복수의 화상 PT1―PTn을 결합하는 것을 설명하기 위한 도면이다. 3차원 위치 연산부(41D)는, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상되고, 전술한 처리에 의해 구해진, 선회체(3)의 선회 방향에서의 각 위치의 3차원 위치를 결합한다. 도 8에 나타내는 화상 PT1―PTn[n은 3 이상의 정수(整數)]는, 3차원 위치 연산부(41D)에 의하여, 글로벌 좌표계에서의 3차원 위치에 변환된 거리 화상이다. 거리 화상 PT1―PTn을 구별하지 않을 경우, 거리 화상 PT라고 표기한다. 거리 화상 PT1은, 선회 개시 전의 정지에 있어서 얻어진 것이며, 거리 화상 PTn은, 선회 종료 후의 정지에 있어서 얻어진 것이다.

실시형태에 있어서, 복수의 거리 화상 PT1, PT2, PT3, PT4, PTn―2, PTn-1, 및 PTn이 결합되지만, 이들은 서로 중복되는 부분 OLT를 가지고 있다. 이와 같이 함으로써, 유압 셔블(1)의 주위 CR이 계측된 경우에 있어서, 선회체(3)가 선회하는 방향에서의 계측의 누락이 억제된다.

인접하는 거리 화상 PT의 선회 각도 Δθ1, Δθ2, Δθn-1은, 촬상 장치(30)의 촬상 범위에 기초하여, 인접하는 거리 화상 PT끼리가 중복되는 부분 OLP를 가지는 크기로 설정된다. 선회 각도 Δθ1, Δθ2, Δθn-1은, 선회체(3)의 주위 방향에서의 위치에 따라서 상이해도 되고, 같은 값이라도 된다. 3차원 위치 연산부(41D)는, 설정된 선회 각도 Δθ1, Δθ2, Δθn-1마다 거리 화상 PTD를 취득하여 이들을 결합함으로써, 유압 셔블(1)의 주위 CR의 3차원 위치를 나타내는 정보를 생성한다. 3차원 위치 연산부(41D)는, 복수의 거리 화상 PTD를 결합하는 데 있어서, 중복되는 부분 OLP를 어느 한쪽의 거리 화상 PTD의 3차원 위치로 해도 되고, 양쪽의 3차원 위치의 평균값으로 해도 된다.

도 9는, 선회 각도 θ를 보정하는 것을 설명하기 위한 도면이다. 도 9의 세로축은 선회 각도 θ, 가로축은 시간 t이다. 시간은, 선회 개시 시를 ts로 하고, 선회 종료 시를 te로 한다. 선회 각도 θ에 부여된 부호 t는 위치 검출 장치(23) 및 IMU(24)의 검출값에 의해 구해진 선회 각도인 것을 의미하고, 부호 g는 선회 동작 중에 얻어진 복수의 화상으로부터 얻어진 선회 각도인 것을 의미한다. 복수의 화상으로부터 얻어진 선회 각도 θg는, 복수의 화상 간에서 공통되는 부분 PCM을 추출할 때의 정밀도 및 선회 각도 θ를 계산할 때의 오차 등에 의하여, 진정한 선회 각도 θt와의 어긋남 dθ가 발생한다.

그러므로, 실시형태에 있어서, 이동량 연산부(41B)는, 선회체(3)가 선회를 개시하기 전에 정지하고 있는 상태의 선회체(3)의 선회 각도(θts)와, 선회체(3)가 선회를 종료한 후에 정지하고 있는 상태의 선회체(3)의 선회 각도 te를 사용하여, 선회체(3)가 선회하고 있는 상태에서의 선회 각도 g를 보정한다. 이와 같이 함으로써, 선회체(3)의 선회 시에서의 유압 셔블(1)의 위치 및 자세의 정밀도 저하가 억제되므로, 선회체(3)의 선회 시에 얻어진 유압 셔블(1)의 주위 CR의 3차원 위치의 정밀도 저하가 억제된다.

선회 각도를 보정하는 다른 방법에 대하여 설명한다. 이동량 연산부(41B)에 의해 구해진 선회 각도가, 실제로 선회체(3)가 선회한 선회 각도'와는 상이한 경우, 그 오차의 변화율(경사)은 일정해진다. 이 경우, 이동량 연산부(41B)는, 식(4)을 사용하여 구한 선회 각도를 보정한다. 선회 각도'는, 실제로 선회체(3)가 선회한 선회 각도'여, 보정 후의 선회 각도이다. 선회 각도'는, 선회체(3)가 선회를 개시하기 전에 정지하고 있는 상태의 선회체(3)의 선회 각도 t와, 선회체(3)가 선회를 종료한 후에 정지하고 있는 상태의 선회체(3)의 선회 각도 t를 사용하여 구한다.

θ'=(θte―θts)/(θge―θgs)×(θ―θgs)＋θgs … (4)

<실시형태에 관한 계측 방법>

도 10은, 실시형태에 관한 계측 방법의 수순의 일례를 나타낸 플로우차트이다. 실시형태에 관한 계측 방법은, 도 3에 나타낸 계측 시스템(50)에 의해 실현된다. 유압 셔블(1)의 주위 CR을 3차원 계측하는 데 있어서, 유압 셔블(1)의 오퍼레이터는, 계측을 개시하는 위치에 선회체(3)를 향한다. 선회체(3)가 정지(停止)한 후, 소정 시간이 경과했으면, 처리 장치(40)의 처리부(41)는, 선회체(3)의 선회 시에 촬상 장치(30)에 의한 연속 촬영이 가능한 것을 통지한다. 일례로서, 처리부(41)는, 연속 촬영이 가능한 것을, 라이트(33)를 점등시킴으로써 통지한다. 라이트(33)가 점등하였으면, 오퍼레이터는, 도 3에 나타낸 입력 장치(32)를 조작하여, 촬상 장치(30)의 촬상 개시 지령을 처리 장치(40)에게 보낸다.

처리 장치(40)의 처리부(41)는, 촬상 개시 지령을 받으면, 스텝 S101에서, 선회체(3)가 정지하고 있는 상태에서, 위치 검출 장치(23)로부터 유압 셔블(1)의 위치를 취득하고, IMU(24) 및 자세를 취득한다. 스텝 S102에서, 처리부(41)는, 선회체(3)의 선회를 개시하게 하고, 또한 선회체(3)가 선회하고 있는 가장 중앙에 적어도 한 쌍의 촬상 장치(30)에 유압 셔블(1)의 주위 CR을 촬상시킨다. 스텝 S102에서, 선회체(3)의 선회 동작 중에 유압 셔블(1)의 주위 CR의 형상 정보 SI가 검출된다. 스텝 S102에서, 적어도 한 쌍의 촬상 장치(30)는, 촬상한 형상 정보 SI인 화상을, 처리부(41)에 출력한다.

소정 각도만큼 선회체(3)가 선회하면, 스텝 S103에서, 처리부(41)는 선회체(3)를 정지시킨다. 정지 후, 소정 시간이 경과했으면, 스텝 S104에서, 처리부(41)는, 선회체(3)가 정지하고 있는 상태에서, 위치 검출 장치(23)로부터 유압 셔블(1)의 위치를 취득하고, IMU(24) 및 자세를 취득한다.

스텝 S105에서, 공통 부분 추출부(41A)는, 선회체(3)의 선회 동작 중에 촬상 장치(30)에 의해 촬상된 2개 이상의 화상으로부터, 양자의 공통 부분 PCM을 구한다. 공통 부분 PCM은, 선회체(3)가 선회하는 방향을 따라 선회체(3)가 선회를 개시하고 나서 정지할 때까지의 전체 범위에 걸쳐서 구해진다. 즉, 선회 동작 개시 전의 촬영 결과를 1, 선회 동작 종료 후의 촬영 결과를 n으로 한 경우에, 1과 2와의 공통 부분, 2와 3와의 공통 부분, … n-1과 n과의 공통 부분을 각각 추출한다. 스텝 S106에서, 이동량 연산부(41B)는, 스텝 S105에서 구해진 공통 부분 PCM에 기초하여, 적어도 한 쌍의 촬상 장치(30)가 촬영한 타이밍에서의 선회 각도를 구한다. 이 경우, 이동량 연산부(41B)는, 선회 개시의 전후에 선회체(3)가 정지하고 있는 상태에서 얻어진 선회 각도 t 및 θte를 사용하여, 선회체(3)가 선회하고 있는 상태에서의 선회 각도 g를 보정해도 된다.

스텝 S107에서, 차체 상태 연산부(41C)는, 스텝 S106에서 얻어진 선회 각도와, 선회체(3)의 선회 동작 전에 정지하고 있는 상태에서 위치 검출 장치(23)에 의해 구해진 유압 셔블의 위치와, 선회체(3)의 선회 동작 전에 정지하고 있는 상태에서 IMU(24)에 의해 구해진 유압 셔블의 자세와, 선회 동작 중에 복수의 상이한 위치에서 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 화상을 사용하여, 유압 셔블(1)의 주위 CR의 3차원 위치를 구한다. 스텝 S107에서, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 화상인 형상 정보 SI에 기초하여, 유압 셔블(1)의 주위 CR의 3차원 위치가 구해진다. 그 후, 3차원 위치 연산부(41D)는, 얻어진 3차원 위치를 포함하는 복수의 거리 화상 PTD를 결합하고, 결합된 복수의 거리 화상 PTD를 기억부(42)에 보존한, 외부의 서버에 출력하거나 한다.

도 11은, 선회체(3)의 선회 동작 중 및 선회 동작의 전후에 얻어진 복수의 거리 화상 PTDs, PTDm, PTDe를 결합하는 예를 나타낸 도면이다. 실시형태에 있어서는, 선회체(3)의 선회 동작 중 및 선회 동작의 전후에, 복수의 거리 화상 PTDs, PTDm, PTDe를 얻을 수 있다. 거리 화상 PTDs는, 선회체(3)가 선회를 개시하기 전에 얻어진 것이며, 거리 화상 PTDm은, 선회체(3)의 선회 동작 중에 얻어진 것이며, 거리 화상 PTDe는, 선회체(3)가 선회를 종료한 후에 얻어진 것이다. 거리 화상 PTDm은, 단수라도 되고, 복수라도 된다.

거리 화상 PTDs는, 선회체(3)가 선회 동작을 개시하기 전에 얻어진 유압 셔블의 주위의 3차원 위치를 포함한다. 거리 화상 PTDm은, 선회체(3)의 선회 동작 중에 얻어진 유압 셔블의 주위의 3차원 위치를 포함한다. 거리 화상 PTDe는, 선회체(3)가 선회를 종료한 후에 얻어진 유압 셔블의 주위의 3차원 위치를 포함한다.

도 3에 나타낸 3차원 위치 연산부(41D)는, 선회체(3)의 선회 동작 중 및 선회 동작의 전후에 얻어진, 복수의 거리 화상 PTDs, PTDm 및 PTDe를 결합한다. 구체적으로는, 3차원 위치 연산부(41D)는, 각각의 3차원 위치 데이터에서의 글로벌 좌표계(Xg, Yg, Zg)의 Xg 좌표 및 Yg 좌표가 일치하도록, 높이의 데이터, 즉 Zg 좌표를 결합한다. 예를 들면, 3차원 위치 연산부(41D)는, 각각의 거리 화상 PTDs, PTDm, PTDe가 공통되는 위치에서, 이들을 결합한다. 이 처리에 의하여, 선회체(3)가 선회를 개시하기 전에 얻어진 유압 셔블의 주위의 3차원 위치와, 선회체(3)의 선회 동작 중에 얻어진 유압 셔블의 주위의 3차원 위치와, 선회체(3)가 선회를 종료한 후에 얻어진 유압 셔블의 주위의 3차원 위치가 결합된다.

복수의 거리 화상 PTDs, PTDm, PTDe가 결합되는 것에 의하여, 유압 셔블(1)의 주위에 있어서 선회체(3)가 선회한 범위의 3차원 형상을 나타내는 거리 화상 PTDa를 얻을 수 있다. 결합된 거리 화상 PTDa를 얻을 수 있으므로, 선회체(3)의 선회 동작 중에 촬상된 일부의 위치에 있어서 촬상 장치(30)의 위치가 측정할 수 없었으므로 3차원 위치의 연산할 수 없었던 영역을 파악할 수 있다. 또한, 결합된 거리 화상 PTDa를 얻을 수 있으므로, 유압 셔블(1)의 주위에서의 지형의 상황이 파악된다. 3차원 위치 연산부(41D)는, 선회체(3)의 선회 동작 중에 얻어진 복수의 거리 화상 PTDm을 결합하도록 해도 된다.

<유압 셔블(1)의 동작 중에서의 연속된 3차원 계측>

도 12는, 실시형태에 관한 계측 시스템이 유압 셔블(1)의 주행 동작 중에 유압 셔블(1)의 주위 CR을 3차원 계측하는 것을 설명하기 위한 도면이다. 실시형태에 있어서는, 선회체(3)의 선회 동작 중에 유압 셔블(1)의 주위를 3차원 계측하였으나,변형예는, 유압 셔블(1)의 동작 중, 예를 들면, 주행체(5)의 주행 동작 중(주행 중)에, 유압 셔블(1)의 주위를 3차원 계측한다.

주행 동작을 개시하기 전의 유압 셔블(1)은 정지하고 있다. 이 때, 선회체(3) 및 주행체(5)도 정지하고 있다. 이 상태에서, 계측 시스템(50)은, 위치 검출 장치(23) 및 IMU(24)가 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하여, 출력하고 있는 상태에서, 위치 검출 장치(23)로부터 유압 셔블(1)의 위치를 취득하고, IMU(24)로부터 유압 셔블(1)의 자세를 취득한다. 위치 검출 장치(23) 및 IMU(24)가, 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하여, 출력하고 있는 상태로 하기 때문이다.

상세하게는, 도 3에 나타낸 계측 시스템(50)은, 유압 셔블(1)이 주행 동작을 개시하기 전에, 선회체(3) 및 주행체(5)가 정지하고 있는 상태에서, 위치 검출 장치(23)로부터 유압 셔블(1)의 위치를 취득하고, IMU(24)로부터 유압 셔블(1)의 자세를 취득한다. 도 3에 나타낸 처리부(41)는, 예를 들면, 유압 셔블(1) 및 선회체(3)가 정지하고 나서 미리 정해진 시간이 경과했으면, 위치 검출 장치(23) 및 IMU(24)가 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하고, 출력하고 있는 상태로 되었던 것으로 판정한다.

유압 셔블(1)이 정지하고, 또한 선회체(3)가 계측의 시공 대상을 향하고나서 정지한 후에, 계측 시스템(50)의 처리 장치(40), 상세하게는 처리부(41)는, 위치 검출 장치(23) 및 IMU(24)가 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하고, 출력하게 된 것으로 판정하면, 예를 들면, 그 취지를 통지한다. 통지에 대해서는 전술한 바와 같다.

처리부(41)는, 예를 들면, 라이트(33)를 점등시킨 후, 입력 장치(32)로부터 촬상 장치(30)의 촬상 개시 지령을 받으면, 위치 검출 장치(23) 및 IMU(24)로부터, 각각 유압 셔블(1)의 위치 및 자세를 취득한다. 기억부(42)는, 유압 셔블(1)이 주행 동작을 개시하기 전에 취득된 유압 셔블(1)의 위치 및 자세를 일시적으로 기억한다. 처리부(41)는, 유압 셔블(1)의 위치 및 자세를 취득하면, 촬상 장치(30a, 30b, 30c, 30d)에 의한 촬상을 개시하게 한다. 도시하지 않은 주행 레버가 오퍼레이터에 의해 조작되면, 유압 셔블(1)이 주행 동작을 개시한다. 유압 셔블(1)은, 처리부(41)로부터 촬상 장치(30a, 30b, 30c, 30d)에 촬상 개시 지령이 발신되었으면, 자동적으로 주행 동작을 개시해도 된다.

도 3에 나타낸 촬상 장치(30a, 30b, 30c, 30d)의 각각은, 예를 들면, 도 1에 나타낸 유압 셔블(1)의 주행체(5)에 의한 주행 동작 중에 소정 주기마다 복수 회 촬상함으로써, 유압 셔블(1)이 주행하는 방향(예를 들면, 도 12의 화살표 MD로 나타내는 방향)에서의 복수의 위치에서, 유압 셔블(1)의 주위 CR의 화상을 복수 얻는다. 도 3에 나타낸 기억부(42)는, 얻어진 화상을 일시적으로 기억한다. 오퍼레이터에 의한 도시하지 않은 주행 레버의 조작이 종료되면, 유압 셔블(1)의 주행 동작은 정지한다. 이 때, 선회체(3)도 정지하고 있다. 유압 셔블(1)이 주행 동작하는 방향은 직선 방향이 아니어도 된다.

유압 셔블(1)이 정지한 후, 도 3에 나타낸 위치 검출 장치(23) 및 IMU(24)가 각각 유압 셔블(1)의 위치 및 자세를 안정적으로 검출하고, 출력하게 되면, 처리부(41)는, 위치 검출 장치(23) 및 IMU(24)로부터, 각각 유압 셔블(1)의 위치 및 자세를 취득한다. 기억부(42)는, 처리부(41)에 의해 취득된 유압 셔블(1)의 위치 및 자세를 일시적으로 기억한다. 촬상 장치(30a, 30b, 30c, 30d)는, 유압 셔블(1)의 주행 개시 후에 위치 검출 장치(23) 및 IMU(24)가 유압 셔블(1)의 위치 및 자세를 안정적으로 출력하게 되고나서, 시공 대상을 촬상한다.

도 3에 나타낸 처리부(41)의 공통 부분 추출부(41A)는, 유압 셔블(1)의 주행 중 및 주행의 전후에 얻어진 복수의 화상으로부터, 공통 부분을 구한다. 공통 부분 추출부(41A)는, 예를 들면, 제1 위치 PF에서 촬상 장치(30c)에 촬상된 화상과, 유압 셔블(1)의 주행 중에서의 제2 위치 PS에서 촬상 장치(30c)에 촬상된 화상으로부터, 양자의 공통 부분을 구한다. 또한, 공통 부분 추출부(41A)는, 예를 들면, 제2 위치 PF에서 촬상 장치(30c)에 촬상된 화상과, 유압 셔블(1)의 주행 중에서의 제3 위치 PT에서 촬상 장치(30c)에 촬상된 화상으로부터, 양자의 공통 부분을 구한다.

제1 위치 PF에서 촬상된 화상과 제2 위치 PS에서 촬상된 화상과의 공통 부분은, 제1 범위 FMF와 제2 범위 FMS가 중첩되는 부분에 존재하는 특징 부분 FP에 대응한다. 제2 위치 PS에서 촬상된 화상과 제3 위치 PT에서 촬상된 화상과의 공통 부분은, 제2 범위 FMS와 제3 범위 FMT가 중첩되는 부분에 존재하는 특징 부분 FP에 대응한다.

공통 부분 추출부(41A)는, 예를 들면, Harris 오퍼레이터와 같은, 복수의 화상의 특징점을 검출하는 알고리즘을 사용하여, 유압 셔블(1)의 주행 중 및 주행의 전후에 얻어진 복수의 화상으로부터 공통 부분을 추출한다. 공통 부분이 추출되었다면, 처리부(41)의 이동량 연산부(41B)는, 공통 부분 PCM에 기초하여, 촬상 장치(30)의 이동량 ΔD[ΔD1, ΔD2]을 구한다. 2개의 상이한 화상에 공통 부분이 존재하는 경우, 양자 간에서 공통 부분이 비치고 있는 위치가 변화한다. 이 변화량이, 촬상 장치(30)의 이동량 ΔD에 대응한다. 이동량 ΔD은, 도 12에 나타낸 바와 같이, 일방향의 이동량에 한정되지 않고, 6변수[촬상 장치(30)의 위치에서의 Xs 방향 변수, Ys 방향 변수, Zs 방향 변수와, 촬상 장치의 자세의 3변수, 즉 Xs축, Ys축, Zs축 각각에 대한 회전 방향 변수와의 합계 6개의 변수]에서의 이동량이라도 된다.

이동량 d는, 전술한 바와 같이, 예를 들면, 8점 알고리즘법, 3D(dimension)―3D 변환법 및 번들법 중 하나 이상에 의해 구해진다. 이동량 ΔD을 구하는 경우, 선회의 중심으로 구속(restrain)된다는 조건은 없다. 그러므로, 이동량 ΔD을 구하는 경우, 촬상 장치(30)의 위치에서의 Xs 방향 변수, Ys 방향 변수, Zs 방향 변수와, 촬상 장치의 자세의 3변수, 즉 Xs축, Ys축, Zs축 각각에 대한 회전 방향 변수와의 합계 6개의 변수가 필요해진다. 8점 알고리즘법, 3D(dimension)―3D 변환법 및 번들법 중 하나 이상에 의해 전술한 6개의 변수가 구해지는 경우, 복수의 화상 중에는, 선회 각도 Δθ를 구하는 경우보다 많은 공통 부분이 필요해진다.

이동량 ΔD을 얻을 수 있으면, 이동량 ΔD을 구하는 경우에 구한, 촬상 장치(30)의 위치에서의 Xs 방향 변수, Ys 방향 변수, Zs 방향 변수와, Xs축, Ys축, Zs축 각각에 대한 회전 방향 변수와의 합계 6개의 변수를 얻을 수 있다. 이들 6개의 변수를 얻을 수 있으면, 촬상 장치(30)의 위치 및 자세도 얻어진다. 유압 셔블(1)이 주행 동작하는 경우에는, 이동량 연산부(41B)만에 의해 촬상 장치(30)의 이동량 ΔD, 촬상 장치(30)의 위치 및 자세를 얻을 수 있다. 즉, 유압 셔블(1)이 주행 동작하는 경우, 도 3에 나타낸 촬상 장치 연산부(41E)는, 이동량 연산부(41B)만으로 구성된다.

유압 셔블(1)의 주행 중에서의 촬상 장치(30)의 위치 및 자세가 얻어지면, 3차원 위치 연산부(41D)는, 유압 셔블(1)이 주행 동작 중인 복수의 위치에 있어서, 주행 동작 중에서의 촬상 장치(30)의 위치 및 자세와, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 결과를 사용하여, 유압 셔블(1)의 주위 CR의 3차원 위치를 구한다. 예를 들면, 유압 셔블(1)이 정지 상태로부터 소정 거리만큼 주행한 위치에 있어서, 글로벌 좌표계에서의 촬상 장치(30)의 위치 및 자세가 얻어져 있다. 그러므로, 3차원 위치 연산부(41D)는, 이 위치 및 자세를 이용하여, 거리 화상 중의 화소에 포함되는 3차원 위치를, 촬상 장치 좌표계로부터 글로벌 좌표계로 좌표 변환할 수 있다. 이와 같이 하여, 3차원 위치 연산부(41D)는, 글로벌 좌표계에서의, 유압 셔블(1)의 주위 CR의 3차원 위치를 구할 수 있다.

유압 셔블(1)이 주행 동작을 하고 있는 경우의 3차원 계측에 있어서 기재되어 있지 않은 부분은, 선회 시의 연속 계측에서 설명한 방법이 이용되어도 된다.

실시형태에서는, 처리 장치(40)가 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 화상에 스테레오 방식에 의한 화상 처리를 행하여 3차원 계측을 실현하였으나, 이와 같은 것에 한정되지는 않는다. 예를 들면, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 유압 셔블(1)의 주위 CR의 화상과, 위치 검출 장치(23) 및 IMU(24)에 의해 구해진 유압 셔블(1)의 정지 시에서의 위치 및 자세가, 예를 들면, 유압 셔블(1)의 외부의 관리 장치로 송신된다. 그리고, 외부의 관리 장치가 유압 셔블(1)의 주위 CR의 화상에 스테레오 방식에 의한 화상 처리를 실행하고, 또한 선회체(3)의 선회 시에서의 선회 각도, 유압 셔블(1)의 위치 및 자세를 구하고, 얻어진 결과를 사용하여 선회 시에서의 유압 셔블(1)의 주위 CR의 3차원 위치를 구해도 된다. 이 경우, 유압 셔블(1)의 외부의 관리 장치가, 처리 장치(40)에 상당한다.

실시형태에 있어서, 작업 기계는, 적어도 한 쌍의 촬상 장치(30)가 구비된 선회체(3)를 가지고 있으면 되고, 유압 셔블(1)에 한정되지는 않는다. 또한, 실시형태에 있어서, 처리 장치(40)는, 선회체(3)의 선회 동작 중에는, 위치 검출 장치(23) 및 IMU(24)에 의해 구해진 유압 셔블(1)의 위치 및 자세는 이용하지 않는다. 그러나, 위치 검출 장치(23) 및 IMU(24)의 정밀도에 따라서는, 처리 장치(40)는, 위치 검출 장치(23) 및 IMU(24) 중 적어도 한쪽에 따라서 구해진 유압 셔블(1)의 위치 및 자세 중 적어도 한쪽을 사용하여, 유압 셔블(1)의 주위 CR의 3차원 위치를 구해도 된다.

실시형태에 있어서, 선회 각도는, 1개 이상의 촬상 장치(30)에 의해 촬상된 화상에 기초하여 구해졌지만, 선회 각도는 이 이외 방법으로 구해져도 된다. 예를 들면, 선회체(3)의 선회 각도를 검출하는 로터리 인코더와 같은 각도 검출 센서에 의해 선회 각도가 구해져도 된다. 이 경우, 처리부(41)는, 각도 검출 센서의 검출값인 선회 각도를 각도 검출 센서로부터 취득하는 타이밍과, 적어도 한 쌍의 촬상 장치(30)가 시공 대상을 촬상하는 타이밍을 동기시킨다. 이와 같이 하여, 적어도 한 쌍의 촬상 장치(30)에 의해 화상이 촬상된 타이밍과, 그 타이밍에서의 선회체(3)의 선회 각도가 대응된다.

실시형태에 있어서, 검출 장치는 적어도 한 쌍의 촬상 장치(30)를 포함하는 스테레오 카메라이다. 스테레오 카메라로 촬영할 때는, 각각의 카메라의 촬영 타이밍을 동기시킨다. 검출 장치는 스테레오 카메라에 한정되지 않는다. 검출 장치는, 예를 들면, TOF(Time Of Flight) 카메라의 같은, 화상과 3차원 데이터를 나타내는 거리 화상과의 양쪽이 얻어지는 센서라도 된다. 검출 장치는 1개의 카메라에 의해 거리 화상이 얻어지는 촬상 장치라도 된다. 검출 장치는, 레이저 스캐너라도 된다.

실시형태에서는, 촬상 장치(30)이, 선회체(3)의 선회 동작 중에 소정 주기마다 복수 회 촬상하고, 그 각각의 촬영 타이밍에서의 선회각 θ이 구해지지만, 그 예에 한정되지 않는다. 예를 들면, 도 5에 나타낸 제1 위치 PF(정지 중)로부터 선회체(3)가 선회를 개시했을 때, 처리 장치(40)는, 제1 위치 PF에 있어서 촬상 장치(30)에 의해 촬상된 화상과, 선회 개시 후에 소정 주기마다 촬상된 각각의 화상과의 공통점의 수를 계측하고, 특징점의 수의 변동에 기초하여, 제1 위치 PF에서부터의 촬상 장치(30)의 위치를 구하는 제2 위치 PS를 결정하도록 해도 된다. 예를 들면, 제2 위치 PS를 결정하는 방법으로서, 제1 위치 PF에 있어서 촬상된 제1 화상 PF와, 그 후에 순차적으로 촬영된 화상과의 공통점의 수를 각각 계측하고, 공통점의 수가 소정값 이하로 된 시점의 화상을, 제2 위치 PS에서 촬상한 제2 화상과 결정하도록 해도 된다.

실시형태에서는, 8점 알고리즘법, 3D―3D 변환법 및 번들법 중 하나 이상에 의해 선회 각도 Δθ 및 촬상 장치(30)의 이동량 d이 구해지지만, 그 예에 한정되지 않는다. 예를 들면, 번들 조정법 및 V―SLAM(Visual―Simultaneous Localization and Mapping) 중 하나 이상에 의해 유압 셔블(1)의 선회 각도 Δθ 및 촬상 장치(30)의 이동량 ΔD이 구해져도 된다.

이상, 실시형태는, 검출 장치가 장착된 선회체를 선회시키면서, 검출 장치에 의해 작업 기계의 주위의 형상을 검출하고, 검출된 형상 정보에 기초하여, 작업 기계의 주위의 3차원 위치를 구한다. 이와 같이, 실시형태는, 선회체와 함께 검출 장치를 선회시키면서 작업 기계의 주위의 형상을 취득하고, 얻어진 형상 정보에 기초하여 작업 기계의 주위를 계측하므로, 작업 기계의 주위를 광범위하게 계측할 수 있다.

실시형태는, 적어도 한 쌍의 촬상 장치에 의해 촬상된 복수의 화상으로부터 공통 부분을 구하고, 얻어진 상기 공통 부분에 기초하여 선회체의 선회 각도를 구하고, 얻어진 선회 각도와, 선회체가 선회 동작 전에 정지하고 있는 상태에서 구해진 작업 기계의 위치 및 자세에 기초하여 선회체의 선회 동작 중에서의 작업 기계의 위치 및 자세를 구한다. 그리고, 얻어진 작업 기계의 위치 및 자세와, 선회체가 선회하는 방향의 복수의 위치에 있어서, 적어도 한 쌍의 촬상 장치에 의해 촬상된 결과를 사용하여 작업 기계의 주위의 3차원 위치가 구해진다. 그러므로, 작업 기계의 위치 및 자세를 검출하는 장치가, 안정적으로 위치 및 자세를 출력할 때까지 시간을 필요로 하는 것이었거나, 위치 및 자세를 출력하는 주기(周期)가 늦은 것이었거나 해도, 선회 동작 중에서의 위치 및 자세는, 검출 장치의 검출 결과로부터 얻어진다. 그 결과, 선회체를 간헐적으로 선회시키지 않고, 연속하여 선회시켜도 작업 기계의 주위의 형상을 검출하고, 그 결과보다 작업 기계의 주위를 계측할 수 있으므로, 작업 기계의 주위의 형상을 검출하는 것에 필요로 하는 시간을 단축할 수 있다. 또한, 선회체를 선회시키면서 작업 기계의 주위의 형상을 검출하고, 그 결과에 기초하여 작업 기계의 주위를 계측하므로, 작업 기계의 주위를 광범위하게 계측할 수 있다.

실시형태에서는, 유압 셔블(1)에 한정하여 설명하였으나, 계측 시스템(50) 및 계측 방법의 적용 대상은 유압 셔블(1)에 한정되지는 않는다. 특히, 작업 기계의 주행 동작 중에서의 연속 촬영에 의한 3차원 위치 계측은, 불도저(bulldozer), 휠 로더(wheel loader), 덤프 트럭, 모터 그레이더(grader)―, 그 외에 작업 기계에 있어서 이용되어도 된다.

이상, 실시형태를 설명하였으나, 전술한 내용에 의해 실시형태가 한정되는 것은 아니다. 전술한 구성 요소에는, 당업자가 용이하게 상정(想定)할 수 있는 것, 실질적으로 동일한 것, 이른바 균등한 범위의 것이 포함된다. 전술한 구성 요소는 적절히 조합시키는 것이 가능하다. 실시형태의 요지를 벗어나지 않는 범위에서 구성 요소의 각종 생략, 치환 및 변경 중 하나 이상을 행할 수 있다.

1: 유압 셔블
2: 작업기
3: 선회체
5: 주행체
23: 위치 검출 장치(위치 검출부)
24: IMU(자세 검출부)
30, 30a, 30b, 30c, 30d: 촬상 장치(촬상부)
32: 입력 장치
33: 라이트
40: 처리 장치
41: 처리부
41A: 공통 부분 추출부
41B: 이동량 연산부
41C: 차체 상태 연산부
41D:3차원 위치 연산부
41E: 촬상부 위치 연산부
42: 기억부
43: 입출력부
50: 계측 시스템
51: 허브
CR: 주위
FP: 특징 부분
PT: 거리 화상
SI: 형상 정보
θ: 선회 각도

Claims

작업 기계(work machine)의 선회체(旋回體)에 장착되어, 상기 작업 기계의 주위의 형상을 촬상하는 촬상부(撮像部);
상기 선회체의 위치를 구하는 위치 검출부;
상기 선회체의 선회 동작 중인, 상기 촬상부의 촬상 시에서의 상기 촬상부의 위치를 연산하는 촬상부 위치 연산부; 및
상기 촬상부 위치 연산부에 의해 연산된 상기 촬상부의 위치에 기초하여, 상기 촬상 시의 상기 작업 기계의 주위의 형상의 촬상 화상에서의 3차원 위치를 구하는 3차원 위치 연산부;
를 포함하는 계측 시스템.
제1항에 있어서,
상기 작업 기계의 선회 동작 중에 상기 촬상부에 의해 촬상된 복수의 2차원 화상에서의 공통 부분을 구하는 공통 부분 추출부를 더 포함하고,
상기 촬상부 위치 연산부는, 상기 촬상부의 촬상 시에서의 상기 촬상부의 위치를 연산하는, 계측 시스템.
제1항 또는 제2항에 있어서,
상기 촬상부 위치 연산부는,
촬상 시에서의 상기 촬상부의 위치를 연산하기 위하여, 촬상 시에서의 상기 선회체의 선회 각도를 연산하고, 상기 촬상부의 위치를 연산하는, 계측 시스템.
제1항 또는 제2항에 있어서,
상기 촬상부 위치 연산부는,
상기 선회체의 선회 동작 전에서의 상기 선회체의 위치, 또는 상기 선회체의 선회 동작 후에서의 상기 선회체의 위치를 이용하여, 상기 촬상부의 촬상 시에서의 상기 촬상부의 위치를 보정하는, 계측 시스템.
제3항에 있어서,
상기 촬상부 위치 연산부는,
상기 선회체의 선회 동작 전에서의 상기 선회체의 선회 각도와, 상기 선회체의 선회 동작 후에서의 상기 선회체의 선회 각도를 사용하여, 상기 선회체의 선회 동작 중에서의 선회 각도를 보정하는, 계측 시스템.
제2항에 있어서,
상기 촬상부 위치 연산부는,
복수의 공통 부분을 사용하여 최소 제곱법을 이용하여 상기 촬상부의 위치를 연산하는, 계측 시스템.
제1항 또는 제2항에 있어서,
상기 3차원 위치 연산부는,
상기 선회체의 선회 동작 중에 얻어진 복수의 상기 작업 기계의 주위의 3차원 위치를 결합하는, 계측 시스템.
제1항 또는 제2항에 기재된 계측 시스템을 포함하는 작업 기계.
작업 기계에 장착되는 선회체의 선회 동작 중인, 상기 선회체에 장착된 촬상부의 촬상 시에서의 상기 촬상부의 위치를 연산하는 단계; 및
연산된 상기 촬상부의 위치에 기초하여, 상기 촬상 시의 상기 작업 기계의 주위의 형상의 촬상 화상에서의 3차원 위치를 구하는 단계;
를 포함하는 계측 방법.