KR102248026B1

KR102248026B1 - 작업 기계의 계측 시스템, 작업 기계, 및 작업 기계의 계측 방법

Info

Publication number: KR102248026B1
Application number: KR1020197024035A
Authority: KR
Inventors: 슌 가와모토; 가와모토; 도요히사 마쓰다; 히로요시 야마구치
Original assignee: 가부시키가이샤 고마쓰 세이사쿠쇼
Priority date: 2017-09-01
Filing date: 2018-07-27
Publication date: 2021-05-03
Also published as: CN110249203A; CN110249203B; DE112018000828B4; DE112018000828T5; US20200058177A1; JP7104050B2; KR20190108597A; JPWO2019044316A1; WO2019044316A1; US11195351B2

Abstract

작업 기계의 계측 시스템은, 작업 기계의 선회체에 탑재된 촬상 장치에 의해 선회체의 선회 중에 촬영된 시공 대상의 화상을 취득하는 화상 취득부와, 화상에 기초하여 시공 대상의 3차원 위치를 산출하는 3차원 위치 산출부와, 선회체의 선회 데이터를 취득하는 선회 데이터 취득부와, 선회 데이터가 규정의 선회 조건을 만족시키는지의 여부를 판정하는 판정부와, 판정부의 판정 결과에 기초하여 선회 지시 신호를 출력하는 출력부를 구비한다.

Description

작업 기계의 계측 시스템, 작업 기계, 및 작업 기계의 계측 방법

본 발명은, 작업 기계(work machine)의 계측 시스템, 작업 기계, 및 작업 기계의 계측 방법에 관한 것이다.

작업 기계에 관한 기술 분야에 있어서, 특허문헌 1에 개시되어 있는 것과 같은, 촬상(撮像) 장치가 탑재된 작업 기계가 알려져 있다. 한 쌍의 촬상 장치에 의해 촬영된 한 쌍의 화상이 스테레오 처리되는 것에 의해, 작업 기계의 주변의 대상의 3차원 형상이 계측된다.

국제 공개 제2017/033991호

선회체(旋回體)를 선회시키면서 촬상 장치에 의해 작업 기계의 주변의 대상을 연속 촬영할 때, 스테레오 계측의 계측 정밀도를 저하시키는 선회 조건 하에서 선회체가 선회할 가능성이 있다. 그 결과, 대상의 3차원 형상의 계측 정밀도가 저하될 가능성이 있다.

본 발명의 태양(態樣)은, 대상의 3차원 형상의 계측 정밀도의 저하를 억제하는 것을 목적으로 한다.

본 발명의 태양에 따르면, 작업 기계의 선회체에 탑재된 촬상 장치에 의해 상기 선회체의 선회 중에 촬영된 시공(施工) 대상의 화상을 취득하는 화상 취득부와, 상기 화상에 기초하여 상기 시공 대상의 3차원 위치를 산출하는 3차원 위치 산출부와, 상기 선회체의 선회 데이터를 취득하는 선회 데이터 취득부와, 상기 선회 데이터가 규정의 선회 조건을 만족시키는지의 여부를 판정하는 판정부와, 상기 판정부의 판정 결과에 기초하여 선회 지시 신호를 출력하는 출력부를 구비하는 작업 기계의 계측 시스템이 제공된다.

본 발명의 태양에 의하면, 대상의 3차원 형상의 계측 정밀도의 저하를 억제할 수 있다.

도 1은, 본 실시형태에 관한 작업 기계의 일례를 나타낸 사시도이다.
도 2는, 본 실시형태에 관한 작업 기계의 일부를 나타낸 사시도이다.
도 3은, 본 실시형태에 관한 계측 시스템의 일례를 나타낸 기능 블록도이다.
도 4는, 본 실시형태에 관한 작업 기계의 동작의 일례를 모식적으로 나타낸 도면이다.
도 5는, 본 실시형태에 관한 계측 시스템의 동작의 일례를 모식적으로 나타낸 도면이다.
도 6은, 본 실시형태에 관한 계측 시스템의 처리의 일례를 설명하기 위한 모식도이다.
도 7은, 본 실시형태에 관한 계측 시스템의 처리의 일례를 설명하기 위한 모식도이다.
도 8은, 본 실시형태에 관한 계측 시스템의 처리의 일례를 설명하기 위한 모식도이다.
도 9는, 본 실시형태에 관한 대상의 3차원 위치의 통합의 일례를 모식적으로 나타낸 도면이다.
도 10은, 본 실시형태에 관한 입력 장치의 일례를 모식적으로 나타낸 사시도이다.
도 11은, 본 실시형태에 관한 계측 방법의 일례를 나타낸 플로우차트이다.
도 12는, 본 실시형태에 관한 계측 방법의 타이밍 차트이다.
도 13은, 본 실시형태에 관한 표시 장치의 표시예를 나타낸 도면이다.

이하, 본 발명에 관한 실시형태에 대하여 도면을 참조하면서 설명하지만, 본 발명은 이에 한정되지 않는다. 이하에서 설명하는 실시형태의 구성 요소는 적절히 조합시키는 것이 가능하다. 또한, 일부의 구성 요소를 사용하지 않을 경우도 있다.

이하의 설명에 있어서는, 3차원의 현장 좌표계(Xg, Yg, Zg), 3차원의 차체 좌표계(Xm, Ym, Zm), 및 3차원의 촬상 장치 좌표계(Xs, Ys, Zs)를 규정하여, 각 부의 위치 관계에 대하여 설명한다.

현장 좌표계는, 지구에 고정된 원점을 기준으로 하는 좌표계이다. 현장 좌표계는, GNSS[Global Navigation Satellite System)에 의해 규정되는 좌표계이다. GNSS란, 전지구(全地球) 항법 위성 시스템을 말한다. 전지구 항법 위성 시스템의 일례로서, GPS(Global Positioning System)를 들 수 있다.

현장 좌표계는, 수평면의 Xg축과, Xg축과 직교하는 수평면의 Yg축과, Xg축 및 Yg축과 직교하는 Zg축에 의해 규정된다. Xg축을 중심으로 하는 회전 또는 경사 방향을 θXg 방향이라고 하고, Yg축을 중심으로 하는 회전 또는 경사 방향을 Yg 방향이라고 하고, Zg축을 중심으로 하는 회전 또는 경사 방향을 Zg 방향이라고 한다. Zg축 방향은 연직(沿直) 방향이다.

차체 좌표계는, 작업 기계의 차체로 규정된 원점을 기준으로 하는 제1 소정 면의 Xm축과, Xm축과 직교하는 제1 소정 면의 Ym축과, Xm축 및 Ym축과 직교하는 Zm축에 의해 규정된다. Xm축을 중심으로 하는 회전 또는 경사 방향을 Xm 방향이라고 하고, Ym축을 중심으로 하는 회전 또는 경사 방향을 Ym 방향이라고 하고, Zm축을 중심으로 하는 회전 또는 경사 방향을 Zm 방향이라고 한다. Xm축 방향은 작업 기계의 전후 방향이며, Ym축 방향은 작업 기계의 차폭 방향이며, Zm축 방향은 작업 기계의 상하 방향이다.

촬상 장치 좌표계는, 촬상 장치에 의해 규정된 원점을 기준으로 하는 제2 소정 면의 Xs축과, Xs축과 직교하는 제2 소정 면의 Ys축과, Xs축 및 Ys축과 직교하는 Zs축에 의해 규정된다. Xs축을 중심으로 하는 회전 또는 경사 방향을 Xs 방향이라고 하고, Ys축을 중심으로 하는 회전 또는 경사 방향을 Ys 방향이라고 하고, Zs축을 중심으로 하는 회전 또는 경사 방향을 Zs 방향이라고 한다. Xs 축 방향은 촬상 장치의 상하 방향이며, Ys 축 방향은 촬상 장치의 폭 방향이며, Zs 축 방향은 촬상 장치의 전후 방향이다. Zs 축 방향은 촬상 장치의 광학계의 광축과 평행이다.

현장 좌표계에서의 위치와, 차체 좌표계에서의 위치와, 촬상 장치 좌표계에서의 위치는, 서로 변환 가능하다.

[작업 기계]

도 1은, 본 실시형태에 관한 작업 기계(1)의 일례를 나타낸 사시도이다. 본 실시형태에 있어서는, 작업 기계(1)가 유압 셔블인 예에 대하여 설명한다. 이하의 설명에 있어서는, 작업 기계(1)를 적절히, 유압 셔블(1)이라고 한다.

도 1에 나타낸 바와 같이, 유압 셔블(1)은, 차체(1B)와, 작업기(2)를 구비한다. 차체(1B)는, 선회체(3)와, 선회체(3)를 선회 가능하게 지지하는 주행체(5)를 구비한다.

선회체(3)는, 운전실(4)을 구비한다. 유압(油壓) 펌프 및 내연 기관이 선회체(3)에 배치된다. 선회체(3)는, 선회축(旋回軸)(Zr)을 중심으로 선회할 수 있다. 선회축(Zr)은, 차체 좌표계의 Zm축과 평행이다. 차체 좌표계의 원점은, 예를 들면, 선회체(3)의 스윙 서클(swing circle)의 중심으로 규정된다. 스윙 서클의 중심은, 선회체(3)의 선회축(Zr)에 위치한다.

주행체(5)는, 크롤러 벨트(crawler belts)(5A, 5B)를 구비한다. 크롤러 벨트(5A, 5B)가 회전함으로써, 유압 셔블(1)이 주행한다. 차체 좌표계의 Zm축은, 크롤러 벨트(5A, 5B)의 접지면(接地面)과 직교한다. 차체 좌표계의 위쪽(＋Zm 방향)은, 크롤러 벨트(5A, 5B)의 접지면으로부터 이격되는 방향이며, 차체 좌표계의 아래쪽(―Zm 방향)은, 차체 좌표계의 위쪽과는 반대의 방향이다.

작업기(2)는, 선회체(3)에 연결된다. 차체 좌표계에 있어서, 작업기(2) 중 적어도 일부는, 선회체(3)보다 전방에 배치된다. 차체 좌표계의 전방(＋Xm 방향)은, 선회체(3)를 기준으로 하여 작업기(2)가 존재하는 방향이며, 차체 좌표계의 후방(―Xm 방향)은, 차체 좌표계의 전방과는 반대의 방향이다.

작업기(2)는, 선회체(3)에 연결되는 붐(boom)(6)과, 붐(6)에 연결되는 암(arm)(7)과, 암(7)에 연결되는 버킷(bucket)(8)과, 붐(6)을 구동시키는 붐 실린더(10)와, 암(7)을 구동시키는 암 실린더(11)와, 버킷(8)을 구동시키는 버킷 실린더(12)를 구비한다. 붐 실린더(10), 암 실린더(11), 및 버킷 실린더(12)는 각각, 유압에 의해 구동되는 유압 실린더이다.

또한, 유압 셔블(1)은, 선회체(3)의 위치를 검출하는 위치 검출 장치(23)와, 선회체(3)의 자세를 검출하는 자세 검출 장치(24)와, 제어 장치(40)를 구비한다.

위치 검출 장치(23)는, 현장 좌표계에서의 선회체(3)의 위치를 검출한다. 선회체(3)의 위치는, Xg축 방향의 좌표, Yg축 방향의 좌표, 및 Zg축 방향의 좌표를 포함한다. 위치 검출 장치(23)는, GPS 수신기를 포함한다. 위치 검출 장치(23)는, 선회체(3)에 설치된다.

GPS 안테나(21)가 선회체(3)에 설치된다. GPS 안테나(21)는, 예를 들면, 차체 좌표계의 Ym축 방향으로 2개 배치된다. GPS 안테나(21)는, GPS 위성으로부터 전파를 수신하여, 수신한 전파에 기초하여 생성한 신호를 위치 검출 장치(23)에 출력한다. 위치 검출 장치(23)는, GPS 안테나(21)로부터의 신호에 기초하여, 현장 좌표계에서의 GPS 안테나(21)의 위치를 검출한다.

위치 검출 장치(23)는, 2개의 GPS 안테나(21)의 위치 중 적어도 한쪽에 기초하여 연산 처리를 실시하여, 선회체(3)의 위치를 산출한다. 선회체(3)의 위치는, 한쪽의 GPS 안테나(21)의 위치라도 되고, 한쪽의 GPS 안테나(21)의 위치와 다른 쪽의 GPS 안테나(21)의 위치와의 사이의 위치라도 된다.

자세 검출 장치(24)는, 현장 좌표계에서의 선회체(3)의 자세를 검출한다. 선회체(3)의 자세는, Xm축을 중심으로 하는 회전 방향에서의 선회체(3)의 경사 각도를 나타내는 롤각과, Ym축을 중심으로 하는 회전 방향에서의 선회체(3)의 경사 각도를 나타내는 피치각과, Zm축과 중심으로 하는 회전 방향에서의 선회체(3)의 경사 각도를 나타내는 방위각을 포함한다. 자세 검출 장치(24)는, 관성 계측 장치(IMU: Inertial Measurement Unit)를 포함한다. 자세 검출 장치(24)는, 선회체(3)에 설치된다. 그리고, 자세 검출 장치(24)로서 쟈이로 센서(gyro sensor)가 선회체(3)에 탑재되어도 된다.

자세 검출 장치(24)는, 자세 검출 장치(24)에 작용하는 가속도 및 각속도(角速度)를 검출한다. 자세 검출 장치(24)에 작용하는 가속도 및 각속도가 검출되는 것에 의해, 선회체(3)에 작용하는 가속도 및 각속도가 검출된다. 자세 검출 장치(24)는, 선회체(3)에 작용하는 가속도 및 각속도에 따라 연산 처리를 실시하여, 롤각, 피치각, 및 방위각을 포함하는 선회체(3)의 자세를 산출한다.

그리고, 위치 검출 장치(23)의 검출 데이터에 기초하여 방위각이 산출되어도 된다. 위치 검출 장치(23)는, 한쪽의 GPS 안테나(21)의 위치와 다른 쪽의 GPS 안테나(21)의 위치에 기초하여, 현장 좌표계에서의 기준 방위에 대한 선회체(3)의 방위각을 산출할 수 있다. 기준 방위는, 예를 들면, 북쪽이다. 위치 검출 장치(23)는, 한쪽의 GPS 안테나(21)의 위치와 다른 쪽의 GPS 안테나(21)의 위치를 연결하는 직선을 산출하고, 산출한 직선과 기준 방위가 이루는 각도에 기초하여, 기준 방위에 대한 선회체(3)의 방위각을 산출할 수 있다.

유압 셔블(1)은, 선회체(3)를 선회시키는 동력을 발생하는 선회 모터(37)와, 선회 모터(37)의 선회 동작을 제어하는 유압 컨트롤러(38)를 구비한다. 유압 컨트롤러(38)는, 후술하는 조작 장치(35)의 조작량에 기초하여 도시하지 않은 제어 밸브를 제어함으로써, 선회 모터(37)에 공급되는 작동유의 유량(流量)을 제어한다.

다음에, 본 실시형태에 관한 스테레오 카메라(300)에 대하여 설명한다. 도 2는, 본 실시형태에 관한 유압 셔블(1)의 일부를 나타낸 사시도이다. 도 2에 나타낸 바와 같이, 유압 셔블(1)은, 스테레오 카메라(300)를 구비한다. 스테레오 카메라(300)는, 시공 대상 SB를 복수의 방향으로부터 동시에 촬영하여 시차(視差) 데이터를 생성함으로써, 시공 대상 SB까지의 거리를 계측 가능한 카메라를 말한다.

스테레오 카메라(300)는, 유압 셔블(1)의 주변의 시공 대상 SB를 촬영한다. 시공 대상 SB는, 유압 셔블(1)의 작업기(2)와 굴삭(掘削; excavation)되는 굴삭 대상을 포함한다. 그리고, 시공 대상 SB는, 유압 셔블(1)은 다른 작업 기계에 의해 시공되는 시공 대상이라도 되고, 작업자에 의해 시공되는 시공 대상이라도 된다. 또한, 시공 대상 SB는, 시공 전방의 시공 대상, 시공 중인 시공 대상, 및 시공 후의 시공 대상을 포함하는 개념이다.

스테레오 카메라(300)는, 선회체(3)에 탑재된다. 스테레오 카메라(300)는, 운전실(4)에 설치된다. 스테레오 카메라(300)는, 운전실(4)의 전방(＋Xm 방향) 또한, 위쪽(＋Zm 방향)에 배치된다. 스테레오 카메라(300)는, 유압 셔블(1)의 전방의 시공 대상 SB를 촬영한다.

스테레오 카메라(300)는, 복수의 촬상 장치(30)를 구비한다. 촬상 장치(30)는, 선회체(3)에 탑재된다. 촬상 장치(30)는, 광학계와, 이미지 센서를 가진다. 이미지 센서는, CCD(Couple Charged Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 포함한다. 본 실시형태에 있어서, 촬상 장치(30)는, 4개의 촬상 장치(30A, 30B, 30C, 30D)를 포함한다.

한 쌍의 촬상 장치(30)에 의해 스테레오 카메라(300)가 구성된다. 스테레오 카메라(300)는, 한 쌍의 촬상 장치(30A, 30B)에 의해 구성되는 제1 스테레오 카메라(301)와, 한 쌍의 촬상 장치(30C, 30D)에 의해 구성되는 제2 스테레오 카메라(302)를 포함한다.

촬상 장치(30A, 30C)는, 촬상 장치(30B, 30D)보다 ＋Ym측[작업기(2) 측]에 배치된다. 촬상 장치(30A)와 촬상 장치(30B)는, Ym축 방향으로 간격을 두고 배치된다. 촬상 장치(30C)와 촬상 장치(30D)는, Ym축 방향으로 간격을 두고 배치된다. 촬상 장치(30A, 30B)는, 촬상 장치(30C, 30D)보다 ＋Zm 측에 배치된다. Zm축 방향에 있어서, 촬상 장치(30A)와 촬상 장치(30B)는, 실질적으로 동일한 위치에 배치된다. Zm축 방향에 있어서, 촬상 장치(30C)와 촬상 장치(30D)는, 실질적으로 동일한 위치에 배치된다.

촬상 장치(30A, 30B)는, 위쪽(＋Zm 방향)을 향한다. 촬상 장치(30C, 30D)는, 아래쪽(―Zm 방향)을 향한다. 또한, 촬상 장치(30A, 30C)는, 전방(＋Xm 방향)을 향한다. 촬상 장치(30B, 30D)는, 전방보다 약간＋Ym쪽[작업기(2) 쪽]을 향한다. 즉, 촬상 장치(30A, 30C)는, 선회체(3)의 정면을 향하고, 촬상 장치(30B, 30D)는, 촬상 장치(30A, 30C) 측을 향한다. 그리고, 촬상 장치(30B, 30D)가 선회체(3)의 정면을 향하고, 촬상 장치(30A, 30C)가 촬상 장치(30B, 30D) 측을 향해도 된다.

촬상 장치(30)는, 선회체(3)의 전방에 존재하는 시공 대상 SB를 촬영한다. 한 쌍의 촬상 장치(30)가 촬영한 한 쌍의 화상이 제어 장치(40)에 있어서 스테레오 처리되는 것에 의해, 시공 대상 SB의 3차원 형상을 나타내는 3차원 데이터가 산출된다. 제어 장치(40)는, 촬상 장치 좌표계에서의 시공 대상 SB의 3차원 데이터를 현장 좌표계에서의 시공 대상 SB의 3차원 데이터로 변환한다. 3차원 데이터는, 시공 대상 SB의 3차원 위치를 나타낸다. 시공 대상 SB의 3차원 위치는, 시공 대상 SB의 표면의 복수 부위의 각각의 3차원 좌표를 포함한다.

복수의 촬상 장치(30)의 각각에 촬상 장치 좌표계가 규정된다. 촬상 장치 좌표계는, 촬상 장치(30)에 고정된 원점을 기준으로 하는 좌표계이다. 촬상 장치 좌표계의 Zs축은, 촬상 장치(30)의 광학계의 광축과 일치한다.

그리고, 본 실시형태에 있어서는, 선회체(3)에 2조의 스테레오 카메라[제1 스테레오 카메라(301) 및 제2 스테레오 카메라(302)]가 탑재되는 것으로 하지만, 1조의 스테레오 카메라가 탑재되어도 되고, 3조 이상의 스테레오 카메라가 탑재되어도 된다.

또한, 도 2에 나타낸 바와 같이, 유압 셔블(1)은, 운전석(4S)와, 입력 장치(32)와, 통지 장치(33)와, 조작 장치(35)를 구비한다. 운전석(4S), 입력 장치(32), 통지 장치(33), 및 조작 장치(35)는, 운전실(4)에 배치된다. 유압 셔블(1)의 운전자는, 운전석(4S)에 착석(着座)한다.

입력 장치(32)는, 촬상 장치(30)에 의한 촬영의 개시 또는 종료를 위해 운전자에 의해 조작된다. 입력 장치(32)는, 운전석(4S)의 근방에 설치된다. 입력 장치(32)가 조작됨으로써, 촬상 장치(30)에 의한 촬영이 개시 또는 종료한다.

통지 장치(33)는, 후술하는 통지 제어부(419)로부터 선회에 관한 통지 신호를 취득하고, 운전자에게 통지한다. 통지에는, 예를 들면, 스테레오 카메라(300)에 의한 계측 결과의 성공 여부(성공/실패)의 출력, 스테레오 계측 결과가 실패였던 경우에는 실패한 이유, 유압 셔블(100)을 조작하는 조작 장치(35)의 조작 조건에 관한 가이던스(guidance)가 포함된다. 통지의 구체적인 내용에 대해서는 후술한다. 통지 장치(33)는, 운전석(4S)의 근방에 설치된다.

조작 장치(35)는, 작업기(2)의 구동 또는 구동 정지(停止), 선회체(3)의 선회 또는 선회 정지, 및 주행체(5)의 주행 또는 주행 정지를 위해 운전자에 의해 조작된다. 조작 장치(35)는, 작업기(2) 및 선회체(3)를 조작하기 위한 우측 조작 레버(35R) 및 좌측 조작 레버(35L)를 포함한다. 또한, 조작 장치(35)는, 주행체(5)를 조작하기 위한 우측 주행 레버 및 좌측 주행 레버(도시하지 않음)를 포함한다. 조작 장치(35)가 조작됨으로써, 작업기(2)의 구동 또는 구동 정지, 선회체(3)의 선회 또는 선회 정지, 및 주행체(5)의 주행 또는 주행 정지가 실시된다.

[계측 시스템]

다음에, 본 실시형태에 관한 계측 시스템(50)에 대하여 설명한다. 도 3은, 본 실시형태에 관한 계측 시스템(50)의 일례를 나타낸 기능 블록도이다. 계측 시스템(50)은, 유압 셔블(1)에 설치된다.

계측 시스템(50)은, 제어 장치(40)와, 제1 스테레오 카메라(301) 및 제2 스테레오 카메라(302)를 포함하는 스테레오 카메라(300)와, 위치 검출 장치(23)와, 자세 검출 장치(24)와, 조작 장치(35)의 조작량을 검출하는 조작량 센서(36)와, 입력 장치(32)와, 통지 장치(33)를 구비한다.

제어 장치(40)는, 유압 셔블(1)의 선회체(3)에 설치된다. 제어 장치(40)는, 컴퓨터 시스템을 포함한다. 제어 장치(40)는, CPU(Central Processing Unit)와 같은 프로세서를 포함하는 연산 처리 장치(41)와, RAM(Random Access Memory)과 같은 휘발성 메모리 및 ROM(Read Only Memory)과 같은 불휘발성 메모리를 포함하는 기억 장치(42)와, 입출력 인터페이스(43)를 구비한다.

연산 처리 장치(41)는, 화상 취득부(410)와, 신호 취득부(411)와, 공통 부분 추출부(413)와, 선회 데이터 취득부(415)와, 촬상 위치 산출부(416)와, 3차원 위치 산출부(417)와, 판정부(418)와, 통지 제어부(419)와, 선회 제어부(420)를 구비한다.

화상 취득부(410)는, 유압 셔블(1)이 선회 중에 있어서 촬상 장치(30)에 의해 촬영된 시공 대상 SB의 복수의 화상 PC를 취득한다. 또한, 화상 취득부(410)는, 유압 셔블(1)이 동작 정지 상태, 즉 주행도 선회도 정지한 상태에 있어서 촬상 장치(30)에 의해 촬영된 시공 대상 SB의 화상 PC를 취득한다.

신호 취득부(411)는, 입력 장치(32)가 조작됨으로써 생성된 지령 신호를 취득한다. 입력 장치(32)는, 촬상 장치(30)에 의한 촬영의 개시 또는 종료를 위해 조작된다. 지령 신호는, 촬영 개시 지령 신호 및 촬영 종료 지령 신호를 포함한다. 연산 처리 장치(41)는, 신호 취득부(411)에 취득된 촬영 개시 지령 신호에 기초하여, 촬상 장치(30)에 촬영을 개시하게 하는 제어 신호를 출력한다. 또한, 연산 처리 장치(41)는, 신호 취득부(411)에 취득된 촬영 종료 지령 신호에 기초하여, 촬상 장치(30)에 촬영을 종료시키는 제어 신호를 출력한다.

그리고, 신호 취득부(411)가 촬영 개시 지령 신호를 취득한 시점(時点)과 촬영 종료 지령 신호를 취득한 시점과의 기간에 촬영된 화상 PC가 기억 장치(42)에 기억되고, 그 기억 장치(42)에 기억되어 있는 화상 PC가 스테레오 처리에 사용되어도 된다.

공통 부분 추출부(413)는, 유압 셔블(1)이 선회 중에 있어서 촬상 장치(30)에 의해 촬영된 복수의 화상 PC의 공통 부분 KS를 추출한다. 공통 부분 KS에 대해서는 후술한다.

선회 데이터 취득부(415)는, 선회 중인 선회체(3)의 선회 데이터를 취득한다. 선회 데이터는, 선회체(3)의 선회 상태를 나타내는 데이터이며, 선회체(3)의 선회 속도 V, 선회 각도 θ, 및 선회 방향 RD 중 하나 이상을 포함한다. 후술하는 바와 같이, 본 실시형태에 있어서, 선회 데이터는 촬상 위치 산출부(416)에 의해 산출된다. 선회 데이터 취득부(415)는, 촬상 위치 산출부(416)로부터 선회 데이터를 취득한다.

촬상 위치 산출부(416)는, 촬영 시의 촬상 장치(30)의 위치 P 및 자세를 산출한다. 선회체(3)가 선회 중인 경우, 촬영 시의 촬상 장치(30)의 위치 P는, 선회 방향 RD의 촬상 장치(30)의 위치를 포함한다. 주행체(5)가 주행 상태인 경우, 촬영 시의 촬상 장치(30)의 위치 P는, 주행 방향 MD의 촬상 장치(30)의 위치를 포함한다. 또한, 촬상 위치 산출부(416)는, 선회체(3)의 선회 데이터를 산출한다. 선회체(3)의 선회 데이터는, 선회체(3)의 선회 속도 V, 선회 각도 θ, 및 선회 방향 RD 중 하나 이상을 포함한다.

3차원 위치 산출부(417)는, 한 쌍의 촬상 장치(30)에 의해 촬영된 한 쌍의 화상 PC를 스테레오 처리함으로써, 촬상 장치 좌표계에서의 시공 대상 SB의 3차원 위치를 산출한다. 3차원 위치 산출부(417)는, 촬상 위치 산출부(416)에 산출된 촬상 장치(30)의 위치 P에 기초하여, 촬상 장치 좌표계에서의 시공 대상 SB의 3차원 위치를 현장 좌표계에서의 시공 대상 SB의 3차원 위치로 변환한다.

판정부(418)는, 선회체(3)의 선회 데이터가 규정의 선회 조건을 만족시키는지의 여부를 판정한다. 선회 조건은, 스테레오 계측의 계측 정밀도의 저하를 억제하는 조건을 포함한다. 선회 조건을 만족시키지 않을 경우, 스테레오 계측의 계측 정밀도가 저하될 가능성이 높아진다. 선회 조건은, 기억 장치(42)의 선회 조건 기억부(422)에 기억되어 있다. 선회 조건에 대해서는 후술한다.

통지 제어부(419)는, 판정부(418)의 판정 결과에 기초하여, 통지 장치(33)를 제어한다. 통지 제어부(419)는, 선회에 관한 통지 신호를 통지 장치(33)에 출력한다. 통지 제어부(419)는, 선회에 관한 통지 신호로서, 예를 들면, 스테레오 계측의 성공 여부 데이터, 스테레오 계측의 실패 이유 데이터, 및 가이던스 데이터가 적지도 1개를 출력한다. 통지 제어부(419)는, 판정부(418)의 판정 결과에 기초하여, 선회 지시 신호의 일종인 통지 신호를 출력하는 출력부로서 기능한다. 예를 들면, 선회 데이터가 선회 조건을 만족시키지 않는 것으로 판정부(418)에 판정된 경우, 통지 제어부(419)는, 제1 통지 형태로 통지 장치(33)를 작동시킨다. 또한, 선회 데이터가 선회 조건을 만족시키는 것으로 판정부(418)에 판정된 경우, 통지 제어부(419)는, 제1 통지 형태와는 상이한 제2 통지 형태로 통지 장치(33)를 작동시켜도 되고, 통지 장치(33)를 작동시키지 않아도 된다.

선회 제어부(420)는, 판정부(418)의 판정 결과에 기초하여, 선회체(3)를 선회시키는 유압 컨트롤러(38)를 제어한다. 선회체 제어부(420)는, 선회체(3)의 선회 동작을 제어하는 제어 신호를 유압 컨트롤러(38)에 출력한다. 선회 제어부(420)는, 선회 모터(37)를 제어하는 유압 컨트롤러(38)에 제어 신호를 출력하여, 선회 중인 선회체(3)의 선회 속도를 제어한다. 유압 컨트롤러(38)는, 선회 제어부(420)로부터의 제어 신호에 기초하여, 선회 속도를 늦어지게 하는 개입 제어(intervention control)를 실시한다. 개입 제어란, 운전자에 의한 조작 장치(35)의 조작량에 기초하여 구동하는 선회 모터(37)에 개입하여, 선회 제어부(420)로부터 출력된 제어 신호에 기초하여 선회 모터(37)를 제어하는 것을 말한다. 선회 제어부(420)는, 판정부(418)의 판정 결과에 기초하여, 선회 지시 신호의 일종인 제어 신호를 출력하는 출력부로서 기능한다. 본 실시형태에 있어서, 선회 제어부(420)는, 선회체(3)의 선회 동작을 제한하여, 선회 속도를 늦게 한다.

기억 장치(42)는, 선회 조건 기억부(422)와, 화상 기억부(423)를 구비한다.

선회 조건 기억부(422)는, 통지 장치(33)를 작동시키기 위한 선회 조건을 기억한다. 화상 기억부(423)는, 촬상 장치(30)에 의해 촬영된 복수의 화상 PC를 순차적으로 기억한다.

입출력 인터페이스(43)는, 연산 처리 장치(41) 및 기억 장치(42)와 외부 기기를 접속하는 인터페이스 회로를 포함한다. 입출력 인터페이스(43)에는, 허브(31), 위치 검출 장치(23), 자세 검출 장치(24), 조작량 센서(36), 입력 장치(32), 및 통지 장치(33)가 접속된다.

복수의 촬상 장치(30)[30A, 30B, 30C, 30D]는, 허브(31)를 통하여 연산 처리 장치(41)와 접속된다. 촬상 장치(30)는, 신호 취득부(411)로부터의 촬영 개시 지령 신호에 기초하여, 시공 대상 SB의 화상 PC를 촬영한다. 촬상 장치(30)가 촬영한 시공 대상 SB의 화상 PC는, 허브(31) 및 입출력 인터페이스(43)를 통하여 연산 처리 장치(41) 및 기억 장치(42)의 각각에 입력된다. 화상 취득부(410) 및 화상 기억부(423)의 각각은, 촬상 장치(30)가 촬영한 시공 대상 SB의 화상 PC를, 허브(31) 및 입출력 인터페이스(43)를 통하여 취득한다. 그리고, 허브(31)는 생략되어도 된다.

입력 장치(32)는, 촬상 장치(30)에 의한 촬영의 개시 또는 종료를 위해 조작된다. 입력 장치(32)가 조작됨으로써, 촬영 개시 지령 신호 또는 촬영 종료 지령 신호가 생성된다. 입력 장치(32)로서, 조작 스위치, 조작 버튼, 터치 패널, 음성 입력, 및 키보드 중 1개 이상이 예시된다.

통지 장치(33)는, 표시 장치(33A), 발광 장치(33B), 및 사운드 출력 장치(33C)를 포함한다. 표시 장치(33A)는, 액정 디스플레이(LCD: Liquid Crystal Display) 또는 유기 EL 디스플레이(OELD: Organic Electroluminescence Display)와 같은 평판 디스플레이를 포함한다. 발광 장치(33B)는, 발광 다이오드(LED: Light Emitting Diode)와 같은 광원을 포함한다. 사운드 출력 장치(33C)는, 경고음을 발생 가능한 사이렌 또는 음성 출력 장치를 포함한다. 통지 장치(33)는, 표시 장치(33A)에 표시되는 표시 데이터, 발광 장치(33B)로부터 사출되는 광, 및 사운드 출력 장치(33C)로부터 출력되는 음 중 하나 이상을 사용하여, 운전자에게 정보를 통지한다.

본 실시형태에 있어서, 통지 장치(33)는, 선회 데이터가 선회 조건을 만족시키지 않는 것을 운전자에게 통지한다. 표시 장치(33A)는, 문자 또는 화상을 포함하는 표시 데이터를 표시하여, 선회 데이터가 선회 조건을 만족시키지 않는 것을 통지한다. 발광 장치(33B)는, 광을 사출하여, 선회 데이터가 선회 조건을 만족시키지 않는 것을 통지한다. 사운드 출력 장치(33C)는, 경고음 또는 음성을 출력하여, 선회 데이터가 선회 조건을 만족시키지 않는 것을 통지한다. 그리고, 통지 장치(33)는, 선회 데이터가 선회 조건을 만족시키는 것을 통지해도 된다.

그리고, 통지 장치(33)는, 표시 장치(33A), 발광 장치(33B), 및 사운드 출력 장치(33C)에 한정되지 않는다. 또한, 표시 장치(33A), 발광 장치(33B), 및 사운드 출력 장치(33C) 중 1개 이상이 생략되어도 된다.

[선회 지형 계측]

다음에, 본 실시형태에 관한 유압 셔블(1)의 동작의 일례에 대하여 설명한다. 도 4는, 본 실시형태에 관한 유압 셔블(1)의 동작의 일례를 모식적으로 나타낸 도면이다. 계측 시스템(50)은, 선회체(3)가 선회 중에 있어서 촬상 장치(30)에 의해 유압 셔블(1)의 주변의 시공 대상 SB의 화상 PC를 연속 촬영한다. 촬상 장치(30)는, 선회체(3)가 선회 중에 있어서, 소정의 주기로 시공 대상 SB의 화상 PC를 순차적으로 촬영한다.

촬상 장치(30)는, 선회체(3)에 탑재되어 있다. 선회체(3)가 선회함으로써, 촬상 장치(30)의 촬영 영역 FM은, 선회 방향 RD로 이동한다. 선회체(3)가 선회 중에 있어서 촬상 장치(30)가 시공 대상 SB의 화상 PC를 연속 촬영함으로써, 촬상 장치(30)는, 시공 대상 SB의 복수의 영역의 각각의 화상 PC를 취득할 수 있다. 3차원 위치 산출부(417)는, 한 쌍의 촬상 장치(30)에 의해 촬영된 한 쌍의 화상 PC를 스테레오 처리함으로써, 유압 셔블(1)의 주변의 시공 대상 SB의 3차원 위치를 산출할 수 있다.

스테레오 처리에 의해 산출된 시공 대상 SB의 3차원 위치는, 촬상 장치 좌표계에 있어서 규정된다. 3차원 위치 산출부(417)는, 촬상 장치 좌표계에서의 3차원 위치를 현장 좌표계에서의 3차원 위치로 변환한다. 촬상 장치 좌표계에서의 3차원 위치를 현장 좌표계에서의 3차원 위치로 변환하므로, 현장 좌표계에서의 선회체(3)의 위치 및 자세이 필요해진다. 현장 좌표계에서의 선회체(3)의 위치 및 자세는, 위치 검출 장치(23) 및 자세 검출 장치(24)에 의해 검출 가능하다.

유압 셔블(1)이 선회 중에 있어서, 유압 셔블(1)에 탑재되어 있는 위치 검출 장치(23) 및 자세 검출 장치(24)의 각각은 변위한다. 움직이고 있는 상태의 위치 검출 장치(23) 및 자세 검출 장치(24)의 각각으로부터 출력되는 검출 데이터는, 불안정하거나 검출 정밀도가 저하되거나 할 가능성이 있다.

위치 검출 장치(23)는, 소정의 주기로 검출 데이터를 출력한다. 그러므로, 유압 셔블(1)이 선회 중에 있어서 위치 검출 장치(23)에 의한 위치의 검출과 촬상 장치(30)에 의한 촬영이 병행하여 실시되는 경우, 위치 검출 장치(23)가 움직이고 있으므로, 촬상 장치(30)가 화상을 촬영하는 타이밍과 위치 검출 장치(23)가 위치를 검출하는 타이밍이 동기(同期)하지 않을 가능성이 있다. 촬영의 타이밍과는 상이한 타이밍에서 검출된 위치 검출 장치(23)의 검출 데이터에 기초하여 시공 대상 SB의 3차원 위치가 좌표 변환되면, 3차원 위치의 계측 정밀도가 저하될 가능성이 있다.

본 실시형태에 있어서, 계측 시스템(50)은, 후술하는 방법에 기초하여, 선회체(3)가 선회 중에 있어서 촬상 장치(30)에 의해 화상 PC가 촬영된 시점에서의 선회체(3)의 위치 및 자세를 고정밀도로 산출한다. 이로써, 계측 시스템(50)은, 현장 좌표계에서의 시공 대상 SB의 3차원 위치를 고정밀도로 산출할 수 있다.

촬상 위치 산출부(416)는, 유압 셔블(1)이 동작 정지 상태에 있어서 검출된 위치 검출 장치(23) 및 자세 검출 장치(24)의 각각의 검출 데이터를 취득한다. 유압 셔블(1)이 동작 정지 상태에 있어서 위치 검출 장치(23) 및 자세 검출 장치(24)에 의해 검출된 검출 데이터는 안정되어 있을 가능성이 높다. 촬상 위치 산출부(416)는, 선회체(3)의 선회 개시 전 및 선회 종료 후의 각각의 동작 정지 상태에 있어서 검출된 검출 데이터를 취득한다. 촬상 장치(30)는, 선회체(3)의 선회 개시 전 및 선회 종료 후의 각각의 동작 정지 상태에 있어서 시공 대상 SB의 화상 PC를 촬영한다. 촬상 위치 산출부(416)는, 유압 셔블(1)이 동작 정지 상태에 있어서 취득된 위치 검출 장치(23) 및 자세 검출 장치(24)의 각각의 검출 데이터에 기초하여, 유압 셔블(1)이 동작 정지 상태에 있어서 촬영된 화상 PC로부터 산출된 촬상 장치 좌표계에서의 시공 대상 SB의 3차원 위치를 현장 좌표계에서의 3차원 위치로 변환한다.

한편, 촬상 위치 산출부(416)는, 선회체(3)가 선회 중에 있어서 촬상 장치(30)에 의해 시공 대상 SB의 화상 PC가 촬영된 경우, 후술하는 방법에 기초하여, 선회체(3)가 선회 중에 있어서 촬상 장치(30)에 의해 화상 PC가 촬영한 시점에서의 선회체(3)의 위치 및 자세를 산출한다. 촬상 위치 산출부(416)는, 산출된 선회체(3)의 위치 및 자세에 기초하여, 촬영된 화상 PC로부터 산출된 촬상 장치 좌표계에서의 3차원 위치를 현장 좌표계에서의 3차원 위치로 변환한다.

도 5는, 본 실시형태에 관한 계측 시스템(50)의 동작의 일례를 모식적으로 나타낸 도면이다. 도 5는, 선회체(3)가 선회 중에 있어서 촬상 장치(30)가 시공 대상 SB를 촬영하는 것을 설명하기 위한 모식도이다.

이하의 설명에 있어서는, 주행체(5)가 주행 정지 상태인 것으로 한다. 도 5에 나타낸 바와 같이, 선회체(3)가 선회함으로써, 선회체(3)에 탑재되어 있는 촬상 장치(30) 및 촬상 장치(30)의 촬영 영역 FM은, 선회 방향 RD로 이동한다. 촬상 장치(30)의 촬영 영역 FM은, 촬상 장치(30)의 광학계의 시야에 기초하여 규정된다. 촬상 장치(30)는, 촬영 영역 FM에 배치되는 시공 대상 SB의 화상 PC를 취득한다. 선회체(3)의 선회에 의해, 촬상 장치(30)의 촬영 영역 FM은, 선회체(3)의 선회 방향 RD로 이동한다. 촬상 장치(30)는, 이동하는 촬영 영역 FM에 순차적으로 배치되는 시공 대상 SB의 화상 PC를 촬영한다.

도 5는, 선회체(3)의 선회에 의해, 촬영 영역 FM이 선회 방향 RD로, 촬영 영역 FM1, 촬영 영역 FM2, 및 촬영 영역 FM3의 순으로 이동하는 예를 나타낸다. 촬영 영역 FM1은, 선회 방향 RD에서의 제1 위치 PJ1로 규정된다. 촬영 영역 FM2는, 선회 방향 RD에서의 제2 위치 PJ2로 규정된다. 촬영 영역 FM3은, 선회 방향 RD에서의 제3 위치 PJ3로 규정된다. 제2 위치 PJ2는, 제1 위치 PJ1로부터 선회 각도 Δθ1만큼 선회한 위치이다. 제3 위치 PJ3은, 제2 위치 PJ2로부터 선회 각도 Δθ2만큼 선회한 위치이다. 촬상 장치(30)는, 촬영 영역 FM1에 배치된 시공 대상 SB의 화상 PC1, 촬영 영역 FM2에 배치된 시공 대상 SB의 화상 PC2, 및 촬영 영역 FM3에 배치된 시공 대상 SB의 화상 PC3의 각각을 촬영한다. 화상 PC1, 화상 PC2, 화상 PC3은, 동일한 촬상 장치(30)[도 5에 나타낸 예에서는 촬상 장치(30C)]에 의해 촬상된 화상이다.

촬상 장치(30)는, 인접하는 촬영 영역 FM에 중복 영역 OB가 설치되도록, 소정 타이밍에서 촬영한다. 도 5는, 촬영 영역 FM1과 촬영 영역 FM2에 중복 영역 OB1이 설치되고, 촬영 영역 FM2와 촬영 영역 FM3과의 사이에 중복 영역 OB2가 설치되는 예를 나타낸다. 중복 영역 OB1은, 화상 PC1과 화상 PC2의 일부가 중복되는 중복 영역 OB이다. 중복 영역 OB2는, 화상 PC2와 화상 PC3의 일부가 중복되는 중복 영역 OB이다.

중복 영역 OB에 화상 PC의 공통 부분 KS가 존재한다. 중복 영역 OB1에 존재하는 공통 부분 KS1은, 화상 PC1과 화상 PC2와의 공통 부분 KS이다. 중복 영역 OB2에 존재하는 공통 부분 KS2는, 화상 PC2와 화상 PC3과의 공통 부분 KS이다. 공통 부분 추출부(413)는, 촬상 장치(30)에 의해 촬영된 복수의 2차원의 화상 PC의 공통 부분 KS를 추출한다.

도 6은, 본 실시형태에 관한 계측 시스템(50)의 처리의 일례를 설명하기 위한 모식도이다. 도 6은, 선회체(3)가 선회 중에 있어서 촬영된 화상 PC(PC1, PC2)의 일례를 나타낸 도면이다. 공통 부분 추출부(413)는, 화상 PC로부터 공통 부분 KS를 추출한다.

도 6에 나타낸 바와 같이, 공통 부분 추출부(413)는, 촬영 영역 FM1에 배치된 시공 대상 SB의 화상 PC1과, 촬영 영역 FM2에 배치된 시공 대상 SB의 화상 PC2로부터, 화상 PC1과 화상 PC2와의 공통 부분 KS1을 추출한다. 촬상 위치 산출부(416)는, 공통 부분 추출부(413)와 추출된 공통 부분 KS1에 기초하여, 선회체(3)의 추정 각도 θs(도 5에 있어서는 Δθ1)를 산출한다. 또한, 촬상 위치 산출부(416)는, 추정 각도 θs에 기초하여, 촬영 시의 촬상 장치(30)의 추정 위치 Ps(도 5에 있어서는 PJ2)를 산출한다.

공통 부분 KS는, 화상 PC에서의 특징점이다. 공통 부분 추출부(413)는, 예를 들면, ORB(Oriented FAST and Rotated BRIEF) 또는 Harris 코너 검출과 같은 기지(旣知)의 특징점 검출 알고리즘에 기초하여, 공통 부분 KS를 추출한다. 공통 부분 추출부(413)는, 복수의 화상 PC의 각각으로부터 복수의 특징점을 추출하고, 추출한 복수의 특징점으로부터 유사한 특징점을 탐색함으로써, 공통 부분 KS를 추출한다. 공통 부분 추출부(413)는, 공통 부분 KS를 복수 점 추출해도 된다. 공통 부분 추출부(413)는, 예를 들면, 화상 PC에서의 시공 대상 SB의 각부(角部)를 특징점으로서 추출한다.

선회체(3)의 선회에 의해 촬상 장치(30)의 촬영 영역 FM이 선회 방향 RD로 이동하고, 촬영 영역 FM의 이동에 의해, 화상 PC에서의 공통 부분 KS가 변위한다. 도 6에 나타낸 예에서는, 공통 부분 KS는, 화상 PC1에 있어서는 화소 위치 PX1에 존재하고, 화상 PC2에 있어서는 화소 위치 PX2에 존재한다. 화상 PC1과 화상 PC2에 있어서, 공통 부분 KS가 존재하는 위치가 상이하다. 즉, 공통 부분 KS1은, 화상 PC1과 화상 PC2와의 사이에 있어서 변위한 것으로 된다. 촬상 위치 산출부(416)는, 복수의 화상 PC에서의 공통 부분 KS의 위치에 기초하여, 위치 PJ1로부터 위치 PJ2까지의 선회 각도 Δθ1을 산출할 수 있다.

도 7은, 본 실시형태에 관한 계측 시스템(50)의 처리의 일례를 설명하기 위한 모식도이다. 도 7은, 선회체(3)가 선회함으로써 촬상 장치 좌표계(Xs, Ys, Zs)가 이동하는 것을 설명하는 도면이다. 도 7에 나타낸 바와 같이, 선회체(3)는, 차체 좌표계의 Xm―Ym 평면 내에 있어서 선회축(Zr)을 중심으로 선회한다. 선회체(3)가 선회축(Zr)을 중심으로 선회 각도 Δθ만큼 선회하면, 촬상 장치 좌표계(Xs, Ys, Zs)가 선회축(Zr)을 중심으로 선회 각도 Δθ만큼 이동한다. 촬상 위치 산출부(416)는, 선회체(3)가 선회축(Zr)을 중심으로 선회하는 것을 구속(拘束; restrain) 조건으로 하여, 선회 전 각도 θra로부터 선회 각도 Δθ만큼 선회했을 때의 선회체(3)의 추정 각도 θs 및 촬상 장치(30)의 추정 위치 Ps를 산출할 수 있다.

[추정 각도의 산출]

도 8은, 본 실시형태에 관한 계측 시스템(50)의 처리의 일례를 설명하기 위한 모식도이다. 도 8은, 선회체(3)의 선회 각도 θ 및 촬상 장치(30)의 위치 P를 산출하는 예를 나타낸 모식도이다. 도 8은, 차체 좌표계에서의 선회체(3)의 선회 각도 θ 및 촬상 장치(30)의 위치 P를 나타낸다.

도 8에 나타낸 예에 있어서, 선회체(3)는, 선회 전 각도 θra, 제1 추정 각도 θs1, 제2 추정 각도 θs2, 제3 추정 각도 θs3, 및 선회 후 각도 θrb의 순으로, 선회 방향 RD로 선회한다. 촬상 장치(30)는, 선회체(3)의 선회에 의해, 선회 전 위치 Pra, 제1 추정 위치 Ps1, 제2 추정 위치 Ps2, 제3 추정 위치 Ps3, 및 선회 후방 위치 Prb의 순으로 이동한다. 촬상 장치(30)의 촬영 영역 FM은, 선회 방향 RD의 촬상 장치(30)의 이동에 의해, 촬영 영역 FMra, 촬영 영역 FMs1, 촬영 영역 FMs2, 촬영 영역 FMs3, 및 촬영 영역 FMrb의 순으로 이동한다.

선회 전 각도 θra 및 선회 후 각도 θrb일 때, 선회체(3)는 선회 정지 상태이다. 선회 전 각도 θra에 있어서 선회 정지 상태의 선회체(3)는, 제1 추정 각도 θs1, 제2 추정 각도 θs2, 및 제3 추정 각도 θs3을 경유하여, 선회 후 각도 θrb에 도달하도록, 선회 전 각도 θra로부터 선회 후 각도 θrb까지 선회한다.

촬상 장치(30)는, 선회 전 위치 Pra에 배치되어 있는 상태에서, 영역 FMra에 배치되는 시공 대상 SB의 화상 PCra를 취득한다. 촬상 장치(30)는, 제1 추정 위치 Ps1에 배치되어 있는 상태에서, 촬영 영역 FMs1에 배치되는 시공 대상 SB의 화상 PCs1을 취득한다. 촬상 장치(30)는, 제2 추정 위치 Ps2에 배치되어 있는 상태에서, 촬영 영역 FMs2에 배치되는 시공 대상 SB의 화상 PCs2를 취득한다. 촬상 장치(30)는, 제3 추정 위치 Ps3에 배치되어 있는 상태에서, 촬영 영역 FMs3에 배치되는 시공 대상 SB의 화상 PCs3을 취득한다. 촬상 장치(30)는, 선회 후방 위치 Prb에 배치되어 있는 상태에서, 촬영 영역 FMrb에 배치되는 시공 대상 SB의 화상 PCrb를 취득한다.

전술한 바와 같이, 촬상 위치 산출부(416)는, 선회체(3)가 선회 개시 전의 선회 정지 상태에 있어서 위치 검출 장치(23) 및 자세 검출 장치(24)에 의해 검출된 선회체(3)의 위치 및 자세에 기초하여, 선회 전 각도 θra를 산출한다. 또한, 촬상 위치 산출부(416)는, 선회체(3)가 선회 종료 후의 선회 정지 상태에 있어서 위치 검출 장치(23) 및 자세 검출 장치(24)에 의해 검출된 선회체(3)의 위치 및 자세에 기초하여, 선회 후 각도 θrb를 산출한다. 또한, 촬상 위치 산출부(416)는, 선회 전 각도 θra에 기초하여, 선회 전 위치 Pra를 산출한다. 또한, 촬상 위치 산출부(416)는, 선회 후 각도 θrb에 기초하여, 선회 후방 위치 Prb를 산출한다.

선회 전 각도 θra, 선회 후 각도 θrb, 선회 전 위치 Pra, 및 선회 후방 위치 Prb는, 위치 검출 장치(23)의 검출 데이터 및 자세 검출 장치(24)의 검출 데이터에 기초하여, 고정밀도로 산출된다.

전술한 바와 같이, 촬상 위치 산출부(416)는, 선회체(3)가 선회 중에 있어서 촬영된 복수의 화상 PC의 공통 부분 KS에 기초하여, 추정 각도 θs(제1 추정 각도 θs1, 제2 추정 각도 θs2, 및 제3 추정 각도 θs3)를 산출한다. 또한, 촬상 위치 산출부(416)는, 추정 각도 θs에 기초하여, 추정 위치 Ps(제1 추정 위치 Ps1, 제2 추정 위치 Ps2, 및 제3 추정 위치 Ps3)를 산출한다.

공통 부분 추출부(413)는, 화상 PCra와 화상 PCs1과의 공통 부분 KS1을 추출한다. 촬상 위치 산출부(416)는, 선회체(3)가 선회축(Zr)을 중심으로 선회하는 것을 구속 조건으로 하여, 선회체(3)의 선회 전 각도 θra와, 화상 PCra와 화상 PCs1과의 공통 부분 KS1에 기초하여, 선회 각도 Δθ1을 산출한다. 제1 추정 각도 θs1은, 선회 전 정해(正解) 각도 θra와 선회 각도 Δθ1과의 합이다(θs1=θra＋Δθ1).

마찬가지로, 공통 부분 추출부(413)는, 선회 각도 Δθ2, 선회 각도 Δθ3, 및 선회 각도 Δθ4를 산출할 수 있고, 촬상 위치 산출부(416)는, 제2 추정 각도 θs2(θs2=θra＋Δθ1＋Δθ2), 제3 추정 각도 θs3(θs3=θra＋Δθ1＋Δθ2＋Δθ3), 제4 추정 각도 θs4(θs4=θra＋Δθ1＋Δθ2＋Δθ3＋Δθ4)를 산출할 수 있다.

이와 같이, 촬상 위치 산출부(416)는, 선회체(3)가 선회 중에 있어서 촬상 장치(30)가 촬영 시의 선회체(3)의 추정 각도 θs(θs1, θs2, θs3, θs4)를 단계적으로 산출할 수 있다. 또한, 선회체(3)의 추정 각도 θs가 산출되는 것에 의해, 촬상 위치 산출부(416)는, 추정 각도 θs에 기초하여, 선회체(3)가 선회 중에서의 촬상 장치(30)의 추정 위치 Ps(Ps1, Ps2, Ps3, Ps4)를 산출할 수 있다.

또한, 촬상 위치 산출부(416)는, 복수의 화상 PC(PCra, PCs1, PCs2, PCs3, PCs4, PCrb)의 각각이 촬영된 시점을 나타내는 시점 데이터를 촬상 장치(30)로부터 취득한다. 촬상 장치(416)은, 복수의 화상 PC의 각각이 촬영된 시점과, 선회 각도 Δθ(Δθ1, Δθ2, Δθ3, Δθ4)에 기초하여, 선회 속도 V를 산출할 수 있다. 예를 들면, 화상 PCs1이 촬영된 시점에서 화상 PCs2가 촬영된 시점까지의 시간과, 화상 PCs1이 촬영되었을 때의 추정 각도 θs1로부터 추정 각도 θs2까지의 이동량에 기초하여, 선회체(3)가 추정 각도 θs1로부터 추정 각도 θs2까지 선회할 때의 선회 각도 V를 산출할 수 있다. 또한, 촬상 장치(416)은, 복수의 화상 PC의 각각이 촬영된 시점과 선회 각도 Δθ에 기초하여, 선회 방향 R을 산출할 수 있다.

이와 같이, 본 실시형태에 있어서는, 촬상 위치 산출부(416)는, 복수의 화상 PC의 공통 부분 KS에 기초하여, 선회 각도 θ, 선회 속도 V, 및 선회 방향 R을 포함하는 선회체(3)의 선회 데이터를 산출할 수 있다.

[추정 각도의 보정]

선회 후 각도 θrb는, 위치 검출 장치(23)의 검출 데이터 및 자세 검출 장치(24)의 검출 데이터에 기초하여 고정밀도로 산출된다. 한편, 추정 각도 θs4는, 공통 부분 KS의 변위량에 기초하여 산출된다. 공통 부분 KS를 사용하여 산출된 추정 각도 θs4 및 추정 위치 Ps4가 정확하면, 추정 각도 θs4와 선회 후 각도 θrb과의 차이는 작고, 추정 위치 Ps4와 선회 후방 위치 Prb과의 차이는 작다.

한편, 예를 들면, 공통 부분 KS의 변위량의 누적 오차 등에 기인하여, 공통 부분 KS를 사용하여 산출된 추정 각도 θs4 및 추정 위치 Ps4의 오차가 커지게 될 가능성이 있다. 추정 각도 θs4 및 추정 위치 Ps4의 오차가 크면, 추정 각도 θs4와 선회 후 각도 θrb과의 차이는 커지고, 추정 위치 Ps4와 선회 후방 위치 Prb과의 차이는 커지게 된다.

촬상 위치 산출부(416)는, 추정 각도 θs4와 선회 후 각도 θrb에 차이가 있을 때, 선회 정지 상태에서의 선회 각도인 각도 θr(선회 전 각도 θra 및 선회 후 각도 θrb)에 기초하여, 선회 중에서의 선회 각도인 추정 각도 θs(제1 추정 각도 θs1, 제2 추정 각도 θs2, 제3 추정 각도 θs3, 및 제4 추정 각도 θs4)를 보정한다. 또한, 촬상 위치 산출부(416)는, 보정 후의 추정 각도 θs에 기초하여, 추정 위치 Ps를 보정한다.

촬상 위치 산출부(416)는, 보정 후의 추정 각도 θs1'에 기초하여, 화상 PCs1을 촬영 시의 촬상 장치(30)의 추정 위치 Ps1을 양호한 정밀도로 산출할 수 있다. 마찬가지로, 촬상 위치 산출부(416)는, 보정 후의 추정 각도 θs2'에 기초하여, 화상 PCs2를 촬영 시의 촬상 장치(30)의 추정 위치 Ps2를 양호한 정밀도로 산출할 수 있고, 보정 후의 추정 각도 θs3'에 기초하여, 화상 PCs3을 촬영 시의 촬상 장치(30)의 추정 위치 Ps3을 고정밀도로 산출할 수 있다. 따라서, 3차원 위치 산출부(417)는, 고정밀도로 산출된 촬영 시의 촬상 장치(30)의 추정 위치 Ps와 그 촬상 장치(30)에 촬영된 화상 PCs에 기초하여, 현장 좌표계의 시공 대상 SB의 3차원 위치를 고정밀도로 산출할 수 있다.

[3차원 데이터의 통합]

3차원 위치 산출부(417)는, 한 쌍의 촬상 장치(30)에 의해 촬영된 한 쌍의 화상 PC를 스테레오 처리하여, 시공 대상 SB의 3차원 위치를 산출한다. 그리고, 3차원 데이터의 통합은 생략되어도 된다.

3차원 위치 산출부(417)는, 선회체(3)가 선회 개시 전의 선회 정지 상태에 있어서, 선회 전 위치 Pra에 배치되는 한 쌍의 촬상 장치(30)에 의해 촬영된 한 쌍의 화상 PCra를 스테레오 처리하여, 촬영 영역 FMra에 배치된 시공 대상 SB의 3차원 위치를 산출한다.

또한, 3차원 위치 산출부(417)는, 선회체(3)가 선회 중에 있어서, 추정 위치 Ps에 배치되는 한 쌍의 촬상 장치(30)에 의해 촬영된 한 쌍의 화상 PCs를 스테레오 처리하여, 촬영 영역 FMs에 배치된 시공 대상 SB의 3차원 위치를 산출한다. 3차원 위치 산출부(417)는, 주행체(5)가 주행 정지 상태이며 선회체(3)가 선회 중에 있어서, 추정 위치 Ps에 배치되는 한 쌍의 촬상 장치(30)에 의해 촬영된 한 쌍의 화상 PCs를 스테레오 처리하여, 촬영 영역 FMs에 배치된 시공 대상 SB의 3차원 위치를 산출한다.

또한, 3차원 위치 산출부(417)는, 선회체(3)가 선회 종료 후의 선회 정지 상태에 있어서, 선회 후방 위치 Prb에 배치되는 한 쌍의 촬상 장치(30)에 의해 촬영된 한 쌍의 화상 PCrb를 스테레오 처리하여, 촬영 영역 FMrb에 배치된 시공 대상 SB의 3차원 위치를 산출한다.

또한, 3차원 위치 산출부(417)는, 선회체(3)가 선회 중 및 선회 정지 상태의 각각에 있어서 촬영된 복수의 화상 PC에 기초하여, 시공 대상 SB의 3차원 위치를 산출한 후, 복수의 시공 대상 SB의 3차원 위치를 통합한다.

도 9는, 본 실시형태에 관한 시공 대상 SB의 3차원 위치의 통합의 일례를 모식적으로 나타낸 도면이다. 선회체(3)가 선회 개시 전의 선회 정지 상태에 있어서 취득된 3차원 데이터 PTDra와, 선회체(3)가 선회 중에 있어서 취득된 3차원 데이터 PTDs와, 선회체(3)가 선회 종료 후의 선회 정지 상태에 있어서 취득된 3차원 데이터 PTDrb가 통합됨으로써, 유압 셔블(1)의 주변의 시공 대상 SB 중 촬상 장치(30)가 화상 PC를 촬영한 범위의 시공 대상 SB의 3차원 형상을 나타내는 3차원 데이터 PTD가 생성된다.

3차원 데이터 PTDra는, 선회체(3)가 선회 개시 전의 선회 정지 상태에 있어서 촬영된 화상 PC로부터 산출된 시공 대상 SB의 3차원 위치를 포함한다. 3차원 데이터 PTDs는, 선회체(3)가 선회 중에 있어서 촬영된 화상 PC로부터 산출된 시공 대상 SB의 3차원 위치를 포함한다. 3차원 데이터 PTDs는, 단수라도 되고 복수라도 된다. 3차원 데이터 PTDrb는, 선회체(3)가 선회 종료 후의 선회 정지 상태에 있어서 촬영된 화상 PC로부터 산출된 시공 대상 SB의 3차원 위치를 포함한다.

3차원 위치 산출부(417)는, 복수의 3차원 데이터 PTDra, PTDs, PTDrb를 통합한다. 3차원 위치 산출부(417)는, 현장 좌표계에서의 3차원 데이터 PTDra, PTDs, PTDrb의 3차원 위치의 각각의 Xg 좌표 및 Yg 좌표가 일치하도록, Zg 좌표를 결합한다. 이로써, 선회 개시 전의 선회 정지 상태에 있어서 취득된 시공 대상 SB의 3차원 위치와, 선회 중에 있어서 취득된 시공 대상 SB의 3차원 위치와, 선회 종료 후의 선회 정지 상태에 있어서 취득된 시공 대상 SB의 3차원 위치가 통합된다.

복수의 3차원 데이터 PTDra, PTDs, PTDrb가 통합됨으로써, 유압 셔블(1)의 주변의 시공 대상 SB 중 촬상 장치(30)가 화상 PC를 촬영한 범위의 시공 대상 SB의 3차원 형상을 나타내는 3차원 데이터 PTD가 생성된다.

[선회 조건]

다음에, 선회 조건에 대하여 설명한다. 선회 조건이란, 스테레오 계측의 계측 정밀도의 저하를 억제할 수 있는 선회체(3)의 선회 조건을 말한다. 선회체(3)가 선회 조건을 만족시키지 않고 선회한 경우, 스테레오 계측의 계측 정밀도가 저하될 가능성이 있다. 규정의 선회 조건은, 미리 정해져 있고, 기억 장치(42)의 선회 조건 기억부(422)에 기억되어 있다.

본 실시형태에 있어서, 선회 조건 기억부(422)에는, 제1 선회 조건으로서, 선회체(3)가 선회 개시 위치로부터 선회 종료 위치까지 선회하여 선회를 정지한 후, 선회(재선회)가 행해지고 있지 않은 것을 나타내는 선회 조건이 기억되어 있다. 제1 선회 조건은, 선회체(3)가 선회를 정지하고, 선회를 정지하고 나서 규정 시간 경과 후, 다시 선회를 개시하고 있지 않다고 하는 조건을 포함한다. 재선회할 때의 선회 방향은, 순방향 또는 역방향 중 어느 하나라도 된다. 유압 셔블(1)의 운전자가 조작 장치(35)를 중립 상태로 하여 선회를 정지시켜 입력 장치(32)를 조작함으로써, 선회 및 촬영이 종료된다. 선회체(3)를 선회시키면서 촬상 장치(30)로 화상 PC를 연속 촬영할 때, 선회체(3)가 선회 개시 위치로부터 선회 종료 위치에 도달하여 선회체(3)의 선회가 정지하고, 다시 선회체(3)가 순방향 또는 역방향으로 선회해버리면, 스테레오 계측의 계측 정밀도가 저하될 가능성이 있다.

판정부(413)는, 선회체(3)의 선회 데이터가 제1 선회 조건을 만족시키는지의 여부를 판정한다. 선회체(3)가 선회 정지 및 재선회하지 않고 선회를 종료한 것으로 판정되었을 때, 선회 데이터는 제1 선회 조건을 만족시키고 있는 것으로 판정된다. 즉, 스테레오 계측의 계측 정밀도의 저하를 억제할 수 있는 화상 PC가 촬영되는 것으로 판정된다. 한편, 선회체(3)가 선회를 정지한 후, 다시 선회를 개시한 것으로 판정되었을 때, 선회 데이터는 제1 선회 조건을 만족시키고 있지 않은 것으로 판정된다. 즉, 스테레오 계측의 계측 정밀도가 저하될 가능성이 있는 것으로 판정된다.

또한, 선회 조건 기억부(422)에는, 제2 선회 조건으로서, 선회체(3)의 선회 속도 V가 규정 속도 미만인 것을 나타내는 선회 조건이 기억되어 있다. 선회체(3)를 선회시키면서 촬상 장치(30)로 화상 PC를 연속 촬영할 때, 선회체(3)의 선회 속도 V가 너무 빠르면, 촬영되는 화상 PC가 흔들리거나 또는 왜곡되는 경우가 있다. 그 결과, 그 화상 PC를 사용하여 스테레오 처리하면, 스테레오 계측의 계측 정밀도가 저하될 가능성이 있다. 또한, 예를 들면, 유압 셔블(1)이 경사부에 위치하고 있는 상태에서 선회체(3)가 선회하는 경우, 선회체(3)의 자중(自重)에 의해, 뜻하지 않게 선회 속도 V가 빨라지는 경우가 있다. 이 경우에도, 스테레오 계측의 계측 정밀도가 저하될 가능성이 있다.

판정부(413)는, 선회체(3)의 선회 데이터가 제2 선회 조건을 만족시키는지의 여부를 판정한다. 선회체(3)의 선회 속도 V가 규정 속도 미만인, 즉 선회 속도 V는 저속인 것으로 판정되었을 때, 선회 데이터는 제2 선회 조건을 만족시키고 있는 것으로 판정된다. 즉, 스테레오 계측의 계측 정밀도의 저하를 억제할 수 있는 화상 PC가 촬영되는 것으로 판정된다. 한편, 선회체(3)의 선회 속도 C가 규정 속도 이상인, 즉 선회 속도 V가 너무 빠른 것으로 판정되었을 때, 선회 데이터는 제2 선회 조건을 만족시키고 있지 않은 것으로 판정된다. 즉, 스테레오 계측의 계측 정밀도가 저하될 가능성이 있는 것으로 판정된다.

또한, 선회 조건 기억부(422)에는, 제3 선회 조건으로서, 선회 개시 위치로부터 선회 종료 위치까지의 선회체(3)의 선회 각도가 제1 규정 각도보다 큰 것을 나타내는 선회 조건, 및 선회 각도 2가 제2 규정 각도 미만인 것을 나타내는 선회 조건 중 한쪽 또는 양쪽이 기억되어 있다. 선회체(3)를 선회시키면서 촬상 장치(30)로 화상 PC를 연속 촬영할 때, 선회 각도가 너무 작을 경우(제1 규정 각도 이하일 경우), 전술한 선회 각도의 보정을 양호한 정밀도로 행할 수 없으므로, 스테레오 계측의 정밀도가 저하될 가능성이 있다. 또한, 선회 각도가 너무 클 경우(제2 규정 각도 이상일 경우), 산출되는 추정 각도 θs의 누적 오차가 커져 스테레오 계측의 계측 정밀도가 저하될 가능성이 있다.

판정부(413)는, 선회체(3)의 선회 데이터가 제3 선회 조건을 만족시키는지의 여부를 판정한다. 선회 개시 위치로부터 선회 종료 위치까지의 선회체(3)의 선회 각도가 제1 규정 각도보다 크거나 또는 제2 규정 각도 미만인 것으로 판정되었을 때, 선회 데이터는 제3 선회 조건을 만족시키고 있는 것으로 판정된다. 즉, 스테레오 계측의 계측 정밀도의 저하를 억제할 수 있는 화상 PC가 촬영되는 것으로 판정된다. 한편, 선회 개시 위치로부터 선회 종료 위치까지의 선회체(3)의 선회 각도가 제1 규정 각도 이하인 또는 제2 규정 각도 이상인 것으로 판정되었을 때, 선회 데이터는 제3 선회 조건을 만족시키고 있지 않은 것으로 판정된다. 즉, 스테레오 계측의 계측 정밀도가 저하될 가능성이 있는 것으로 판정된다.

또한, 선회 조건 기억부(422)에는, 제4 선회 조건으로서, 선회체(3)의 선회 방향 R이 일방향인 것을 나타내는 선회 조건이 기억되어 있다. 선회체(3)를 선회시키면서 촬상 장치(30)로 화상 PC를 연속 촬영할 때, 선회체(3)가 선회 개시 위치로부터 선회 종료 위치로 선회하도록 순방향으로 선회하고 있는 상태에서, 선회체(3)가 역방향으로 선회해버리면, 시공 대상 SB의 동일 영역이 2회 촬영되어 버리게 된다. 시공 대상 SB의 동일 영역을 촬영한 복수의 화상 PC를 스테레오 처리하면, 스테레오 계측의 계측 정밀도가 저하될 가능성이 있다.

판정부(413)는, 선회체(3)의 선회 데이터가 제4 선회 조건을 만족시키는지의 여부를 판정한다. 선회체(3)가 선회 종료 위치에 도달하기 전에 선회 방향이 순방향으로부터 역방향으로 전환되지 않고, 일방향(순방향)으로만 선회한 것으로 판정되었을 때, 선회 데이터는 제4 선회 조건을 만족시키고 있는 것으로 판정된다. 즉, 스테레오 계측의 계측 정밀도의 저하를 억제할 수 있는 화상 PC가 촬영되는 것으로 판정된다. 한편, 선회체(3)가 선회 종료 위치에 도달하기 전에, 선회 방향이 순방향으로부터 역방향으로 전환된 것으로 판정되었을 때, 선회 데이터는 제4 선회 조건을 만족시키고 있지 않은 것으로 판정된다. 즉, 스테레오 계측의 계측 정밀도가 저하될 가능성이 있는 것으로 판정된다.

또한, 선회 조건 기억부(422)에는, 제5 선회 조건으로서, 위치 검출 장치(23) 및 자세 검출 장치(24)에 의해 검출된 선회체(3)의 위치 및 자세에 기초하여 산출된 선회 종료 후의 촬상 장치(30)의 선회 후 각도 θrb와, 공통 부분 KS에 기초하여 산출된 선회 종료 후의 촬상 장치(30)의 추정 각도 θs와의 차이가 규정값 미만인 것을 나타내는 선회 조건이 기억되어 있다. 선회 후 각도 θrb와 추정 각도 θs와의 차이가 클 경우, 추정 각도 θs가 실제의 선회 각도로부터 동떨어져 있는 것을 의미한다. 예를 들면, 복수의 화상 PC로부터 산출되는 복수의 공통 부분 KS의 누적 오차 등에 기인하여, 공통 부분 KS를 사용하여 산출된 선회 종료 후의 선회체(3)의 추정 각도 θs와, 위치 검출 장치(23)의 검출 데이터 및 자세 검출 장치(24)의 검출 데이터를 사용하여 산출된 선회 후 각도 θrb와의 차이가 커지게 될 가능성이 있다. 추정 각도 θs가 부정확한만큼, 추정 각도 θs와 선회 후 각도 θrb과의 차이는 커지게 된다. 추정 각도 θs가 부정확한 경우, 실제의 선회 각도와는 상이한 위치에서 시공 대상 SB를 촬영한 화상 PC를 스테레오 처리하게 되어, 스테레오 계측의 계측 정밀도가 저하될 가능성이 있다.

판정부(413)는, 선회체(3)의 선회 데이터가 제5 선회 조건을 만족시키는지의 여부를 판정한다. 선회 종료 후의 선회 후 각도 θrb와 선회 종료 후의 추정 각도 θs와의 차이가 규정값 미만인 것으로 판정되었을 때, 선회 데이터는 제5 선회 조건을 만족시키고 있는 것으로 판정된다. 즉, 스테레오 계측의 계측 정밀도의 저하를 억제할 수 있는 화상 PC가 촬영되는 것으로 판정된다. 선회 종료 후의 선회 후 각도 θrb와 선회 종료 후의 추정 각도 θs와의 차이가 규정값 이상인 것으로 판정되었을 때, 선회 데이터는 제5 선회 조건을 만족시키고 있지 않은 것으로 판정된다. 즉, 스테레오 계측의 계측 정밀도가 저하될 가능성이 높은 것으로 판정된다.

그리고, 선회 조건 기억부(422)에, 제5 선회 조건으로서, 선회 종료 후의 선회 후방 위치 Prb와, 선회 종료 후의 추정 위치 Ps와의 차이가 규정값 미만인 것을 나타내는 선회 조건이 기억되어도 된다.

통지 제어부(419)는, 선회체(3)의 선회 데이터가 선회 조건을 만족시키지 않는 것으로 판정되었을 때, 통지 장치(33)를 작동시킨다. 이로써, 운전자는, 스테레오 계측의 계측 정밀도가 저하되지 않도록 조작 장치(35)의 조작을 조정하거나, 촬영을 다시하거나 할 수 있다.

선회 데이터가 선회 조건을 만족시키는지의 여부의 판정 및 통지 장치(33)의 작동은, 임의의 타이밍에서 실시할 수 있다. 선회 데이터가 선회 조건을 만족시키는지의 여부의 판정 및 통지 장치(33)의 작동은, 선회체(3)의 선회가 개시되고 나서 종료할 때까지의 기간에 실시되어도 되고, 선회체(3)의 선회가 종료되어 촬상 장치(30)의 촬상이 종료된 후에 실시되어도 되고, 추정 각도 θs의 산출이 종료된 후에 실시되어도 된다.

본 실시형태에 있어서는, 선회 데이터가 제1 선회 조건을 만족시키는지의 여부의 판정 및 통지 장치(33)의 작동은, 선회체(3)의 선회가 개시되고 나서 종료할 때까지의 기간에 실시된다. 선회 데이터가 제2, 제3, 제4 선회 조건을 만족시키는지의 여부의 판정 및 통지 장치(33)의 작동은, 선회체(3)의 선회가 종료되어 촬상 장치(30)의 촬상이 종료된 후에 실시된다. 선회 데이터가 제5 선회 조건을 만족시키는지의 여부의 판정 및 통지 장치(33)의 작동은, 추정 각도 θs의 산출이 종료된 후에 실시된다.

그리고, 전술한 규정의 선회 조건은 일례이며, 전술한 예에 한정되지 않는다. 또한, 선회 데이터가 선회 조건을 만족시키는지의 여부의 판정 및 통지 장치(33)의 작동의 타이밍도 일례이며, 전술한 예에 한정되지 않는다.

[입력 장치]

도 10은, 본 실시형태에 관한 입력 장치(32)의 일례를 모식적으로 나타낸 사시도이다. 본 실시형태에 있어서, 계측 시스템(50)은, 선회체(3)가 선회 중에 있어서 촬상 장치(30)에 의해 시공 대상 SB를 연속하여 촬영하는 선회 연속 촬영 모드와, 선회체(3)가 선회 정지 상태에 있어서 촬상 장치(30)에 의해 시공 대상 SB를 촬영하는 단화상 촬영 모드를 실시 가능하다. 입력 장치(32)는, 선회 연속 촬영 모드의 개시를 지령하는 촬영 개시 지령 신호 및 선회 연속 촬영 모드의 종료를 지령하는 촬영 종료 지령 신호를 생성 가능한 선회 연속 촬영 스위치(32A)와, 단화상 촬영 모드의 촬영을 지령하는 단화상 촬영 지령 신호를 생성 가능한 단화상 촬영 스위치(32B)를 구비한다. 또한, 선회 연속 촬영 스위치(32A)의 일부에 제1 발광부(34A)가 설치되고, 단화상 촬영 스위치(32B)의 일부에 제2 발광부(34B)가 설치된다. 제1 발광부(34A) 및 제2 발광부(34B)의 각각은, 발광 다이오드를 포함한다. 선회 연속 촬영 스위치(32A)의 조작 상태에 기초하여, 제1 발광부(34A)가 점등, 점멸, 또는 소등한다. 단화상 촬영 스위치(32B)의 조작 상태에 기초하여, 제2 발광부(34B)가 점등, 점멸, 또는 소등한다. 예를 들면, 촬영 불가 상태로부터 촬영 대기 상태로 천이했을 때, 통지 제어부(419)는, 소등하고 있었던 제1 발광부(34A) 및 제2 발광부(34B)의 각각을 시점 t1에 있어서 점등시킨다.

[계측 방법]

도 11은, 본 실시형태에 관한 계측 방법의 일례를 나타낸 플로우차트이다. 도 12는, 본 실시형태에 관한 계측 방법의 타이밍 차트이다.

유압 셔블(1)의 운전자는, 촬상 장치(30)가 시공 대상 SB의 계측 개시 위치를 향하도록, 조작 장치(35)를 조작하여 선회체(3)를 선회시킨다. 선회체(3)의 선회를 포함하는 유압 셔블(1)의 동작이 정지한 시점 t0으로부터 미리 규정된 시간이 경과하여 시점 t1으로 되었을 때, 판정부(418)는, 위치 검출 장치(23) 및 자세 검출 장치(24)의 각각이 검출 데이터를 안정적으로 출력할 수 있는 정정(靜定) 상태인 것으로 판정한다.

유압 셔블(1)이 동작 정지 상태이며, 위치 검출 장치(32) 및 자세 검출 장치(24)가 정정 상태에 있어서, 촬영 개시 지령 신호를 취득하면, 촬상 위치 산출부(416)는, 위치 검출 장치(23)로부터 선회체(3)의 위치를 나타내는 검출 데이터를 취득하고, 자세 검출 장치(24)로부터 선회체(3)의 자세를 나타내는 검출 데이터를 취득한다(스텝 S10).

촬상 위치 산출부(416)는, 선회 전 각도 θra, 및 선회 전 위치 Pra를 취득한다.

위치 검출 장치(23)의 검출 데이터 및 자세 검출 장치(24)의 검출 데이터는, 일시적으로 기억 장치(42)에 기억된다.

선회 연속 촬영 모드를 개시하는 경우, 유압 셔블(1)의 운전자는, 선회 연속 촬영 스위치(32A)를 조작[누름(pressing)]한다. 도 18에 나타낸 예에서는, 시점 t2에 있어서 선회 연속 촬영 스위치(32A)가 조작된다. 선회 연속 촬영 스위치(32A)가 조작됨으로써 생성된 촬영 개시 지령 신호는, 연산 처리 장치(41)에 출력된다. 신호 취득부(411)는, 촬영 개시 지령 신호를 취득한다(스텝 S20).

또한, 선회 연속 촬영 스위치(32A)가 조작되고, 촬영 개시 지령 신호를 취득하면, 연산 처리 장치(41)는, 촬상 장치(30)의 촬상을 개시한다(스텝 S30). 화상 취득부(410)는, 유압 셔블(1)이 동작 개시 전의 동작 정지 상태에 있어서 촬상 장치(30)에 의해 촬영된 시공 대상 SB의 화상 PCra를 취득한다. 또한, 화상 기억부(423)는, 화상 PCra를 기억한다.

운전자는, 조작 장치(35)를 조작하여, 주행체(5)의 주행을 정지한 상태에서, 선회체(3)의 선회를 개시한다(스텝 S40). 운전자는, 촬상 장치(30)가 시공 대상 SB의 계측 개시 위치를 향하고 있는 선회 개시 위치로부터, 촬상 장치(30)가 시공 대상 SB의 계측 종료 위치를 밟는 선회 종료 위치까지 선회하도록, 조작 장치(35)를 조작하여, 선회체(3)의 선회를 개시한다.

도 18에 나타낸 예에서는, 시점 t3에 있어서 조작 장치(35)가 조작되고, 선회체(3)의 선회가 개시된다. 복수의 촬상 장치(30)[30A, 30B, 30C, 30D]의 각각은, 선회체(3)가 선회 중에 있어서 간격을 두고 시공 대상 SB의 화상 PCs를 복수 회 촬영한다.

화상 취득부(410)는, 선회체(3)가 선회 중에 있어서 촬상 장치(30)에 의해 촬영된 시공 대상 SB의 복수의 화상 PCs를 순차적으로 취득한다. 또한, 화상 기억부(423)는, 복수의 화상 PCs를 순차적으로 기억한다.

선회체(3)가 선회 중에 있어서, 촬상 위치 산출부(416)는, 선회 데이터를 산출한다. 판정부(418)는, 선회 데이터가 선회 데이터 기억부(422)에 기억되어 있는 선회 조건을 만족시키는지의 여부를 판정한다(스텝 S50). 또한, 선회 데이터는, 기억 장치(42)에 일시적으로 기억된다.

스텝 S50에 있어서는, 선회 조건으로서, 선회체(3)가 선회 정지 후, 재선회하지 않고 선회를 종료한 조건을 만족시키는지의 여부가 판정된다(제1 선회 조건). 선회체(3)가 재선회하지 않고 선회를 종료한 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있는 것으로 판정된다. 한편, 선회체(3)가 선회를 정지하고, 선회를 정지하고 나서 규정 시간 경과 후, 다시 선회를 개시한 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있지 않은 것으로 판정된다.

로 판정되었을 때(스텝 S50: No), 통지 제어부(419)는, 통지 장치(33)를 작동하여, 선회 데이터가 선회 조건을 만족시키고 있지 않은 것을 나타내는 정보를 운전자에게 통지한다(스텝 S180).

스텝 S50에 있어서, 선회 데이터는 선회 조건을 만족시키고 있는 것으로 판정되었을 때(스텝 S50: Yes), 통지 장치(33)는 작동하지 않는다. 그리고, 스텝 S50에 있어서, 선회체 데이터는 선회 조건을 만족시키고 있는 것으로 판정되었을 때, 통지 제어부(419)는, 스텝 S180에서의 통지 형태와는 다른 통지 형태로 통지 장치(33)를 작동하여, 선회 데이터가 선회 조건을 만족시키고 있는 것을 나타내는 정보를 운전자에게 통지해도 된다.

선회체(3)가 선회 종료 위치에 도달하면, 운전자는, 조작 장치(35)의 조작을 해제하고, 선회체(3)의 선회를 종료한다(스텝 S60). 도 12에 나타낸 예에서는, 시점(t4)에 있어서 조작 장치(35)의 조작이 해제되고, 선회체(3)의 선회가 종료된다.

선회체(3)의 선회가 정지한 시점(t4)으로부터 미리 규정된 시간이 경과하여 시점(t5)으로 되었을 때, 판정부(418)는, 위치 검출 장치(23) 및 자세 검출 장치(24)의 각각이 검출 데이터를 안정적으로 출력할 수 있는 정정 상태인 것으로 판정한다.

유압 셔블(1)이 동작 정지 상태이며, 위치 검출 장치(32) 및 자세 검출 장치(24)가 정정 상태에 있어서, 촬영 위치 산출부(416)는, 위치 검출 장치(23)로부터 선회체(3)의 위치를 나타내는 검출 데이터를 취득하고, 자세 검출 장치(24)로부터 선회체(3)의 자세를 나타내는 검출 데이터를 취득한다(스텝 S70).

촬상 위치 산출부(416)는, 선회 후 각도 θrb, 및 선회 후방 위치 Prb를 취득한다.

또한, 화상 취득부(410)는, 유압 셔블(1)이 동작 종료 후의 동작 정지 상태에 있어서 촬상 장치(30)에 의해 촬영된 시공 대상 SB의 화상 PCrb를 취득한다. 또한, 화상 기억부(423)는, 화상 PCrb를 기억한다.

선회 연속 촬영 모드를 종료하는 경우, 유압 셔블(1)의 운전자는, 선회 연속 촬영 스위치(32A)를 조작(누름)한다. 도 18에 나타낸 예에서는, 시점 t6에 있어서 선회 연속 촬영 스위치(32A)가 조작된다. 선회 연속 촬영 스위치(32A)가 조작됨으로써 생성된 촬영 종료 지령 신호는, 연산 처리 장치(41)에 출력된다. 신호 취득부(411)는, 촬영 종료 지령 신호를 취득한다(스텝 S80).

촬영 종료 신호가 취득되는 것에 의해, 촬상 장치(30)의 촬영이 종료된다(스텝 S90). 촬상 장치(30)는, 촬영 불가 상태로 천이(遷移)한다.

판정부(418)는, 선회체(3)가 선회 중일 때의 선회 데이터가 선회 데이터 기억부(422)에 기억되어 있는 선회 조건을 만족시키는지의 여부를 판정한다(스텝 S100).

판정부(418)는, 스텝 S100에 있어서, 선회 조건으로서, 선회체(3)의 선회 속도 V가 규정 속도 미만인 조건을 만족시키는지의 여부를 판정한다(제2 선회 조건).

선회체(3)의 선회 속도 V가 규정 속도 미만인 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있는 것으로 판정된다. 한편, 선회체(3)의 선회 속도 V가 규정 속도 이상인 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있지 않은 것으로 판정된다.

또한, 판정부(418)는, 스텝 S100에 있어서, 선회 조건으로서, 선회 개시 위치로부터 선회 종료 위치까지의 선회체(3)의 선회 각도가 제1 규정 각도보다 큰 조건 및 제2 규정 각도 미만인 조건 중 한쪽 또는 양쪽을 만족시키는지의 여부를 판정한다(제3 선회 조건).

선회체(3)의 선회 각도가 제1 규정 각도보다 큰 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있는 것으로 판정된다. 한편, 선회체(3)의 선회 각도가 제1 규정 각도 이하인 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있지 않은 것으로 판정된다. 또한, 선회체(3)의 선회 각도가 제2 규정 각도 미만인 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있는 것으로 판정된다. 한편, 선회체(3)의 선회 각도가 제2 규정 각도 이상인 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있지 않은 것으로 판정된다.

또한, 판정부(418)는, 스텝 S100에 있어서, 선회 조건으로서, 선회체(3)의 선회 방향이 일방향인 조건을 만족시키고 있는지의 여부를 판정한다(제4 선회 조건).

선회체(3)의 선회 방향이 일방향(순방향)인 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있는 것으로 판정된다. 한편, 선회체(3)의 선회 방향이 순방향으로부터 역방향으로 전환된 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있지 않은 것으로 판정된다.

스텝 S100에 있어서, 선회 데이터는 선회 조건을 만족시키고 있지 않은 것으로 판정되었을 때(스텝 S100: No), 통지 제어부(419)는, 통지 장치(33)를 작동하여, 선회 데이터가 선회 조건을 만족시키고 있지 않은 것을 나타내는 정보를 운전자에게 통지한다(스텝 S190).

스텝 S100에 있어서, 선회 데이터는 선회 조건을 만족시키고 있는 것으로 판정되었을 때(스텝 S50: Yes), 통지 장치(33)는 작동하지 않는다. 그리고, 스텝 S100에 있어서, 선회체 데이터는 선회 조건을 만족시키고 있는 것으로 판정되었을 때, 통지 제어부(419)는, 스텝 S190에서의 통지 형태와는 다른 통지 형태로 통지 장치(33)를 작동하여, 선회 데이터가 선회 조건을 만족시키고 있는 것을 나타내는 정보를 운전자에게 통지해도 된다.

공통 부분 추출부(413)는, 화상 기억부(423)에 기억되어 있는 복수의 화상 PC의 각각으로부터 공통 부분 KS를 추출한다(스텝 S120).

공통 부분 추출부(413)는, 선회체(3)가 선회 정지 중 및 선회 중에 있어서 촬상 장치(30)에 의해 촬영된 2개 이상의 화상 PC로부터 이들 2개의 화상 PC의 공통 부분 KS를 추출한다. 공통 부분 KS의 추출은, 선회체(3)의 선회 방향 R에 있어서, 선회체(3)의 선회가 개시되고 나서 종료할 때까지 취득된 모든 화상 PC에 대하여 실시된다.

다음에, 촬상 위치 산출부(416)는, 복수의 화상 PC의 공통 부분 KS에 기초하여, 선회체(3)의 추정 각도 θs를 추정한다(스텝 S140). 촬상 위치 산출부(416)는, 복수의 화상 PC에서의 공통 부분 KS의 위치에 기초하여, 선회 각도 Δθ를 산출하여, 추정 각도 θs를 추정할 수 있다.

판정부(418)는, 선회체(3)가 선회 중일 때의 선회 데이터가 선회 데이터 기억부(422)에 기억되어 있는 선회 조건을 만족시키는지의 여부를 판정한다(스텝 S150).

판정부(418)는, 스텝 S150에 있어서, 선회 조건으로서, 위치 검출 장치(23) 및 자세 검출 장치(24)에 의해 검출된 선회체(3)의 위치 및 자세에 기초하여 산출된 선회 종료 후의 촬상 장치(30)의 선회 후 각도 θrb와, 공통 부분 KS에 기초하여 산출된 선회 종료 후의 촬상 장치(30)의 추정 각도 θs와의 차이가 규정값 미만인 조건을 만족시키는지의 여부를 판정한다(제5 선회 조건).

즉, 판정부(418)는, 선회 종료 후의 선회 정지 상태에서의 선회 후 각도 θrb와, 선회 중인 추정 각도 θs로부터 추정된 선회 종료 후의 추정 각도 θs와의 차이가 규정값 미만인 조건을 만족시키는지의 여부를 판정한다. 예를 들면, 복수의 화상 PC로부터 산출되는 복수의 공통 부분 KS의 누적 오차 등에 기인하여, 공통 부분 KS를 사용하여 산출된 선회 종료 후의 선회체(3)의 추정 각도 θs와, 위치 검출 장치(23)의 검출 데이터 및 자세 검출 장치(24)의 검출 데이터를 사용하여 산출된 선회 후 각도 θrb와의 차이가 커지게 될 가능성이 있다. 추정 각도 θs가 부정확한만큼, 추정 각도 θs와 선회 후 각도 θrb과의 차이는 커지게 된다. 판정부(418)는, 선회 종료 후의 추정 각도 θs와, 선회 후 각도 θrb와의 차이가 규정값 미만인 조건을 만족시키는지의 여부를 판정한다.

선회 종료 후의 선회 후 각도 θrb와 선회 종료 후의 추정 각도 θs와의 차이가 규정값 미만인 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있는 것으로 판정된다. 한편, 선회 종료 후의 선회 후 각도 θrb와 선회 종료 후의 추정 각도 θs와의 차이가 규정값 이상인 것으로 판정되었을 때, 선회 데이터는 선회 조건을 만족시키고 있지 않은 것으로 판정된다.

스텝 S150에 있어서, 선회 데이터는 선회 조건을 만족시키고 있지 않은 것으로 판정되었을 때(스텝 S150: No), 통지 제어부(419)는, 통지 장치(33)를 작동하여, 선회 데이터가 선회 조건을 만족시키고 있지 않은 것을 나타내는 정보를 운전자에게 통지한다(스텝 S200).

스텝 S150에 있어서, 선회 데이터는 선회 조건을 만족시키고 있는 것으로 판정되었을 때(스텝 S150: Yes), 통지 장치(33)는 작동하지 않는다. 그리고, 스텝 S150에 있어서, 선회체 데이터는 선회 조건을 만족시키고 있는 것으로 판정되었을 때, 통지 제어부(419)는, 스텝 S200에서의 통지 형태와는 다른 통지 형태로 통지 장치(33)를 작동하여, 선회 데이터가 선회 조건을 만족시키고 있는 것을 나타내는 정보를 운전자에게 통지해도 된다.

촬상 위치 산출부(416)는, 선회 종료 후의 추정 각도 θs와 선회 후 각도 θrb와의 차이가 규정값 미만일 때, 각도 θr(선회 전 각도 θra, 선회 후 각도 θrb)에 기초하여, 선회 중에서의 추정 각도 θs를 보정한다. 또한, 촬상 위치 산출부(416)는, 보정 후의 추정 각도 θs에 기초하여, 선회 중에서의 촬상 장치(30)의 추정 위치 Ps를 보정한다. 촬상 위치 산출부(416)는, 전술한 수순에 기초하여, 추정 각도 θs의 보정을 실시할 수 있다.

3차원 위치 산출부(417)는, 촬영 시의 화상 PC를 스테레오 처리하여, 복수의 시공 대상 SB의 촬상 장치 좌표계에서의 3차원 위치를 산출한다(스텝 S160). 또한, 3차원 위치 산출부(417)는, 촬상 장치 좌표계에서의 3차원 위치를 현장 좌표계에서의 3차원 위치로 변환한다.

3차원 위치 산출부(417)는, 스텝 S140에 의해 취득된 촬영 시의 촬상 장치(30)의 위치 P에 기초하여, 스텝 S130에 의해 산출된 복수의 시공 대상 SB의 3차원 위치를 통합한다(스텝 S170). 촬영 시의 촬상 장치(30)의 위치 P는, 선회 전 위치 Pra, 선회 중에서의 복수의 추정 위치 Ps, 및 선회 후방 위치 Prb를 포함한다. 복수의 시공 대상 SB가 통합됨으로써, 도 9를 참조하여 설명한 바와 같이, 시공 대상 SB의 3차원 형상을 나타내는 3차원 데이터 PTD가 생성된다. 그리고, 3차원 위치를 통합하는 처리는, 생략되어도 된다.

그리고, 선회체 데이터가, 제1 선회 조건, 제2 선회 조건, 제3 선회 조건, 제4 선회 조건, 및 제5 선회 조건 중 하나 이상을 만족시키고 있지 않은 것으로 판정된 경우, 3차원 위치 산출부(417)는, 스텝 S30에서 취득된, 유압 셔블(1)이 동작 개시 전의 동작 정지 상태에 있어서 촬상 장치(30)에 의해 촬영된 시공 대상 SB의 화상 PCra와, 스텝 S80에 있어서 취득된, 유압 셔블(1)이 동작 종료 후의 동작 정지 상태에 있어서 촬상 장치(30)에 의해 촬영된 시공 대상 SB의 화상 PCrb를 스테레오 처리하여, 시공 대상 SB의 촬상 장치 좌표계에서의 3차원 위치를 산출해도 된다.

[통지 장치]

스텝 S180, 스텝 S190, 및 스텝 S200에서의 통지 장치(33)의 통지는, 표시 장치(33A)에 표시 데이터를 표시하는 것, 발광 장치(33B)로부터 광을 사출하는 것, 및 사운드 출력 장치(33C)로부터 음을 출력하는 것 중 하나 이상을 포함한다.

본 실시형태에 있어서, 선회 데이터가 선회 조건을 만족시키지 않는 것으로 판정되었을 때, 통지 제어부(419)는, 유압 셔블(1)을 조작하는 조작 장치(35)의 조작 조건을 지시하는 가이던스 데이터를 통지 장치(33)에 출력시킨다. 운전자는, 통지 장치(33)에 의한 통지를 수취함으로써, 선회체(3)가 선회 중에 취득된 화상 PC에 기초하여 실시된 스테레오 계측의 정밀도가 부족하고 있었던, 즉 스테레오 계측이 실패한 것으로 인식할 수 있고, 예를 들면, 재차 시공 대상 SB의 같은 영역을 스테레오 계측할 수 있다. 이 때, 운전자는, 통지 장치(44)에 의한 통지의 내용에 기초하여, 촬영 시에서의 선회체(3)의 선회 조건을 수정하여 스테레오 계측함으로써, 스테레오 계측의 정밀도의 저하를 억제할 수 있다.

도 13은, 본 실시형태에 관한 표시 장치(33A)가 가이던스를 표시하고 있는 예를 나타낸 도면이다. 그리고, 표시 장치(33A)는 가이던스 대신에, 또는 가이던스와 함께, 스테레오 계측의 성공 여부나, 스테레오 계측의 실패 이유를 표시해도 된다.

도 13의 (a)는, 스텝 S50에 있어서, 선회체(3)가 선회 정지 후에 재선회하지 않고 선회를 종료한 조건을 만족시키는지의 여부가 판정되고, 선회 데이터가 선회 조건을 만족시키고 있지 않은 것으로 판정되었을 때의, 스텝 S180에서의 표시 장치(33A)의 표시예를 나타낸다. 도 13의 (A)에 나타낸 바와 같이, 선회체(3)가 선회를 정지한 후에, 다시 선회를 개시한 것으로 판정되었을 때, 표시 장치(33A)는, 가이던스로서, 「선회 정지 후의 재선회의 조작은 행하지 말아 주십시오. 」라고 하는 문자 데이터를 출력한다.

도 13의 (b)는, 스텝 S100에 있어서, 선회체(3)의 선회 속도 V가 규정 속도 미만인 조건을 만족시키는지의 여부가 판정되고, 선회 데이터가 선회 조건을 만족시키고 있지 않은 것으로 판정되었을 때의, 스텝 S190에서의 표시 장치(33A)의 표시예를 나타낸다. 도 13의 (B)에 나타낸 바와 같이, 선회 데이터가 선회 조건을 만족시키지 않는 것으로 판정되었을 때, 즉 선회체(3)의 선회 속도 V가 규정 속도 이상인 것으로 판정되었을 때, 표시 장치(33A)는, 가이던스로서, 「선회 속도를 늦추어 주십시오」라고 하는 문자 데이터를 출력한다.

도 13의 (c)는, 스텝 S100에 있어서, 선회체(3)의 선회 속도 θ가 제1 규정 각도보다 큰 조건 및 제2 규정 각도 미만인 조건 중 한쪽 또는 양쪽을 만족시키는지의 여부가 판정되고, 선회 데이터가 선회 조건을 만족시키고 있지 않은 것으로 판정되었을 때의, 스텝 S190에서의 표시 장치(33A)의 표시예를 나타낸다. 도 13의 (C)에 나타낸 바와 같이, 선회 데이터가 선회 조건을 만족시키지 않는 것으로 판정되었을 때, 즉 선회체(3)의 선회 각도가 제2 규정 각도 이상인 것으로 판정되었을 때, 표시 장치(33A)는, 가이던스로서, 「선회 각도를 작게 하여 주십시오. 」라고 하는 문자 데이터를 출력한다.

또한, 선회체(3)의 선회 각도가 제1 규정 각도 이하인 것으로 판정되었을 때, 표시 장치(33A)는, 가이던스로서, 「선회 개시 시와 선회 종료 시의 선회 각도를 크게 하여 주십시오. 」라고 하는 문자 데이터를 출력한다.

도 13의 (d)는, 스텝 S100에 있어서, 선회체(3)의 선회 방향이 순방향으로부터 역방향으로 전환되지 않고 일방향인 조건을 만족시키고 있는지의 여부가 판정되고, 선회 데이터가 선회 조건을 만족시키고 있지 않은 것으로 판정되었을 때의, 스텝 S190에서의 표시 장치(33A)의 표시예를 나타낸다. 도 13의 (D)에 나타낸 바와 같이, 선회 데이터가 선회 조건을 만족시키지 않는 것으로 판정되었을 때, 즉 선회체(3)의 선회 방향이 순방향으로부터 역방향으로 전환되어 있는 것으로 판정되었을 때, 표시 장치(33A)는, 가이던스로서, 「선회 연속 촬영 시는 반드시 일방향으로 선회하여 주십시오」라고 하는 문자 데이터를 출력한다.

도 13의 (E)는, 스텝 S150에 있어서, 선회 종료 후의 선회체(3)의 선회 후 각도 θrb와 선회 종료 후의 선회체(3)의 추정 각도 θs와의 차이가 규정값 미만인 조건을 만족시키는지의 여부가 판정되고, 선회 데이터가 선회 조건을 만족시키고 있지 않은 것으로 판정되었을 때의, 스텝 S200에서의 표시 장치(33A)의 표시예를 나타낸다. 도 13의 (E)에 나타낸 바와 같이, 선회 데이터가 선회 조건을 만족시키지 않는 것으로 판정되었을 때, 즉 선회 후 각도 θrb와 선회 종료 후의 선회체(3)의 추정 각도 θs와의 차이가 규정값 이상인 것으로 판정되었을 때, 표시 장치(33A)는, 가이던스로서, 「차체의 위치를 변경하여 주십시오. 작업기 자세를 확인하여 주십시오. 」라고 하는 문자 데이터를 출력한다.

선회 후 각도 θrb와 추정 각도 θs와의 차이가 클 경우, 추정 각도 θs가 부정확할 가능성이 높고, 추정 각도 θs의 보정을 실시해도, 정확한 추정 각도 θs를 취득하는 것이 곤란한 가능성이 높다. 이 경우, 통지 제어부(419)는, 도 13의 (E)에 나타낸 바와 같은, 선회 연속 촬영의 조건의 변경을 촉구하는 가이던스와 같은 통지 신호를 출력한다.

그리고, 전술한 바와 같은 가이던스나, 스테레오 계측의 성공 여부나, 스테레오 계측의 실패 이유는, 발광 장치(33B)의 점등, 점멸, 및 소등의 조합을 포함하는 발광 상태에 따라서 통지되어도 되고, 사운드 출력 장치(33C)로부터 음성에 의해 출력되어도 된다.

또한, 통지 제어부(419)는, 그 외의 이유에 의해 3차원 위치 산출부(417)에 의한 스테레오 계측이 실패했을 때에도, 통지 장치(33)를 작동하여, 스테레오 계측이 실패한 것을 나타내는 정보를 통지할 수 있다.

[효과]

이상 설명한 바와 같이, 본 실시형태에 의하면, 스테레오 계측의 계측 정밀도를 저하시키는 선회 조건 하에서 선회체(3)가 선회한 경우, 선회 조건이 부적절한 것을 나타내는 정보가 운전자에게 통지된다. 그러므로, 운전자는, 스테레오 계측의 계측 정밀도가 저하되지 않도록 조작 장치(35)의 조작을 조정하거나, 촬영을 다시하거나 할 수 있다. 이로써, 스테레오 계측에 적절한 화상 PC가 취득되므로, 시공 대상 SB의 3차원 형상의 계측 정밀도의 저하가 억제된다.

그리고, 전술한 실시형태에 있어서는, 유압 셔블(1)이 선회 중에 있어서는, 촬상 장치(30)의 위치가 공통 부분 KS에 기초하여 산출되는 것으로 하였으나, 그 실시형태에 한정되지 않는다. 예를 들면, 유압 셔블(1)이 선회 중에서의 촬상 장치(30)의 위치가, 위치 검출 장치(23)의 검출 데이터 및 자세 검출 장치(24)의 검출 데이터에 기초하여 산출되어도 된다.

그리고, 전술한 실시형태에 있어서, 촬상 위치 산출부(416)는, 선회축(Zr)을 구속 조건으로 하여, 변수(變數)를 선회 각도만으로서 촬영 위치를 산출하였으나, 선회축(Zr)을 구속 조건으로 하지 않고, 촬상 장치(30)의 위치 및 자세를, X축 방향의 위치, Y축 방향의 위치, Z축 방향의 위치, 롤각, 피치각, 및 요각(yaw angle)의 6변수에 따라 산출해도 된다.

그리고, 본 실시형태에 있어서는, 입력 장치(32)가 조작됨으로써, 촬상 장치(30)에 의한 촬영이 개시 또는 종료하는 것으로 하였다. 조작 장치(35)의 조작에 의해, 촬상 장치(30)에 의한 촬영이 개시 또는 종료해도 된다. 전술한 바와 같이, 조작 장치(35)의 조작량을 검출하는 조작량 센서(36)가 설치되어 있다. 조작량 센서(36)는, 조작 장치(35)가 조작된 조작 상태와, 조작 장치(35)가 조작되고 있지 않는 중립 상태를 검출할 수 있다. 선회체(3)의 선회를 개시하기 위해 조작 장치(35)가 조작 상태로 되었을 때, 조작 상태를 검출한 조작량 센서(36)의 검출 데이터에 기초하여 촬상 장치(30)에 의한 촬영이 개시되고, 선회체(3)의 선회를 종료하기 위해 조작 장치(35)가 중립 상태로 되었을 때, 중립 상태를 검출한 조작량 센서(36)의 검출 데이터에 기초하여 촬상 장치(30)에 의한 촬영이 종료되어도 된다. 또한, 입력 장치(32)의 조작에 의해 촬영이 개시되고, 조작 장치(35)가 중립 상태로 되었을 때 촬영이 종료되어도 된다. 또한, 선회체(3)가 선회 중지의 여부의 판정은, 조작량 센서(36)의 검출 데이터에 근거하지 않고, 임의의 선회 검출 방법에 의해 실시되어도 된다.

또한, 입력 장치(32)가 조작됨으로써, 자동적으로 촬상 장치(30)에 의한 촬영 및 선회체(3)의 선회가 개시되고, 규정의 선회 종료 위치까지 선회한 후, 자동적으로 촬상 장치(30)에 의한 촬영 및 선회체(3)의 선회가 종료되도록 해도 된다.

그리고, 전술한 실시형태에 있어서, 입력 장치(32)는, 예를 들면, 조작 장치(35)의 우측 조작 레버(35R) 및 좌측 조작 레버(35L) 중 적어도 한쪽에 장착되어 있어도 되고, 운전실(4)에 배치되는 모니터 패널에 설치되어 있어도 되고, 휴대 단말기 장치에 설치되어도 된다. 또한, 입력 장치(32)가 유압 셔블(1)의 외부에 설치되고, 촬상 장치(30)의 촬영의 개시 또는 종료가 원격 조작되어도 된다.

전술한 실시형태에 있어서는, 판정부(418)가 선회 조건을 만족시키고 있지 않은 것으로 판정했을 때, 통지 제어부(419)가, 선회 지시 신호로서 통지 신호를 통지 장치(33)에 출력하는 예에 대하여 설명하였다. 전술한 실시형태에 있어서, 예를 들면, 선회체(3)의 선회 중에 선회 속도 V가 소정의 선회 속도보다 빠른 것으로 판정되었을 때, 선회 제어부(420)는, 선회 지시 신호로서 유압 컨트롤러(38)에 제어 신호를 출력하여, 선회 중인 선회체(3)의 선회 속도 V를, 선회 조건을 만족시키도록 제어해도 된다. 이 경우, 유압 컨트롤러(38)는, 운전자의 조작 장치(35)의 조작량에 따른 선회 모터(37)의 구동 제어에 대하여, 선회 제어부(420)로부터의 제어 신호에 기초하여 선회 속도 V를 감소하도록 개입 제어를 실시할 수 있다. 선회 속도 V를 늦어지게 하는, 즉 선회 동작을 제어하기 위해 유압 컨트롤러(38)에 출력되는 제어 신호는, 선회 지시 신호의 일례이다. 또한, 통지 장치(33)를 제어하기 위해 통지 장치(33)에 출력되는 선회에 관한 통지 신호, 예를 들면, 스테레오 계측의 성공 여부 데이터, 스테레오 계측의 실패 이유 데이터, 가이던스 데이터는, 선회 지시 신호의 일례이다. 또한, 통지 제어부(419) 및 선회 제어부(420)는, 선회 지시 신호를 출력하는 출력부의 일례이다.

그리고, 전술한 실시형태에 있어서, 통지 장치(33)는, 운전실(4)에 배치되는 모니터 패널이라도 되고, 휴대 단말기 장치라도 된다. 또한, 그와 같은 모니터 패널 및 휴대 단말기 장치가 유압 셔블(1)의 외부에 설치되어도 된다. 또한, 통지 장치(33)가 유압 셔블(1)의 외부에 설치되고, 유압 셔블(1)의 외부에 존재하는 관리자에게 통지해도 된다. 또한, 조작 장치(35), 통지 장치(33)가 유압 셔블(1)의 외부에 설치되고, 통지 장치(33)는 유압 셔블(1)을 원격 조작하고 있는 운전자에 대하여 통지를 행해도 된다.

그리고, 전술한 실시형태에 있어서, 선회체(3)의 선회 중에 있어서 선회 속도 V가 선회 조건을 만족시키지 않게 될 정도는 아니지만 어느 정도 빠른 선회 속도 V로 선회하고 있는 경우, 통지 장치(33)는, 운전자에 대하여 실시간으로 선회 속도 V를 늦어지게 하는 것을 촉구하는 가이던스를 통지해도 된다. 이 때, 운전자는 선회 조작 중이므로, 예를 들면, 선회 속도 V를 늦어지게 하는 것을 촉구하는 사운드에 의한 가이던스가 바람직하다.

그리고, 촬상 장치(30)에 의해 촬영된 화상 PC가 화상 기억부(423)에 축적되는 경우, 선회 조건으로서, 규정의 용량의 화상 PC의 데이터가 축적되지 않는다는 조건(메모리 오버 조건), 또는 화상 PC의 데이터가 축적되는 시간이 규정 시간을 초과하지 않는다는 조건(타임 오버 조건)이 설정되어도 된다. 또한, 선회 조건으로서, 주행체(2)가 주행하고 있지 않다고 하는 조건이 설정되어도 된다. 선회 촬영 중에 주행체(2)가 주행해버리면 스테레오 계측의 정밀도가 저하되므로, 주행체(2)가 주행하고 있지 않다고 하는 조건이 설정되어도 된다.

그리고, 전술한 실시형태에 있어서는, 촬상 위치 산출부(416)가 공통 부분 KS에 기초하여 선회 데이터를 산출하고, 선회 데이터 취득부(415)는, 촬상 위치 산출부(416)로부터 선회 데이터를 취득하는 것으로 했다. 선회 데이터 취득부(415)는, 선회 데이터를 산출하기 위한 검출 장치의 검출 데이터에 기초하여 선회 데이터를 산출해도 된다. 예를 들면, 선회 데이터 취득부(415)는, 위치 검출 장치(23)의 검출 데이터 또는 자세 검출 장치(24)의 검출 데이터에 기초하여, 선회체(3)의 선회 각도 θ, 선회 속도 V, 및 선회 방향 R을 포함하는 선회 데이터를 산출해도 되고, 조작량 센서(36)의 검출 데이터에 기초하여 선회 데이터를 산출해도 되고, 선회체(3)의 선회 데이터를 검출 가능한 각도 센서, 예를 들면, 로터리 인코더의 검출 데이터에 기초하여 선회 데이터를 산출해도 된다. 이 경우, 연산 처리 장치(41)는, 각도 검출 센서의 검출값인 선회 각도를 각도 검출 센서로부터 취득하는 타이밍과, 적어도 한 쌍의 촬상 장치(30)가 시공 대상 SB를 촬영하는 타이밍을 동기시킨다. 이와 같이 하여, 적어도 한 쌍의 촬상 장치(30)에 의해 화상 PC가 촬영된 타이밍과, 그 타이밍에서의 선회체(3)의 선회 각도가 대응된다.

그리고, 전술한 실시형태에 있어서는, 연산 처리 장치(41)가 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 화상 PC를 스테레오 처리하여 3차원 계측을 실현하였으나, 이와 같은 것에 한정되지는 않는다. 예를 들면, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 유압 셔블(1)의 주위의 굴삭 대상 SB의 화상 PC와, 위치 검출 장치(23) 및 자세 검출 장치(24)에 의해 구해진 유압 셔블(1)의 정지 시에서의 위치 및 자세가, 예를 들면, 유압 셔블(1)의 외부의 관리 장치로 송신된다. 그리고, 외부의 관리 장치가 유압 셔블(1)의 주위의 굴삭 대상 SB의 화상 PC를 스테레오 처리하고, 또한 선회체(3)의 선회 시에서의 선회 각도 θ, 유압 셔블(1)의 위치 및 자세를 구하고, 얻어진 결과를 사용하여 선회 시에서의 유압 셔블(1)의 주위의 굴삭 대상 SB의 3차원 위치를 구해도 된다. 이 경우, 유압 셔블(1)의 외부의 관리 장치가, 연산 처리 장치(41)에 상당한다.

전술한 실시형태에 있어서, 검출 장치는 적어도 한 쌍의 촬상 장치(30)를 포함하는 스테레오 카메라이다. 스테레오 카메라로 촬영할 때는, 각각의 카메라의 촬영 타이밍을 동기시킨다. 촬상 장치는 스테레오 카메라에 한정되지 않는다. 촬상 장치는, 예를 들면, TOF(Time Of Flight) 카메라와 같은, 화상과 3차원 데이터와의 양쪽이 얻어지는 센서라도 된다. 촬상 장치는 1개의 카메라에 의해 3차원 데이터가 얻어지는 촬상 장치라도 된다. 촬상 장치는, 레이저 스캐너라도 된다.

그리고, 전술한 실시형태에 있어서는, 작업 기계(1)가 선회체(3)를 가지는 유압 셔블(1)인 것으로 하였다. 작업 기계(1)는, 선회체를 가지고 있지 않은 작업 기계라도 된다. 예를 들면, 작업 기계는, 불도저(bulldozer), 휠 로더(wheel loader), 덤프 트럭, 및 모터 그레이더(grader) 중 하나 이상이라도 된다.

1: 유압 셔블(작업 기계), 1B: 차체, 2: 작업기, 3: 선회체, 4: 운전실, 4S: 운전석, 5: 주행체, 5A: 크롤러 벨트, 5B: 크롤러 벨트, 6: 붐, 7: 암, 8: 버킷, 10: 붐 실린더, 11: 암 실린더, 12: 버킷 실린더, 21: GPS 안테나, 23: 위치 검출 장치, 24: 자세 검출 장치, 30: 촬상 장치, 30A, 30B, 30C, 30D: 촬상 장치, 31: 허브, 32: 입력 장치, 32A: 선회 연속 촬영 스위치, 32B: 단화상 촬영 스위치, 33: 통지 장치, 33A: 표시 장치, 33B: 발광 장치, 33C: 사운드 출력 장치, 34A: 제1 발광부, 34B: 제2 발광부, 35: 조작 장치, 35L: 좌측 조작 레버, 35R: 우측 조작 레버, 36: 조작량 센서, 37: 선회 모터, 38: 유압 컨트롤러, 40: 제어 장치, 41: 연산 처리 장치, 42: 기억 장치, 43: 입출력 인터페이스, 50: 계측 시스템, 300: 스테레오 카메라, 301: 제1 스테레오 카메라, 302: 제2 스테레오 카메라, 410: 화상 취득부, 411: 신호 취득부, 413: 공통 부분 추출부, 415: 선회 데이터 취득부, 416: 촬상 위치 산출부, 417: 3차원 위치 산출부, 418: 판정부, 419: 통지 제어부, 420: 선회 제어부, 422: 선회 조건 기억부, 423: 화상 기억부, FM: 촬영 영역, KS: 공통 부분, PC: 화상, Pr: 위치, Pra: 선회 전 위치, Prb: 선회 후방 위치, Ps: 추정 위치, RD: 선회 방향, SB: 시공 대상, Zr: 선회축, θr: 각도, θra: 선회 전 각도, θrb: 선회 후 각도, θs: 추정 각도이다.

Claims

작업 기계(work machine)의 선회체(旋回體)에 탑재된 촬상(撮像) 장치에 의해 상기 선회체의 선회(旋回) 중에 촬영된 시공(施工) 대상의 화상을 취득하는 화상 취득부;
상기 화상에 기초하여 상기 시공 대상의 3차원 위치를 산출하는 3차원 위치 산출부;
상기 선회체의 선회 데이터를 취득하는 선회 데이터 취득부;
상기 선회 데이터가 규정의 선회 조건을 만족시키는지의 여부를 판정하는 판정부; 및
상기 판정부의 판정 결과에 기초하여 선회 지시 신호를 출력하는 출력부;
를 포함하고,
상기 선회 조건은, 상기 선회체의 선회 정지(停止) 후, 재선회가 행해지지 않는 조건을 포함하는,
작업 기계의 계측 시스템.
제1항에 있어서,
상기 선회 데이터는, 상기 선회체의 선회 속도를 포함하고,
상기 선회 조건은, 상기 선회 속도가 규정 속도 미만인 조건을 포함하는, 작업 기계의 계측 시스템.
제1항에 있어서,
상기 선회 데이터는, 상기 선회체의 선회 각도를 포함하고,
상기 선회 조건은, 상기 선회 각도가 제1 규정 각도보다 큰 조건 및 제2 규정 각도 미만인 조건 중 한쪽 또는 양쪽을 포함하는, 작업 기계의 계측 시스템.
제1항에 있어서,
상기 선회 데이터는, 상기 선회체의 선회 방향을 포함하고,
상기 선회 조건은, 상기 선회 방향이 일방향인 조건을 포함하는, 작업 기계의 계측 시스템.
제1항에 있어서,
상기 작업 기계의 운전자에게 통지하는 통지 장치를 구비하고,
상기 선회 지시 신호는, 상기 선회에 관한 통지 신호를 포함하고,
상기 출력부는, 상기 통지 신호를 상기 통지 장치에 출력하는, 작업 기계의 계측 시스템.
제1항에 있어서,
상기 선회체를 선회시키는 유압(油壓) 컨트롤러를 구비하고,
상기 선회 지시 신호는, 상기 선회체의 선회 동작을 제어하는 제어 신호를 포함하고,
상기 출력부는, 상기 제어 신호를 상기 유압 컨트롤러에 출력하는, 작업 기계의 계측 시스템.
제1항에 있어서,
상기 3차원 위치 산출부는, 상기 선회 데이터가 상기 선회 조건을 만족시키지 않는 것으로 판정된 경우, 상기 선회체가 동작 개시 전의 동작 정지 상태에 있어서 촬영된 상기 화상과, 상기 선회체가 동작 종료 후의 동작 정지 상태에 있어서 촬영된 상기 화상에 기초하여, 상기 시공 대상의 3차원 위치를 산출하는, 작업 기계의 계측 시스템.
제1항에 기재된 작업 기계의 계측 시스템을 포함하는 작업 기계.
작업 기계의 선회체에 탑재된 촬상 장치에 의해 상기 선회체의 선회 중에 촬영된 시공 대상의 화상을 취득하는 단계;
상기 선회체의 선회 데이터를 취득하는 단계;
상기 선회 데이터가 규정의 선회 조건을 만족시키는지의 여부를 판정하는 단계; 및
판정 결과에 기초하여 선회 지시 신호를 출력하는 단계;
를 포함하고,
상기 선회 조건은, 상기 선회체의 선회 정지(停止) 후, 재선회가 행해지지 않는 조건을 포함하는,
작업 기계의 계측 방법.
삭제