KR20180103868A

KR20180103868A - 위치 계측 시스템, 작업 기계, 및 위치 계측 방법

Info

Publication number: KR20180103868A
Application number: KR1020187018968A
Authority: KR
Inventors: 다이키 스가와라; 히로요시 야마구치; 쇼고 아쓰미; 야스오 가네미쓰
Original assignee: 가부시키가이샤 고마쓰 세이사쿠쇼
Priority date: 2017-02-09
Filing date: 2018-02-07
Publication date: 2018-09-19
Also published as: JP6925816B2; US20210209799A1; CN108700402B; DE112018000007T5; JP2018128397A; US11120577B2; WO2018147340A1; CN108700402A; KR102076631B1

Abstract

위치 계측 시스템은, 작업 기계에 설치된 제1 스테레오 카메라의 제1 카메라로 촬영된 제1 화상 데이터 및 제1 스테레오 카메라의 제2 카메라로 촬영된 제2 화상 데이터를 취득하는 화상 데이터 취득부와, 제1 화상 데이터와, 제2 화상 데이터와, 제1 카메라 및 제2 카메라에 관한 파라미터에 기초하여, 스테레오 계측을 실시하는 스테레오 계측부와, 파라미터 중 적어도 일부를 변경하여, 스테레오 계측된 제1 시차 화상 데이터의 스테레오율을 조정하는 제1 조정부와, 파라미터 중 적어도 일부를 변경하여, 제1 시차 화상 데이터로부터 구해지는 제1의 3차원 데이터의 스케일을 조정하는 제2 조정부를 구비한다.

Description

위치 계측 시스템, 작업 기계, 및 위치 계측 방법

본 발명은, 위치 계측 시스템, 작업 기계(work machine), 및 위치 계측 방법에 관한 것이다.

작업 기계에 관한 기술 분야에 있어서, 특허문헌 1에 개시되어 있는 것과 같은, 스테레오 카메라를 가지는 유압 셔블이 알려져 있다.

일본 공개특허 제2012―233353호 공보

스테레오 카메라는, 제1 카메라 및 제2 카메라를 가지고, 삼각 측량의 원리에 기초하여 3차원 계측한다. 스테레오 카메라에 있어서는, 제1 카메라와 제2 카메라와의 상대(相對) 위치를 조정하는 교정 처리가 실시된다. 스테레오 카메라의 교정 처리는, 제1 카메라 및 제2 카메라로 캘리브레이션(calibration) 타겟을 촬영하는 처리를 포함한다. 스테레오 카메라의 교정 처리 후, 제1 카메라와 제2 카메라와의 상대 위치가 변동되어 버린 경우, 스테레오 카메라를 재교정 처리할 필요가 생긴다. 재교정 처리마다 캘리브레이션 타겟을 장착하지 않으면 안되는 경우, 재교정 처리의 작업이 번잡해져, 작업 기계의 작업 효율이 저하된다.

본 발명의 태양(態樣)은, 재교정 처리를 원활하게 실시하여, 작업 효율의 저하를 억제하는 것을 목적으로 한다.

본 발명의 태양에 따르면, 작업 기계에 설치된 제1 스테레오 카메라의 제1 카메라로 촬영된 제1 화상 데이터 및 상기 제1 스테레오 카메라의 제2 카메라로 촬영된 제2 화상 데이터를 취득하는 화상 데이터 취득부와, 상기 제1 화상 데이터와, 상기 제2 화상 데이터와, 상기 제1 카메라 및 상기 제2 카메라에 관한 파라미터에 기초하여, 스테레오 계측을 실시하는 스테레오 계측부와, 상기 파라미터 중 적어도 일부를 변경하여, 스테레오 계측된 제1 시차(視差) 화상 데이터의 스테레오율(stereo ratio)을 조정하는 제1 조정부와, 상기 파라미터 중 적어도 일부를 변경하여, 상기 제1 시차 화상 데이터로부터 구해지는 제1의 3차원 데이터의 스케일을 조정하는 제2 조정부를 구비하는 위치 계측 시스템이 제공된다.

본 발명의 태양에 의하면, 재교정 처리를 원활하게 실시할 수 있어, 작업 효율의 저하를 억제할 수 있다.

도 1은, 제1 실시형태에 관한 작업 기계의 일례를 나타낸 사시도이다.
도 2는, 제1 실시형태에 관한 스테레오 카메라의 일례를 나타낸 사시도이다.
도 3은, 제1 실시형태에 관한 검출 시스템의 일례를 모식적으로 나타낸 도면이다.
도 4는, 제1 실시형태에 관한 위치 계측 시스템의 일례를 나타낸 기능 블록도이다.
도 5는, 제1 실시형태에 관한 스테레오 계측 방법의 일례를 설명하기 위한 모식도이다.
도 6은, 제1 실시형태에 관한 스테레오 카메라의 일례를 모식적으로 나타낸 도면이다.
도 7은, 제1 실시형태에 관한 제1 카메라에 의해 촬영된 제1 화상 데이터 및 제2 카메라에 의해 촬영된 제2 화상 데이터의 일례를 모식적으로 나타낸 도면이다.
도 8은, 제1 실시형태에 관한 제1 카메라에 의해 촬영된 제1 화상 데이터 및 제2 카메라에 의해 촬영된 제2 화상 데이터의 일례를 모식적으로 나타낸 도면이다.
도 9는, 제1 실시형태에 관한 제1 카메라와 제2 카메라와의 상대 위치를 설명하기 위한 모식도이다.
도 10은, 제1 실시형태에 관한 탐색 실패했을 때의 시차 화상 데이터의 일례를 모식적으로 나타낸 도면이다.
도 11은, 제1 실시형태에 관한 제1 조정부에 의한 스테레오율의 조정 처리의 일례를 설명하기 위한 모식도이다.
도 12는, 제1 실시형태에 관한 제1 조정부에 의한 스테레오율의 조정 방법의 일례를 설명하기 위한 모식도이다.
도 13은, 제1 실시형태에 관한 탐색 성공했을 때의 시차 화상 데이터의 일례를 모식적으로 나타낸 도면이다.
도 14는, 제1 실시형태에 관한 제2 조정부에 의한 스케일의 조정 처리의 일례를 설명하기 위한 모식도이다.
도 15는, 제1 실시형태에 관한 위치 계측 방법의 일례를 나타낸 플로우차트이다.
도 16은, 제1 실시형태에 관한 촬영 대상의 일례를 모식적으로 나타낸 도면이다.
도 17은, 제1 실시형태에 관한 제1 스테레오 카메라에 의해 취득된 제1 화상 데이터 및 제2 화상 데이터에 기초하여 생성된 시차 화상 데이터의 일례를 모식적으로 나타낸 도면이다.
도 18은, 제1 실시형태에 관한 제1 시차 화상 데이터 및 제2 시차 화상 데이터의 일례를 나타낸 도면이다.
도 19는, 제1 실시형태에 관한 제2 조정부에 의한 스케일의 조정 방법의 일례를 설명하기 위한 모식도이다.
도 20은, 제2 실시형태에 관한 위치 계측 방법의 일례를 설명하기 위한 모식도이다.
도 21은, 제3 실시형태에 관한 위치 계측 방법의 일례를 설명하기 위한 모식도이다.
도 22는, 제3 실시형태에 관한 제2 조정부에 의한 스케일의 조정 방법의 일례를 설명하기 위한 모식도이다.
도 23은, 제5 실시형태에 관한 위치 계측 시스템의 일례를 모식적으로 나타낸 도면이다.
도 24는, 제6 실시형태에 관한 위치 계측 방법의 일례를 설명하기 위한 모식도이다.

이하, 본 발명에 관한 실시형태에 대하여 도면을 참조하면서 설명하지만, 본 발명은 이에 한정되지 않는다. 이하에서 설명하는 실시형태의 구성 요소는 적절히 조합시키는 것이 가능하다. 또한, 일부의 구성 요소를 이용하지 않는 경우도 있다.

이하의 설명에 있어서는, 3차원의 글로벌 좌표계(Xg, Yg, Zg), 3차원의 차체 좌표계(Xm, Ym, Zm), 및 3차원의 카메라 좌표계(Xs, Ys, Zs)를 규정하여, 각 부의 위치 관계에 대하여 설명한다.

글로벌 좌표계는, 지구에 고정된 원점을 기준으로 하는 좌표계이다. 글로벌 좌표계는, GNSS(Global Navigation Satellite System)에 의해 규정되는 좌표계이다. GNSS란, 전지구 항법 위성 시스템을 말한다. 전지구 항법 위성 시스템의 일례로서, GPS(Global Positioning System)를 들 수 있다.

글로벌 좌표계는, 수평면의 Xg축과, Xg축과 직교하는 수평면의 Yg축과, Xg축 및 Yg축과 직교하는 Zg축에 의해 규정된다. Xg축을 중심으로 하는 회전 또는 경사 방향을 θXg 방향이라 하고, Yg축을 중심으로 하는 회전 또는 경사 방향을 θYg 방향이라 하고, Zg축을 중심으로 하는 회전 또는 경사 방향을 θZg 방향이라고 한다. Zg축 방향은 연직(沿直) 방향이다.

차체 좌표계는, 작업 기계의 차체에 규정된 원점을 기준으로 하는 제1 소정 면의 Xm축과, Xm축과 직교하는 제1 소정 면의 Ym축과, Xm축 및 Ym축과 직교하는 Zm축에 의해 규정된다. Xm축을 중심으로 하는 회전 또는 경사 방향을 θXm 방향이라 하고, Ym축을 중심으로 하는 회전 또는 경사 방향을 θYm 방향이라 하고, Zm축을 중심으로 하는 회전 또는 경사 방향을 θZm 방향이라고 한다. Xm축 방향은 작업 기계의 전후 방향이며, Ym축 방향은 작업 기계의 차폭 방향이며, Zm축 방향은 작업 기계의 상하 방향이다.

카메라 좌표계는, 카메라에 규정된 원점을 기준으로 하는 제2 소정 면의 Xs축과, Xs축과 직교하는 제2 소정 면의 Ys축과, Xs축 및 Ys축과 직교하는 Zs축에 의해 규정된다. Xs축을 중심으로 하는 회전 또는 경사 방향을 θXs 방향이라 하고, Ys축을 중심으로 하는 회전 또는 경사 방향을 θYs 방향이라 하고, Zs축을 중심으로 하는 회전 또는 경사 방향을 θZs 방향이라고 한다. Xs축 방향은 카메라의 상하 방향이며, Ys축 방향은 카메라의 폭 방향이며, Zs축 방향은 카메라의 전후 방향이다. Zs축 방향은 카메라의 광학계의 광축과 평행하다.

제1 실시형태.

[작업 기계]

도 1은, 본 실시형태에 관한 작업 기계(1)의 일례를 나타낸 사시도이다. 본 실시형태에 있어서는, 작업 기계(1)가 유압 셔블인 예에 대하여 설명한다. 이하의 설명에 있어서는, 작업 기계(1)를 적절히, 유압 셔블(1)이라고 한다.

도 1에 나타낸 바와 같이, 유압 셔블(1)은, 차체(1B)와, 작업기(2)를 구비한다. 차체(1B)는, 선회체(旋回體)(3)와, 선회체(3)를 선회 가능하게 지지하는 주행체(5)를 구비한다.

선회체(3)는, 운전실(4)을 구비한다. 유압(油壓) 펌프 및 내연 기관이 선회체(3)에 배치된다. 선회체(3)는, 선회축(旋回軸) Zr을 중심으로 선회할 수 있다. 선회축 Zr은, 차체 좌표계의 Zm축과 평행하다. 본 실시형태에 있어서, 차체 좌표계의 원점은, 선회체(3)의 스윙 서클(swing circle)의 중심으로 규정된다. 스윙 서클의 중심은, 선회체(3)의 선회축 Zr에 위치한다.

주행체(5)는, 크롤러(crawlers)(5A, 5B)를 구비한다. 크롤러(5A, 5B)가 회전함으로써, 유압 셔블(1)이 주행한다. 본 실시형태에 있어서, 차체 좌표계의 Zm축은, 크롤러(5A, 5B)의 접지면(接地面)과 직교한다. 차체 좌표계의 위쪽(＋Zm 방향)은, 크롤러(5A, 5B)의 접지면으로부터 이격되는 방향이며, 차체 좌표계의 아래쪽(―Zm 방향)은, 차체 좌표계의 위쪽과는 반대의 방향이다.

작업기(2)는, 선회체(3)에 연결된다. 차체 좌표계에 있어서, 작업기(2) 중 적어도 일부는, 선회체(3)보다도 전방에 배치된다. 차체 좌표계의 전방(＋Xm 방향)은, 선회체(3)를 기준으로 하여 작업기(2)가 존재하는 방향이며, 차체 좌표계의 후방(―Xm 방향)은, 차체 좌표계의 전방과는 반대의 방향이다.

작업기(2)는, 선회체(3)에 연결되는 붐(boom)(6)과, 붐(6)에 연결되는 암(arm)(7)과, 암(7)에 연결되는 버킷(bucket)(8)과, 붐(6)을 구동시키는 붐 실린더(10)와, 암(7)을 구동시키는 암 실린더(11)와, 버킷(8)을 구동시키는 버킷 실린더(12)를 구비한다. 붐 실린더(10), 암 실린더(11), 및 버킷 실린더(12)는 각각, 유압에 의해 구동되는 유압 실린더이다.

붐(6)은, 붐 핀(boom pin)(13)을 통하여 선회체(3)에 회전 가능하게 연결된다. 암(7)은, 암 핀(arm pin)(14)을 통하여 붐(6)의 선단부에 회전 가능하게 연결된다. 버킷(8)은, 버킷 핀(bucket pin)(15)을 통하여 암(7)의 선단부에 회전 가능하게 연결된다. 붐 핀(13)은, 선회체(3)에 대한 붐(6)의 회전축(AX1)을 포함한다. 암 핀(14)은, 붐(6)에 대한 암(7)의 회전축(AX2)을 포함한다. 버킷 핀(15)은, 암(7)에 대한 버킷(8)의 회전축(AX3)을 포함한다. 붐(6)의 회전축(AX1), 암(7)의 회전축(AX2), 및 버킷(8)의 회전축(AX3)은, 차체 좌표계의 Ym축과 평행하다.

[스테레오 카메라]

다음에, 본 실시형태에 관한 스테레오 카메라(300)에 대하여 설명한다. 도 2는, 본 실시형태에 관한 스테레오 카메라(300)의 일례를 나타낸 사시도이다. 도 2에 나타낸 바와 같이, 유압 셔블(1)은, 스테레오 카메라(300)를 구비한다. 스테레오 카메라(300)는, 촬영 대상 SB를 복수의 상이한 방향으로부터 동시에 촬영함으로써, 촬영 대상 SB의 안길이 방향의 데이터도 취득 가능한 카메라를 말한다.

본 실시형태에 있어서, 촬영 대상 SB는, 시공 현장에 있어서 시공되는 시공 대상을 포함한다. 시공 대상은, 유압 셔블(1)의 작업기(2)와 굴삭(掘削; excavation)되는 굴삭 대상을 포함한다. 그리고, 시공 대상은, 유압 셔블(1)은 다른 작업 기계에 의해 시공되는 시공 대상이라도 되고, 작업자에 의해 시공되는 시공 대상이라도 된다. 또한, 시공 대상은, 시공 전의 시공 대상, 시공 중인 시공 대상, 및 시공 후의 시공 대상을 포함하는 개념이다.

스테레오 카메라(300)는, 선회체(3)에 설치된다. 본 실시형태에 있어서, 스테레오 카메라(300)는, 운전실(4)의 내측에 설치된다. 스테레오 카메라(300)는, 예를 들면, 운전실(4)의 전방(＋Xm 방향) 또한 위쪽(＋Zm 방향)으로 배치된다. 스테레오 카메라(300)는, 유압 셔블(1)의 전방의 촬영 대상 SB를 촬영한다.

스테레오 카메라(300)는, 복수 대의 카메라(30)를 구비한다. 카메라(30)는, 광학계와, 이미지 센서를 가진다. 이미지 센서는, CCD(Couple Charged Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 포함한다. 본 실시형태에 있어서, 카메라(30)는, 4개의 카메라(30A, 30B, 30C, 30D)를 포함한다. 그리고, 스테레오 카메라(300)는, 4개의 카메라(30)를 가지지 않아도 되고, 적어도 한 쌍의 카메라(30)를 가지면 된다.

복수 대의 카메라(30) 중 2개의 카메라(30)의 조합에 의해 스테레오 카메라(300)가 구성된다. 본 실시형태에 있어서, 스테레오 카메라(300)는, 카메라(30A, 30B)의 조합에 의해 구성되는 제1 스테레오 카메라(301)와, 카메라(30C, 30D)의 조합에 의해 구성되는 제2 스테레오 카메라(302)를 포함한다.

카메라(30A, 30C)는, 카메라(30B, 30D)보다도 ＋Ym측[작업기(2) 측]에 배치된다. 카메라(30A)와 카메라(30B)는, Ym축 방향으로 간격을 두고 배치된다. 카메라(30C)와 카메라(30D)는, Ym축 방향으로 간격을 두고 배치된다. 카메라(30A, 30B)는, 카메라(30C, 30D)보다도 ＋Zm 측에 배치된다. Zm축 방향에 있어서, 카메라(30A)와 카메라(30B)는, 실질적으로 동일한 위치에 배치된다. Zm축 방향에 있어서, 카메라(30C)와 카메라(30D)는, 실질적으로 동일한 위치에 배치된다.

본 실시형태에 있어서, 카메라(30A, 30B)는, 위쪽(＋Zm 방향)을 향한다. 카메라(30C, 30D)는, 아래쪽(―Zm 방향)을 향한다. 또한, 카메라(30A, 30C)는, 전방(＋Xm 방향)을 향한다. 카메라(30B, 30D)는, 전방보다도 약간 ＋Ym 측[작업기(2) 측]을 향한다. 즉, 카메라(30A, 30C)는, 선회체(3)의 정면을 향해, 카메라(30B, 30D)는, 카메라(30A, 30C) 측을 향한다. 그리고, 카메라(30B, 30D)가 선회체(3)의 정면을 향해, 카메라(30A, 30C)가 카메라(30B, 30D) 측을 향해도 된다.

카메라(30)는, 선회체(3)의 전방에 존재하는 촬영 대상 SB를 스테레오 촬영한다. 한 쌍의 카메라(30)에 의한 스테레오 화상 데이터를 사용하여 촬영 대상 SB가 3차원 계측되고, 촬영 대상 SB의 3차원 데이터 DG가 산출된다. 촬영 대상 SB의 3차원 데이터 DG는, 시공 대상의 표면인 지표의 3차원 데이터 DG이다. 촬영 대상 SB의 3차원 데이터 DG는, 글로벌 좌표계에서의 촬영 대상 SB의 3차원 형상 데이터를 포함한다.

복수 대의 카메라(30)의 각각에 대하여 카메라 좌표계가 규정된다. 카메라 좌표계는, 카메라(30)에 고정된 원점을 기준으로 하는 좌표계이다. 카메라 좌표계의 Zs축은, 카메라(30)의 광학계의 광축과 일치한다.

이하의 설명에 있어서는, 제1 스테레오 카메라(301) 중 한쪽의 카메라(30A)를 적절히, 제1 카메라(30A)라고 하고, 다른 쪽의 카메라(30B)를 적절히, 제2 카메라(30B)라고 한다. 또한, 제2 스테레오 카메라(302) 중 한쪽의 카메라(30C)를 적절히, 제3 카메라(30C)라고 하고, 다른 쪽의 카메라(30D)를 적절히, 제4 카메라(30D)라고 한다.

도 2에 나타낸 바와 같이, 운전석(4S) 및 조작 장치(35)가 운전실(4)에 배치된다. 조작 장치(35)는, 작업기(2) 및 선회체(3)의 조작을 위해 운전자에 의해 조작된다. 조작 장치(35)는, 우측 조작 레버(35R) 및 좌측 조작 레버(35L)를 포함한다. 운전실(4)에 탑승한 운전자는, 조작 장치(35)를 조작하여, 작업기(2)의 구동 및 선회체(3)의 선회를 실시한다.

[검출 시스템]

다음에, 본 실시형태에 관한 유압 셔블(1)의 검출 시스템(20)에 대하여 설명한다. 도 3은, 본 실시형태에 관한 검출 시스템(20)의 일례를 모식적으로 나타낸 도면이다. 도 3에 나타낸 바와 같이, 검출 시스템(20)은, 작업기(2)의 각도를 검출하는 작업기 각도 검출기(22)와, 선회체(3)의 위치를 검출하는 위치 검출기(23)와, 선회체(3)의 자세를 검출하는 자세 검출기(24)와, 선회체(3)의 방위를 검출하는 방위 검출기(25)를 구비한다.

위치 검출기(23)는, GPS 수신기를 포함한다. 위치 검출기(23)는, 선회체(3)에 설치된다. 위치 검출기(23)는, 글로벌 좌표계에 의해 규정되는 선회체(3)의 위치인 절대 위치를 검출한다. 선회체(3)의 절대 위치는, Xg축 방향의 좌표 데이터, Yg축 방향의 좌표 데이터, 및 Zg축 방향의 좌표 데이터를 포함한다.

GPS 안테나(21)가 선회체(3)에 설치된다. GPS 안테나(21)는, 예를 들면, 차체 좌표계의 Ym축 방향으로 2개 배치된다. GPS 안테나(21)는, GPS 위성으로부터 전파를 수신하여, 수신한 전파에 기초하여 생성한 신호를 위치 검출기(23)에 출력한다. 위치 검출기(23)는, GPS 안테나(21)로부터 공급된 신호에 기초하여, 글로벌 좌표계에 의해 규정되는 GPS 안테나(21)의 위치인 절대 위치를 검출한다.

위치 검출기(23)는, 2개의 GPS 안테나(21)의 절대 위치 중 적어도 한쪽에 기초하여 연산 처리를 실시하여, 선회체(3)의 절대 위치를 산출한다. 선회체(3)의 절대 위치는, 한쪽의 GPS 안테나(21)의 절대 위치라도 되고, 한쪽의 GPS 안테나(21)의 절대 위치와 다른 쪽의 GPS 안테나(21)의 절대 위치와의 사이의 위치라도 된다.

자세 검출기(24)는, 관성 계측 장치(IMU: Inertial Measurement Unit)를 포함한다. 자세 검출기(24)는, 선회체(3)에 설치된다. 자세 검출기(24)는, 글로벌 좌표계에 의해 규정되는 수평면(XgYg 평면)에 대한 선회체(3)의 경사 각도를 산출한다. 수평면에 대한 선회체(3)의 경사 각도는, Ym축을 중심으로 하는 회전 방향에서의 선회체(3)의 경사 각도와, Xm축을 중심으로 하는 회전 방향에서의 선회체(3)의 경사 각도를 포함한다.

자세 검출기(24)는, 자세 검출기(24)에 작용하는 가속도 및 각속도(角速度)를 검출한다. 자세 검출기(24)에 작용하는 가속도 및 각속도가 검출되는 것에 의해, 선회체(3)에 작용하는 가속도 및 각속도가 검출된다. 선회체(3)에 작용하는 가속도 및 각속도에 따라 선회체(3)의 자세가 도출된다.

방위 검출기(25)는, 한쪽의 GPS 안테나(21)의 절대 위치와 다른 쪽의 GPS 안테나(21)의 절대 위치에 기초하여, 글로벌 좌표계에 의해 규정되는 기준 방위에 대한 선회체(3)의 방위를 산출한다. 기준 방위는, 예를 들면, 북쪽이다. 방위 검출기(25)는, 한쪽의 GPS 안테나(21)의 절대 위치와 다른 쪽의 GPS 안테나(21)의 절대 위치를 연결하는 직선을 산출하고, 산출한 직선과 기준 방위가 이루는 각도에 기초하여, 기준 방위에 대한 선회체(3)의 방위를 산출한다. 기준 방위에 대한 선회체(3)의 방위는, 기준 방위와 선회체(3)의 방위가 이루는 각도를 나타내는 방위각을 포함한다.

작업기(2)는, 붐 실린더(10)에 배치되고 붐 실린더(10)의 구동량을 나타내는 붐 스트로크를 검출하는 붐 스트로크 센서(16)와, 암 실린더(11)에 배치되고 암 실린더(11)의 구동량을 나타내는 암 스트로크를 검출하는 암 스트로크 센서(17)와, 버킷 실린더(12)에 배치되고 버킷 실린더(12)의 구동량을 나타내는 버킷 스트로크를 검출하는 버킷 스트로크 센서(18)를 구비한다.

작업기 각도 검출기(22)는, 붐(6)의 각도, 암(7)의 각도, 및 버킷(8)의 각도를 검출한다. 작업기 각도 검출기(22)는, 붐 스트로크 센서(16)에 의해 검출된 붐 스트로크에 기초하여, 차체 좌표계의 Zm축에 대한 붐(6)의 경사 각도를 나타내는 붐 각도를 산출한다. 작업기 각도 검출기(22)는, 암 스트로크 센서(17)에 의해 검출된 암 스트로크에 기초하여, 붐(6)에 대한 암(7)의 경사 각도를 나타내는 암 각도를 산출한다. 작업기 각도 검출기(22)는, 버킷 스트로크 센서(18)에 의해 검출된 버킷 스트로크에 기초하여, 암(7)에 대한 버킷(8)의 날끝(blade edge)(8bT)의 경사 각도를 나타내는 버킷 각도를 산출한다.

그리고, 붐 각도, 암 각도, 및 버킷 각도는, 스트로크 센서를 사용하지 않고, 예를 들면, 작업기(2)에 설치된 각도 센서에 의해 검출되어도 된다.

[위치 계측 시스템]

다음에, 본 실시형태에 관한 위치 계측 시스템(50)에 대하여 설명한다. 도 4는, 본 실시형태에 관한 위치 계측 시스템(50)의 일례를 나타낸 기능 블록도이다. 본 실시형태에 있어서, 위치 계측 시스템(50)은, 유압 셔블(1)에 설치된다.

위치 계측 시스템(50)은, 제1 스테레오 카메라(301) 및 제2 스테레오 카메라(302)를 포함하는 스테레오 카메라(300)와, 작업기 각도 검출기(22)와, 위치 검출기(23)와, 자세 검출기(24)와, 방위 검출기(25)와, 표시 장치(26)와, 제어 장치(100)를 구비한다. 제어 장치(100)는, 유압 셔블(1)의 선회체(3)에 설치된다.

표시 장치(26)는, 액정 디스플레이(LCD: Liquid Crystal Display) 또는 유기 EL 디스플레이(OELD: Organic Electroluminescence Display)와 같은 평판 디스플레이를 포함한다.

제어 장치(100)는, 컴퓨터 시스템을 포함한다. 제어 장치(100)는, CPU(Central Processing Unit)와 같은 프로세서를 포함하는 연산 처리 장치와, RAM(Random Access Memory)과 같은 휘발성 메모리 및 ROM(Read Only Memory)과 같은 불휘발성 메모리를 포함하는 기억 장치와, 입출력 인터페이스를 가진다.

제어 장치(100)는, 화상 데이터 취득부(101)와, 스테레오 계측부(102)와, 제1 조정부(103)와, 제2 조정부(104)와, 위치 데이터 산출부(105)와, 작업기 위치 데이터 산출부(106)와, 맵 데이터 작성부(107)와, 표시 제어부(108)와, 기억부(109)와, 입출력부(110)를 구비한다.

연산 처리 장치는, 화상 데이터 취득부(101), 스테레오 계측부(102), 제1 조정부(103), 제2 조정부(104), 위치 데이터 산출부(105), 작업기 위치 데이터 산출부(106), 맵 데이터 작성부(107), 및 표시 제어부(108) 각각의 기능을 가진다. 기억 장치는, 기억부(109)의 기능을 가진다. 입출력 인터페이스는, 입출력부(110)의 기능을 가진다.

스테레오 카메라(300), 작업기 각도 검출기(22), 위치 검출기(23), 자세 검출기(24), 방위 검출기(25), 및 표시 장치(26)는, 입출력부(110)와 접속된다. 화상 데이터 취득부(101)와, 스테레오 계측부(102)와, 제1 조정부(103)와, 제2 조정부(104)와, 위치 데이터 산출부(105)와, 작업기 위치 데이터 산출부(106)와, 맵 데이터 작성부(107)와, 표시 제어부(108)와, 기억부(109)와, 스테레오 카메라(300)와, 작업기 각도 검출기(22)와, 위치 검출기(23)와, 자세 검출기(24)와, 방위 검출기(25)와, 표시 장치(26)는, 입출력부(110)를 통하여 데이터 통신 가능하다.

화상 데이터 취득부(101)는, 유압 셔블(1)에 설치된 제1 카메라(30A)에 의해 촬영된 촬영 대상 SB의 제1 화상 데이터 MR1, 제2 카메라(30B)에 의해 촬영된 촬영 대상 SB의 제2 화상 데이터 ML1, 제3 카메라(30C)에 의해 촬영된 촬영 대상 SB의 제3 화상 데이터 MR2, 및 제4 카메라(30D)에 의해 촬영된 촬영 대상 SB의 제4 화상 데이터 ML2를 취득한다. 즉, 화상 데이터 취득부(101)는, 스테레오 카메라(300) 중 적어도 한 쌍의 카메라(30)에 의해 촬영된 스테레오 화상 데이터를 취득한다.

기억부(109)는, 제1 스테레오 카메라(301)의 제1 카메라(30A) 및 제2 카메라(30B)에 관한 복수의 파라미터, 및 제2 스테레오 카메라(302)의 제3 카메라(30C) 및 제4 카메라(30D)에 관한 복수의 파라미터를 기억한다. 파라미터는, 소정의 교정 작업에 의해 구할 수 있다.

파라미터는, 제1 스테레오 카메라(301)의 제1 카메라(30A)와 제2 카메라(30B)와의 상대 위치를 규정하는 복수의 외부 파라미터, 및 제2 스테레오 카메라(302)의 제3 카메라(30C)와 제4 카메라(30D)와의 상대 위치를 규정하는 복수의 외부 파라미터를 포함한다.

외부 파라미터는, Xs축 방향, Ys축 방향, Zs축 방향, θXs축 방향, θYs축 방향, 및 θZs축 방향의 6개의 방향에 대한 스테레오 카메라(300)의 한 쌍의 카메라(30)의 상대 위치를 나타내는 파라미터를 포함한다.

또한, 파라미터는, 제1 카메라(30A), 제2 카메라(30B), 제3 카메라(30C), 및 제4 카메라(30D) 각각의 내부 파라미터를 포함한다. 내부 파라미터는, 복수 대의 카메라(30) 각각의 고유 데이터를 규정한다. 내부 파라미터는, 예를 들면, 카메라(30)의 광학계의 초점 거리, 및 카메라(30)의 광학계의 광축과 이미지 센서의 촬상면(撮像面)과의 교점(交点)과 이미지 센서에서의 화상 중심과의 위치 어긋남량(shift amount)을 포함한다.

스테레오 계측부(102)는, 화상 데이터 취득부(101)에 의해 취득된 제1 화상 데이터 MR1과 제2 화상 데이터 ML1을 스테레오 방식으로 화상 처리하여, 카메라 좌표계에서의 촬영 대상 SB의 3차원 데이터 DG를 산출한다. 또한, 스테레오 계측부(102)는, 화상 데이터 취득부(101)에 의해 취득된 제3 화상 데이터 MR2와 제4 화상 데이터 ML2를 스테레오 방식으로 화상 처리하여, 카메라 좌표계에서의 촬영 대상 SB의 3차원 데이터 DG를 산출한다.

또한, 스테레오 계측부(102)는, 카메라 좌표계에서의 촬영 대상 SB의 3차원 데이터 DG를 좌표 변환하여, 차체 좌표계에서의 촬영 대상 SB의 3차원 데이터 DG를 산출한다. 또한, 스테레오 계측부(102)는, 차체 좌표계에서의 촬영 대상 SB의 3차원 데이터 DG를 좌표 변환하여, 글로벌 좌표계에서의 촬영 대상 SB의 3차원 데이터 DG를 산출한다.

촬영 대상 SB의 3차원 데이터 DG는, 촬영 대상 SB 내의 복수의 점에서의 좌표 데이터를 포함한다. 스테레오 계측부(102)는, 상이한 2개의 카메라(30)에 의해 촬영된 촬영 대상 SB의 2개의 화상 데이터 MR(MR1, MR2), ML(ML1, ML2)를 스테레오 방식으로 화상 처리하여 시차 화상 데이터 SG를 생성하여, 연산 처리에 의해 3차원 데이터 DG를 구한다.

본 실시형태에 있어서, 스테레오 계측부(102)는, 화상 데이터 취득부(101)에 의해 취득된 제1 화상 데이터 MR1과, 화상 데이터 취득부(101)에 의해 취득된 제2 화상 데이터 ML1과, 기억부(109)에 기억되어 있는 파라미터에 기초하여, 스테레오 계측을 실시한다. 또한, 스테레오 계측부(102)는, 화상 데이터 취득부(101)에 의해 취득된 제3 화상 데이터 MR2와, 화상 데이터 취득부(101)에 의해 취득된 제4 화상 데이터 ML2와, 기억부(109)에 기억되어 있는 파라미터에 기초하여, 스테레오 계측을 실시한다.

제1 조정부(103)는, 기억부(109)에 기억되어 있는 복수의 파라미터 중 적어도 일부를 변경하여, 스테레오율을 조정한다. 스테레오율은, 스테레오 계측되는 시차 화상 데이터 SG의 복수의 화소 중 스테레오 계측이 성공한 화소의 비율을 나타낸다. 본 실시형태에 있어서, 제1 조정부(103)는, 예를 들면, 스테레오 카메라(300)의 한쪽의 카메라(30)의 위치가 어긋나 스테레오율이 저하되어 버린 경우, 스테레오율이 향상되도록, 기억부(109)에 기억되어 있는 파라미터를 변경한다.

제2 조정부(104)는, 기억부(109)에 기억되어 있는 복수의 파라미터 중 적어도 일부를 변경하여, 스테레오 계측부(102)에 의해 생성된 3차원 데이터 DG의 스케일을 조정한다. 본 실시형태에 있어서, 제2 조정부(104)는, 기준 스케일과 3차원 데이터 DG의 스케일과의 차이가 작아지도록, 기억부(109)에 기억되어 있는 파라미터를 변경한다.

위치 데이터 산출부(105)는, 선회체(3)의 위치 데이터와, 선회체(3)의 자세 데이터와, 선회체(3)의 방위 데이터와, 차체 좌표계에서의 카메라(30)의 위치 데이터에 기초하여, 글로벌 좌표계에서의 카메라(30)의 위치 데이터를 산출한다.

위치 데이터 산출부(105)는, 위치 검출기(23)로부터 선회체(3)의 위치 데이터를 취득하고, 자세 검출기(24)로부터 선회체(3)의 자세 데이터를 취득하고, 방위 검출기(25)로부터 선회체(3)의 방위 데이터를 취득한다. 선회체(3)의 위치 데이터는, 글로벌 좌표계에서의 선회체(3)의 절대 위치를 나타낸다. 선회체(3)의 자세 데이터는, 글로벌 좌표계에서의 선회체(3)의 자세를 나타낸다. 선회체(3)의 방위 데이터는, 글로벌 좌표계에서의 선회체(3)의 방위를 나타낸다.

기억부(109)는, 차체 좌표계에서의 카메라(30)의 위치 데이터를 기억한다. 차체 좌표계에서의 카메라(30)의 위치 데이터는, 유압 셔블(1) 및 카메라(30)의 설계 데이터 또는 제원 데이터로부터 도출되는 기지(旣知) 데이터이며, 기억부(109)에 기억된다. 위치 데이터 산출부(105)는, 선회체(3)의 위치 데이터와, 선회체(3)의 자세 데이터와, 선회체(3)의 방위 데이터에 기초하여, 글로벌 좌표계에서의 차체 좌표계의 원점의 위치를 산출한다. 위치 데이터 산출부(105)는, 선회체(3)의 위치 데이터와, 선회체(3)의 자세 데이터와, 선회체(3)의 방위 데이터와, 기억부(109)에 기억되어 있는 차체 좌표계에서의 카메라(30)의 위치 데이터에 기초하여, 글로벌 좌표계에서의 카메라(30)의 위치 데이터를 산출한다.

작업기 위치 데이터 산출부(106)는, 작업기(2)의 각도를 나타내는 작업기 각도 데이터를 작업기 각도 검출기(22)로부터 취득한다. 작업기 각도 데이터는, 붐 각도, 암 각도, 및 버킷 각도를 포함한다. 작업기 위치 데이터 산출부(106)는, 작업기 각도 검출기(22)로부터 취득한 작업기 각도 데이터와, 기억부(109)에 기억되어 있는 작업기 데이터에 기초하여, 차체 좌표계에서의 붐(6)의 위치 데이터, 암(7)의 위치 데이터, 및 버킷(8)의 위치 데이터를 산출한다. 붐(6), 암(7), 및 버킷(8)의 각각의 위치 데이터는, 붐(6)의 복수의 부위, 암(7)의 복수의 부위, 및 버킷(8)의 복수 부위의 각각의 좌표 데이터를 포함한다.

또한, 작업기 위치 데이터 산출부(106)는, 선회체(3)의 위치 데이터와, 선회체(3)의 자세 데이터와, 선회체(3)의 방위 데이터와, 작업기 각도 데이터와, 기억부(109)에 기억되어 있는 작업기 데이터에 기초하여, 글로벌 좌표계에서의 붐(6), 암(7), 및 버킷(8)의 각각의 위치 데이터를 산출한다.

작업기 데이터는, 작업기(2)의 설계 데이터 또는 제원 데이터를 포함한다. 작업기(2)의 설계 데이터는, 작업기(2)의 3차원 CAD 데이터를 포함한다. 작업기 데이터는, 작업기(2)의 외형 데이터 및 작업기(2)의 치수 데이터 중 적어도 한쪽을 포함한다. 작업기 데이터는, 붐 길이(boom length), 암 길이(arm length), 및 버킷 길이를 포함한다. 붐 길이는, 회전축(AX1)와 회전축(AX2)과의 거리이다. 암 길이는, 회전축(AX2)과 회전축(AX3)과의 거리이다. 버킷 길이는, 회전축(AX3)과 버킷(8)의 날끝(8bT)과의 거리이다.

맵 데이터 작성부(107)는, 시차 화상 데이터 SG에 기초하여, 3차원 데이터 DG를 작성한다. 3차원 데이터 DG는, 시차 화상 데이터 SG, 차체 좌표계 등의 3차원 데이터, 및 후술하는 3차원 맵 데이터(정면도 맵 데이터)를 포함한다.

표시 제어부(108)는, 화상 데이터 취득부(101)에 의해 취득된 제1 화상 데이터 MR1, 제2 화상 데이터 ML1, 제3 화상 데이터 MR2, 및 제4 화상 데이터 ML2를 표시 장치(26)에 표시시킨다. 또한, 표시 제어부(108)는, 스테레오 계측부(102)에 의해 생성된 시차 화상 데이터 SG를 표시 장치(26)에 표시시킨다. 또한, 표시 제어부(108)는, 맵 데이터 작성부(107)와 작성된 3차원 데이터 DG를 표시 장치(26)에 표시시킨다.

[스테레오 계측]

다음에, 스테레오 계측에 대하여 설명한다. 도 5는, 본 실시형태에 관한 스테레오 계측 방법의 일례를 설명하기 위한 모식도이다. 스테레오 계측은, 화상 데이터 취득부(101)에 의해 취득된 화상 데이터 MR(MR1, MR2)와 화상 데이터 ML(ML1, ML2)를 스테레오 방식으로 화상 처리하여, 촬영 대상의 3차원 데이터 DG를 산출하는 처리이다.

이하의 설명에 있어서는, 스테레오 카메라(300)를 구성하는 한쪽의 카메라(30)를 적절히, 제1 카메라(30R)[30A, 30C]라고 하고, 다른 쪽의 카메라(30)를 적절히, 제2 카메라(30L)[30B, 30D]라고 한다. 또한, 이하의 설명에 있어서는, 제1 카메라(30R)[30A, 30C]에 의해 촬영된 화상 데이터 MR을 적절히, 제1 화상 데이터 MR(MR1, MR2)라고 하고, 제2 카메라(30L)[30B, 30D]에 의해 촬영된 화상 데이터 ML을 적절히, 제2 화상 데이터(ML1, ML2)라고 한다. 제1 스테레오 카메라(301)의 제1 카메라(30A) 및 제2 카메라(30B)에 의해 3차원 데이터 DG가 산출되는 방법과, 제2 스테레오 카메라(302)의 제3 카메라(30C) 및 제4 카메라(30D)에 의해 3차원 데이터 DG가 산출되는 방법은, 마찬가지이다.

그리고, 본 실시형태에 있어서는, 우측의 카메라(30)가 제1 카메라(30R)이며, 좌측의 카메라(30)가 제2 카메라(30L)이지만, 좌측의 카메라(30)가 제1 카메라(30R)이며, 우측의 카메라(30)가 제2 카메라(30L)라도 된다.

제1 카메라(30R)의 위치 데이터 및 제2 카메라(30L)의 위치 데이터가 기억부(109)에 기억되어 있다. 제1 카메라(30R)의 위치 데이터는, 제1 카메라(30R)의 광학 중심 OR의 위치 및 제1 카메라(30R)의 광학계의 광축의 방향을 포함한다. 제2 카메라(30L)의 위치 데이터는, 제2 카메라(30L)의 광학 중심 OL의 위치 및 제2 카메라(30L)의 광학계의 광축의 방향을 포함한다.

또한, 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치 데이터가 기억부(109)에 기억되어 있다. 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치 데이터는, 제1 카메라(30R)의 광학 중심 OR과 제2 카메라(30L)의 광학 중심 OL을 연결하는 베이스 라인 BL의 치수를 포함한다.

도 5에 있어서, 3차원 공간에 존재하는 촬영 대상 SB의 계측점(P)의 상이, 제1 카메라(30R)의 투영면 및 제2 카메라(30L)의 투영면의 각각에 투영된다. 또한, 제1 카메라(30R)의 투영면에 계측점(P)의 상 및 제2 카메라(30L)의 투영면의 점(EL)의 상이 투영되고, 에피폴라선(epipolar line)이 규정된다. 마찬가지로, 제2 카메라(30L)의 투영면에 계측점(P)의 상 및 제1 카메라(30R)의 투영면의 점(ER)의 상이 투영되어, 에피폴라선이 규정된다. 또한, 계측점(P)과 점(ER)과 점(EL)에 의해 에피폴라 평면이 규정된다.

제1 카메라(30R)의 투영면은, 제1 카메라(30R)의 이미지 센서의 촬상면을 포함한다. 제2 카메라(30L)의 투영면은, 제2 카메라(30L)의 이미지 센서의 촬상면을 포함한다.

화상 데이터 취득부(101)는, 제1 카메라(30R)에 의해 촬영된 제1 화상 데이터 MR과, 제2 카메라(30L)에 의해 촬영된 제2 화상 데이터 ML을 취득한다. 제1 카메라(30R)에 의해 촬영된 제1 화상 데이터 MR 및 제2 카메라(30B)에 의해 촬영된 제2 화상 데이터 ML은 각각, 투영면에 투영된 2차원 화상 데이터이다.

화상 데이터 취득부(101)에 의해 취득된 제1 화상 데이터 MR 및 제2 화상 데이터 ML은, 스테레오 계측부(102)에 출력된다. 스테레오 계측부(102)는, 카메라 좌표계에 있어서 규정되는 제1 화상 데이터 MR에서의 계측점(P) 상의 좌표 데이터와, 제2 화상 데이터 ML에서의 계측점(P) 상의 좌표 데이터와, 에피폴라 평면에 기초하여, 카메라 좌표계에서의 계측점(P)의 3차원 좌표 데이터를 산출한다.

스테레오 계측부(102)는, 제1 화상 데이터 MR 및 제2 화상 데이터 ML에 기초하여, 촬영 대상 SB의 복수의 계측점(P)의 각각의 3차원 좌표 데이터를 산출한다. 이로써, 촬영 대상 SB의 3차원 데이터 DG가 산출된다.

본 실시형태에 있어서, 스테레오 계측부(102)는, 스테레오 계측에 의해 카메라 좌표계에서의 복수의 계측점(P)의 3차원 좌표 데이터를 산출한 후, 좌표 변환함으로써, 차체 좌표계에서의 복수의 계측점(P)의 3차원 좌표 데이터, 및 글로벌 좌표계에서의 복수의 계측점(P)의 3차원 좌표 데이터를 산출한다.

[계측점까지의 거리의 산출]

스테레오 계측부(102)는, 제1 화상 데이터 MR 및 제2 화상 데이터 ML을 스테레오 방식으로 화상 처리하여, 촬영 대상 SB의 3차원 데이터 DG를 산출한다. 스테레오 계측부(102)는, 삼각 측량의 원리에 기초하여, 스테레오 카메라(300)의 베이스 라인 BL로부터 촬영 대상 SB의 계측점(P)까지의 거리 ZP를 산출한다.

도 6은, 본 실시형태에 관한 스테레오 카메라(300)의 일례를 모식적으로 나타낸 도면이다. 도 6에 나타낸 바와 같이, 예를 들면, 스테레오 카메라(300)의 제1 카메라(30R)와 제2 카메라(30L)는, 카메라 좌표계의 Ys축과 평행 방향으로 배치할 수 있다. 이 경우, 제1 카메라(30R)의 카메라 좌표계의 Ys축과, 제2 카메라(30L)의 카메라 좌표계의 Ys축은, 동일 직선 상에 배치되고, 동일 방향을 향한다.

제1 카메라(30R)는, 이미지 센서(31R)를 구비한다. 카메라 좌표계에서의 제1 카메라(30R)의 원점은, 광학 중심 OR로 규정된다. 제1 카메라(30R)의 광학계의 광축은, Zs축과 평행이며, 광학 중심 OR을 지난다. 촬영 대상 SB를 포함하는 제1 화상 데이터 MR이 제1 카메라(30R)에 의해 취득된다.

제2 카메라(30L)는, 이미지 센서(31L)를 구비한다. 카메라 좌표계에서의 제2 카메라(30L)의 원점은, 광학 중심 OL으로 규정된다. 제2 카메라(30L)의 광학계의 광축은, Zs축과 평행이며, 광학 중심 OL을 지난다. 촬영 대상 SB를 포함하는 제2 화상 데이터 ML이 제2 카메라(30L)에 의해 취득된다.

도 6에 있어서, 제2 카메라(30L)의 광학 중심 OL을 원점으로 하는 3차원 좌표계(X, Y, Z)가 설정된다. X축과 Xs축은 실질적으로 평행하다. Y축과 Ys축은 실질적으로 평행하다. Z축과 Zs축은 실질적으로 평행하다.

도 6에 있어서, 이미지 센서(31R)의 촬상면에 규정되는 제1 카메라(30R)의 투영면과, 이미지 센서(31L)의 촬상면에 규정되는 제2 카메라(30L)의 투영면은, 동일 평면 내에 배치된다. 또한, Z축 방향에 있어서, 제1 카메라(30R)의 투영면과, 제2 카메라(30L)의 투영면은, 동일 위치에 배치된다.

제1 화상 데이터 MR은, 제1 카메라(30R)의 투영면에 형성되는 촬영 대상 SB의 투영 화상을 포함한다. 제2 화상 데이터 ML은, 제2 카메라(30L)의 투영면에 형성되는 촬영 대상 SB의 투영 화상을 포함한다.

베이스 라인 BL의 치수는 b이다. 제1 카메라(30R)에 의해 촬영된 제1 화상 데이터 MR 중 계측점(P)을 포함하는 화소 PXr의 Y축 방향의 위치는 YR이다. 제2 카메라(30B)에 의해 촬영된 제2 화상 데이터 ML 중 계측점(P)을 포함하는 화소 PXl의 Y축 방향의 위치는 YL이다. 제2 카메라(30L)의 투영면과 베이스 라인 BL과의 Z축 방향의 거리는 f이다. 그리고, 거리(f)는 제2 카메라(30L)의 광학계의 초점 거리와 같다.

제1 화상 데이터 MR에서의 계측점(P)의 투영점과 제2 화상 데이터 ML에서의 계측점(P)의 투영점과의 거리를 나타내는 시차는, d이다. 시차 d는, 계측점(P)을 포함하는 화소 PXr과 계측점(P)을 포함하는 화소 PXl과의 어긋남량(단위: pixel)이라도 되고, 계측점(P)을 포함하는 화소 PXr과 계측점(P)을 포함하는 화소 PXl과 화소 PXr과의 거리라도 된다.

스테레오 카메라(300)의 베이스 라인 BL로부터 촬영 대상 SB의 계측점(P)까지의 거리 ZP는, (1)식에 기초하여 산출된다.

[수식 1]

[시차 화상 데이터]

도 7 및 도 8은, 본 실시형태에 관한 제1 카메라(30R)에 의해 촬영된 제1 화상 데이터 MR 및 제2 카메라(30L)에 의해 촬영된 제2 화상 데이터 ML의 일례를 모식적으로 나타낸 도면이다.

도 7 및 도 8에 나타낸 바와 같이, 제1 화상 데이터 MR에서의 계측점(P)의 투영점과 제2 화상 데이터 ML에서의 계측점(P)의 투영점과의 거리를 나타내는 시차 d에 기인하여, 제1 화상 데이터 MR에서의 계측점(P)의 위치와, 제2 화상 데이터 ML에서의 계측점(P)의 위치와는, Ys축 방향에 있어서 상이하다. 도 7에 나타낸 바와 같이, 시차 d는, 제1 화상 데이터 MR에서의 계측점(P)의 투영점(화소)과 제2 화상 데이터 ML에서의 계측점(P)의 투영점(화소)과의 Ys축 방향의 어긋남량을 말한다.

스테레오 계측부(102)는, 제1 화상 데이터 MR과 제2 화상 데이터 ML을 스테레오 방식으로 화상 처리하여, 촬영 대상 SB의 시차 화상 데이터 SG를 생성한다. 구체적으로는, 스테레오 계측부(102)는, 제1 화상 데이터 MR 및 제2 화상 데이터 ML에 대하여, 스테레오 대응점 탐색을 실시한다. 스테레오 대응점 탐색이란, 제1 화상 데이터 MR 및 제2 화상 데이터 ML의 각각에 있어서, 동일한 계측점(P)이 투영된 화소 PXr 및 화소 PXl을 탐색하는 처리를 말한다.

스테레오 계측부(102)는, 제1 화상 데이터 MR을 기준 화상 데이터로 하고, 제2 화상 데이터 ML을 참조 화상 데이터로 한다. 도 8에 나타낸 바와 같이, 스테레오 계측부(102)는, 계측점(P)의 투영점을 포함하는 제1 화상 데이터 MR의 화소 PXr에 대하여, 동일한 계측점(P)의 투영점을 포함하는 화소 PXl을 제2 화상 데이터 ML 중에서 탐색한다. 본 실시형태에 있어서, 스테레오 계측부(102)는, 제2 화상 데이터 ML의 에피폴라선 상에 존재하는 복수의 화소 PXl 중에서, 계측점(P)의 투영점을 포함하는 화소 PMl를 탐색한다.

그리고, 스테레오 대응점 탐색에 사용하는 화소 PXr, PXl은, 이미지 센서의 하나의 화소라도 되고, 복수의 화소의 집합체라도 된다.

이하의 설명에 있어서는, 제1 화상 데이터 MR 중 계측점(P)의 투영점을 포함하는 화소 PXr을 적절히, 주목 화소 PXr라고 하고, 제2 화상 데이터 ML 중 동일한 계측점(P)의 투영점을 포함하는 화소 PXl을 적절히, 대응 화소 PXl이라고 한다.

또한, 이하의 설명에 있어서는, 주목 화소 PXr에 대하여 대응 화소 PXl을 탐색한 결과, 대응 화소 PXl의 탐색에 성공한 상태를 적절히, 탐색 성공이라고 한다. 또한, 주목 화소 PXr에 대하여 대응 화소 PXl을 탐색한 결과, 대응 화소 PXl의 탐색에 실패한 상태를 적절히, 탐색 실패라고 한다.

탐색 성공했을 때, 스테레오 계측부(102)는, 주목 화소 PXr과 대응 화소 PXl과의 거리에 기초하여, 시차 d(예를 들면, 어긋나 있는 화소의 수)를 구할 수 있다. (1)식에 있어서, 베이스 라인 BL의 치수(b) 및 초점 거리(f)는, 카메라(30)의 설계 데이터 또는 제원 데이터로부터 도출되는 기지 데이터이며, 기억부(109)에 기억되어 있다. 따라서, 탐색 성공하여, 시차 d가 산출되었을 때, 스테레오 계측부(102)는, 기억부(109)에 기억되어 있는 치수(b) 및 초점 거리(f)와, 산출한 시차 d에 기초하여, 계측점(P)까지의 거리 ZP를 산출할 수 있다.

한편, 탐색 실패했을 때, 스테레오 계측부(102)는, 시차 d를 산출할 수 없으므로, 계측점(P)까지의 거리 ZP를 산출할 수 없다.

탐색 성공했을 때, 스테레오 계측부(102)는, 탐색 성공한 주목 화소 PXr 및 대응 화소 PXl에 기초하여, 화소 PXs를 생성한다. 한편, 탐색 실패했을 때, 스테레오 계측부(102)는, 탐색 실패한 주목 화소 PXr 및 대응 화소 PXl에 기초하여, 화소 PXs를 생성한다.

스테레오 계측부(102)는, 제1 화상 데이터 MR의 복수의 화소 PXr의 각각에 대하여, 스테레오 대응점 탐색을 실시한다. 이로써, 복수의 화소 PXs가 생성되고, 복수의 화소 PXs가 2차원 배열된 시차 화상 데이터 SG가 생성된다. 시차 화상 데이터 SG란, 스테레오 계측부(102)에 의해 산출된, 각 화소 PXs에서의 시차의 크기를 가시화한 화상 데이터이며, 예를 들면, 도 8과 같이 시차의 크기에 따라 각 화소를 그레이의 농담(濃淡)(시차가 큰 경우에는 희게, 시차가 작을 경우에는 검게 표시)에 의해 표현한 것이다. 시차 화상 데이터 SG는, 농담 이외의 표현이라도 되고, 예를 들면, 시차의 크기에 따라 변화하는 색채에 의해 표현되어도 된다.

스테레오 계측부(102)는, 탐색 성공한 주목 화소 PXr 및 대응 화소 PXl에 기초하여 생성된 화소 PXs에 탐색 성공한 것을 나타내는 성공 데이터를 부여하고, 탐색 실패한 주목 화소 PXr 및 대응 화소 PXl에 기초하여 생성된 화소 PXs에 탐색 실패한 것을 나타내는 실패 데이터를 부여해도 된다. 화소 PXs에 실패 데이터가 부여되는 것에 의해, 화소 PXs는, 예를 들면, 검게 표시된다.

이하의 설명에 있어서는, 탐색 성공한 주목 화소 PXr 및 대응 화소 PXl에 기초하여 생성된 화소 PXs를 단지, 탐색 성공한 화소 PXs라고 하고, 탐색 실패한 주목 화소 PXr 및 대응 화소 PXl에 기초하여 생성된 화소 PXs를 단지, 탐색 실패한 화소 PXs라고 한다.

스테레오 계측부(102)는, 탐색 성공한 복수의 화소 PXs의 각각을 시차 d에 기초하여 표현하여, 시차 화상을 생성할 수 있다. 또한, 스테레오 계측부(102)는, 탐색 성공한 복수의 화소 PXs의 각각을 거리 ZP에 기초하여 표현하여, 거리 화상을 생성할 수 있다. 거리 화상이란, 화상 데이터에서의 각 화소 PXs의 각각에, 어떠한 형태로 카메라(30)로부터 대상점(P)까지의 거리 ZP를 저장한 화상 데이터라도 되고, 각 화소 PXs의 카메라(30)로부터 대상점(P)까지의 거리 ZP를 가시적으로 표현한 화상이라도 된다. 시차 화상 데이터 SG는, 거리 화상 데이터를 포함한다.

[스테레오율]

다음에, 스테레오율에 대하여 설명한다. 스테레오율이란, 예를 들면, 스테레오 계측부(102)에 의해 생성된 시차 화상 데이터 SG의 복수의 화소 PXs 중 스테레오 계측이 성공한 화소 PXs의 비율을 말한다. 스테레오 계측이 성공한 화소 PXs란, 주목 화소 PXr에 대하여 스테레오 대응점 검색한 결과, 대응 화소 PXl의 탐색에 성공해, 그 주목 화소 PXr과 탐색 성공한 대응 화소 PXl에 기초하여 생성된 화소 PXs를 말한다.

스테레오율 STR은, 이하의 (2)식으로 나타낸다.

[수식 2]

(2)식에 있어서, PXA는, 시차 화상 데이터 SG의 화소 PXs의 총수이다. PXs는, 시차 화상 데이터 SG 중 스테레오 계측이 성공한 화소 PXs의 총수이다.

그리고, 시차 화상 데이터 SG의 모든 화소 PXs로부터 모양이 존재하지 않는 영역에 상당하는 화소 PXs를 제외한 화소 PXs를 (2)식의 분모로 해도 된다.

그리고, 스테레오율 STR은, 시차 화상 데이터 SG 중 스테레오 계측이 성공한 화소 PXs의 총수라도 된다.

[파라미터]

다음에, 기억부(109)에 기억되는 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치를 규정하는 파라미터에 대하여 설명한다. 이하의 설명에 있어서는, 제1 카메라(30R)가 기준 카메라이며, 제2 카메라(30L)가 참조 카메라인 것으로 한다.

도 9는, 본 실시형태에 관한 스테레오 카메라(300)의 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치를 설명하기 위한 모식도이다. 도 9에 나타낸 바와 같이, 제1 카메라(30R)와 제2 카메라(30L)는, 예를 들면, Ys축과 평행 방향으로 배치되어도 된다.

본 실시형태에 있어서는, 제1 카메라(30R) 및 제2 카메라(30L)에 관한 복수의 파라미터가 미리 구해지고, 기억부(109)에 기억되어 있다. 본 실시형태에 있어서, 기억부(109)는, 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치를 규정하는 복수의 외부 파라미터를 기억한다.

외부 파라미터는, 제1 카메라(30R)에 대한 제2 카메라(30L)의 회전 방향의 파라미터α, β, γ와, 제1 카메라(30R)에 대한 제2 카메라(30L)의 병진(竝進) 방향의 파라미터 Tx, Ty, Tz를 포함한다.

파라미터α는, 제1 카메라(30R)에 대한 θXs 방향의 제2 카메라(30L)의 광학계의 광축의 상대 각도를 나타낸다. 파라미터 β는, 제1 카메라(30R)에 대한 Ys 방향의 제2 카메라(30L)의 광학계의 광축의 상대 각도를 나타낸다. 파라미터 γ는, 제1 카메라(30R)에 대한 Zs 방향의 제2 카메라(30L)의 광학계의 광축의 상대 각도를 나타낸다.

이하의 설명에 있어서는, 파라미터α를 적절히, 요우각(yaw angle) α라고 하고, 파라미터 β를 적절히, 피치각 β라고 하고, 파라미터γ를 적절히, 롤각 γ이라고 한다.

파라미터 Tx는, 제1 카메라(30R)에 대한 Xs축 방향의 제2 카메라(30L)의 상대 위치를 나타낸다. 파라미터 Ty는, 제1 카메라(30R)에 대한 Ys축 방향의 제2 카메라(30L)의 상대 위치를 나타낸다. 파라미터 Tz는, 제1 카메라(30R)에 대한 Zs축 방향의 제2 카메라(30L)의 상대 위치를 나타낸다.

이하의 설명에 있어서는, 파라미터 Tx를 적절히, 시프트량 Tx라고 하고, 파라미터 Ty를 적절히, 시프트량 Ty라고 하고, 파라미터 Tz를 적절히, 시프트량 Tz이라고 한다.

본 실시형태에 있어서, 기억부(109)는, 외부 파라미터로서, 요우각 α, 피치각 β, 롤각 γ, 시프트량 Tx, 시프트량 Ty, 및 시프트량 Tz를 기억한다.

제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치는, 전술한 복수의 외부 파라미터를 포함하는 하기의 (3)식에 의해 규정된다.

[수식 3]

(3)식에 있어서, (x₁, y₁, z₁)는, 제1 카메라(30R)의 카메라 좌표계에서의 제1 카메라(30R)의 좌표를 나타낸다. (x₂, y₂, z₂)는, 제2 카메라(30L)의 카메라 좌표계에서의 제2 카메라(30L)의 좌표를 나타낸다.

(3)식은, 요우각 α, 피치각 β, 및 롤각 γ의 각각에 의해 규정되는 3개의 회전 행렬과, 시프트량 Tx, 시프트량 Ty, 및 시프트량 Tz에 의해 규정되는 평행 이동 벡터를 포함한다. (3)식은, 제2 카메라(30L)의 카메라 좌표계에서의 제2 카메라(30L)의 위치를, 제1 카메라(30R)의 카메라 좌표계에서의 위치로 변환하는 변환식이다.

본 실시형태에 있어서는, (3)식에 기초하여, 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치가 규정된다. 제1 조정부(103) 및 제2 조정부(104)는, 요우각 α, 피치각 β, 롤각 γ, 시프트량 Tx, 시프트량 Ty, 및 시프트량 Tz 중 하나 이상을 조정함으로써, 제1 카메라(30R)의 카메라 좌표계에 있어서, 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치를 조정할 수 있다.

유압 셔블(1)의 공장 출하(出荷)에 있어서는, 스테레오율이 스테레오 임계값 이상으로 되도록, 제1 카메라(30R)에 대한 제2 카메라(30L)의 요우각 α, 피치각 β, 롤각 γ, 시프트량 Tx, 시프트량 Ty, 및 시프트량 Tz가 조정되어 있다. 스테레오 임계값은, 스테레오율에 대하여 규정된 임계값이다. 이하의 설명에 있어서는, 스테레오율이 스테레오 임계값 이상으로 되도록 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치를 조정하는 것을 적절히, 외부 교정 처리라고 한다.

외부 교정 처리에 있어서 도출(導出)된 요우각 α, 피치각 β, 롤각 γ, 시프트량 Tx, 시프트량 Ty, 및 시프트량 Tz를 포함하는 변환식은, 유압 셔블(1)의 공장 출하에 있어서 기억부(109)에 기억된다.

스테레오 계측부(102)는, 기억부(109)에 기억되어 있는 파라미터를 사용하여, 제1 화상 데이터 MR과 제2 화상 데이터 ML을 스테레오 방식으로 화상 처리하여, 시차 화상 데이터 SG를 생성한다.

외부 교정 처리가 실시된 스테레오 카메라(300)가 탑재된 유압 셔블(1)의 공장 출하 후, 예를 들면, 진동, 충격, 또는 열과 같은 외적 요인에 의해, 카메라(30)가 물리적으로 동작할 가능성이 있다. 외적 요인에 의해, 예를 들면, 제1 카메라(30R) 및 제2 카메라(30L)의 한쪽의 카메라(30)에 대하여 다른 쪽의 카메라(30)의 Xs축 방향, Ys축 방향, Zs축 방향, θXs 방향, θYs 방향, 및 θZs 방향 중 1개 이상의 방향의 위치가 어긋나 버릴 가능성이 있다.

제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치가 물리적으로 변동된 경우, 공장 출하에 있어서 기억부(109)에 기억되어 있는 외부 파라미터에 의해 규정되는 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치와, 카메라(30)가 움직여 버린 후의 실제의 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치에 차이가 생긴다. 이 경우, 제1 화상 데이터 MR과 제2 화상 데이터 ML을 스테레오 계측에 의해 대응점을 탐색해도, 탐색 실패할 가능성이 높다. 그 결과, 스테레오율이 저하하여, 촬영 대상 SB의 스테레오 계측을 정확하게 행하는 것이 곤란해진다.

본 실시형태에 있어서, 제1 조정부(103)는, 제1 카메라(30R) 및 제2 카메라(30L) 중 적어도 한쪽의 카메라(30)의 위치가 어긋나버려 스테레오율이 저하된 경우에 있어서, 스테레오율이 재차 향상되도록, (3)식에 포함되는 복수의 외부 파라미터 중 적어도 일부를 변경한다. 또한, 제2 조정부(104)는, 제1 카메라(30R) 및 제2 카메라(30L) 중 적어도 한쪽의 카메라(30)의 위치가 어긋나버려 스테레오 카메라(300)에 의한 계측 결과의 축척[카메라(30)로부터 계측점(P)까지의 거리 또는 스케일]이 부정확하게 된 경우에 있어서, (3)식에 포함되는 복수의 외부 파라미터 중 적어도 일부를 변경하여, 3차원 데이터 DG의 스케일을 조정한다.

즉, 본 실시형태에 있어서, 제어 장치(100)는, 카메라(30)의 위치가 물리적으로 움직여 버렸을 경우, 기억부(109)에 기억되어 있는 외부 파라미터를 변경하여, 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치의 변동을 연산 처리에 의해 자동 수정한다.

[스테레오율의 조정]

다음에, 본 실시형태에 관한 스테레오율의 조정에 대하여 설명한다. 제1 조정부(103)는, 외부 파라미터를 조정하여, 스테레오율의 조정 처리를 실시한다.

표시 제어부(108)는, 스테레오 계측부(102)에 의해 생성된 시차 화상 데이터 SG를 표시 장치(26)에 표시시킨다. 스테레오 계측부(102)는, 그레이 표시시키기 위한 성공 데이터를 탐색 성공한 화소 PXs에 부여하고, 흑표시시키기 위한 실패 데이터를 탐색 실패한 화소 PXs에 부여한다.

도 10은, 본 실시형태에 관한 탐색 실패했을 때의 시차 화상 데이터 SG의 일례를 모식적으로 나타낸 도면이다. 스테레오 카메라(300)의 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치가 물리적으로 변동된 경우, 제1 화상 데이터 MR과 제2 화상 데이터 ML을 스테레오 대응점 탐색해도, 탐색 실패할 가능성이 높다. 그 결과, 도 10에 나타낸 바와 같이, 스테레오율이 저하하고, 시차 화상 데이터 SG의 대부분의 화소 PXs가 흑표시된다.

도 11은, 본 실시형태에 관한 제1 조정부(103)에 의한 스테레오율의 조정 처리의 일례를 설명하기 위한 모식도이다. 스테레오율이 저하되었을 때, 제1 조정부(103)는, 기억부(109)에 기억되어 있는 복수의 외부 파라미터 중, 예를 들면, 피치각 β를 변경한다. 도 11에 나타낸 바와 같이, 외부 파라미터의 피치각 β이 조정되는 것에 의해, 제2 카메라(30L)는, 의사적(擬似的)으로 θYs 방향으로 회전한다.

전술한 바와 같이, 스테레오 대응점 탐색에 있어서는, 스테레오 계측부(102)는, 제2 화상 데이터 ML의 에피폴라선 상에 존재하는 복수의 화소 PXl 중에서, 계측점(P)의 투영점을 포함하는 화소 PXl을 탐색한다. 본 실시형태에 있어서, 제1 카메라(30R)와 제2 카메라(30L)는, Ys축 방향으로 배치되고, 에피폴라선은, Ys축 방향으로 연장된다. 제1 카메라(30R)와 제2 카메라(30L)가 Ys축 방향으로 배치된 경우, 스테레오 처리에서의 탐색의 성공 여부는, 피치각 β의 어긋남에 의해 크게 영향을 받는다. 그러므로, 제1 조정부(103)는, 외부 파라미터의 피치각 β를 변경함으로써, 계측점(P)의 투영점을 포함하는 대응 화소 PXl가 존재할 가능성이 높은 에피폴라선 상의 복수의 화소 PXl을 탐색할 수 있다.

제1 조정부(103)는, 시차 화상 데이터 SG의 스테레오율이 향상되도록, 피치각 β를 조정한다. 본 실시형태에 있어서, 기억부(109)는, 기준 피치각 β₀을 기억한다. 기준 피치각 β₀은, 공장 출하 시의 외부 교정 처리에 있어서, 스테레오율이 최대 또는 스테레오 임계값 이상으로 되도록 조정된 피치각 β이다. 제1 조정부(103)는, 기준 피치각 β₀를 포함하는 소정 범위에 있어서 제2 카메라(30L)의 피치각 β를 변경하여, 예를 들면, 스테레오율의 최대값을 산출한다.

도 12는, 본 실시형태에 관한 제1 조정부(103)에 의한 스테레오율의 조정 방법의 일례를 설명하기 위한 모식도이다. 도 12에 나타낸 그래프에 있어서, 가로축은, 외부 파라미터의 피치각 β를 나타내고, 세로축은, 스테레오율을 나타낸다.

제1 조정부(103)는, 기준 피치각 β₀을 기준으로 하여, 플러스 방향 및 마이너스 방향의 소정 범위에 있어서, 피치각 β를 소정 각도씩 변경한다. 스테레오 계측부(102)는, 피치각 β를 변경시킬 때마다, 스테레오율을 산출한다. 도 12에 나타낸 바와 같이, 스테레오율은, 피치각 β의 변경에 따라 변화한다. 제1 조정부(103)는, 예를 들면, 소정 범위에 있어서 스테레오율의 최대값을 얻을 수 있었을 때의 피치각 β를 정해(正解) 피치각[correct pitch angle] βr로 결정한다.

그리고, 정해 피치각 βr을 결정하는 방법은, 전술한 방법이 아니라도 된다. 스테레오율이 스테레오 임계값 이상인 피치각 β이면, 임의의 피치각 β를 정해 피치각 βr로 해도 된다.

도 13은, 본 실시형태에 관한 탐색 성공했을 때의 시차 화상 데이터 SG의 일례를 모식적으로 나타낸 도면이다. 제1 조정부(103)는, 기억부(109)에 기억되어 있는 피치각 β(기준 피치각 β₀)을 정해 피치각 βr로 변경한다. 즉, (3)식의 회전 행렬의 피치각 β이, 기준 피치각 β₀로부터 정해 피치각 βr로 변경된다. 스테레오 계측부(102)는, 제1 화상 데이터 MR과, 제2 화상 데이터 ML과, 정해 피치각 βr을 포함하는 외부 파라미터에 기초하여, 스테레오 계측을 실시하여, 시차 화상 데이터 SG를 생성한다. 피치각 β이 기준 피치각 β₀으로부터 정해 피치각 βr로 변경됨으로써, 기억부(109)에 기억되어 있는 외부 파라미터는, 상대 위치가 물리적으로 변동된 후의 제1 카메라(30R) 및 제2 카메라(30L)에 최적화되어 있다. 그러므로, 스테레오 카메라(300)의 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치가 물리적으로 변동된 후에 있어서, 스테레오 계측부(102)가 제1 화상 데이터 MR과 제2 화상 데이터 ML을 사용하여 스테레오 대응점 탐색할 때, 탐색 성공할 가능성이 높아진다. 이로써, 도 13에 나타낸 바와 같이, 스테레오율은 향상되고, 시차 화상 데이터 SG의 대부분의 화소 PXs가 그레이 표시된다.

[스케일의 조정]

다음에, 본 실시형태에 관한 스테레오율의 조정에 대하여 설명한다. 제2 조정부(104)는, 외부 파라미터를 조정하여, 3차원 데이터 DG의 스케일의 조정 처리를 실시한다.

스테레오율의 조정은, 외부 파라미터를 변경함으로써, 물리적으로 위치가 변동된 카메라(30)의 위치를 의사적으로 조정함으로써 스테레오율을 향상시키는 처리이다. 그러나, 스테레오율을 향상시킨 것만으로는, 실제의 현황 지형과 스테레오 카메라(300)에 의해 계측된 3차원 데이터 DG와의 스케일의 차이가 크므로, 충분한 계측 정밀도가 얻어지지 않는다. 그러므로, 본 실시형태에 있어서는, 전술한 방법에 의해 스테레오율이 향상된 3차원 데이터 DG의 스케일의 조정이 실시된다. 스케일의 조정은, 3차원 데이터 DG가 스테레오 카메라(300)로부터 어느 정도의 거리만큼 이격된 곳에 존재하는 것인지를 파악하고, 실제의 현황 지형과 정합(整合)하도록 조정하는 처리이다. 스케일의 조정에 의해, 실제의 현황 지형과 정합하는, 정밀도가 높은 또는 오차가 작은 3차원 데이터 DG를 얻을 수 있다.

도 14는, 본 실시형태에 관한 제2 조정부(104)에 의한 스케일의 조정 처리의 일례를 설명하기 위한 모식도이다. 3차원 데이터 DG의 스케일을 조정할 때, 제2 조정부(104)는, 기억부(109)에 기억되어 있는 복수의 외부 파라미터 중, 예를 들면, 요우각 α를 변경한다. 도 14에 나타낸 바와 같이, 외부 파라미터의 요우각 α가 조정되는 것에 의해, 제2 카메라(30L)는, 의사적으로 Xs 방향으로 회전한다.

본 실시형태에 있어서, 제1 카메라(30R)와 제2 카메라(30L)가 Ys축 방향으로 배치되고, 삼각 측량의 원리에 기초하여 계측점(P)까지의 거리 ZP가 산출된다. 그러므로, 제2 조정부(104)는, 제2 카메라(30L)의 외부 파라미터의 요우각 α를 변경함으로써, 시차 화상 데이터 SG에서의 계측점(P)이 투영되는 화소의 시차를 조정할 수 있다. 시차 화상 데이터 SG에서의 시차가 조정되는 것에 의해, 간접적으로 3차원 데이터 DG의 스케일이 조정된다.

제2 조정부(104)는, 후술하는 기준 스케일과 시차 화상 데이터 SG에 의해 구해지는 3차원 데이터 DG의 스케일과의 차이가 작아지도록, 스테레오 카메라(300)에 대하여 규정되어 있는 외부 파라미터의 요우각 α를 변경한다. 기준 스케일이란, 시차 화상 데이터 SG로부터 구해지는 3차원 데이터 DG가 실제의 현황 지형과 정합하도록, 카메라(30)로부터 계측점(P)까지의 축척(거리 또는 스케일)을 조정할 때 사용하는 기준으로 되는 스케일이다. 제2 조정부(104)는, 기준 스케일과 3차원 데이터 DG의 스케일과의 차이가 최소 또는 임계값 이하로 되는 정해 요우각 αr을 결정한다.

본 실시형태에 있어서, 기억부(109)는, 기준 요우각 α₀을 기억한다. 기준 요우각 α₀은, 공장 출하 시의 외부 교정 처리에 있어서 시차 화상 데이터를 조정된 요우각 α이다. 제2 조정부(104)는, 기준 요우각 α₀를 포함하는 소정 범위에 있어서 제2 카메라(30L)의 요우각 α를 변경하여, 기준 스케일과 3차원 데이터 DG의 스케일과의 차의 최소값을 산출한다.

제2 조정부(104)는, 기억부(109)에 기억되어 있는 요우각 α(기준 요우각 α₀)를 정해 요우각 αr로 변경한다. 즉, (3)식의 회전 행렬의 요우각 α이, 기준 요우각 α₀로부터 정해 요우각 αr로 변경된다. 스테레오 계측부(102)는, 제1 화상 데이터 MR과, 제2 화상 데이터 ML과, 정해 요우각 αr을 포함하는 외부 파라미터에 기초하여, 스테레오 계측을 실시하여, 시차 화상 데이터 SG를 생성한다. 요우각 α이 기준 요우각 α₀로부터 정해 요우각 αr로 변경됨으로써, 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치가 물리적으로 변동된 후에 있어서, 기억부(109)에 기억되어 있는 외부 파라미터는, 상대 위치가 물리적으로 변동된 후의 제1 카메라(30R) 및 제2 카메라(30L)에 최적화되어 있다. 그러므로, 스테레오 카메라(300)의 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치가 물리적으로 변동된 후에 있어서, 3차원 데이터 DG의 스케일은, 실제의 시공 현장과 마찬가지의 스케일로 된다. 즉, 3차원 데이터 DG의 형상은, 실제의 시공 현장의 형상과 동일한 형상으로 된다.

[형상 계측 방법]

다음에, 본 실시형태에 관한 위치 계측 방법에 대하여 설명한다. 도 15는, 본 실시형태에 관한 위치 계측 방법의 일례를 나타낸 플로우차트이다.

유압 셔블(1)에 설치된 제1 스테레오 카메라(301)는, 촬영 대상 SB의 제1 영역인 원경(遠景) 영역을 촬영한다. 유압 셔블(1)에 설치된 제2 스테레오 카메라(302)는, 촬영 대상 SB의 제2 영역인 근경(近景) 영역을 촬영한다.

화상 데이터 취득부(101)는, 제1 스테레오 카메라(301)의 제1 카메라(30A) 및 제2 카메라(30B)에 의해 촬영된 제1 화상 데이터 MR1 및 제2 화상 데이터 ML1과, 제2 스테레오 카메라(302)의 제3 카메라(30C) 및 제4 카메라(30D)에 의해 촬영된 제3 화상 데이터 MR2 및 제4 화상 데이터 ML2를 취득한다(스텝 SP10).

제1 스테레오 카메라(301)에 의해 촬영된 제1 화상 데이터 MR1 및 제2 화상 데이터 ML1은, 촬영 대상 SB의 원경 영역을 포함한다. 제2 스테레오 카메라(302)에 의해 촬영된 제3 화상 데이터 MR2 및 제4 화상 데이터 ML2는, 촬영 대상 SB의 근경 영역을 포함한다.

스테레오 계측부(102)는, 제1 스테레오 카메라(301)에 의해 촬영된 제1 화상 데이터 MR1 및 제2 화상 데이터 ML1과, 기억부(109)에 기억되어 있는 복수의 파라미터에 기초하여, 스테레오 계측을 실시한다. 스테레오 계측부(102)는, 스테레오 계측을 실시하여, 촬영 대상 SB의 원경 영역을 나타내는 제1 시차 화상 데이터 SG1을 생성한다.

또한, 스테레오 계측부(102)는, 제2 스테레오 카메라(302)에 의해 촬영된 제3 화상 데이터 MR2 및 제4 화상 데이터 ML2와, 기억부(109)에 기억되어 있는 복수의 파라미터에 기초하여, 스테레오 계측을 실시한다. 스테레오 계측부(102)는, 스테레오 계측을 실시하여, 촬영 대상 SB의 근경 영역을 나타내는 제2 시차 화상 데이터 SG2를 생성한다(스텝 SP20).

도 16은, 본 실시형태에 관한 촬영 대상 SB를 제1 카메라(30A)에 의해 촬영한 제1 화상 데이터 MR1을 모식적으로 나타낸 도면이다. 도 16에 나타낸 바와 같이, 제1 스테레오 카메라(301)는, 촬영 대상 SB의 원경 영역을 촬영한다. 촬영 대상 SB의 원경 영역은, 시공 대상인 지면뿐만아니라, 예를 들면, 허공(sky) 또는 허공에 떠오르는 구름과 같은, 제1 스테레오 카메라(301)에 대하여 무한 원점(遠点)에 배치되어 있는 물체를 포함한다.

도 17은, 본 실시형태에 관한 제1 스테레오 카메라(301)에 의해 취득된 제1 화상 데이터 MR1 및 제2 화상 데이터 ML1에 기초하여 생성된 제1 시차 화상 데이터 SG1의 일례를 모식적으로 나타낸 도면이다. 그리고, 도 17에 있어서, 촬영 대상 SB 중 제1 스테레오 카메라(301)에 대하여 무한 원점에 존재하는 물체의 제1 화상 데이터 MR1과 제2 화상 데이터 ML1과의 시차 d는 제로로 된다. 그러므로, 제1 시차 화상 데이터 SG1 중, 허공 및 구름에 상당하는 부분은, 흑표시된다.

본 실시형태에 있어서는, 예를 들면, 공장 출하 시에 제1 스테레오 카메라(301) 및 제2 스테레오 카메라(302)의 외부 교정 처리가 실시된다. 이하의 설명에 있어서는, 제2 스테레오 카메라(302)에 대하여는, 제2 스테레오 카메라(302)에 의해 취득된 제3 화상 데이터 MR2 및 제4 화상 데이터 ML2에 관한 스테레오 대응점 탐색이 성공하고, 제2 시차 화상 데이터 SG2의 스테레오율은 스테레오 임계값 이상인 것으로 한다. 한편, 제1 스테레오 카메라(301)에 대하여는, 외부 교정 처리 후에 제1 카메라(30A) 및 제2 카메라(30B) 중 적어도 한쪽으로 어긋남이 생겨 버려, 제1 스테레오 카메라(301)에 의해 취득된 제1 화상 데이터 MR1 및 제2 화상 데이터 ML1에 관한 스테레오 대응점 탐색이 실패하여, 제1 시차 화상 데이터 SG1의 스테레오율은 스테레오 임계값보다도 작은 것으로 한다. 제1 시차 화상 데이터 SG1의 화소의 대부분에서 스테레오 대응점 탐색이 실패하고 있을 때, 예를 들면, 도 10에 나타낸 바와 같이, 시차 화상의 대부분이 검은 영역으로 된다.

제1 조정부(103)는, 제1 스테레오 카메라(301)에 대하여 규정되어 있는 복수의 파라미터 중 적어도 일부의 파라미터를 변경하여, 제1 시차 화상 데이터 SG1의 스테레오율을 조정하여, 스테레오율을 향상시킨다(스텝 SP30).

본 실시형태에 있어서, 스테레오율을 조정하는 것은, 피치각 β를 변경시키는 것을 포함한다. 제1 조정부(103)는, 대부분에서 탐색이 실패한 제1 시차 화상 데이터 SG1의 스테레오율이 향상되도록, 전술한 방법에 의해, 제1 스테레오 카메라(301)에 대하여 규정되어 있는 외부 파라미터의 피치각 β를 변경한다. 제1 조정부(103)는, 스테레오율이 최대 또는 스테레오 임계값 이상으로 되는 정해 피치각 βr을 결정한다.

스테레오 계측부(102)는, 정해 피치각 βr을 사용하여, 제1 화상 데이터 MR1 및 제2 화상 데이터 ML1을 스테레오 계측한다. 이로써, 예를 들면, 도 13에 나타낸 시차 화상과 같이, 스테레오율이 향상된 제1 시차 화상 데이터 SG1이 생성된다.

다음에, 제2 조정부(104)는, 제1 스테레오 카메라(301)에 대하여 정해 피치각 βr을 사용하여 스테레오율이 최대 또는 임계값 이상으로 된 제1 시차 화상 데이터 SG1에 의해 구해지는 제1의 3차원 데이터 DG1의 스케일을 조정한다(스텝 SP40).

본 실시형태에 있어서, 스케일을 조정하는 것은, 요우각 α를 조정하는 것을 포함한다. 제2 조정부(104)는, 기준 스케일과 제1의 3차원 데이터 DG1의 스케일과의 차이가 작아지도록, 제1 스테레오 카메라(301)에 대하여 규정되어 있는 외부 파라미터의 요우각 α를 변경한다. 제2 조정부(104)는, 기준 스케일과 제1의 3차원 데이터 DG1의 스케일과의 차이가 최소 또는 임계값 이하로 되는 정해 요우각 αr을 결정한다.

본 실시형태에 있어서, 기준 스케일은, 제2 스테레오 카메라(302)로부터 취득된 제3 화상 데이터 MR2 및 제4 화상 데이터 ML2에 기초하여 생성된 제2 시차 화상 데이터 SG2에 의해 구해지는 제2의 3차원 데이터 DG2의 스케일을 포함한다. 제2 조정부(104)는, 제2 스테레오 카메라(302)에 의해 촬영된 제3 화상 데이터 MR2 및 제4 화상 데이터 ML2에 기초하여 생성된 제2의 3차원 데이터 DG2의 스케일과, 제1 스테레오 카메라(301)에 의해 촬영된 제1 화상 데이터 MR1 및 제2 화상 데이터 ML1에 기초하여 생성된 제1의 3차원 데이터 DG1의 스케일과의 차이가 작아지도록, 기억부(109)에 기억되어 있는 외부 파라미터의 요우각 α(기준 요우각 α₀)를 변경한다.

전술한 바와 같이, 본 실시형태에 있어서, 제2 시차 화상 데이터 SG2의 스테레오율은, 스테레오 임계값 이상이다. 따라서, 공장 출하 시로부터, 제2 스테레오 카메라(302)의 제3 카메라(30C)와 제4 카메라(30D)와의 상대 위치는 변동되어 있지 않은 것으로 간주할 수 있다. 공장 출하 시에서의 외부 교정 처리에 있어서는, 스테레오율의 조정뿐만아니라 스케일의 조정도 실시된다. 즉, 외부 교정 처리에 있어서는, 스테레오율이 스테레오 임계값 이상으로 되고, 또한 3차원 데이터 DG의 스케일이 정해값(正解値)으로 되도록, 스테레오 카메라(300)의 한 쌍의 카메라(30)의 상대 위치의 조정이 실시되고 있다. 그러므로, 제2 시차 화상 데이터 SG2의 스테레오율이 스테레오 임계값 이상일 때, 제2 스테레오 카메라(302)의 제3 카메라(30C)와 제4 카메라(30D)와의 상대 위치는 변동되어 있지 않은 것으로 간주할 수 있다. 즉, 제2의 3차원 데이터 DG2의 스케일은 정해값인 것으로 추정할 수 있다. 그러므로, 본 실시형태에 있어서는, 제2 조정부(104)는, 기준 스케일로 하고, 제2의 3차원 데이터 DG2의 스케일을 사용한다.

전술한 바와 같이, 제1 스테레오 카메라(301)는, 촬영 대상 SB의 원경 영역을 촬영한다. 제2 스테레오 카메라(302)는, 촬영 대상 SB의 근경 영역을 촬영한다. 본 실시형태에 있어서, 제1 스테레오 카메라(301)와 제2 스테레오 카메라(302)는, 원경 영역과 근경 영역의 일부가 중복되도록, 촬영 대상 SB를 촬영한다.

제2 조정부(104)는, 촬영 대상 SB의 원경 영역과 근경 영역과의 중복 영역에 있어서, 제1의 3차원 데이터 DG1의 스케일과 제2의 3차원 데이터 DG2의 스케일과의 차이가 작아지도록, 외부 파라미터의 요우각 α를 변경한다.

도 18은, 본 실시형태에 관한 제1의 3차원 데이터 DG1 및 제2의 3차원 데이터 DG2의 일례를 나타낸 도면이다. 도 18에 나타낸 바와 같이, 표시 제어부(108)는, 스테레오 계측부(102)에 의해 생성된 제1의 3차원 데이터 DG1 및 제2의 3차원 데이터 DG2를 표시시킨다.

제1의 3차원 데이터 DG1은, 제1 스테레오 카메라(301)로부터 촬영 대상 SB의 복수의 부위까지의 각각과의 거리 ZP를 나타내는 데이터이다. 거리 ZP는, (1)식에 기초하여 제1 시차 화상 데이터 SG1의 복수의 화소 PXs마다 산출된다. 맵 데이터 작성부(107)는, 복수의 화소 PXs마다 산출된 거리 ZP에 기초하여, 카메라 좌표계에서의 3차원 맵 데이터를 작성한다. 카메라 좌표계에서의 3차원 데이터 DG가 좌표 변환되는 것에 의해, 차체 좌표계에서의 3차원 데이터 DG, 및 글로벌 좌표계에서의 3차원 데이터 DG가 작성된다. 또한, 글로벌 좌표계에서의 3차원 데이터 DG를 사용하여, 소정 간격(x, y)으로 설치된 메쉬마다 높이가 산출되는 것에 의해, 제1의 3차원 맵 데이터(정면도 맵 데이터) dG1이 작성된다. 글로벌 좌표계에서의 3차원 데이터 DG는, 화소의 수만큼 3차원 데이터가 존재하지만, 3차원 맵 데이터는, 미리 규정된 메쉬마다 밖에 3차원 데이터가 존재하지 않는다.

또한, 맵 데이터 작성부(107)는, 제1 시차 화상 데이터 SG1의 3차원 맵 데이터의 작성 방법과 동일한 작성 방법으로, 제2 시차 화상 데이터 SG2에 기초하여 제2의 3차원 맵 데이터 DG2를 작성한다. 3차원 데이터 DG는, 시차 화상 데이터 SG, 차체 좌표계 등의 3차원 데이터, 및 3차원 맵 데이터(정면도 맵 데이터)를 포함한다.

도 18에 나타낸 바와 같이, 맵 데이터 작성부(107)는, 촬영 대상 SB의 원경 영역과 근경 영역과의 중복 영역, 즉 제1의 3차원 맵 데이터 DG1과 제2의 3차원 맵 데이터 DG2와의 중복 영역에서의 데이터인 중복 영역 데이터 DA를 작성한다.

중복 영역 데이터 DA는, 제1의 3차원 맵 데이터 DG1과 제2의 3차원 맵 데이터 DG2에 있어서, 글로벌 좌표계에서의 XY 평면 내의 각각의 동일한 위치(메쉬) 또는 각각 대응하는 위치에서의, Z축 방향의 차분 데이터를 포함한다. 본 실시형태에 있어서는, 맵 데이터 작성부(107)는, 중복 영역 내의 각 위치에서의 제1의 3차원 맵 데이터 DG1의 높이 데이터(z)와 제2의 3차원 맵 데이터 DG2의 높이 데이터(z)와의 차분을 산출하고, 각각의 차분의 중복 영역 전체의 총계가 최소 또는 임계값 이하가 되도록 스케일을 조정한다.

제1의 3차원 데이터 DG1의 스케일과 제2의 3차원 데이터 DG2의 스케일과의 차이가 큰 경우, 중복 영역 내의 각 위치에서의 제1의 3차원 맵 데이터 DG1의 높이 데이터와 제2의 3차원 맵 데이터 DG2의 높이 데이터와의 차분은 커지고, 즉 각각의 차분의 중복 영역 전체의 총계도 커지게 된다.

본 실시형태에 있어서는, 전술한 바와 같이 제2의 3차원 데이터 DG2의 스케일이 정해값(기준 스케일)이므로, 제2 조정부(104)는, 제1의 3차원 데이터 DG1의 스케일이 제2의 3차원 데이터 DG2의 스케일에 일치하도록, 외부 파라미터의 요우각 α를 조정한다. 구체적으로는, 제2 조정부(104)는, 촬영 대상 SB의 원경 영역을 촬영한 제1의 3차원 데이터 DG1과 촬영 대상 SB의 근경 영역을 촬영한 제2의 3차원 데이터 DG2와의 중복 영역 전체에서의, 제1의 3차원 데이터 DG1의 높이 데이터와 제2의 3차원 데이터 DG2의 높이 데이터와의 차분의 총계가 작아지도록, 외부 파라미터의 요우각 α를 변경한다.

도 19는, 본 실시형태에 관한 제2 조정부(104)에 의한 스케일의 조정 방법의 일례를 설명하기 위한 모식도이다. 도 19에 나타낸 그래프에 있어서, 가로축은, 외부 파라미터의 요우각 α를 나타내고, 세로축은, 제1의 3차원 데이터 DG1의 높이 데이터와 제2의 3차원 데이터 DG2의 높이 데이터와의 차분의 총계와의 차이를 나타낸다.

제2 조정부(104)는, 기준 요우각 α₀을 기준으로 하여, 플러스 방향 및 마이너스 방향의 소정 범위에 있어서, 요우각 α를 소정 각도씩 변경한다. 스테레오 계측부(102)는, 요우각 α를 변경할 때마다, 제1의 3차원 데이터 DG1의 높이 데이터와 제2의 3차원 데이터 DG2의 높이 데이터와의 차분의 총계와의 차이를 산출한다. 도 19에 나타낸 바와 같이, 제1의 3차원 데이터 DG1의 높이 데이터와 제2의 3차원 데이터 DG2의 높이 데이터와의 차분의 총계와의 차이는, 요우각 α의 변경에 따라 변화한다. 제2 조정부(104)는, 소정 범위에 있어서 제1의 3차원 데이터 DG1의 높이 데이터와 제2의 3차원 데이터 DG2의 높이 데이터와의 차분의 총계와의 차의 최소값을 얻을 수 있었을 때의 요우각 α를 정해 요우각 αr로 결정한다.

그리고, 정해 요우각 αr을 결정하는 방법은, 전술한 방법이 아니라도 된다. 제1의 3차원 데이터 DG1의 높이 데이터와 제2의 3차원 데이터 DG2의 높이 데이터와의 차분의 총계와의 차이가 임계값 이하인 요우각 α이면, 임의의 요우각 α를 정해 요우각 αr로 해도 된다.

스텝 SP30에 있어서 정해 피치각 βr이 결정되고, 스텝 SP40에 있어서 정해 요우각 αr이 결정된 후, 스테레오 계측부(102)는, 정해 피치각 βr 및 정해 요우각 αr을 포함하는 외부 파라미터를 사용하여, 제1 스테레오 카메라(301)에 의해 촬영된 제1 화상 데이터 MR1 및 제2 화상 데이터 ML1의 스테레오 계측을 실시한다. 이로써, 스테레오율이 스테레오 임계값 이상이며, 또한 스케일이 정해값인 제1 시차 화상 데이터 SG1 및 제1의 3차원 데이터 DG1이 생성된다(스텝 SP50).

본 실시형태에 있어서, 전술한 스텝 SP10로부터 스텝 SP50의 처리는, 소정의 샘플링 주기로 실시된다. 어떠한 외적 요인에 의해 카메라(30)가 물리적으로 움직여 버렸을 때, 스테레오율이 향상되고 스케일이 정해값으로 되도록, 스테레오 카메라(300)의 자동 교정 처리가 실시된다.

[작용 및 효과]

이상 설명한 바와 같이, 본 실시형태에 의하면, 제어 장치(100)는, 제1 카메라(30R) 및 제2 카메라(30L)에 대하여 규정되어 있는 파라미터를 변경하고, 변경된 파라미터에 기초하여 연산 처리를 실시하여, 스테레오율 및 스케일을 조정할 수 있다. 스테레오율을 향상시킴으로써, 스테레오 카메라(300)에 의해 광범위하게 현황 지형을 계측할 수 있다. 또한, 스케일을 조정함으로써, 스테레오 카메라(300)에 의해 계측된 3차원 데이터 DG는, 실제의 현황 지형과의 차분 또는 오차가 적은 고정밀도의 데이터가 된다. 이로써, 외부 교정 처리 후, 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치가 변동되어 버려도, 제어 장치(100)는, 기억부(109)에 기억되어 있는 파라미터를 변경하는 것만으로, 번거로운 재교정 처리를 실시하지 않고, 스테레오율 및 스케일이 조정된 3차원 데이터 DG 및 시차 화상 데이터 SG를 계측할 수 있다. 제1 카메라(30R)와 제2 카메라(30L)와의 상대 위치가 변동되어 버려도, 자동 교정 처리가 실시되는 것에 의해, 유압 셔블(1)의 작업 효율의 저하가 억제된다.

또한, 본 실시형태에 있어서는, 제2 조정부(104)는, 기준 스케일로서 제2의 3차원 데이터 DG2를 이용하고, 원경 영역과 근경 영역과의 중복 영역에 있어서, 제1의 3차원 데이터 DG1의 스케일과 제2의 3차원 데이터 DG2의 스케일과의 차이가 작아지도록, 파라미터를 변경한다. 이로써, 제1의 3차원 데이터 DG1의 스케일을 효율적으로 조정할 수 있다.

그리고, 본 실시형태에 있어서는, 외부 파라미터의 피치각 β를 변경함으로써 스테레오율을 향상시키는 것으로 하였으나, (3)식에서의 요우각 α 또는 롤각 γ, 시프트량 Tx, 시프트량 Ty, 시프트량 Tz를 변경하여 스테레오율을 향상시켜도 되고, 이들 복수의 외부 파라미터를 동시에 변경해도 된다.

그리고, 본 실시형태에 있어서는, 외부 파라미터의 요우각 α를 변경함으로써 스케일을 조정하는 것으로 하였으나, (3)식에서의 피치각 β 또는 롤각 γ, 시프트량 Tx, 시프트량 Ty, 시프트량 Tz를 변경하여 스케일을 조정해도 되고, 이들 복수의 외부 파라미터를 동시에 변경해도 된다.

제2 실시형태.

제2 실시형태에 대하여 설명한다. 이하의 설명에 있어서, 전술한 실시형태와 동일하거나 또는 동등한 구성 요소에 대하여는 동일한 부호를 부여하고, 그 설명을 간략 또는 생략한다.

전술한 실시형태에 있어서는, 제2 스테레오 카메라(302)에 기초하여 생성된 제2의 3차원 데이터 DG2를 기준 스케일로 하고, 제1 스테레오 카메라(301)에 기초하여 생성된 제1의 3차원 데이터 DG1의 스케일을 조정하는 것으로 하였다. 본 실시형태에 있어서는, 기준 스케일로서 기준 물체를 사용하여, 3차원 데이터 DG의 스케일을 조정하는 예에 대하여 설명한다. 그리고, 본 실시형태에 있어서도, 전술한 실시형태에 따라서, 사전에 스테레오율을 향상시키는 처리가 실시되어 있어도 된다.

도 20은, 본 실시형태에 관한 위치 계측 방법의 일례를 설명하기 위한 모식도이다. 본 실시형태에 있어서는, 기준 물체인 타겟 TG가 스테레오 카메라(300)의 촬영 영역에 배치된다. 타겟 TG는, 예를 들면, 백색의 표면을 가지는 판 부재와, 판 부재의 백색의 표면에 흑색으로 그려진 기준 마크를 포함한다. 기준 마크는, 1개라도 되고, 복수 개라도 된다. 본 실시형태에 있어서, 기준 마크는, 원형 마크이다. 그리고, 타겟 TG는, 기준 마크를 가지지 않아도 된다.

타겟 TG는, 글로벌 좌표계에서의 위치가 기지인 소정 위치에 배치된다. 즉, 본 실시형태에 있어서, 글로벌 좌표계에서의 타겟 TG의 위치를 나타내는 위치 데이터는, 기지 데이터이다. 타겟 TG의 위치 데이터는, 위치 데이터 산출부(105)에 입력된다.

전술한 바와 같이, 위치 데이터 산출부(105)는, 글로벌 좌표계에서의 카메라(30)의 위치 데이터를 산출할 수 있다.

위치 데이터 산출부(105)는, 글로벌 좌표계에서의 스테레오 카메라(300)와 타겟 TG와의 상대 위치 데이터를 산출한다. 위치 데이터 산출부(105)는, 글로벌 좌표계에서의 스테레오 카메라(300)와 타겟 TG와의 상대 위치 데이터로부터, 기준 거리 ZF를 연산한다.

제2 조정부(104)는, 기준 스케일과 3차원 데이터 DG의 스케일과의 차이가 작아지도록, 외부 파라미터의 요우각 α를 변경한다. 본 실시형태에 있어서, 기준 스케일은, 스테레오 카메라(300)와 타겟 TG와의 거리인 기준 거리 ZF를 포함한다.

스테레오 카메라(300)는, 타겟 TG를 포함하는 촬영 대상 SB를 촬영한다. 스테레오 계측부(102)는, 전술한 실시형태에 따라서, 시차 화상 데이터 SG를 생성한다. 시차 화상 데이터 SG의 생성에 있어서, 스테레오율이 스테레오 임계값 미만일 때, 전술한 실시형태에 따라서, 제1 조정부(103)에 의해 스테레오율의 조정이 실시된다. 스테레오 계측부(102)는, 시차 화상 데이터 SG에 기초하여, 3차원 데이터 DG를 구한다.

본 실시형태에 있어서, 시차 화상 데이터 SG 또는 3차원 데이터 DG는, 타겟 TG를 포함한다. 스테레오 계측부(102)는, 시차 화상 데이터 SG 또는 3차원 데이터 DG에 기초하여, 스테레오 카메라(300)로부터 타겟 TG까지의 거리 ZP를 산출한다.

시차 화상 데이터 SG 또는 3차원 데이터 DG에서의 어느 화소가 타겟 TG에 해당할 것인지의 여부의 판별은, 예를 들면, 화상 처리에 의해 기준 마크의 중심을 판별함으로써 실시된다. 그리고, 타겟 TG에 해당하는 화소를 판별할 수 있고, 임의의 방법을 이용해도 된다. 예를 들면, 기준 마크를 이용하지 않아도 타겟 TG의 형상로부터 판별해도 되고, 소정의 입력 장치를 사용하여 타겟 TG에 해당하는 화소 등의 데이터를 지정해도 된다.

제2 조정부(104)는, 위치 데이터 산출부(105)에 의해 산출된 기준 거리 ZF와, 시차 화상 데이터 SG 또는 3차원 데이터 DG에서의 스테레오 카메라(300)와 타겟 TG와의 거리 ZP와의 차이가 작아지도록, 외부 파라미터의 요우각 α를 변경한다.

이상 설명한 바와 같이, 본 실시형태에 있어서는, 절대 위치가 기지인 타겟 TG를 사용하여, 3차원 데이터 DG의 스케일을 조정할 수 있다. 본 실시형태에 의하면, 제1 스테레오 카메라(301)의 제1 카메라(30A)와 제2 카메라(30B)와의 상대 위치, 및 제2 스테레오 카메라(302)의 제3 카메라(30C)와 제4 카메라(30D)와의 상대 위치가 함께 변동되어 버린 경우라도, 제1 스테레오 카메라(301)의 자동 교정 처리, 및 제2 스테레오 카메라(302)의 자동 교정 처리를 개별적으로 실시할 수 있다.

예를 들면, 제1 스테레오 카메라(301)의 제1 카메라(30A)와 제2 카메라(30B)와의 상대 위치가 변동되어, 제1 시차 화상 데이터 SG1의 스테레오율이 저하된 경우, 제1 조정부(103)는, 전술한 실시형태에 따라서, 스테레오율을 향상시키는 조정 처리를 실시할 수 있다. 스테레오율이 향상된 후, 그 스테레오율이 향상된 제1 스테레오 카메라(301)와 타겟 TG를 촬영함으로써, 제2 조정부(104)는, 본 실시형태에 관한 스케일의 조정 방법에 의해, 제1의 3차원 데이터 DG1의 스케일을 조정할 수 있다. 제2 스테레오 카메라(302)에 대하여도 마찬가지이다.

그리고, 본 실시형태에 관한 위치 계측 방법은, 유압 셔블(1)이 제1 스테레오 카메라(301) 밖에 가지고 있지 않은 경우에도 적용할 수 있다.

그리고, 본 실시형태에 있어서, 제1 조정부(103)를 사용하여 스테레오율을 향상시키는 처리를 실시하지 않고, 본 실시형태에 관한 위치 계측 방법을 이용하여, 제2 조정부(104)가 스케일을 조정하는 처리를 실시해도 된다.

그리고, 본 실시형태에 있어서는, 스테레오 카메라(300) 대신에 레이저 스캐너를 사용하는 경우, 스케일이 부정확하게 된 경우라도 스케일을 조정할 수 있다.

제3 실시형태.

제3 실시형태에 대하여 설명한다. 이하의 설명에 있어서, 전술한 실시형태와 동일하거나 또는 동등한 구성 요소에 대하여는 동일한 부호를 부여하고, 그 설명을 간략 또는 생략한다.

본 실시형태에 있어서는, 기준 스케일로서 스테레오 카메라(300)의 무한 원점에 배치된 기준 물체를 사용하여, 3차원 데이터 DG의 스케일을 조정하는 예에 대하여 설명한다. 그리고, 본 실시형태에 있어서도, 전술한 실시형태에 따라서, 스테레오율을 향상시키는 처리가 실시된다.

스테레오 카메라(300)는, 도 17에 나타낸 허공에 떠오르는 구름과 같은, 스테레오 카메라(300)의 무한 원점에 배치된 기준 물체를 촬영한다. 제1 카메라(30R)에 의해 촬영된 제1 화상 데이터 MR 및 제2 카메라(30L)에 의해 촬영된 제2 화상 데이터 ML의 각각은, 스테레오 카메라(300)의 무한 원점에 배치된 기준 물체의 화상 데이터를 포함한다.

외부 교정 처리에 의해 스케일이 정해값으로 조정되어 있는 스테레오 카메라(300)와 무한 원점의 기준 물체의 계측점(P)을 촬영한 경우, 시차 d는 제로가 된다. 한편, 스케일이 정해값이 아닌 스테레오 카메라(300)와 무한 원점의 기준 물체의 계측점(P)을 촬영한 경우, 시차 d는 제로가 되지 않는다.

본 실시형태에 있어서, 기준 스케일은, 스케일이 정해값으로 조정되어 있는 스테레오 카메라(300)에 있어서 스테레오 계측된 무한 원점의 기준 물체까지의 거리이며, 즉 무한원(無限遠)을 포함한다.

도 21은, 본 실시형태에 관한 위치 계측 방법의 일례를 설명하기 위한 모식도이다. 도 21은, 예를 들면, 스테레오 카메라(300)에 의해, 도 17에 나타낸 바와 같은 무한 원점에 존재하는 물체가 차지하는 비율이 큰 촬영 대상 SB를 촬영했을 때의, 촬영 대상 SB의 각각의 계측점(P)이 투영된 화소에 있어서 생긴 시차 d와, 시차 화상 데이터 SG 전체에서의 각 화소에 있어서 생긴 시차 d를 쌓아올린 결과인 빈도와의 관계를 나타내는 히스토그램 도면이다. 도 21에 나타낸 그래프에 있어서, 가로축은, 시차 d를 나타내고, 세로축은, 시차 d의 빈도를 나타낸다.

촬영 대상 SB에 있어서, 구름과 같은 무한 원점에 존재하는 물체의 비율이 큰 경우, 도 21에 나타낸 바와 같이, 무한 원점에 대응하는 시차 d에 있어서, 그 빈도의 피크값 Δd이 발생한다. 외부 교정 처리에 의해 스케일이 정해값으로 조정되어 있는 스테레오 카메라(300)로 무한 원점의 물체를 촬영한 경우, 시차 d의 빈도는, 시차 d가 제로일 때 피크값 Δd를 나타낸다. 한편, 스케일이 정해값이 아닌 스테레오 카메라(300)와 무한 원점의 물체를 촬영한 경우, 시차 d의 빈도는, 시차 d가 제로가 아닐 때 피크값 Δd를 나타낸다.

제2 조정부(104)는, 제1 화상 데이터 MR에서의 기준 물체(본 실시형태에 있어서는 무한 원점)의 화상 데이터와 제2 화상 데이터 ML에서의 기준 물체의 화상 데이터와의 시차 d가, 기준 시차 d₀(본 실시형태에서는 제로)와 일치하도록, 외부 파라미터의 요우각 α를 변경한다. 즉, 제2 조정부(104)는, 무한 원점의 기준 물체를 촬영했을 때의 시차 d의 피크가 제로가 아닐 경우, 그 시차 d의 피크가 제로로 되도록, 외부 파라미터의 요우각 α를 변경한다.

도 22는, 본 실시형태에 관한 제2 조정부(104)에 의한 스케일의 조정 방법의 일례를 설명하기 위한 모식도이다. 도 22에 나타낸 그래프에 있어서, 가로축은, 외부 파라미터의 요우각 α를 나타내고, 세로축은, 무한 원점에 존재하는 물체의 계측점(P)을 촬영했을 때의 시차 d의 피크값 Δd, 즉 도 17에 나타낸 바와 같은 무한 원점에 존재하는 물체가 차지하는 비율이 큰 촬영 대상 SB를 촬영했을 때의 시차 d의 빈도가 피크를 나타내고 있는 시차 d의 피크값 Δd를 나타낸다.

제2 조정부(104)는, 기준 요우각 α₀을 기준으로 하여, 소정 범위에 있어서, 요우각 α를 소정 각도씩 변경한다. 스테레오 계측부(102)는, 변경된 요우각 α의 각각에 있어서, 시차 d의 빈도에서의 피크값을 산출한다. 도 22에 나타낸 바와 같이, 시차 화상 데이터 SG의 각 화소에서의 시차 d는, 요우각 α의 변경에 기초하여 변화한다. 제2 조정부(104)는, 소정 범위에 있어서 기준 시차 d₀와 시차 d와의 차의 최소값을 얻을 수 있었을 때의 요우각 α를 정해 요우각 αr로 결정한다. 즉, 제2 조정부(104)는, 변경한 요우각 α에서의 시차 d의 빈도의 피크값이 가장 제로에 가까운 요우각 α를 정해 요우각 αr로 결정한다. 그리고, 제2 조정부(104)는, 소정 범위에 있어서 기준 시차 d₀와 시차 d와의 차이가 시차 임계값 이하로 되었을 때의 요우각 α를 정해 요우각 αr로 결정해도 된다. 시차 임계값은, 기준 시차 d₀와 시차 d와의 차에 대하여 규정된 임계값이다.

이상 설명한 바와 같이, 본 실시형태에 있어서는, 무한 원점에 존재하는 물체를 사용하여, 3차원 데이터 DG의 스케일을 조정할 수 있다. 본 실시형태에 있어서도, 제1 스테레오 카메라(301)의 제1 카메라(30A)와 제2 카메라(30B)와의 상대 위치, 및 제2 스테레오 카메라(302)의 제3 카메라(30C)와 제4 카메라(30D)와의 상대 위치의 양쪽이 변동되어 버린 경우라도, 제1 스테레오 카메라(301)의 자동 교정 처리, 및 제2 스테레오 카메라(302)의 자동 교정 처리를 개별적으로 실시할 수 있다.

제4 실시형태.

제4 실시형태에 대하여 설명한다. 이하의 설명에 있어서, 전술한 실시형태와 동일하거나 또는 동등한 구성 요소에 대하여는 동일한 부호를 부여하고, 그 설명을 간략 또는 생략한다.

전술한 실시형태에 있어서는, 제1 조정부(103) 및 제2 조정부(104)에 의해 변경되는 파라미터가, 제1 카메라 MR과 제2 카메라 ML과의 상대 위치를 규정하는 외부 파라미터인 것으로 하였다.

본 실시형태에 있어서는, 제1 조정부(103) 및 제2 조정부(104)에 의해 변경되는 파라미터가, 제1 카메라(30R) 및 제2 카메라(30L) 각각의 내부 파라미터인 예에 대하여 설명한다.

내부 파라미터는, 제1 카메라(30R) 및 제2 카메라(30L) 각각의 고유 데이터를 규정한다. 내부 파라미터는, 예를 들면, 카메라(30)의 광학계의 초점 거리, 및 카메라(30)의 광학계의 광학 중심과 이미지 센서의 촬상면과의 교점과, 이미지 센서에서의 화상 중심과의 위치 어긋남량을 포함한다.

본 실시형태에 있어서, 내부 파라미터는, Xs축 및 Ys축과 평행 방향의 제2 카메라(30L)의 광학계의 광축에 대한 제2 카메라(30L)의 이미지 센서(31L)의 위치를 포함한다. 즉, 본 실시형태에 있어서, 내부 파라미터는, Xs축 방향 및 Ys축 방향에서의 화상 중심의 위치를 포함한다.

예를 들면, 외적 요인에 의해, 카메라(30)의 내부에 있어서 이미지 센서가 동작할 가능성이 있다. 예를 들면, 열의 영향에 의해, 이미지 센서의 위치가 변동될 가능성이 있다. 이미지 센서의 위치가 변동되면, 카메라(30)의 광학계의 광축과 이미지 센서의 촬상면과의 교점을 나타내는 화상 중심의 위치가 변동된다. 화상 중심의 위치가 변동되면, 시차 화상 데이터 SG의 스테레오율이 저하되거나, 3차원 데이터 DG의 스케일과 스케일의 정해값과의 차이가 커지거나 할 가능성이 있다.

본 실시형태에 있어서, 제1 조정부(103)는, 스테레오율을 조정하기 위해, 내부 파라미터로서, Xs축 방향의 이미지 센서(31L)의 위치를 변경하여, Xs축 방향에서의 화상 중심의 위치를 조정한다.

본 실시형태에 있어서, 제2 조정부(104)는, 스케일을 조정하기 위해, 내부 파라미터로서, Ys축 방향의 이미지 센서(31L)의 위치를 변경하여, Ys축 방향에서의 화상 중심의 위치를 조정한다.

카메라(30)의 고유 데이터는, 전술한 복수의 내부 파라미터를 포함하는 하기의 (4)식에 의해 규정된다.

[수식 4]

(4)식에 있어서, (X, Y, Z)는, 글로벌 좌표계에서의 제2 카메라(30L)의 화상 중심의 위치를 나타낸다. s는, 카메라 좌표계에서의 Zs축 방향의 거리 또는 스케일을 나타낸다. u는, 카메라 좌표계에서의 Xs축 방향의 위치를 나타낸다. f는, 초점 거리를 나타낸다. su는, Xs축 방향의 화소비(Ys축 방향에 대한 비)를 나타낸다. sv는, 카메라 좌표계에서의 Ys축 방향의 화소비(Xs축 방향에 대한 비)를 나타낸다. u0은, 카메라 좌표계에서의 Xs축 방향의 제2 카메라(30L)의 화상 중심의 위치를 나타낸다. v₀은, 카메라 좌표계에서의 Ys축 방향의 제2 카메라(30L)의 화상 중심의 위치를 나타낸다.

(4)식은, 제2 카메라(30L)에 관한 요우각 α, 피치각 β, 롤각 γ, 위치 u0, 및 위치 v₀에 의해 규정되는 카메라 내부 행렬과, 제2 카메라(30L)의 위치 및 자세를 나타내는 복수의 파라미터에 의해 규정되는 카메라 외부 행렬과, 글로벌 좌표계에서의 위치 X, 위치 Y, 및 위치(Z)의 각각에 의해 규정되는 평행 이동 벡터를 포함한다. (4)식은, 제2 카메라(30L)의 카메라 좌표계에서의 Xs축 방향의 화상 중심의 위치 u0 및 Ys축 방향의 화상 중심의 위치 v₀를 제1 카메라(30R)의 카메라 좌표계에서의 Xs축 방향의 화상 중심의 위치 u 및 Ys축 방향의 화상 중심의 위치 v로 변환하는 변환식이다.

제1 조정부(103)는, 스테레오율이 커지도록, 위치 u0를 변경한다. 위치 u0를 변경하는 것은, 전술한 실시형태에서 설명한, 피치각 β를 변경시키는 것과 근사(近似)한다.

본 실시형태에 있어서, 기억부(109)는, Xs축 방향의 이미지 센서(31L)의 기준 위치를 기억한다. Xs축 방향의 이미지 센서(31L)의 기준 위치는, Xs축 방향의 제2 카메라(30L)의 화상 중심의 기준 위치를 포함한다. Xs축 방향의 기준 위치는, 공장 출하 시의 외부 교정 처리에 있어서, 스테레오율이 스테레오 임계값 이상으로 되도록 조정된 화상 중심의 위치이다. 제1 조정부(103)는, Xs축 방향의 기준 위치를 포함하는 소정 범위에 있어서 이미지 센서(31L)의 위치를 변경하여, 스테레오율의 최대값을 산출한다.

제2 조정부(104)는, 기준 스케일과 3차원 데이터 DG의 스케일과의 차이가 작아지도록, 위치 v₀를 변경한다. 위치 v₀를 변경하는 것은, 전술한 실시형태에서 설명한, 요우각 α를 변경하는 것과 근사한다.

본 실시형태에 있어서, 기억부(109)는, Ys축 방향의 이미지 센서(31L)의 기준 위치를 기억한다. Ys축 방향의 이미지 센서(31L)의 기준 위치는, Ys축 방향의 제2 카메라(30L)의 화상 중심의 기준 위치를 포함한다. Ys축 방향의 기준 위치는, 공장 출하 시의 외부 교정 처리에 있어서, 기준 스케일과 3차원 데이터 DG의 스케일과의 차이가 스케일 임계값 이하로 되도록 조정된 화상 중심의 위치이다. 제2 조정부(104)는, Ys축 방향의 기준 위치를 포함하는 소정 범위에 있어서 이미지 센서(31L)의 위치를 변경하여, 기준 스케일과 3차원 데이터 DG의 스케일과의 차의 최소값을 산출한다.

이상 설명한 바와 같이, 제1 조정부(103) 및 제2 조정부(104)는, 카메라(30)의 내부 파라미터를 조정함으로써, 시차 화상 데이터 SG의 스테레오율을 향상시키고, 3차원 데이터 DG의 스케일을 정해값에 가까이할 수 있다.

제5 실시형태.

제5 실시형태에 대하여 설명한다. 이하의 설명에 있어서, 전술한 실시형태와 동일하거나 또는 동등한 구성 요소에 대하여는 동일한 부호를 부여하고, 그 설명을 간략 또는 생략한다.

도 23은, 본 실시형태에 관한 위치 계측 시스템(500)의 일례를 모식적으로 나타낸 도면이다. 본 실시형태에 있어서, 유압 셔블(1)의 제어 장치(100)는, 통신 회선(502)을 통하여, 유압 셔블(1)의 원격지에 설치되어 있는 서버(501) 및 단말기 장치(503)와 데이터 통신 가능하다. 서버(501)는, 컴퓨터 시스템을 포함한다. 단말기 장치(503)는, 퍼스널 컴퓨터 또는 휴대 단말기를 포함한다. 통신 회선(502)은, 인터넷(internet), 로컬 영역 네트워크(LAN: Local Area Network), 휴대 전화기 통신망, 및 위성 통신망 중 하나 이상을 포함한다.

본 실시형태에 있어서, 서버(501)는, 제어 장치(100)의 일부 또는 전부의 기능을 가진다. 즉, 서버(501)는, 화상 데이터 취득부(101), 스테레오 계측부(102), 제1 조정부(103), 제2 조정부(104), 위치 데이터 산출부(105), 작업기 위치 데이터 산출부(106), 맵 데이터 작성부(107), 표시 제어부(108), 기억부(109), 및 입출력부(110) 중 하나 이상을 가진다.

유압 셔블(1)의 카메라(30)로 촬상(撮像)된 화상 데이터, 위치 검출기(23)에 의해 검출된 선회체(3)의 위치 데이터, 자세 검출기(24)에 의해 검출된 선회체(3)의 자세 데이터, 및 방위 검출기(25)에 의해 검출된 선회체(3)의 방위 데이터가, 통신 회선(502)을 통하여, 서버(501)에 공급된다.

예를 들면, 서버(501)가, 스테레오 계측부(102), 제1 조정부(103), 제2 조정부(104), 및 기억부(109)를 가지는 경우, 서버(501)는, 카메라(30)로 촬영되고 통신 회선(502)을 통하여 공급된 화상 데이터에 기초하여, 스테레오 계측을 실시하거나, 스테레오율이 커지도록 파라미터를 변경하거나, 스케일이 정해값으로 되도록 파라미터를 변경하거나 할 수 있다.

그리고, 본 실시형태에 있어서, 단말기 장치(503)가, 제어 장치(100)의 일부 또는 전부의 기능을 가져도 된다. 즉, 단말기 장치(503)가, 화상 데이터 취득부(101), 스테레오 계측부(102), 제1 조정부(103), 제2 조정부(104), 위치 데이터 산출부(105), 작업기 위치 데이터 산출부(106), 맵 데이터 작성부(107), 표시 제어부(108), 기억부(109), 및 입출력부(110) 중 하나 이상을 가져도 된다.

그리고, 본 실시형태에 있어서, 표시 제어부(108)에 제어되는 표시 장치(26)는, 유압 셔블(1)에 설치되어도 되고, 서버(501)에 접속되어도 되고, 단말기 장치(503)에 접속되어도 된다.

제6 실시형태.

제6 실시형태에 대하여 설명한다. 이하의 설명에 있어서, 전술한 실시형태와 동일하거나 또는 동등한 구성 요소에 대하여는 동일한 부호를 부여하고, 그 설명을 간략 또는 생략한다.

전술한 제2 실시형태에 있어서는, 타겟 TG를 사용하여 3차원 데이터 DG의 스케일을 조정하는 것으로 하였다. 본 실시형태에 있어서는, 기준 스케일로서 작업기(2)를 사용하여, 3차원 데이터 DG의 스케일을 조정하는 예에 대하여 설명한다. 그리고, 본 실시형태에 있어서도, 전술한 실시형태에 따라서, 스테레오율을 향상시키는 처리가 실시된다.

도 24는, 본 실시형태에 관한 위치 계측 방법의 일례를 설명하기 위한 모식도이다. 본 실시형태에 있어서는, 기준 물체인 버킷(8)의 날끝(8bT)이 스테레오 카메라(300)의 촬영 영역에 배치된다. 예를 들면, Xm축 방향에서의 스테레오 카메라(300)와 날끝(8bT)과의 거리가 가장 길어지도록 작업기(2)의 자세가 조정된 상태에서, 날끝(8bT)이 스테레오 카메라(300)의 촬영 영역에 배치된다.

작업기 위치 데이터 산출부(106)는, 글로벌 좌표계에서의 버킷(8)의 날끝(8bT)의 위치를 산출할 수 있다. 또한, 위치 데이터 산출부(105)는, 글로벌 좌표계에서의 카메라(30)의 위치 데이터를 산출할 수 있다.

위치 데이터 산출부(105)는, 글로벌 좌표계에서의 스테레오 카메라(300)와 날끝(8bT)과의 상대 위치 데이터를 산출한다.

제2 조정부(104)는, 기준 스케일과 3차원 데이터 DG의 스케일과의 차이가 작아지도록, 외부 파라미터의 요우각 α를 변경한다. 본 실시형태에 있어서, 기준 스케일은, 스테레오 카메라(300)와 날끝(8bT)과의 거리인 기준 거리 ZF를 포함한다.

이상 설명한 바와 같이, 본 실시형태에 있어서는, 작업기(2)를 사용하여, 3차원 데이터 DG의 스케일을 조정할 수 있다.

그리고, 본 실시형태에 있어서, 유압 셔블(1)은 다른 유압 셔블의 작업기가 기준 스케일로서 이용되어도 된다. 다른 유압 셔블이, 본 실시형태에 관한 유압 셔블(1)과 마찬가지로, 작업기 각도 검출기(22), 위치 검출기(23), 자세 검출기(24), 방위 검출기(25), 및 제어 장치(100)를 가지고 있으면, 다른 유압 셔블은, 다른 유압 셔블의 작업기의 버킷의 날끝의 절대 위치를 취득할 수 있다. 그 다른의 유압 셔블의 날끝의 절대 위치를 나타내는 절대 위치 데이터가, 통신 장치를 통하여 본 실시형태에 관한 유압 셔블(1)에 송신되는 것에 의해, 유압 셔블(1)은, 스테레오 카메라(300)와 다른 유압 셔블의 날끝과의 상대 위치 데이터를 취득할 수 있다.

그리고, 전술한 각각의 실시형태에 있어서는, 유압 셔블(1)에 카메라(30)가 4개, 및 스테레오 카메라(300)가 2개 설치되는 예에 대하여 설명하였다. 카메라(30)는, 유압 셔블(1)에 2개 이상 설치되어 있으면 된다. 또한, 전술한 제2 실시형태 및 제3 실시형태에 있어서는, 스테레오 카메라(300)는 하나 이상 설치되어 있으면 된다.

그리고, 전술한 각각의 실시형태에 있어서는, 스테레오율은, 스테레오 계측되는 시차 화상 데이터 SG의 복수의 화소 중 스테레오 계측이 성공한 화소의 비율을 나타내는 것으로 하였다. 스테레오율은, 다른 정의라도 된다. 예를 들면, 스테레오율은, 스테레오 계측되는 시차 화상 데이터의 복수의 화소 중 스테레오 계측이 성공한 화소의 총수를 나타낸 것으로 해도 된다.

그리고, 전술한 각각의 실시형태에 있어서는, 3차원 데이터의 스케일 조정로서, 요우각 등을 조정, 즉 시차 d를 조정함으로써 스케일을 변경하도록 했지만, 그 실시형태에 한정되지 않고, 그 외의 조정, 예를 들면, 수식(1)에서의 b(카메라 사이 거리)나 f(초점 거리)를 조정함으로써 스케일을 변경시키는 것이라도 된다.

그리고, 전술한 각각의 실시형태에 있어서는, 작업 기계(1)가 유압 셔블인 것으로 하였다. 작업 기계(1)는, 시공 대상을 시공 가능한 작업 기계이면 되고, 시공 대상을 굴삭 가능한 굴삭 기계 및 토사를 운반 가능한 운반 기계라도 된다. 작업 기계(1)는, 예를 들면, 휠 로더(wheel loader)라도 되고, 불도저(bulldozer)라도 되고, 덤프 트럭이라도 된다.

1: 유압 셔블(작업 기계), 1B: 차체, 2: 작업기, 3: 선회체, 4: 운전실, 4S: 운전석, 5: 주행체, 5A: 크롤러, 5B: 크롤러, 6: 붐, 7: 암, 8: 버킷, 8BT: 날끝, 10: 붐 실린더, 11: 암 실린더, 12: 버킷 실린더, 13: 붐 핀, 14: 암 핀, 15: 버킷 핀, 16: 붐 스트로크 센서, 17: 암 스트로크 센서, 18: 버킷 스트로크 센서, 20: 검출 시스템, 21: GPS: 안테나, 22: 작업기 각도 검출기, 23: 위치 검출기, 24: 자세 검출기, 25: 방위 검출기, 26: 표시 장치, 30: 카메라, 30A: 제1 카메라, 30B: 제2 카메라, 30C: 제3 카메라, 30D: 제4 카메라, 30L: 제2 카메라, 30R: 제1 카메라, 31L: 이미지 센서, 31R: 이미지 센서, 35: 조작 장치, 35L: 좌측 조작 레버, 35R: 우측 조작 레버, 50: 위치 계측 시스템, 100: 제어 장치, 101: 화상 데이터 취득부, 102: 스테레오 계측부, 103: 제1 조정부, 104: 제2 조정부, 105: 위치 데이터 산출부, 106: 작업기 위치 데이터 산출부, 107: 맵 데이터 작성부, 108: 표시 제어부, 109: 기억부, 110: 입출력부, 300: 스테레오 카메라, 301: 제1 스테레오카메라, 302: 제2 스테레오 카메라, 500: 위치 계측 시스템, 501: 서버, 502: 통신 회선, AX1: 회전축, AX2: 회전축, AX3: 회전축, DG: 3차원 데이터, ER: 점, EL: 점, BL: 베이스 라인, MR: 제1 화상 데이터, ML: 제2 화상 데이터, OR: 광학 중심, OL: 광학 중심, P: 계측점, SB: 촬영 대상, SG: 시차 화상 데이터, Zr: 선회축.

Claims

작업 기계(work machine)에 설치된 제1 스테레오 카메라의 제1 카메라로 촬영된 제1 화상 데이터 및 상기 제1 스테레오 카메라의 제2 카메라로 촬영된 제2 화상 데이터를 취득하는 화상 데이터 취득부;
상기 제1 화상 데이터와, 상기 제2 화상 데이터와, 상기 제1 카메라 및 상기 제2 카메라에 관한 파라미터에 기초하여, 스테레오 계측을 실시하는 스테레오 계측부;,
상기 파라미터 중 적어도 일부를 변경하여, 스테레오 계측된 제1 시차(視差) 화상 데이터의 스테레오율(stereo ratio)을 조정하는 제1 조정부; 및
상기 파라미터 중 적어도 일부를 변경하여, 상기 제1 시차 화상 데이터로부터 구해지는 제1의 3차원 데이터의 스케일을 조정하는 제2 조정부;
를 포함하는 위치 계측 시스템.
제1항에 있어서,
상기 제2 조정부는, 상기 제1 시차 화상 데이터의 시차를 조정하여, 상기 제1의 3차원 데이터의 스케일을 조정하는, 위치 계측 시스템.
제1항 또는 제2항에 있어서,
상기 파라미터는, 상기 제1 카메라와 상기 제2 카메라와의 상대(相對) 위치를 규정하는 외부 파라미터를 포함하고,
상기 외부 파라미터는, 상기 제2 카메라의 피치각을 포함하고,
상기 제1 조정부는, 상기 피치각을 변경시키는, 위치 계측 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 파라미터는, 상기 제1 카메라와 상기 제2 카메라와의 상대 위치를 규정하는 외부 파라미터를 포함하고,
상기 외부 파라미터는, 상기 제2 카메라의 요우각(yaw angle)을 포함하고,
상기 제2 조정부는, 상기 요우각을 변경시키는, 위치 계측 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서,
제3 카메라 및 제4 카메라로 이루어지는 제2 스테레오 카메라를 더 포함하고,
상기 제2 조정부는, 상기 제3 카메라로부터 취득된 제3 화상 데이터 및 상기 제4 카메라로부터 취득된 제4 화상 데이터에 기초하여 생성된 제2의 3차원 데이터의 스케일과 상기 제1의 3차원 데이터의 스케일과의 차이가 작아지도록, 상기 제1의 3차원 데이터의 스케일을 조정하는, 위치 계측 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제2 조정부는, 상기 제1 스테레오 카메라의 위치 데이터와 기준 물체의 위치 데이터에 기초하여 산출되는 상기 제1 스테레오 카메라와 기준 물체와의 기준 거리와, 상기 제1의 3차원 데이터에서의 상기 제1 스테레오 카메라와 상기 기준 물체와의 거리와의 차이가 작아지도록, 상기 파라미터를 변경하는, 위치 계측 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 제1 화상 데이터 및 상기 제2 화상 데이터의 각각은, 상기 제1 스테레오 카메라의 무한 원점(遠点)에 배치된 기준 물체의 화상 데이터를 포함하고,
상기 제2 조정부는, 상기 제1 화상 데이터 및 상기 제2 화상 데이터에 기초하여 계측된 제1 시차 화상 데이터에서의 시차의 피크가 제로로 되도록, 상기 파라미터를 변경하는, 위치 계측 시스템.
작업 기계에 설치된 스테레오 카메라의 제1 카메라로 촬영된 제1 화상 데이터 및 상기 스테레오 카메라의 제2 카메라로 촬영된 제2 화상 데이터를 취득하는 화상 데이터 취득부;
상기 제1 화상 데이터와, 상기 제2 화상 데이터와, 상기 제1 카메라 및 상기 제2 카메라에 관한 파라미터에 기초하여, 스테레오 계측을 실시하는 스테레오 계측부; 및
상기 스테레오 카메라의 절대 위치 데이터와 기준 물체의 절대 위치 데이터에 기초하여 산출되는 상기 스테레오 카메라와 상기 기준 물체와의 기준 거리와, 상기 스테레오 계측부에 의해 생성된 시차 화상 데이터에서의 상기 스테레오 카메라와 상기 기준 물체와의 거리와의 차이가 작아지도록, 상기 파라미터 중 적어도 일부를 변경하는 제2 조정부;
를 포함하는 위치 계측 시스템.
작업 기계에 설치된 스테레오 카메라의 제1 카메라로 촬영된 상기 스테레오 카메라의 무한 원점에 배치된 기준 물체를 포함하는 제1 화상 데이터 및 상기 스테레오 카메라의 제2 카메라로 촬영된 상기 기준 물체를 포함하는 제2 화상 데이터를 취득하는 화상 데이터 취득부;
상기 제1 화상 데이터와, 상기 제2 화상 데이터와, 상기 제1 카메라 및 상기 제2 카메라에 관한 파라미터에 기초하여, 스테레오 계측을 실시하는 스테레오 계측부; 및
상기 제1 화상 데이터 및 상기 제2 화상 데이터에 기초하여 계측된 제1 시차 화상 데이터에서의 시차의 피크가 제로로 되도록, 상기 파라미터 중 적어도 일부를 변경하는 제2 조정부;
를 포함하는 위치 계측 시스템.
제1항 내지 제9항 중 어느 한 항에 기재된 위치 계측 시스템을 포함하는 작업 기계.
작업 기계에 설치된 제1 스테레오 카메라의 제1 카메라로 촬영된 제1 화상 데이터 및 상기 제1 스테레오 카메라의 제2 카메라로 촬영된 제2 화상 데이터를 취득하는 단계;
상기 제1 화상 데이터와, 상기 제2 화상 데이터와, 상기 제1 카메라 및 상기 제2 카메라에 관한 파라미터에 기초하여, 스테레오 계측을 실시하는 단계;
상기 파라미터 중 적어도 일부를 변경하여, 스테레오 계측된 제1 시차 화상 데이터의 스테레오율을 조정하는 단계; 및
상기 파라미터 중 적어도 일부를 변경하여, 상기 제1 시차 화상 데이터로부터 구해지는 3차원 데이터의 스케일을 조정하는 단계;
를 포함하는 위치 계측 방법.