KR20170048231A

KR20170048231A - 촬상 장치의 교정 시스템, 작업 기계 및 촬상 장치의 교정 방법

Info

Publication number: KR20170048231A
Application number: KR1020167001504A
Authority: KR
Inventors: ? 가와모토; 가와모토; 다이키 스가와라; 히로요시 야마구치
Original assignee: 가부시키가이샤 고마쓰 세이사쿠쇼
Priority date: 2015-09-30
Filing date: 2015-09-30
Publication date: 2017-05-08
Also published as: WO2016047808A1; US20170094154A1; CN105518221A; JPWO2016047808A1; DE112015000108T5

Abstract

촬상 장치의 교정 시스템은, 2개 이상의 촬상 장치와, 2개 이상의 상기 촬상 장치 중, 제1 촬상 장치와 제2 촬상 장치와의 거리를 일정하게 하여 상기 제2 촬상 장치의 자세를 규정하는 파라미터를 변화시키고, 상기 제1 촬상 장치 및 상기 제2 촬상 장치에 의해 얻어진 한 쌍의 화상 간에서 대응하는 부분을 탐색하고, 탐색한 결과에 기초하여, 상기 파라미터를 구하는 처리 장치를 포함한다.

Description

촬상 장치의 교정 시스템, 작업 기계 및 촬상 장치의 교정 방법{CORRECTION SYSTEM OF IMAGE PICKUP APPARATUS, WORK MACHINE, AND CORRECTION METHOD OF IMAGE PICKUP APPARATUS}

본 발명은, 작업 기계가 구비하는 촬상(撮像) 장치를 교정하기 위한, 촬상 장치의 교정 시스템, 작업 기계 및 촬상 장치의 교정 방법에 관한 것이다.

촬상 장치를 가지는 작업 기계가 있다(예를 들면, 특허 문헌 1). 이와 같은 작업 기계는, 촬상 장치에 의해 대상을 촬상하고, 촬상 결과에 기초하여 자체의 동작을 제어하거나, 촬상한 대상의 정보를 관리 장치에 보내거나 한다.

일본 공개특허 제2012―233353호 공보

특허 문헌 1에는, 촬상 장치를 사용하여 작업기를 교정하는 기술이 기재되어 있다. 그러나, 특허 문헌 1에는, 작업 기계가 가지는 촬상 장치를 교정하는 것에 대해서는 기재도 시사도 되어 있지 않다.

본 발명은, 작업 기계가 가지는 촬상 장치를 교정하는 것을 목적으로 한다.

본 발명은, 2개 이상의 촬상 장치와, 2개 이상의 상기 촬상 장치 중, 제1 촬상 장치와 제2 촬상 장치와의 거리를 일정하게 하여 상기 제2 촬상 장치의 자세를 규정하는 파라미터를 변화시키고, 상기 제1 촬상 장치 및 상기 제2 촬상 장치에 의해 얻어진 한 쌍의 화상 간에서 대응하는 부분을 탐색하고, 탐색한 결과에 기초하여, 상기 파라미터를 구하는 처리 장치를 포함하는, 촬상 장치의 교정 시스템이다.

상기 처리 장치는, 2개 이상의 상기 촬상 장치 중, 제1 촬상 장치와 제2 촬상 장치와의 거리를 일정하게 하여 상기 제2 촬상 장치의 자세를 규정하는 파라미터를 변화시키고, 상기 제1 촬상 장치 및 상기 제2 촬상 장치에 의해 얻어진 한 쌍의 화상 간에서 대응하는 부분을 탐색하는 탐색부와, 상기 탐색부가 탐색한 결과에 기초하여, 상기 촬상 장치의 자세를 규정하는 자세 파라미터를 구하는 결정부를 가지는 것이 바람직하다.

상기 파라미터는, 상기 제2 촬상 장치의 회전을 규정하는 것인 것이 바람직하다.

상기 파라미터는, 상기 제1 촬상 장치를 중심으로 하여 상기 제2 촬상 장치를 회전시키는 제1 파라미터와, 상기 제2 촬상 장치의 중심의 주위로 상기 제2 촬상 장치를 회전시키는 제2 파라미터를 포함하는 것이 바람직하다.

상기 처리 장치는, 2개 이상의 상기 촬상 장치 중 한 쌍의 상기 촬상 장치에 의해 얻어진 한 쌍의 화상 간에서 대응하는 부분을 탐색한 결과에 기초하여, 상기 파라미터를 구할 필요가 있는 상기 제1 촬상 장치 및 상기 제2 촬상 장치를 결정하는 것이 바람직하다.

상기 처리 장치는, 복수 쌍의 상기 촬상 장치가 있는 경우, 탐색의 성공율이 임계값 미만인 한 쌍의 상기 촬상 장치는 상기 파라미터를 구하는 것이 바람직하다.

본 발명은, 전술한 촬상 장치의 교정 시스템과, 복수의 상기 촬상 장치를 포함하는, 작업 기계이다.

본 발명은, 2개 이상의 촬상 장치에 의해 대상을 촬상하여 복수의 화상을 얻어, 복수의 상기 촬상 장치 중 한 쌍의 촬상 장치에 의해 얻어진 한 쌍의 화상 간에서 대응하는 부분을 탐색한 결과에 기초하여 한 쌍의 상기 촬상 장치 중 어느 한쪽의 자세를 규정하는 파라미터를 구할 것인지의 여부를 결정하고, 상기 파라미터를 구하는 경우, 한 쌍의 상기 촬상 장치인 제1 촬상 장치와 제2 촬상 장치와의 거리를 일정하게 하여, 상기 제2 촬상 장치의 자세를 규정하는 파라미터를 변화시키고, 상기 제1 촬상 장치 및 상기 제2 촬상 장치에 의해 얻어진 한 쌍의 화상 간의 대응하는 부분을 탐색하고, 탐색한 결과에 기초하여 상기 촬상 장치의 자세를 규정하는 자세 파라미터를 구하는, 촬상 장치의 교정 방법이다.

본 발명은, 작업구(operation tool)를 가지는 작업기(work machine)를 구비한 작업 기계를 사용하여 작업할 때의 작업 효율의 저하를 억제할 수 있다.

도 1은, 실시형태에 관한 촬상 장치의 교정 시스템을 구비한 유압 셔블(hydraulic shovel)의 사시도이다.
도 2는, 실시형태에 관한 유압 셔블의 운전석 부근을 나타낸 사시도이다.
도 3은, 실시형태에 관한 유압 셔블이 가지는 작업기의 치수 및 유압 셔블의 좌표계를 나타낸 도면이다.
도 4는, 복수의 촬상 장치가 대상을 촬상함으로써 얻어진 화상의 일례를 나타낸 도면이다.
도 5는, 복수의 촬상 장치가 촬상하는 대상의 일례를 나타낸 도면이다.
도 6은, 실시형태에 관한 촬상 장치의 교정 시스템을 나타낸 도면이다.
도 7은, 한 쌍의 촬상 장치를 사용하여 버킷(bucket)의 날의 날끝(blade edge)을 3차원 계측하는 예를 설명하는 도면이다.
도 8은, 한 쌍의 촬상 장치에 의해 얻어진 한 쌍의 화상을 나타낸 도면이다.
도 9는, 한 쌍의 촬상 장치에 의해 얻어진 한 쌍의 화상을 나타낸 도면이다.
도 10은, 한 쌍의 촬상 장치의 위치 관계를 나타낸 사시도이다.
도 11은, 촬상 장치에 대한 촬상 장치의 어긋남(deviation)의 설명도이다.
도 12는, 한 쌍의 촬상 장치에 의해 얻어진 한 쌍의 화상을 나타낸 도면이다.
도 13은, 한 쌍의 촬상 장치에 의해 얻어진 한 쌍의 화상을 나타낸 도면이다.
도 14는, 실시형태에 관한 교정 시스템이 실시형태에 관한 교정 방법을 실행할 때의 처리를 나타낸 플로우차트이다.
도 15는, 자세 파라미터를 구하는 촬상 장치를 결정하는 방법을 설명하기 위한 도면이다.
도 16은, 자세 파라미터를 구하는 촬상 장치를 결정하기 위한 테이블의 일례를 나타낸 도면이다.
도 17은, 자세 파라미터를 설명하기 위한 도면이다.
도 18은, 자세 파라미터를 설명하기 위한 도면이다.
도 19는, 자세 파라미터를 설명하기 위한 도면이다.
도 20은, 자세 파라미터를 설명하기 위한 도면이다.
도 21은, 자세 파라미터를 설명하기 위한 도면이다.

본 발명을 실시하기 위한 형태(실시형태)에 대하여, 도면을 참조하면서 상세하게 설명한다.

<유압 셔블의 전체 구성>

도 1은, 실시형태에 관한 촬상 장치의 교정 시스템을 구비한 유압 셔블(100)의 사시도이다. 도 2는, 실시형태에 관한 유압 셔블(100)의 운전석 부근을 나타낸 사시도이다. 도 3은, 실시형태에 관한 유압 셔블이 가지는 작업기(2)의 치수 및 유압 셔블(100)의 좌표계를 나타낸 도면이다.

작업 기계인 유압 셔블(100)은, 차체(1) 및 작업기(2)를 가진다. 차체(1)는, 선회체(旋回體)(3), 운전실(4) 및 주행체(5)를 가진다. 선회체(3)는, 주행체(5)에 선회(旋回) 가능하게 장착되어 있다. 선회체(3)는, 도시하지 않은 유압(油壓) 펌프 및 엔진 등의 장치를 수용하고 있다. 운전실(4)은 선회체(3)의 앞부분에 배치되어 있다. 운전실(4) 내에는, 도 2에 나타내는 조작 장치(25)가 배치된다. 주행체(5)는 크롤러 트랙(crawler track)(5a, 5b)을 가지고 있고, 크롤러 트랙(5a, 5b)이 회전함으로써 유압 셔블(100)이 주행한다.

작업기(2)는, 차체(1)의 앞부분에 장착되어 있고, 붐(boom)(6), 암(arm)(7), 작업구로서의 버킷(8), 붐 실린더(10), 암 실린더(11) 및 버킷 실린더(12)를 가진다. 실시형태에 있어서, 차체(1)의 전방은, 도 2에 나타내는 운전석(4S)의 등받이(4SS)로부터 조작 장치(25)를 향하는 방향 측이다. 차체(1)의 후방은, 조작 장치(25)로부터 운전석(4S)의 등받이(4SS)를 향하는 방향 측이다. 차체(1)의 앞부분은, 차체(1)의 전방측의 부분이며, 차체(1)의 카운터 웨이트(counter weight WT)와는 반대측의 부분이다. 조작 장치(25)는, 작업기(2) 및 선회체(3)를 조작하기 위한 장치이며, 우측 레버(25R) 및 좌측 레버(25L)를 가진다.

붐(6)의 기단부(基端部)는, 붐 핀(boom pin)(13)을 통하여 차체(1)의 앞부분에 회동(回動) 가능하게 장착되어 있다. 붐 핀(13)은, 붐(6)의 선회체(3)에 대한 회동 중심에 상당한다. 암(7)의 기단부는, 암 핀(arm pin)(14)을 통하여 붐(6)의 선단부에 회동 가능하게 장착되어 있다. 암 핀(14)은, 암(7)의 붐(6)에 대한 회동 중심에 상당한다. 암(7)의 선단부에는, 버킷 핀(bucket pin)(15)을 통하여 버킷(8)이 회동 가능하게 장착되어 있다. 버킷 핀(15)은, 버킷(8)의 암(7)에 대한 회동 중심에 상당한다.

도 3에 나타낸 바와 같이, 붐(6)의 길이, 즉 붐 핀(13)과 암 핀(14)과의 사이의 길이는 L1이다. 암(7)의 길이, 즉 암 핀(14)과 버킷 핀(15)과의 사이의 길이는 L2이다. 버킷(8)의 길이, 즉 버킷 핀(15)과 버킷(8)의 날(9)의 선단인 날끝(P3)과의 사이의 길이는, L3이다.

도 1에 나타내는 붐 실린더(10), 암 실린더(11) 및 버킷 실린더(12)는, 각각 유압에 의해 구동되는 유압 실린더이다. 붐 실린더(10)의 기단부는, 붐 실린더 풋 핀(boom cylinder foot pin)(10a)을 통하여 선회체(3)에 회동 가능하게 장착되어 있다. 붐 실린더(10)의 선단부는, 붐 실린더 탑 핀(10b)을 통하여 붐(6)에 회동 가능하게 장착되어 있다. 붐 실린더(10)는, 유압에 의해 신축함으로써, 붐(6)을 구동한다.

암 실린더(11)의 기단부는, 암 실린더 풋 핀(11a)을 통하여 붐(6)에 회동 가능하게 장착되어 있다. 암 실린더(11)의 선단부는, 암 실린더 탑 핀(11b)을 통하여 암(7)에 회동 가능하게 장착되어 있다. 암 실린더(11)는, 유압에 의해 신축됨으로써, 암(7)을 구동한다.

버킷 실린더(12)의 기단부는, 버킷 실린더 풋 핀(12a)을 통하여 암(7)에 회동 가능하게 장착되어 있다. 버킷 실린더(12)의 선단부는, 버킷 실린더 탑 핀(12b)을 통하여 제1 링크 부재(47)의 일단 및 제2 링크 부재(48)의 일단에 회동 가능하게 장착되어 있다. 제1 링크 부재(47)의 타단은, 제1 링크 핀(47a)을 통하여 암(7)의 선단부에 회동 가능하게 장착되어 있다. 제2 링크 부재(48)의 타단은, 제2 링크 핀(48a)을 통하여 버킷(8)에 회동 가능하게 장착되어 있다. 버킷 실린더(12)는, 유압에 의해 신축됨으로써, 버킷(8)을 구동한다.

도 3에 나타낸 바와 같이, 붐(6)과 암(7)과 버킷(8)에는, 각각 제1 각도 검출부(18A)와, 제2 각도 검출부(18B)와, 제3 각도 검출부(18C)가 설치되어 있다. 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)는, 예를 들면, 스트로크 센서이다. 이들은, 각각이, 붐 실린더(10), 암 실린더(11) 및 버킷 실린더(12)의 스트로크 길이를 검출함으로써, 차체(1)에 대한 붐(6)의 회동각(回動角)과, 붐(6)에 대한 암(7)의 회동각과, 암(7)에 대한 버킷(8)의 회동각을 간접적으로 검출한다.

실시형태에서는, 제1 각도 검출부(18A)는, 붐 실린더(10)의 스트로크 길이를 검출한다. 후술하는 처리 장치(20)는, 제1 각도 검출부(18A)가 검출한 붐 실린더(10)의 스트로크 길이로부터, 도 3에 나타내는 유압 셔블(100)의 좌표계(Xm, Ym, Zm)의 Zm축에 대하는 붐(6)의 회동각 δ1을 연산한다. 이하에 있어서, 유압 셔블(100)의 좌표계를 적절히, 차체 좌표계라고 한다. 도 2에 나타낸 바와 같이, 예를 들면, 차체 좌표계의 원점은, 붐 핀(13)의 중심이다. 붐 핀(13)의 중앙이란, 붐 핀(13)이 신장되는 방향에 직교하는 평면에서 붐 핀(13)을 잘랐을 때의 단면(斷面)의 중심, 또한 붐 핀(13)이 신장되는 방향에서의 중심이다. 차체 좌표계는, 실시형태의 예에는 한정되지 않고, 예를 들면, 선회체(3)의 선회 중심을 Zm축으로 하고, 붐 핀(13)이 연장되는 방향과 평행한 축선을 Ym축으로 하고, Zm축 및 Ym축과 직교하는 축선을 Xm축으로 하는 것이라도 된다.

제2 각도 검출부(18B)는, 암 실린더(11)의 스트로크 길이를 검출한다. 처리 장치(20)는, 제2 각도 검출부(18B)가 검출한 암 실린더(11)의 스트로크 길이로부터, 붐(6)에 대한 암(7)의 회동각 δ2를 연산한다. 제3 각도 검출부(18C)는, 버킷 실린더(12)의 스트로크 길이를 검출한다. 처리 장치(20)는, 제3 각도 검출부(18C)가 검출한 버킷 실린더(12)의 스트로크 길이로부터, 암(7)에 대한 버킷(8)의 회동각 δ3을 연산한다.

<촬상 장치>

도 2에 나타낸 바와 같이, 유압 셔블(100)은, 예를 들면, 운전실(4) 내에, 복수의 촬상 장치(30a, 30b, 30c, 30d)를 가진다. 이하에 있어서, 복수의 촬상 장치(30a, 30b, 30c, 30d)를 구별하지 않을 경우에는 적절히, 촬상 장치(30)라고 한다. 촬상 장치(30a) 및 촬상 장치(30c)는, 작업기(2) 측에 배치된다. 촬상 장치(30)의 종류는 한정되지 않지만, 실시형태에서는, 예를 들면, CCD(Couple Charged Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 구비한 촬상 장치가 사용된다.

도 2에 나타낸 바와 같이, 촬상 장치(30a)와 촬상 장치(30b)와는 소정 간격을 두고 같은 방향 또는 상이한 방향을 향해 운전실(4) 내에 배치된다. 촬상 장치(30c)와 촬상 장치(30d)는 소정 간격을 두고 같은 방향 또는 상이한 방향을 향해, 예를 들면, 운전실(4) 내에 배치된다. 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 2개가 조합되어 스테레오 카메라를 구성한다. 실시형태에서는, 촬상 장치(30a, 30b)의 조합과 촬상 장치(30c, 30d)의 조합으로 스테레오 카메라가 구성된다. 실시형태에 있어서, 촬상 장치(30a) 및 촬상 장치(30b)는 위쪽을 향하고 있고, 촬상 장치(30c) 및 촬상 장치(30d)는 아래쪽을 향하고 있다. 적어도 촬상 장치(30a) 및 촬상 장치(30c)는, 유압 셔블(100), 실시형태에서는 선회체(3)의 정면을 향하고 있다. 촬상 장치(30b) 및 촬상 장치(30d)는, 작업기(2) 쪽으로 약간 향하게, 즉 촬상 장치(30a) 및 촬상 장치(30c) 측의 쪽으로 약간 향하게 배치되는 것도 있다.

실시형태에 있어서, 유압 셔블(100)은, 4개의 촬상 장치(30)를 가지지만, 유압 셔블(100)이 가지는 촬상 장치(30)의 수는 2개 이상이면 되고, 4개에 한정되지 않는다. 유압 셔블(100)은, 적어도 한 쌍의 촬상 장치(30)와 스테레오 카메라를 구성하여, 대상을 스테레오 촬영하기 때문이다.

복수의 촬상 장치(30a, 30b, 30c, 30d)는, 운전실(4) 내의 전방 또한 위쪽에 배치된다. 위쪽이란, 유압 셔블(100)이 가지는 크롤러 트랙(5a, 5b)의 접지면(接地面)과 직교하고, 또한 접지면으로부터 이격되는 방향이다. 크롤러 트랙(5a, 5b)의 접지면은, 크롤러 트랙(5a, 5b) 중 적어도 한쪽이 접지(接地)하는 부분의, 동일 직선 상에는 존재하지 않는 적어도 3점에서 규정되는 평면이다. 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 유압 셔블(100)의 차체(1)의 전방에 존재하는 대상을 스테레오 촬영한다. 대상은, 예를 들면, 작업기(2)가 굴삭하는 대상이다. 도 1 및 도 2에 나타내는 처리 장치(20)는, 적어도 한 쌍의 촬상 장치(30)에 의한 스테레오 촬영의 결과를 사용하여, 대상을 3차원 계측한다. 복수의 촬상 장치(30a, 30b, 30c, 30d)가 배치되는 장소는, 운전실(4) 내의 전방 또한 위쪽에 한정되는 것은 아니다.

도 4는, 복수의 촬상 장치(30a, 30b, 30c, 30d)가 대상을 촬상함으로써 얻어진 화상의 일례를 나타낸 도면이다. 도 5는, 복수의 촬상 장치(30a, 30b, 30c, 30d)가 촬상하는 대상 OJ의 일례를 나타낸 도면이다. 도 4에 나타내는 화상 PIa, PIb, PIc, PId는, 예를 들면, 도 5에 나타내는 복수의 촬상 장치(30a, 30b, 30c, 30d)가 대상 OJ를 촬상함으로써 얻어진다. 이 예에서는, 대상 OJ는, 제1 부분 OJa와 제2 부분 OJb와 제3 부분 OJc를 가진다.

화상 PIa는 촬상 장치(30a)에 의해 촬상된 것이며, 화상 PIb는 촬상 장치(30b)에 의해 촬상된 것이며, 화상 PIc는 촬상 장치(30c)에 의해 촬상된 것이며, 화상 PId는 촬상 장치(30d)에 의해 촬상된 것이다. 한 쌍의 촬상 장치(30a, 30b)는, 유압 셔블(100)의 위쪽을 향해 배치되어 있으므로, 화상 PIa, PIb에는 대상 OJ의 위쪽이 비치고 있다. 한 쌍의 촬상 장치(30c, 30d)는, 유압 셔블(100)의 아래쪽을 향해 배치되어 있으므로, 화상 PIc, PId에는 대상 OJ의 아래쪽이 비치고 있다.

도 4로부터 알 수 있는 바와 같이, 한 쌍의 촬상 장치(30a, 30b)에 의해 촬상된 화상 PIa, PIb와, 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된 화상 PIc, PId에는, 대상 OJ의 영역의 일부, 이 예에서는 제2 부분 OJb가 중복하여 비치고 있다. 즉, 위쪽을 향하고 있는 한 쌍의 촬상 장치(30a, 30b)의 촬상 영역과, 아래쪽을 향하고 있는 한 쌍의 촬상 장치(30c, 30d)의 촬상 영역은, 중복되는 부분을 가지고 있다.

처리 장치(20)는, 복수의 촬상 장치(30a, 30b, 30c, 30d)가 촬상한 동일한 대상 OJ의 화상 PIa, PIb, PIc, PId에 스테레오 방식에 의한 화상 처리를 행하는 경우, 한 쌍의 촬상 장치(30a, 30b)에 의해 촬상된 화상 PIa, PIb로부터 제1 시차(視差) 화상을 얻는다. 또한, 처리 장치(20)는, 한 쌍의 촬상 장치(30c, 30d)에 의해 촬상된 화상 PIc, PId로부터 제2 시차 화상을 얻는다. 그 후, 처리 장치(20)는, 제1 시차 화상과 제2 시차 화상을 맞추어, 1개의 시차 화상을 얻는다. 처리 장치(20)는, 얻어진 시차 화상을 사용하여 대상을 3차원 계측한다. 이와 같이, 처리 장치(20) 및 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 1회의 촬상으로 대상 OJ의 소정의 영역 전체를 3차원 계측한다.

실시형태에 있어서, 4개의 복수의 촬상 장치(30a, 30b, 30c, 30d) 중, 예를 들면, 촬상 장치(30c)를 이들의 기준으로 한다. 4개의 복수의 촬상 장치(30a, 30b, 30c, 30d)는, 각각 좌표계를 가진다. 이들의 좌표계를 적절히, 촬상 장치 좌표계라고 한다. 도 2에서는, 기준이 되는 촬상 장치(30c)의 좌표계(Xs, Ys, Zs)만을 나타내고 있다. 촬상 장치 좌표계의 원점은, 각각의 촬상 장치(30a, 30b, 30c, 30d)의 중심이다.

<촬상 장치의 교정 시스템>

도 6은, 실시형태에 관한 촬상 장치의 교정 시스템(50)을 나타낸 도면이다. 촬상 장치의 교정 시스템(50)[이하, 적절히, 교정 시스템(50)이라고 함]은, 복수의 촬상 장치(30a, 30b, 30c, 30d)와, 처리 장치(20)를 포함한다. 이들은, 도 1 및 도 2에 나타낸 바와 같이, 유압 셔블(100)의 차체(1)에 구비되어 있다. 처리 장치(20)는, 처리부(21)와, 기억부(22)와, 입출력부(23)를 가진다. 처리부(21)는, 예를 들면, CPU(Central Processing Unit)와 같은 프로세서 및 메모리에 의해 실현된다. 처리부(21)는, 탐색부(21A) 및 결정부(21B)를 가진다. 처리 장치(20)는, 실시형태에 관한 촬상 장치의 교정 방법(이하 적절히, 교정 방법이라고 함)을 실현한다. 이 경우, 처리부(21)는, 기억부(22)에 기억된 컴퓨터 프로그램을 읽어들여 실행한다. 이 컴퓨터 프로그램은, 실시형태에 관한 교정 방법을 처리부(21)에 실행하도록 하기 위한 것이다.

실시형태에 관한 교정 방법은, 어떠한 요인에 의해 촬상 장치(30)가 움직여 버렸을 경우에, 적어도 한 쌍의 촬상 장치(30)에 의한 스테레오 촬영의 결과를 사용한 3차원 계측을 실현할 수 있도록, 촬상 장치(30)의 위치 어긋남을 수정하는 것이다. 4개의 촬상 장치(30a, 30b, 30c, 30d) 중, 촬상 장치(30c)와 촬상 장치(30d)와의 사이에 위치 어긋남이 발생한 경우를 고려한다. 이 경우, 처리 장치(20)의 처리부(21)는, 실시형태에 관한 교정 방법을 실행한다. 실시형태에 관한 교정 방법이 실행되는 촬상 장치(30c) 및 촬상 장치(30d)를, 각각 제1 촬상 장치(30c) 및 제2 촬상 장치(30d)라고 한다.

처리부(21)는, 실시형태에 관한 교정 방법을 실행하는 데 있어서, 2개 이상, 실시형태에서는4개의 촬상 장치(30a, 30b, 30c, 30d) 중, 제1 촬상 장치(30c)와 제2 촬상 장치(30d)와의 거리를 일정하게 하여, 제2 촬상 장치(30d)의 자세를 규정하는 파라미터를 변화시킨다. 그리고, 처리부(21)는, 제1 촬상 장치(30c) 및 제2 촬상 장치(30d)에 의해 얻어진 한 쌍의 화상을 화상 처리, 실시형태에서는 스테레오 방식에서의 화상 처리 중, 한 쌍의 화상 간에서 대응하는 부분을 탐색한 결과에 기초하여, 전술한 파라미터를 구한다. 처리부(21)의 탐색부(21A)는, 전술한 파라미터의 변경 및 탐색을 실행한다. 처리부(21)의 결정부(21B)는, 탐색한 결과에 기초하여, 전술한 파라미터를 구한다. 스테레오 방식에서의 화상 처리란, 동일한 대상을 2개의 상이한 촬상 장치(30)로부터 관측하여 얻어지는 2개의 화상으로부터, 그 대상까지의 거리를 얻는 방법이다. 대상까지의 거리는, 예를 들면, 대상까지의 거리 정보를 농담(濃淡)에 의해 가시화한 거리 화상으로서 표현된다.

처리 장치(20)는, 실시형태에 관한 교정 방법을 실행할 때, 한 쌍의 촬상 장치(30)에 의해 촬상된 한 쌍의 화상을 스테레오 방식에서의 화상 처리를 실행함으로써, 대상의 위치, 구체적으로는 3차원 좌표계에서의 대상의 좌표를 구한다. 이와 같이, 처리 장치(20)는, 동일한 대상을 적어도 한 쌍의 촬상 장치(30)에 의해 촬상함으로써 얻어진 한 쌍의 화상을 사용하여, 대상을 3차원 계측할 수 있다. 즉, 적어도 한 쌍의 촬상 장치(30) 및 처리 장치(20)는, 스테레오 방식에 의해 대상을 3차원 계측하는 것이다.

기억부(22)는, RAM(Random Access Memory), ROM(Read Only Memory), 플래시 메모리, EPROM(Erasable Progra㎜able Read Only Memory), EEPROM(Electrically Erasable Progra㎜able Read Only Memory) 등의 불휘발성 또는 휘발성의 반도체 메모리, 자기(磁氣) 디스크, 플렉시블 디스크 및 광자기 디스크 중 하나 이상이 사용된다. 기억부(22)는, 실시형태에 관한 교정 방법을 처리부(21)에 실행하도록 하기 위한 컴퓨터 프로그램을 기억하고 있다. 기억부(22)는, 처리부(21)가 실시형태에 관한 교정 방법을 실행할 때 사용되는 정보를 기억한다. 이 정보는, 예를 들면, 각각의 촬상 장치(30)의 내부 교정 데이터, 각각의 촬상 장치(30)의 자세, 촬상 장치(30)끼리의 위치 관계, 및 작업기(2)의 자세보다 작업기(2)의 일부의 위치를 구하기 위해 필요한 정보를 포함한다.

입출력부(23)는, 처리 장치(20)와 기기(機器) 종류를 접속하기 위한 인터페이스 회로이다. 입출력부(23)에는, 허브(51), 제1 각도 검출부(18A), 제2 각도 검출부(18B) 및 제3 각도 검출부(18C)가 접속된다. 허브(51)는, 복수의 촬상 장치(30a, 30b, 30c, 30d)가 접속되어 있다. 촬상 장치(30a, 30b, 30c, 30d)의 촬상한 결과는, 허브(51)를 통하여 입출력부(23)에 입력된다. 처리부(21)는, 허브(51) 및 입출력부(23)를 통하여, 촬상 장치(30a, 30b, 30c, 30d)가 촬상한 결과를 취득한다. 처리 장치(20)는, 전용(專用)의 하드웨어에 의해 실현되어도 되고, 복수의 처리 회로가 제휴하여 처리 장치(20)의 기능을 실현하는 것이라도 된다.

<3차원 계측>

도 7은, 한 쌍의 촬상 장치(30L, 30R)를 사용하여 버킷(8)의 날(9)의 날끝(P3)을 3차원 계측하는 예를 설명하는 도면이다. 도 8 및 도 9는, 한 쌍의 촬상 장치(30L, 30R)에 의해 얻어진 한 쌍의 화상(32L, 32R)을 나타낸 도면이다. 실시형태에 있어서, 도 6에 나타내는 처리 장치(20)는, 한 쌍의 촬상 장치(30)에 의해 촬상된 한 쌍의 화상에 스테레오 방식에 의한 화상 처리를 행함으로써, 대상의 위치를 구한다. 도 7에 있어서, 날끝(P3)을 촬상하는 한 쌍의 촬상 장치(30)를, 촬상 장치(30L) 및 촬상 장치(30R)라고 한다. 한 쌍의 촬상 장치(30L, 30R)는, 도 2에 나타내는 유압 셔블(100)이 가지는 촬상 장치(30)이다. 도 7은, 어떠한 외적 요인에 의해 촬상 장치(30L)의 위치가 움직인 상태를, 2점 쇄선의 촬상 장치(30L')로서 나타내고 있다.

촬상 장치(30L)는, 촬상 소자(31L)를 가진다. 촬상 장치(30L)의 촬상 장치 좌표계(Xs, Ys, Zs)의 원점, 즉 촬상 장치(30L)의 중심을 광학 중심 OCL로 하고 있다. 촬상 장치(30L)의 Zs축은, 촬상 장치(30L)의 광축이며, 광학 중심 OCL을 지난다. 촬상 장치(30L)가 대상을 촬상함으로써, 대상을 포함하는 화상(32L)을 얻을 수 있다. 촬상 장치(30R)는, 촬상 소자(31R)를 가진다. 촬상 장치(30R)의 촬상 장치 좌표계(Xs, Ys, Zs)의 원점, 즉 촬상 장치(30R)의 중심을 광학 중심 OCR로 하고 있다. 촬상 장치(30R)의 Zs축은, 촬상 장치(30R)의 광축이며, 광학 중심 OCR을 지난다. 촬상 장치(30R)가 대상을 촬상함으로써, 대상을 포함하는 화상(32R)을 얻을 수 있다.

실시형태에 있어서, 스테레오 방식에 의해 위치를 구하는 대상은, 도 7에 나타내는 버킷(8)의 날끝(P3)이다. 촬상 장치(30L) 및 촬상 장치(30R)가 버킷(8)을 촬상함으로써, 도 8에 나타낸 바와 같은 한 쌍의 화상(32L) 및 (32R)을 얻을 수 있다. 촬상 장치(30L)는, 버킷(8)을 향해 좌측에 배치되고, 촬상 장치(30R)는 버킷(8)을 향해 우측에, 또한 촬상 장치(30L)와 소정 거리 B만큼 이격되어 배치된다. 도 8에 나타낸 바와 같이, 촬상 장치(30L)에 의해 촬상된 화상(32L) 중에서의 버킷(8)의 날끝(P3)의 위치와, 촬상 장치(30R)에 의해 촬상된 화상(32R) 중에서의 버킷(8)의 날끝(P3)의 위치는, 촬상 장치(30L)와 촬상 장치(30R)가 배열되는 방향에 있어서 상이하게 되어 있다. 이와 같이, 촬상 장치(30L)와 촬상 장치(30R)는 소정 거리만큼 이격되어 배치되어 있으므로, 대상의 관측 지점(地点)의 위치의 상위에 따라 대상이 보이는 방향이 상이하다.

처리 장치(20)는, 촬상 장치(30L)에 의해 촬상된 버킷(8)의 날끝(P3)의 화상(32L)과, 촬상 장치(30R)에 의해 촬상된 버킷(8)의 날끝(P3)의 화상(32R)에 스테레오 방식에 의한 화상 처리를 행한다. 스테레오 방식에 의한 화상 처리에 의해, 동일한 대상인 버킷(8)의 날끝(P3)의 위치가 3차원 계측된다. 스테레오 방식에 의한 화상 처리는, 한 쌍의 화상(32L, 32R)으로부터 시차 화상(33)을 생성하는 단계와, 시차 화상(33)에 포함되는 시차의 정보에 기초하여, 촬상 장치(30L, 30R)의 촬상 범위의 공간을 3차원 계측하는 단계를 포함한다.

처리 장치(20)는, 시차 화상(33)을 생성하는 단계에서, 도 9에 나타낸 바와 같이, 한 쌍의 화상(32L, 32R) 간에서 대응하는 부분, 실시형태에서는 날끝(P3)에 대응하는 화소 PXl, PXr을 탐색하고, 대응하는 화소 PXl, PXr의 탐색 결과로부터 시차를 구한다. 시차는, 날끝(P3)에 대응하는 화소 PXl, PXr끼리가 물리적으로 얼마나 이격되어 있는지, 예를 들면, 어느 정도의 화소수 분리되어 있을지의 정보이다. 시차 화상(33)은, 시차를 2차원 배열로 표현한 화상이다.

그리고, 시차는, 일반적으로는, 어떤 계측 대상이 되는 기준점에 있어서, 한 쌍의 촬상 장치(30)의 시선(視線)이 이루는 각도의 변화량으로서 정의된다. 한 쌍의 촬상 장치(30)를 평행하게 배열한 경우, 기준이 되는 한쪽의 촬상 장치의 화상에서의, 계측점의 투영점에 대하여, 다른 한쪽의 촬상 장치(30)의 화상에서의 같은 계측점의 투영점이, 촬상된 화상 내에서 어느 정도의 화소분 어긋나 있는지가 시차(視差)로 된다.

시차 화상(33)은, 대응하는 화소의 탐색에 실패한 경우에는, 탐색에 실패한 화소 PXs에 0, 탐색에 성공한 경우에는, 탐색에 성공한 화소 PXs에 0보다 큰 수치가 저장된다. 시차 화상(33)에서는, 0이 저장된 화소 PXs는 블랙이며, 0보다 큰 수치가 저장된 화소 PXs는 그레이 스케일로 된다. 따라서, 스테레오 방식에 의한 화상 처리가 성공했는지의 여부를 확인하기 위해서는, 0 이외의 수치가 저장된 화소 PXs가, 시차 화상(33) 중에 차지하는 비율을 이용하면 된다. 예를 들면, 그레이 스케일의 화소 PXs, 즉 0 이외의 수치가 저장된 화소 PXs의 시차 화상(33) 중에 차지하는 비율이 임계값 이상이면, 스테레오 방식에 의한 화상 처리는 성공한 것으로 판정된다. 임계값은, 예를 들면 80% 내지 90%로 할 수 있지만, 이 범위의 값에 한정되는 것은 아니다.

처리 장치(20)는, 3차원 계측하는 단계에서, 삼각측량을 사용하여 대상까지의 거리를 구한다. 도 7에 나타낸 바와 같이, 촬상 장치(30L)의 광학 중심 OCL을 원점으로 한 3차원 좌표계(X, Y, Z)를 설정한다. 촬상 장치(30L)와 촬상 장치(30R)는, 평행하게 배치되어 있는 것으로 한다 . 즉, 촬상 장치(30L)와 촬상 장치(30R)와의 사이에서, 화상(32L, 32R)의 화상면이 동일면, 또한 X축 방향에서의 위치가 동일한 것으로 한다. 촬상 장치(30L)의 광학 중심 OCL과 촬상 장치(30R)의 광학 중심 OCR과의 거리를 B, 촬상 장치(30L)에 의해 촬상된 화상(32L) 중의 날끝(P3), 즉 화소 PXl의 Y 좌표를 YL, 촬상 장치(30R)에 의해 촬상된 화상(32R) 중의 날끝(P3), 즉 화소 PXr의 Y 좌표를 YR, 날끝(P3)의 Z 좌표를 ZP로 한다. YL, YR, ZP는, 모두 3차원 좌표계(X, Y, Z)에서의 좌표이다. Y축과 화상(32L, 32R)의 화상면과의 거리는, 촬상 장치(30L, 30R)의 초점 거리 f이다.

이 경우, 촬상 장치(30L, 30R)로부터 날끝(P3)까지의 거리는, 3차원 좌표계(X, Y, Z)에서의 날끝(P3)의 Z 좌표인 ZP로 된다. 시차를 d= YL―(YR―B)로 하면, ZP는, B×f/d에 의해 구해진다.

도 9에 나타내는 시차 화상(33)의 각 화소 PXs에는, 탐색의 성공의 유무를 나타내는 정보와, 탐색에 성공한 경우에는 시차 d가 저장된다. 처리 장치(20)는, 화상(32L, 32R) 중의 탐색에 성공한 각 화소 간의 시차 d와, 화상(32L, 32R) 중의 탐색에 성공한 각 화소의 좌표와, 촬상 장치(30L, 30R)의 초점 거리 f로부터, 대상까지의 거리를 구할 수 있다.

도 9에 나타내는 예에 있어서, 처리 장치(20)는, 한 쌍의 화상(32L, 32R) 사이에서 대응하는 화소를 탐색하고, 시차 화상(33)을 생성한다. 다음에, 처리 장치(20)는, 거리를 구하는 대상인 날끝(P3)에 대응하는 화소 PXl, PXr을 탐색한다. 한 쌍의 화상(32L, 32R) 간에 있어서, 날끝(P3)에 대응하는 화소 PXl, PXr이 탐색되면, 처리 장치(20)는, 탐색된 화소 PXl, PXr의 Y 좌표인 YL, YR을 구한다. 처리 장치(20)는, 얻어진 YL, YR 및 거리 B를 시차 d의 식 d= YL―(YR―B)에 부여하여, 시차 d를 구한다. 처리 장치(20)는, 얻어진 시차 d, 거리 B 및 초점 거리 f를 사용하여, 촬상 장치(30L, 30R)로부터 날끝(P3)까지의 거리 ZP를, 전술한 식에 부여함으로써 구한다.

도 10은, 한 쌍의 촬상 장치(30L, 30R)의 위치 관계를 나타낸 사시도이다. 한 쌍의 촬상 장치(30L, 30R)는, 스테레오 카메라를 구성한다. 한 쌍의 촬상 장치(30L, 30R)를 사용하여 대상을 3차원 계측하는 경우, 편의 상, 한쪽의 촬상 장치(30R)를 기준기(基準機), 다른 쪽의 촬상 장치(30L)를 참조기(參照機)라고 한다. 촬상 장치(30R)의 광학 중심 OCR과 촬상 장치(30L)의 광학 중심 OCL을 연결한 직선은, 베이스 라인 BL이다. 베이스 라인 BL의 길이는 B이다.

촬상 장치(30L)가 촬상 장치(30R)에 대하여 평행하게 배치되어 있지 않은 경우, 한 쌍의 화상(32L, 32R) 사이에서 대응하는 화소를 탐색할 수 없는 경우가 있다. 그러므로, 촬상 장치(30L)와 촬상 장치(30R)와의 상대적인 위치 관계를 미리 구하여 둔다. 그리고, 얻어진 상대적인 위치 관계로부터 얻어진 촬상 장치(30L)와 촬상 장치(30R)와의 어긋남에 기초하여 화상(32L, 32R) 중 적어도 한쪽을 보정함으로써, 스테레오 방식에 의한 화상 처리 및 3차원 계측을 가능하게 한다.

촬상 장치(30L)와 촬상 장치(30R)와의 어긋남은, 기준기에 대한 참조기의 어긋남, 즉 촬상 장치(30R)에 대한 촬상 장치(30L)의 어긋남으로 나타내는 것이 가능하다. 이 어긋남은, 촬상 장치(30L)의 Xs 축 주위에서의 회전 RTx, 촬상 장치(30L)의 Ys 축 주위에서의 회전 RTy, 촬상 장치(30L)의 Zs 축 주위에서의 회전 RTz, 촬상 장치(30L)의 Xs 축 방향의 어긋남, 촬상 장치(30L)의 Ys 축 방향의 어긋남 및 촬상 장치(30L)의 Zs 축 방향의 어긋남의 합계 6방향의 어긋남이 있다.

도 11은, 촬상 장치(30L)에 대한 촬상 장치(30R)의 어긋남의 설명도이다. 도 11에 나타낸 바와 같이, 예를 들면, 촬상 장치(30L)에, 촬상 장치(30L)의 Zs 축 주위에서의 회전 RTz가 발생한 경우, 어긋남이 있는 경우에서의 촬상 장치(30L)의 자세로부터 얻어진 화상(32Lr)을, 회전 Rty에 의한 어긋남의 분만큼 Zs 축 주위로 회전시킴으로써, 어긋남이 없는 경우에서의 촬상 장치(30L)의 화상(32L)으로 보정할 수 있다.

회전 RTz에 의한 어긋남은, Zs 축 주위에서의 각도 γ로 나타내는 것이 가능하다. 그러므로, 촬상 장치(30L)의 화상(32Lr)의 xs―ys 평면에서의 위치(xs, ys)를, 식(1)을 사용하여 Zs 축 주위로 회전시킴으로써, 어긋남이 없는 경우에서의 촬상 장치(30L)의 화상(32L)의, Xs―Ys 평면에서의 위치(Xs, Ys)로 변환할 수 있다.

[수식 1]

…(1)

Zs 축 주위에서의 회전 RTz와 마찬가지로, Xs 축 주위에서의 회전 RTx에 의한 어긋남은 식(2)에 의해, Ys 축 주위에서의 회전 RTy에 의한 어긋남은 식(3)에 의해 보정된다. 식(2) 중의 각도 α는, 회전 RTx에 의한 어긋남을 나타내고, 식(3) 중의 각도 β는, 회전 RTy에 의한 어긋남을 나타낸다. 각도 α, β, γ는, 촬상 장치(30L)의 촬상 장치 좌표계에서의 축 주위의 회전 방향의 어긋남을 보정하는 양이다. 이하에 있어서, 각도 α, β, γ를 적절히, 회전 방향 보정량 α, β, γ 또는 단지 회전 방향 보정량이라고 한다.

[수식 2]

…(2)

[수식 3]

…(3)

촬상 장치(30R)의 Xs 축 방향에서 발생한 촬상 장치(30L)의 어긋남은, 촬상 장치(30L)에 의해 촬상된 화상(32Lr)의 위치를, 촬상 장치(30R)의 Xs 축 방향과 평행하게, 어긋남을 지우는 양 ΔX만큼 이동시킴으로써 보정된다. 촬상 장치(30R)의 Ys 축 방향 및 Zs 축 방향에서 발생한 촬상 장치(30L)의 어긋남도, Xs 축 방향에서 발생한 촬상 장치(30L)의 어긋남을 지우는 양 ΔX과 마찬가지로 보정된다. 즉, 이들의 어긋남을 지우는 양 ΔY, ΔZ만큼, 촬상 장치(30L)에 의해 촬상된 화상(32Lr)의 위치를, 각각 촬상 장치(30R)의 Ys 축 방향 및 Zs 축 방향과 평행하게 이동시킨다. 어긋남을 지우는 양 ΔX, ΔY, ΔZ는, 한 쌍의 촬상 장치(30)의 병진(竝進) 방향에서의 어긋남을 보정하기 위한 양이다. 어긋남을 지우는 양 ΔX, ΔY, ΔZ를, 이하에 있어서는 적절히, 병진 방향 보정량 ΔX, ΔY, ΔZ 또는 단지 병진 방향 보정량이라고 한다.

스테레오 카메라를 구성하는 한 쌍의 촬상 장치(30R)와 촬상 장치(30L)와의 어긋남을 보정하기 위한 회전 방향 보정량 α, β, γ 및 병진 방향 보정량 ΔX, ΔY, ΔZ를 구하는 것을, 외부 교정이라고 한다. 외부 교정은, 예를 들면, 유압 셔블(100)의 공장 출하 시에 행해진다. 외부 교정에 있어서 구해지는, 회전 방향 보정량 α, β, γ 및 병진 방향 보정량 ΔX, ΔY, ΔZ은, 촬상 장치(30)의 자세를 규정하는 파라미터이다. 이하에 있어서, 이들 파라미터를 적절히, 자세 파라미터라고 한다. 자세 파라미터는, 6차원의 파라미터이다. 외부 교정에 의해 구해진 자세 파라미터는, 도 6에 나타내는 처리 장치(20)의 기억부(22)에 기억된다. 처리 장치(20)는, 기억부(22)에 기억된 자세 파라미터를 사용하여, 적어도 한 쌍의 촬상 장치(30)에 의해 촬상된 화상에 스테레오 방식에 의한 화상 처리를 행하고, 촬상된 대상을 3차원 계측한다.

도 2에 나타내는 유압 셔블(100)이 가지는 적어도 한 쌍의 촬상 장치(30)는, 유압 셔블(100)에 장착된 후, 서로의 상대적인 위치 관계의 어긋남을 전술한 방법에 의해 보정된다. 어떠한 외적 요인에 의해, 유압 셔블(100)에 장착된 후에 보정된 촬상 장치(30)가 물리적으로 움직여 버렸을 경우, 촬상 장치(30)가 움직이기 전의 자세 파라미터와 촬상 장치(30)의 실제의 자세가 대응하지 않을 가능성이 있다.

도 12 및 도 13은, 한 쌍의 촬상 장치(30L, 30R)에 의해 얻어진 한 쌍의 화상(32L, 32R)을 나타낸 도면이다. 도 12 및 도 13은, 도 7에 나타내는 촬상 장치(30R) 및 외적 요인에 의해 움직인 촬상 장치(30L')에 촬상된 한 쌍의 화상(32L'), (32R)을 나타내고 있다. 도 7에 나타내는 촬상 장치(30L')는, 촬상 장치(30R)와 평행하게 배치된 촬상 장치(30L)가, 예를 들면, 그 촬상 장치 좌표계의 Xs 축 주위에, 촬상 소자(31L')의 촬상 면이 촬상 장치(30R)에 향하는 방향으로 회전한 것이다.

이 상태의 촬상 장치(30L')에 의해 촬상된 화상(32L')은, 도 12 및 도 13에 나타낸 바와 같이, 외적 요인에 의해 움직이기 전의 촬상 장치(30L)에 의해 촬상된 화상(32L)과 비교하여, 버킷(8)의 날끝(P3)의 위치가 화살표 Lt로 나타내는 방향, 즉 화상(32L)의 좌측으로 이동하고 있다. 이 상태에서, 처리 장치(20)가 한 쌍의 화상(32L'), (32R) 사이에서 날끝(P3)에 대응하는 화소 PXl'와 화소 PXr을 탐색해도, 탐색할 수 없다. 따라서, 도 13에 나타낸 바와 같이, 한 쌍의 화상(32L'), (32R) 사이의 탐색에 의해 얻어진 시차 화상(33')은, 대응하는 화소의 탐색에 실패한 것을 나타내는 0이 차지하는 비율이 많아진다. 결과로서, 시차 화상(33')은, 화상 전체 중에 있어서, 그레이 스케일의 화소가 차지하는 비율이 낮고, 블랙의 화소 PXs가 차지하는 비율이 높아져, 스테레오 방식에 의한 3차원 계측은 실현할 수 없다.

촬상 장치(30)가 외적 요인에 의해 움직였을 경우, 외부 교정에 의해 자세 파라미터를 구하여 고쳐도 되지만, 외부 교정을 위한 설비 구축 및 외부 교정의 작업에 시간 및 수고를 요한다. 도 6에 나타내는 교정 시스템(50)은, 촬상 장치(30)의 자세가 변화된 경우, 실시형태에 관한 교정 방법을 실행하여 자세 파라미터를 구하여 고침으로써, 복수의 촬상 장치(30) 간의 어긋남을 자동으로 수정하고, 스테레오 방식에 의한 3차원 계측을 부활시킨다. 이하에 있어서, 이 처리를 적절히, 자동 교정이라고 한다.

도 14는, 실시형태에 관한 교정 시스템(50)이 실시형태에 관한 교정 방법을 실행할 때의 처리를 나타낸 플로우차트이다. 도 15는, 자세 파라미터를 구하는 촬상 장치를 결정하는 방법을 설명하기 위한 도면이다. 도 16은, 자세 파라미터를 구하는 촬상 장치를 결정하기 위한 테이블의 일례를 나타낸 도면이다. 스텝 S101에 있어서, 처리 장치(20)는, 도 2에 나타내는 복수의 촬상 장치(30)의 모두에, 대상을 촬상시킨다. 대상은, 버킷(8)으로 할 수 있지만, 이에 한정되는 것은 아니다.

스텝 S102에 있어서, 처리 장치(20)는, 스텝 S101에서 촬상된 화상에 스테레오 방식에 의한 화상 처리를 행한다. 구체적으로는, 스테레오 카메라를 구성하는 한 쌍의 촬상 장치(30)에 의해 촬상된 화상에 스테레오 방식에 의한 화상 처리를 행한다. 이 화상 처리는, 한 쌍의 화상으로부터 시차 화상을 생성하는 처리이다. 스텝 S102에 있어서, 처리 장치(20)는, 유압 셔블(100)이 가지는 복수의 촬상 장치(30) 중, 스테레오 카메라를 구성할 수 있는 모든 조합에 의해 얻어진 모든 한 쌍의 화상으로부터, 시차 화상을 생성한다.

실시형태에 있어서, 유압 셔블(100)은 4개의 촬상 장치(30a, 30b, 30c, 30d)를 가진다. 도 15에 나타내는 예에 있어서, 처리 장치(20)는, 하기의 6가지의 조합(R1, R2, R3, R4, R5, R6)으로부터 얻어지는 6가지의 한 쌍의 화상으로부터, 각각 시차 화상을 생성한다.

R1: 촬상 장치(30a) 및 촬상 장치(30b)

R2: 촬상 장치(30a) 및 촬상 장치(30c)

R3: 촬상 장치(30a) 및 촬상 장치(30d)

R4: 촬상 장치(30b) 및 촬상 장치(30c)

R5: 촬상 장치(30b) 및 촬상 장치(30d)

R6: 촬상 장치(30c) 및 촬상 장치(30d)

전술한 6가지의 조합으로 시차 화상이 생성되면, 각각의 촬상 장치(30a, 30b, 30c, 30d)는, 3회씩 시차 화상이 생성되게 된다. 실시형태에 있어서, 시차 화상 중에 차지하는 그레이 스케일의 화소의 비율이 임계값 이상이었던 경우, 그 시차 화상은 정상인 것으로 판정되는 것으로 한다. 임계값의 크기는, 전술한 바와 같다.

6가지의 조합 R1으로부터 R6에 있어서, 한번이라도 정상(正常)인 시차 화상이 생성된 조합을 구성하는 한 쌍의 촬상 장치(30)는, 모두 어긋남이 발생하고 있지 않다. 6가지의 조합 R1으로부터 R6에 의해 얻어지는 6개의 시차 화상으로부터, 자세 파라미터를 구하는 촬상 장치(30)를 결정하기 때문에, 처리 장치(20)는, 예를 들면, 도 16에 나타내는 판정 테이블 TB를 사용한다. 판정 테이블 TB는, 처리 장치(20)의 기억부(22)에 기억되어 있다.

판정 테이블 TB는, 정상인 시차 화상이 생성된 조합에 대응하는 촬상 장치(30)에는 1이 기입되고, 정상인 시차 화상이 생성되지 않았던 조합에 대응하는 촬상 장치(30)에는 0이 기입되도록 되어 있다. 그리고, 판정 테이블 TB는, 각각의 촬상 장치(30a, 30b, 30c, 30d)의 1이 기입된 횟수의 합계가, 합계란에 기입되도록 되어 있다. 이와 같이, 판정 테이블 TB는, 촬상 장치(30a, 30b, 30c, 30d)가, 정상인 시차 화상을 생성한 횟수를 알 수 있도록 되어 있다. 처리부(21)는, 판정 테이블 TB에 값을 기입한다.

판정 테이블 TB에는, 하기의 규칙에 따라 1 또는 0이 기입된다.

(1) 조합 R1에 의해 생성된 시차 화상이 정상적인 경우, 촬상 장치(30a, 30b)에 1이 기입된다.

(2) 조합 R2에 의해 생성된 시차 화상이 정상적인 경우, 촬상 장치(30a, 30c)에 1이 기입된다.

(3) 조합 R3에 의해 생성된 시차 화상이 정상적인 경우, 촬상 장치(30a, 30d)에 1이 기입된다.

(4) 조합 R4에 의해 생성된 시차 화상이 정상적인 경우, 촬상 장치(30b, 30c)에 1이 기입된다.

(5) 조합 R5에 의해 생성된 시차 화상이 정상적인 경우, 촬상 장치(30b, 30d)에 1이 기입된다.

(6) 조합 R6에 의해 생성된 시차 화상이 정상적인 경우, 촬상 장치(30c, 30d)에 1이 기입된다.

도 16에 나타내는 판정 테이블 TB는, 조합(R2, R3, R6)에 의해 생성된 시차 화상이 정상이며, 조합(R1, R4, R5)에 의해 생성된 시차 화상이 정상이 아닐 경우를 나타내고 있다. 이 경우, 촬상 장치(30a, 30c, 30d)에 1이 기입된 횟수는, 판정 테이블 TB의 합계란에 기재되어 있는 바와 같이 각각 2회이며, 촬상 장치(30b)에 1이 기입된 횟수는 0회이다. 촬상 장치(30b)는, 촬상 장치(30a, 30c, 30d)에 대하여 허용할 수 없는 어긋남이 발생하고 있으므로, 한번도 정상인 시차 화상이 생성된 조합을 만들지 않았던 것으로 판정된다. 그러므로, 촬상 장치(30b)는, 자세 파라미터를 구하는 대상이 된다. 이와 같이, 판정 테이블 TB는, 1이 기입된 횟수, 즉 촬상 장치(30)의 촬상 결과로부터 정상인 시차 화상이 생성된 횟수를 사용하여, 자세 파라미터를 구하는 촬상 장치(30)를 결정한다. 즉, 처리 장치(20)는, 2개 이상의 촬상 장치(30) 중 한 쌍의 촬상 장치(30)에 의해 얻어진 한 쌍의 화상 간에서 대응하는 부분을 탐색한 결과인 시차 화상에 기초하여, 자세 파라미터를 구하기 위한 한 쌍의 촬상 장치(30)를 결정한다. 실시형태에서 설명된 자세 파라미터를 구하기 위한 한 쌍의 촬상 장치(30)를 결정하는 전술한 방법은 일례이며, 이에 한정되는 것은 아니다.

스텝 S103에 있어서, 처리 장치(20)는, 판정 테이블 TB를 사용하여 정상적인 시차 화상이 생성된 횟수를, 촬상 장치(30a, 30b, 30c, 30d)마다 계수한다. 스텝 S104에 있어서, 처리 장치(20)는, 정상적인 시차 화상이 생성된 횟수에 기초하여, 어긋남이 발생하고 있으므로, 자세 파라미터를 재차 구하는 촬상 장치(30)를 결정한다. 이와 같이, 처리 장치(20)는, 복수 쌍의 촬상 장치(30)가 있는 경우, 탐색의 성공율이 임계값 미만, 즉 정상적인 시차 화상이 생성된 한 쌍의 촬상 장치(30) 중 적어도 한쪽은, 자세 파라미터를 재차 구하는 것으로 한다.

자세 파라미터를 재차 구하는 촬상 장치(30)가 결정되었으면, 처리 장치(20)는, 자세 파라미터를 구하는 처리를 실행한다. 스텝 S105에 있어서, 처리 장치(20), 본 실시형태에서는 처리부(21)의 탐색부(21A)는, 자세 파라미터를 변경한다. 그리고, 스텝 S106에 있어서, 처리 장치(20)의 탐색부(21A)는, 변경한 자세 파라미터를 사용하여, 자세 파라미터를 재차 구하는 촬상 장치(30) 및 이것과 쌍으로 되는 촬상 장치(30)에 의해 촬상된 한 쌍의 화상에, 스테레오 방식에 의한 화상 처리를 행한다. 스테레오 방식에 의한 화상 처리가 행해지는 한 쌍의 화상은, 스텝 S101에 있어서 촬상된 화상이다. 스테레오 방식에 의한 화상 처리는, 구체적으로는 한 쌍의 화상으로부터 시차 화상을 생성하는 처리이다.

스텝 S106가 종료되면, 처리 장치(20), 본 실시형태에서는 처리부(21)의 결정부(21B)는, 스텝 S107에 있어서, 스텝 S106에서 생성한 시차 화상에 차지하는 그레이 스케일의 화소, 즉 0 이외의 수치가 저장된 화소의 비율인 그레이 스케일 비율 SR과, 임계값 SRc를 비교한다. 스텝 S107은, 스테레오 방식에 의한 화상 처리의 성공율을 판정하는 처리이다. 임계값 SRc의 크기는, 전술한 바와 같이, 예를 들면80%에서 90%로 할 수 있지만, 이 범위의 값에 한정되는 것은 아니다. 스텝 S107에 있어서, 그레이 스케일 비율 Sr이 임계값 SRc보다 작을 경우(스텝 S107, No), 처리 장치(20)의 결정부(21B)는, 스텝 S105로 복귀하고, 그레이 스케일 비율 Sr이 임계값 SRc 이상으로 될 때까지, 스텝 S105로부터 스텝 S107를 반복한다.

스텝 S107에 있어서, 시차 화상의 그레이 스케일 비율 Sr이 임계값 SRc 이상인 경우(스텝 S107, Yes), 처리 장치(20)의 결정부(21B)는, 스텝 S108에 있어서, 이 때의 자세 파라미터를, 새로운 자세 파라미터로서 결정한다. 이후는, 스텝 S108에서 결정된 자세 파라미터에 의해, 스테레오 방식에 의한 화상 처리가 실행된다.

실시형태에 있어서, 처리 장치(20)는, 자세 파라미터를 변경하는 대상인 한 쌍의 촬상 장치(30) 중, 한쪽의 자세 파라미터를 변경하고, 다른 쪽의 자세 파라미터를 변경시키지 않으므로, 이들에 따라서 촬상된 한 쌍의 화상에, 스테레오 화상 처리를 행한다. 한 쌍의 촬상 장치(30) 중, 한쪽의 자세 파라미터만을 변경함으로써, 양쪽의 자세 파라미터가 변경되는 경우와 비교하여, 한 쌍의 촬상 장치(30)의 상대적인 위치 관계를 어긋남이 발생하기 전의 상태로 신속하게 근접시킬 수 있다. 그 결과, 처리 장치는, 새로운 자세 파라미터를 구하는 시간을 단축할 수 있다.

자세 파라미터를 변경하는 대상인 한 쌍의 촬상 장치(30) 중, 자세 파라미터가 변경되지 않는 쪽을 제1 촬상 장치라고 하고, 자세 파라미터가 변경되는 쪽을 제2 촬상 장치라고 한다. 이 예에서는, 자세 파라미터를 변경하는 대상이, 도 2에 나타내는 촬상 장치(30c) 및 촬상 장치(30d)이며, 촬상 장치(30d)의 자세 파라미터가 변경된다. 따라서, 촬상 장치(30c)가 제1 촬상 장치이며, 촬상 장치(30d)가 제2 촬상 장치이다. 이하에 있어서, 촬상 장치(30c)를 적절히, 제1 촬상 장치(30c)라고 하고, 촬상 장치(30d)를 적절히 제2 촬상 장치(30d)라고 한다.

도 17 내지 도 21은, 자세 파라미터를 설명하기 위한 도면이다. 자세 파라미터는, 전술한 바와 같이, 회전 방향 보정량 α, β, γ 및 병진 방향 보정량 ΔX, ΔY, ΔZ이다. 처리 장치(20)는, 새로운 자세 파라미터를 구하는 데 있어서, 제1 촬상 장치(30c)와 제2 촬상 장치(30d)와의 병진 방향에서의 위치 관계를 규정하는 제1 파라미터와 제2 촬상 장치(30d)의 촬상 장치 좌표계에서의 자세를 규정하는 제2 파라미터를 변경한다. 제1 파라미터 및 제2 파라미터, 즉 제2 촬상 장치(30d)의 자세를 규정하는 파라미터는, 제2 촬상 장치(30d)의 회전을 나타내는 것이다. 처리 장치(20)는, 제1 파라미터 및 제2 파라미터를 변경함으로써, 자세 파라미터인 회전 방향 보정량 α, β, γ 및 병진 방향 보정량 ΔX, ΔY, ΔZ를 변경한다.

다음에, 설명하는 바와 같이, 제2 파라미터는, 도 17에 나타낸 바와 같이, 각도 α', β', γ'이다. 각도 α', β', γ'는, 제2 촬상 장치(30d)의 촬상 장치 좌표계(Xs, Ys, Zs)의 각각의 축 주위에서의, 제2 촬상 장치(30d)의 회전 각도이다. 제1 파라미터는, 도 18 및 도 19에 나타내는 각도 θ, 및 도 20 및 도 21에 나타내는 각도 φ이다. 각도 θ는, 베이스 라인 BL과 제2 촬상 장치(30d)의 촬상 장치 좌표계(Xs, Ys, Zs)의 Zs축이 이루는 각도이다. 각도 φ는, 베이스 라인 BL과 제2 촬상 장치(30d)의 촬상 장치 좌표계(Xs, Ys, Zs)의 Xs축이 이루는 각도이다.

제1 파라미터인 각도 θ및 각도 φ를 변경하면, 제2 촬상 장치(30d)는, 제1 촬상 장치(30c)를 중심, 보다 구체적으로는 제1 촬상 장치(30c)의 촬상 장치 좌표계의 원점(이 예에서는 광학 중심 OCc와 일치함)으로서 회전한다. 즉, 제1 파라미터는, 제1 촬상 장치(30c)를 중심으로 하여 제2 촬상 장치(30d)를 회전시킨다.

제2 파라미터인 각도 α', β', γ'를 변경하면, 제2 촬상 장치(30d)는, 자체의 중심, 보다 구체적으로는 제2 촬상 장치(30d)의 촬상 장치 좌표계의 원점(이 예에서는 광학 중심 OCd와 일치함)의 주위를 회전한다. 즉, 제2 파라미터는, 제2 촬상 장치(30d)의 중심의 주위로 제2 촬상 장치(30d)를 회전시킨다.

이와 같이, 제1 파라미터 및 제2 파라미터는, 모두 제2 촬상 장치(30d)의 자세를 규정하는 파라미터이다. 제2 촬상 장치(30d)의 자세가 규정되는 것에 의해, 제1 촬상 장치(30c)와 제2 촬상 장치(30d)와의 상대적인 위치 관계가 규정된다.

실시형태에 있어서, 처리 장치(20)는, 제1 촬상 장치(30c)와 제2 촬상 장치(30d)와의 거리를 일정, 즉 제1 촬상 장치(30c)와 제2 촬상 장치(30d)와의 베이스 라인 BL의 길이 B를 일정하게 하여, 제2 촬상 장치(30d)의 자세를 규정하는 파라미터를 변경한다. 제1 촬상 장치(30c)와 제2 촬상 장치(30d)와의 베이스 라인 BL은, 제1 촬상 장치(30c)의 광학 중심 OCc와 제2 촬상 장치(30d)의 광학 중심 OCd를 연결한 직선이다.

베이스 라인 BL의 길이를 일정하게 하여, 제1 파라미터인 각도 θ및 각도 φ가 변경되면, 제1 촬상 장치(30c)를 중심으로 하여 제2 촬상 장치(30d)가 회전하므로, 결과로서는, 제2 촬상 장치(30d)의 회전 성분에 더하여 제2 촬상 장치(30d)의 병진 성분도 변화한다. 따라서, 제1 파라미터 및 제2 파라미터가 변경됨으로써, 자세 파라미터인 회전 방향 보정량 α, β, γ 및 병진 방향 보정량 ΔX, ΔY, ΔZ이 변경된다. 베이스 라인 BL의 길이를 일정하게 하여, 제1 파라미터인 각도 θ및 각도 φ가 변경됨으로써, 자세 파라미터를 구할 때 변경하는 파라미터의 수를 저감할 수 있다. 그 결과, 처리 장치(20)의 계산 부하가 경감되므로, 바람직하다.

제1 파라미터인 각도 θ, φ 및 제2 파라미터인 각도 α', β', γ'를 얻을 수 있으면, 제1 촬상 장치(30c)와 제2 촬상 장치(30d)와의 상대적인 위치 관계를 얻을 수 있다. 처리 장치(20)는, 시차 화상의 그레이 스케일 비율 Sr이 임계값 SRc 이상으로 될 때까지, 제1 파라미터 및 제2 파라미터를 변경하면서, 시차 화상을 생성한다. 제1 파라미터 및 제2 파라미터를 변경하는 데 있어서, 처리 장치(20)는, 변경 전의 값을 기준으로 하여, 플러스 방향과 마이너스 방향과의 양쪽에, 소정의 변화량으로, 소정의 크기로 될 때까지 각도 θ, φ 및 각도 α', β', γ'를 변경한다. 도 17 내지 도 21은, 각도 θ, φ 및 각도 α', β', γ'를 플러스 방향 및 마이너스 방향으로 변화시키는 것을 예시적으로 나타내고 있다.

처리 장치(20)는, 각도 θ, φ 및 각도 α', β', γ'를 변경할 때마다, 변경된 각도 θ, φ 및 각도 α', β', γ'를 사용하여, 제1 촬상 장치(30c) 및 제2 촬상 장치(30d)에 의해 촬상된 한 쌍의 화상으로부터 시차 화상을 생성한다. 구체적으로는, 처리 장치(20)는, 변경된 각도 θ, φ 및 각도 α', β', γ'를 사용하여, 자세 파라미터인 회전 방향 보정량 α, β, γ 및 병진 방향 보정량 ΔX, ΔY, ΔZ를 구하고, 얻어진 자세 파라미터를 사용하여 시차 화상을 생성한다. 처리 장치(20)는, 생성된 시차 화상의 그레이 스케일 비율 SR과 임계값 SRc를 비교한다.

처리 장치(20)는, 시차 화상의 그레이 스케일 비율 Sr이 임계값 SRc 이상으로 되었을 때의 제1 파라미터 및 제2 파라미터를 사용하여, 자세 파라미터인 회전 방향 보정량 α, β, γ 및 병진 방향 보정량 ΔX, ΔY, ΔZ를 구한다. 그리고, 촬상 장치(30)에 의해 촬상된 화상은, 새롭게 구해진 회전 방향 보정량 α, β, γ 및 병진 방향 보정량 ΔX, ΔY, ΔZ를 사용하여 스테레오 방식에 의한 화상 처리가 실행되고, 대상의 3차원 계측이 행해진다.

복수의 촬상 장치(30) 중, 3개의 촬상 장치(30)가 자세 파라미터를 변경하는 대상인 경우를 설명한다. 도 15에 나타내는 3개의 촬상 장치(30b, 30c, 30d)가 자세 파라미터를 변경하는 대상인 경우, 3가지의 조합, 즉 촬상 장치(30c)와 촬상 장치(30b)와의 조합, 촬상 장치(30c)와 촬상 장치(30d)와의 조합, 및 촬상 장치(30d)와 촬상 장치(30b)와의 조합이 있다. 이 경우, 3개의 촬상 장치(30b, 30c, 30d) 중1개를 제1 촬상 장치로 하고, 나머지의 2개를 각각 제2 촬상 장치로 한다. 그러면, 제1 촬상 장치를 공통으로 한 2대의 촬상 장치의 조합이 성립하므로, 처리 장치(20)는, 각각의 조합에 대하여 새로운 자세 파라미터를 구한다.

예를 들면, 촬상 장치(30c)를 제1 촬상 장치로서, 촬상 장치(30b, 30d)를 제2 촬상 장치로 한다. 그러면, 촬상 장치(30c)와 촬상 장치(30b)와의 조합, 및 촬상 장치(30c)와 촬상 장치(30d)와의 조합이 성립한다. 처리 장치(20)는, 전자(前者)의 조합에 대해서는 촬상 장치(30b)의 자세 파라미터를 변경하고, 후자의 조합에 대해서는 촬상 장치(30d)의 자세 파라미터를 변경한다.

3개의 촬상 장치(30)가 자세 파라미터를 변경하는 대상인 경우에 자세 파라미터를 구하는 방법은, 전술한 것에 한정되지 않는다. 예를 들면, 처리 장치(20)는, 먼저 촬상 장치(30c)와 촬상 장치(30b)와의 조합에 있어서 촬상 장치(30b)의 자세 파라미터를 결정하고, 다음에, 촬상 장치(30b)를 제1 촬상 장치, 촬상 장치(30d)를 제2 촬상 장치로 하여 촬상 장치(30d)의 자세 파라미터를 결정해도 된다.

복수의 촬상 장치(30) 중, 4개의 촬상 장치(30)가 자세 파라미터를 변경하는 대상인 경우를 설명한다. 도 15에 나타내는 4개의 촬상 장치(30a, 30b, 30c, 30d)가 자세 파라미터를 변경하는 대상인 경우, 촬상 장치(30a)와 촬상 장치(30b)와의 조합 및 촬상 장치(30c)와 촬상 장치(30d)와의 조합의 2가지의 조합, 또는 촬상 장치(30a)와 촬상 장치(30c)와의 조합 및 촬상 장치(30b)와 촬상 장치(30d)와의 조합의 2가지의 조합이 있다.

촬상 장치(30a)와 촬상 장치(30b)와의 조합인 제1 조합 및 촬상 장치(30c)와 촬상 장치(30d)와의 조합인 제2 조합이 성립하는 경우를 고려한다. 이 경우, 제1 조합에 있어서는 어느 한쪽을 제1 촬상 장치로 하고, 다른 쪽을 제2 촬상 장치로 한다. 마찬가지로, 제2 조합에 있어서도, 어느 한쪽을 제1 촬상 장치로 하고, 다른 쪽을 제2 촬상 장치로 한다. 처리 장치(20)는, 제1 조합 및 제2 조합의 각각에 있어서, 제2 촬상 장치의 자세 파라미터를 변경함으로써, 새로운 자세 파라미터를 구한다.

실시형태에 관한 교정 시스템(50) 및 교정 방법은, 작업 기계인 유압 셔블(100)이 가지는 2개 이상의 촬상 장치(30) 중 하나 이상에, 외적 요인에 의해 위치의 어긋남이 발생한 경우, 다음과 같이 처리한다. 즉, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 2개 이상의 촬상 장치(30) 중, 제1 촬상 장치와 제2 촬상 장치와의 거리를 일정하게 하여 자세 파라미터를 변화시키고, 제1 촬상 장치 및 제2 촬상 장치에 의해 얻어진 한 쌍의 화상 간에서 대응하는 부분을 탐색한 결과인 시차 화상에 기초하여, 새로운 자세 파라미터를 구한다. 여기서, 제1 촬상 장치 및 제2 촬상 장치 중 적어도 한쪽은, 외적 요인에 의해 위치의 어긋남이 발생한 촬상 장치이다.

이와 같은 처리에 의해, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 작업 기계인 유압 셔블(100)이 가지는 촬상 장치(30)를 교정할 수 있다. 또한, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 교정을 위한 설비 구축이 불필요하므로, 유압 셔블(100)의 사용자의 사용처에 있어서 발생한 촬상 장치(30)의 위치의 어긋남을 용이하고 또한 단시간에 수정할 수 있다. 이와 같이, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 촬상 장치(30)를 교정하는 설비가 없는 장소라도, 촬상 장치(30)의 위치 어긋남의 보정이 가능하므로, 작업의 중단을 억제할 수 있는 장점이 있다. 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 위치 어긋남이 발생한 촬상 장치(30)를 움직이지 않고, 소프트웨어 위의 처리에 의해 촬상 장치(30)의 위치의 어긋남을 용이하게 또한 단시간에 수정할 수 있다는 장점도 있다.

실시형태에 관한 교정 시스템(50) 및 교정 방법은, 2개 이상의 촬상 장치(30) 중 한 쌍의 촬상 장치(30)에 의해 얻어진 한 쌍의 화상 간에서 대응하는 부분을 탐색한 결과, 즉 시차 화상에 차지하는 그레이 스케일의 비율에 기초하여, 자세 파라미터를 구할 필요가 있는 촬상 장치(30)를 결정한다. 구체적으로는, 정상인 시차 화상이 한번도 생성할 수 없었던 촬상 장치(30)가, 자세 파라미터를 구할 필요가 있는 촬상 장치(30), 즉 허용할 수 없는 위치의 어긋남이 발생하고 있는 촬상 장치(30)로 된다. 그러므로, 실시형태에 관한 교정 시스템(50) 및 교정 방법은, 자세 파라미터를 구할 필요가 있는 촬상 장치(30)를 용이하고 또한 확실하게 결정할 수 있다.

이상, 실시형태를 설명하였으나, 전술한 내용에 의해 실시형태가 한정되는 것은 아니다. 또한, 전술한 구성 요소에는, 당업자가 용이하게 상정(想定)할 수 있는 것, 실질적으로 동일한 것, 이른바 균등한 범위의 것이 포함된다. 전술한 구성 요소는 적절히 조합시키는 것이 가능하다. 실시형태의 요지를 벗어나지 않는 범위에 의해 구성 요소의 각종 생략, 치환 및 변경 중 하나 이상을 행할 수 있다. 작업 기계는, 적어도 한 쌍의 촬상 장치를 구비하고, 이 한 쌍의 촬상 장치를 사용하여 스테레오 방식으로 대상을 3차원 계측하는 것이면 유압 셔블(100)에 한정되지 않고, 휠 로더(wheel loader) 또는 불도저(bulldozer)와 같은 작업 기계라도 된다. 자세 파라미터를 구하는 처리는, 유압 셔블(100)의 외부의 처리 장치가 실행해도 된다. 이 경우, 촬상 장치(30)에 의해 촬상된 화상은, 예를 들면, 통신에 의해 유압 셔블(100)의 외부의 처리 장치에 보내진다.

1; 차체
2; 작업기
3; 선회체
4; 운전실
5; 주행체
5a, 5b; 크롤러 트랙
6; 붐
7; 암
8; 버킷
9; 날
10; 붐 실린더
11; 암 실린더
12; 버킷 실린더
13; 붐 핀
14; 암 핀
15; 버킷 핀
20; 처리 장치
21; 처리부
22; 기억부
23; 입출력부
30, 30a, 30b, 30c, 30d, 30L, 30R; 촬상 장치
31L, 31R; 촬상 소자
32L, 32R, 32Lr; 화상
33, 33'; 시차 화상
50; 촬상 장치의 교정 시스템
100; 유압 셔블
BL; 베이스 라인
d; 시차
f; 초점 거리
OCL, OCR, OCc, OCd; 광학 중심
P3; 날끝
SR; 그레이 스케일 비율
SRc; 임계값
TB; 판정 테이블
α, β, γ, θ, φ; 각도

Claims

2개 이상의 촬상(撮像) 장치; 및
2개 이상의 상기 촬상 장치 중, 제1 촬상 장치와 제2 촬상 장치와의 거리를 일정하게 하여 상기 제2 촬상 장치의 자세를 규정하는 파라미터를 변화시키고, 상기 제1 촬상 장치 및 상기 제2 촬상 장치에 의해 얻어진 한 쌍의 화상 간에서 대응하는 부분을 탐색하고, 탐색한 결과에 기초하여, 상기 파라미터를 구하는 처리 장치;
를 포함하는 촬상 장치의 교정 시스템.
제1항에 있어서,
상기 파라미터는, 상기 제2 촬상 장치의 회전을 규정하는 것인, 촬상 장치의 교정 시스템.
제1항 또는 제2항에 있어서,
상기 파라미터는, 상기 제1 촬상 장치를 중심으로 하여 상기 제2 촬상 장치를 회전시키는 제1 파라미터와, 상기 제2 촬상 장치의 중심의 주위로 상기 제2 촬상 장치를 회전시키는 제2 파라미터를 포함하는, 촬상 장치의 교정 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 처리 장치는, 2개 이상의 상기 촬상 장치 중 한 쌍의 상기 촬상 장치에 의해 얻어진 한 쌍의 화상 간에서 대응하는 부분을 탐색한 결과에 기초하여, 상기 파라미터를 구할 필요가 있는 상기 제1 촬상 장치 및 상기 제2 촬상 장치를 결정하는, 촬상 장치의 교정 시스템.
제4항에 있어서,
상기 처리 장치는, 복수 쌍의 상기 촬상 장치가 있는 경우, 탐색의 성공율이 임계값 미만인 한 쌍의 상기 촬상 장치는 상기 파라미터를 구하는, 촬상 장치의 교정 시스템.
제1항 내지 제5항 중 어느 한 항에 기재된 촬상 장치의 교정 시스템; 및
복수의 상기 촬상 장치;
를 포함하는 작업 기계.
복수의 촬상 장치 중 한 쌍의 촬상 장치에 의해 얻어진 한 쌍의 화상 간에서 대응하는 부분을 탐색한 결과에 기초하여 한 쌍의 상기 촬상 장치 중 어느 한쪽의 자세를 규정하는 파라미터를 구할 것인지의 여부를 결정하는 단계;
상기 파라미터를 구하는 경우, 한 쌍의 상기 촬상 장치인 제1 촬상 장치와 제2 촬상 장치와의 거리를 일정하게 하여, 상기 제2 촬상 장치의 자세를 규정하는 파라미터를 변화시키고, 상기 제1 촬상 장치 및 상기 제2 촬상 장치에 의해 얻어진 한 쌍의 화상 간의 대응하는 부분을 탐색하는 단계; 및
탐색한 결과에 기초하여 상기 촬상 장치의 자세를 규정하는 자세 파라미터를 구하는 단계;
를 포함하는 촬상 장치의 교정 방법.