KR20170118831A

KR20170118831A - 작업 기계의 표시 시스템, 및 작업 기계의 표시 방법

Info

Publication number: KR20170118831A
Application number: KR1020177026226A
Authority: KR
Inventors: 요스케 오쿠무라; 다케히로 시바타
Original assignee: 가부시키가이샤 고마쓰 세이사쿠쇼
Priority date: 2015-07-31
Filing date: 2015-07-31
Publication date: 2017-10-25
Also published as: US20180295357A1; KR102027395B1; WO2017022042A1; KR20190073621A; JPWO2017022042A1; DE112015006345T5; CN107431783A; JP6577034B2

Abstract

본 발명은, 작업 기계에 설치된 작업 기계의 주변 감시 장치로서, 상기 작업 기계의 주위 상황을 취득하는 복수 대의 카메라(C1)∼(C4)와, 시간 변화 화상(63)을 생성하는 동시에 복수 대의 카메라(C1)∼(C4)가 촬상한 화상에 대하여 소정 처리를 행한 화상을 영상 신호(S1)로서 출력하는 주변 감시 제어부(40)와, 주변 감시 제어부(40)로부터 출력된 영상 신호(S1)를 기초로 시간 변화 화상(63)과 상기 소정 처리를 행한 화상을 표시하는 표시부(16)와, 시간 변화 화상(63)이 소정 시간 변화하지 않을 경우, 주변 감시 제어부(40)의 소정 처리에 이상이 발생한 것으로 하여 그 취지를 에러 통지하는 모니터 제어부(43)를 구비함으로써, 간단한 구성으로, 주변 감시 제어부(40)의 소정 처리의 이상을 신속히 파악할 수 있다.

Description

작업 기계의 표시 시스템, 및 작업 기계의 표시 방법

본 발명은, 간단한 구성으로, 화상 처리부를 포함하는 주변 감시 제어부(표시 제어부)의 소정 처리의 이상(異常)을 신속히 파악할 수 있는 작업 기계의 표시 시스템, 및 작업 기계의 표시 방법에 관한 것이다.

유압 셔블 등의 작업 기계의 분야에서는, 차체의 주변에 존재하는 장애물을 오퍼레이터가 육안으로 관찰할 수 있도록, 차체 후방이나 차체 측방에 복수 대의 카메라를 설치하고, 카메라가 촬상(撮像)한 화상을 싱글 카메라(single camera) 화상으로서 작업 기계의 운전실 내의 모니터에 비추고 있는 것이 있다. 또한, 차체의 주위를 동시에 감시 가능하도록, 각각의 카메라의 화상을 상방 시점(視点)으로 변환한 다음 각각의 카메라의 화상을 합성함으로써 부감(俯瞰; high angle) 화상을 생성하여 모니터에 표시하는 것이 있다.

특허문헌 1에는, 선택된 싱글 카메라 화상을 취득한 카메라의 설치 위치를 나타내는 아이콘을 화상 위에 표시하는 것이 기재되어 있다. 이로써, 어느 카메라에 의해 취득된 싱글 카메라 화상인지를 용이하게 인식할 수 있다.

국제 공개 제2013/105597호

그런데, 부감 화상을 생성한다는 화상 처리는, 부하가 큰 작업으로 되므로, 일반적으로 모니터 등의 표시부에 기계 게이지(gauge) 정보(엔진 수온이나 연료의 잔량 등)를 표시시키기 위한 모니터 제어부에 의한 처리에서는 곤란을 수반한다. 그러므로, 모니터와는 별개의 범용 화상 처리 가속기를 가지는 화상 처리 컨트롤러(주변 감시 제어부)에 의해 처리된다. 그와 같은 경우, 화상 처리 컨트롤러에 의해 생성된 부감 화상을, 영상 신호로서 모니터의 표시부에 출력하고, 표시부에 부감 화상을 표시하도록 하고 있다.

여기서, 화상 처리 컨트롤러에 어떠한 문제점이 발생한 경우, 작업 기계가 움직이고 있는 등 카메라가 촬상하는 경치는 변화되고 있음에도 불구하고, 화상 처리 컨트롤러가 동일한 부감 화상을 표시부에 계속 송신할 가능성이 있다. 이 경우, 복수 대의 카메라가 촬상하고 있는 적정한 화상을 표시부에 표시할 수 없음에도 불구하고, 오퍼레이터에게 있어서는 부감 화상이 표시되고 있는 이상, 오퍼레이터는 화상 처리 컨트롤러에 문제점이 발생한 것으로 눈치챌 수가 없다.

본 발명은, 상기 문제점을 해결하기 위한 것으로서, 간단한 구성으로 화상 처리부를 포함하는 주변 감시 제어부(표시 제어부)의 소정 처리의 이상을 신속히 파악할 수 있는 작업 기계의 표시 시스템, 및 작업 기계의 표시 방법을 제공하는 것을 목적으로 한다.

전술한 문제점을 해결하고, 목적을 달성하기 위해, 본 발명에 관한 작업 기계의 표시 시스템은, 작업 기계의 주위 상황을 취득하는 1대 또는 복수 대의 카메라와, 시간 변화 화상을 생성하는 동시에 상기 1대 또는 복수 대의 카메라가 촬상한 화상에 대하여 소정 처리를 행한 화상을 영상 신호로서 출력하는 표시 제어부와, 상기 표시 제어부로부터 출력된 영상 신호를 기초로 상기 시간 변화 화상과 상기 소정 처리를 행한 화상을 표시하는 모니터와, 상기 시간 변화 화상이 소정 시간 변화하지 않을 경우, 상기 표시 제어부에 이상이 발생한 것으로 판단하는 이상 판단부를 구비한 것을 특징으로 한다.

또한, 본 발명에 관한 작업 기계의 표시 시스템은, 상기한 발명에 있어서, 상기 표시 제어부와 상기 이상 판단부는, 다른 컨트롤러에 각각 설치되는 것을 특징으로 한다.

또한, 본 발명에 관한 작업 기계의 표시 시스템은, 상기한 발명에 있어서, 상기 표시 제어부가 소정 처리를 행한 화상이란, 싱글 카메라 화상 및/또는 부감 화상인 것을 특징으로 한다.

또한, 본 발명에 관한 작업 기계의 표시 시스템은, 상기한 발명에 있어서, 상기 이상 판단부는, 상기 표시 제어부에 이상이 발생한 것으로 판단한 경우, 통지하는 것을 특징으로 한다.

또한, 본 발명에 관한 작업 기계의 표시 시스템은, 상기한 발명에 있어서, 상기 통지는, 상기 표시 제어부에 이상이 발생한 취지를 알리는 메시지, 또는 아이콘을 상기 모니터에 표시하는 것인 것을 특징으로 한다.

또한, 본 발명에 관한 작업 기계의 표시 시스템은, 상기한 발명에 있어서, 상기 표시 제어부가 생성하는 시간 변화 화상은, 싱글 카메라 화상 위치 아이콘 외측 프레임에 배치되는 것을 특징으로 한다.

또한, 본 발명에 관한 작업 기계의 표시 시스템은, 상기한 발명에 있어서, 상기 표시 제어부가 생성하는 시간 변화 화상은, 싱글 카메라 화상 또는 부감 화상의 표시 영역 또는 그 주변 영역에 배치되는 것을 특징으로 한다.

또한, 본 발명에 관한 작업 기계의 표시 시스템은, 상기한 발명에 있어서, 상기 표시 제어부가 생성하는 시간 변화 화상은, 상기 표시 제어부가 생성하는 합성 영상 표시 영역 중 어느 하나의 영역에 배치되는 것을 특징으로 한다.

또한, 본 발명에 관한 작업 기계의 표시 시스템은, 상기한 발명에 있어서, 상기 표시 제어부가 소정 처리를 행한 화상이 복수 있는 경우, 상기 시간 변화 화상은, 복수의 상기 화상 각각에 설치되고, 상기 이상 판단부는 화상 단위로 이상을 판단하는 것을 특징으로 한다.

또한, 본 발명에 관한 작업 기계의 표시 방법은, 작업 기계의 주위 상황을 취득하는 1대 또는 복수 대의 카메라와, 소정의 정보를 표시하는 모니터를 구비하고, 시간 변화 화상을 생성하는 동시에 상기 1대 또는 복수 대의 카메라가 촬상한 화상에 대하여 소정 처리를 행한 화상을 영상 신호로서 출력하는 표시 제어 스텝과, 상기 표시 제어 스텝으로부터 출력된 영상 신호를 기초로 상기 시간 변화 화상과 상기 소정 처리를 행한 화상을 표시하는 스텝과, 상기 시간 변화 화상이 소정 시간 변화하지 않을 경우, 이상이 발생한 것으로 판단하는 이상 판단 스텝을 구비한 것을 특징으로 한다.

본 발명에 의하면, 표시 제어부로서의 주변 감시 제어부가, 시간 변화 화상을 생성하는 동시에 복수 대의 카메라가 촬상한 화상에 대하여 소정 처리를 행한 화상을 영상 신호로서 출력하고, 표시부가, 상기 주변 감시 제어부로부터 출력된 영상 신호를 기초로 상기 시간 변화 화상과 상기 소정 처리를 행한 화상을 표시하고, 이상 판단부로서의 모니터 제어부가, 상기 시간 변화 화상이 소정 시간 변화하지 않을 경우, 상기 주변 감시 제어부의 소정 처리에 이상이 발생한 것으로 판단·통지하도록 하고 있으므로, 간단한 구성으로, 오퍼레이터가 주변 감시 제어부의 소정 처리의 이상을 신속히 파악할 수 있다.

도 1은, 본 발명의 실시예인 작업 기계의 주변 감시 장치가 탑재되는 유압 셔블의 전체 구성을 나타낸 사시도이다.
도 2는, 운전실의 내부 배치를 나타낸 도면이다.
도 3은, 카메라의 배치를 나타낸 평면도이다.
도 4는, 유압 셔블의 제어계 전체 및 주변 감시 제어부의 상세한 구성을 나타낸 블록도이다.
도 5는, 부감 화상 생성부에 의한 부감 화상의 생성 처리를 설명하는 설명도이다.
도 6은, 시간 변화 화상의 일례를 나타낸 도면이다.
도 7은, 모니터의 표시부에 표준 화면이 표시된 상태를 나타낸 도면이다.
도 8은, 모니터 제어부에 의한 주변 감시 제어부의 이상 처리 수순을 나타낸 플로우차트이다.

이하, 첨부 도면을 참조하여 본 발명을 실시하기 위한 형태에 대하여 설명한다.

[유압 셔블의 전체 구성]

먼저, 도 1은, 본 발명의 실시예인 작업 기계의 주변 감시 장치가 탑재되는 유압 셔블의 전체 구성을 나타낸 사시도이다. 이 유압 셔블(1)은, 작업 기계의 일례로서 나타낸 유압 셔블이다. 유압 셔블(1)은, 자주(自走) 가능한 하부 주행체(2)와, 하부 주행체(2) 상에 선회(旋回) 가능하게 설치된 상부 선회체(旋回體)(3)와, 상부 선회체(3)의 전부(前部) 중앙에 굴곡 기복(起伏) 가능하게 동작하는 작업기(4)를 구비한다.

작업기(4)는, 붐(boom)(4a), 암(arm)(4b), 버킷(bucket)(4c), 붐 실린더(4d), 암 실린더(4e), 및 버킷 실린더(4f)를 가진다.

상부 선회체(3)의 전부 좌측 부분에는, 운전실(6)이 설치된다. 상부 선회체(3)의 후부(後部)에는, 파워 컨테이너(7)가 탑재된다. 파워 컨테이너(7) 내에는, 엔진, 유압(油壓) 펌프, 라디에이터, 오일 쿨러 등이 수용되어 있다. 상부 선회체(3)의 후단부에는, 카운터웨이트(counterweight)(8)가 장착된다.

[운전실]

도 2는, 운전실(6)의 내부 배치를 나타낸 도면이다. 도 2에 나타낸 바와 같이, 조작 레버(11, 12)는, 예를 들면, 운전실(6) 내의 오퍼레이터 시트(10)의 좌우에 배치된다. 조작 레버(11)는 상부 선회체(3)의 선회 동작과 암(4b)의 동작에 대응하고 있고, 조작 레버(12)는 붐(4a)의 동작과 버킷(4c)의 동작에 대응하고 있다. 그리고, 조작 레버(11, 12)의 조작과 어느 작업기가 동작하는지의 조합은, 본 실시형태의 것에 한정되지는 않는다.

주행 레버(13) 및 주행 레버(14)는, 조작에 따라 하부 주행체(2)의 좌측 및 우측의 크롤러(crawlers)의 전진 후진을 행할 수 있다.

또한, 운전실(6)의 우측 전방에는, 모니터(15)가 배치된다. 모니터(15)는, 표시부(16)와 조작부(17)를 가진다. 표시부(16)는, 액정 디스플레이 등의 표시 장치이며, 엔진이나 유압 펌프 등의 상태를 포함하는 각종 정보, 예를 들면, 엔진 수온, 오일 온도, 연료의 잔량 등의 기계 정보, 기기(機器)의 이상 등을 나타내는 경고 정보, 메뉴 화면이나 유지보수 화면 등을 표시할 수 있다.

또한, 모니터(15)에는, 후술하는 카메라로 촬영된 화상(싱글 카메라 화상)나, 복수의 카메라 화상을 상방 시점으로 변환한 다음 합성함으로써 생성되는 화상(부감 화상)을 표시할 수 있다.

조작부(17)는, 표시부(16)의 표시 내용에 대응하여 복수의 기능을 갖도록 한 팬 쿠션 스위치나, 작업 모드, 주행 모드, 에어컨 등의 각종 설정을 행하기 위한 스위치를 포함한다. 그리고, 모니터(15)는, 표시부(16)와 조작부(17)를 일체화한 터치 패널로 구성해도 된다. 또한, 조작부(17)를 표시부(16)와 별개로 하고, 조작부(17)를 운전실 내의 다른 장소에 설치해도 된다.

[카메라의 구성]

카메라(C1)∼(C4)는, 상부 선회체(3)에 장착된다. 도 3에 나타낸 바와 같이, 카메라(C1)는, 상부 선회체(3)의 후방에 장착되어 상부 선회체(3)의 후방을 촬상한다. 또한, 카메라(C2)는, 상부 선회체(3)의 우측편에 장착되어 상부 선회체(3)의 우측 후방 측을 촬상한다. 또한, 카메라(C3)는, 상부 선회체(3)의 우측편에 장착되어 상부 선회체(3)의 우측 전방 측을 촬상한다. 또한, 카메라(C4)는, 상부 선회체(3)의 좌측편에 장착되어 상부 선회체(3)의 좌측편을 촬상한다. 그리고, 예를 들면, 각 카메라(C1)∼(C4)는, 좌우 방향 및 높이 방향에 있어서 소정 각도의 시야 범위를 가진다. 카메라로서 CCD(Charge-Coupled Device) 카메라를 사용할 수 있다. 또한, 각 카메라(C1)∼(C4)는, 와이드 다이나믹 레인지(Wide Dynamic Range) 기능을 가져도 된다.

[제어계의 전체 구성]

도 4는, 유압 셔블(1)의 제어계 전체의 구성을 나타낸 블록도이다. 도 4에 나타낸 바와 같이, 주변 감시 제어부(40)(표시 제어부), 통신 제어부(42), 모니터 제어부(43)(이상 판단부), 엔진 제어부(44), 펌프 제어부(45) 등이, 차내 네트워크 중 하나인 CAN(41)에 접속된다.

모니터 제어부(43)는, 모니터(15)에 접속되고, 모니터(15)의 표시 제어부로서 기능한다. 모니터 제어부(43)는, CAN(41)을 통하여 각종 센서로부터 송신된 정보나, 모니터(15)에 설치된 스위치를 통하여 입력된 정보라고 하는 작업 기계의 각종 정보의 입출력 제어를 행한다. 그리고, 모니터(15)는, 엔진 수온, 오일 온도, 연료의 잔량 등의 기계 정보, 기기의 이상 등을 나타내는 경고 정보, 메뉴 화면이나 유지보수 화면 등을 표시하는 제어를 행할 수 있다.

주변 감시 제어부(40)는, 복수 대의 카메라(C1)∼(C4)로 이루어지는 카메라군(C), 및 모니터(15)와 접속되어 있고, 후술하는 바와 같이, 복수 대의 카메라 중 어느 하나의 싱글 카메라 화상과 부감 화상을 합성한 화상을 모니터에 출력한다.

주변 감시 제어부(40)는, 화상 처리부(51), 및 표시 제어부(53)를 가진다. 또한 화상 처리부(51)는, 부감 화상 생성부(54), 싱글 카메라 화상 생성부(58), 시간 변화 화상 생성부(55), 및 화상 합성부(56)를 가진다.

부감 화상 생성부(54)는, 각 카메라(C1)∼(C4)로부터 얻어진 화상을 기초로 부감 화상(61)을 생성한다. 도 5에 나타낸 바와 같이, 부감 화상 생성부(54)는, 각 카메라(C1)∼(C4)로부터 얻어진 화상(P1)∼(P4)을 상방 시점 화상으로 변환한다. 즉, 부감 화상 생성부(54)는, 유압 셔블(1)의 위쪽에 위치하는 소정의 가상(假想) 시점에서 본 화상으로 변환한다.

구체적으로, 부감 화상 생성부(54)는, 유압 셔블(1)의 위쪽의 가상 시점에서 지표면 레벨에 대응하는 소정의 가상 투영면에 투영하는 화상 변환을 행한다. 그 후, 부감 화상 생성부(54)는, 부감 화상을 표시하는 프레임의 각 영역(E1∼E4)에 대응하는 변환 화상(P11)∼(P14)을 잘라내고, 각 변환 화상(P11)∼(P14)을 프레임 내에서 합성한다. 부감 화상 생성부(54)가 생성하는 부감 화상(61)에는, 유압 셔블과의 위치 관계가 명확하게 되도록 유압 셔블(1)을 위쪽에서 본 화상(P)이 미리 표시되어 있다.

이 부감 화상(61)의 정보는, 화상 합성부(56)에 입력된다. 그리고, 영역(E0)은, 운전실(6)로부터 육안으로 관찰할 수 있으므로, 부감 화상은 생성되지 않는다. 또한, 본 실시형태에서는, 4대의 카메라(C1)∼(C4)를 사용하고 있지만, 카메라의 수는 몇 대라도 되고, 예를 들면, 3대의 카메라(C1, C2, C4)를 사용해도 된다. 이 경우, 카메라(C2)는, 카메라(C4)와 마찬가지로 우측편을 촬상한다.

싱글 카메라 화상 생성부(58)는, 각 카메라(C1)∼(C4)가 촬상한 화상 중 어느 하나의 카메라의 싱글 카메라 화상(62)을, 화상 합성부(56)에 출력한다. 구체적으로는, 오퍼레이터에 의해 싱글 카메라 화상(62)을 전환하는 조작이 조작부(17)에 의해 행해진 경우, 그 신호가 모니터 제어부(43) 및 CAN(41)을 통하여 싱글 카메라 화상 생성부(58)에 전송되고, 싱글 카메라 화상 생성부(58)는 지령을 받은 해당하는 카메라의 싱글 카메라 화상(62)을 화상 합성부(56)에 출력한다.

시간 변화 화상 생성부(55)는, 시간적으로 변화하는 시간 변화 화상(63)을 생성한다. 예를 들면, 도 6에 나타낸 시간 변화 화상(63)에서의 싱글 카메라 화상 위치 아이콘(70)은, 모니터(15)의 표시부(16)에 표시되는 싱글 카메라 화상(62)이, 유압 셔블에 대하여 어느 방향(후방, 우측 후방 측, 우측 전방 측, 좌측 후방 측)을 촬영하는 카메라의 화상인지를 나타내기 위한 아이콘이며, 예를 들면, 도 7에서의 표시부(16)의 싱글 카메라 화상(62)의 근방에 싱글 카메라 화상 위치 아이콘(70)을 배치함으로써, 오퍼레이터는 표시부(16)에 표시되어 있는 싱글 카메라 화상(62)이 어느 방향의 싱글 카메라 화상인지를 용이하게 판별할 수 있다.

싱글 카메라 화상 위치 아이콘(70)에서의 중앙부에 있는 직사각형이 유압 셔블의 평면도를 나타내고 있고, 싱글 카메라 화상 위치 아이콘(70)의 상측을 전방 측으로 하여 표시되어 있는 싱글 카메라 화상의 방향에 해당하는 영역이 색(color)로 돌출 표시된다. 예를 들면, 도 6 및 도 7의 경우, 중앙부의 직사각형의 하측의 영역, 즉 유압 셔블의 후방을 촬영하는 후방 카메라의 싱글 카메라 화상이 표시되어 있는 것을 나타내고 있다.

싱글 카메라 화상 위치 아이콘(70)의 외측 프레임(71)은, 시간의 경과와 함께 소정의 색을 부여하여 점멸한다. 예를 들면, 점등 시에는 외측 프레임(71) 부분이 황녹색으로 표시되고, 소등 시에는 외측 프레임(71) 부분이 흑색으로 표시되는, 즉 시간 경과에 의해 황녹색과 흑색이 교호적(交互的)으로 전환되도록 되어 있다.

여기서, 주변 감시 제어부(40)에 어떠한 문제점이 발생한 경우에는, 주변 감시 제어부(40)가 동일한 화상을 모니터에 계속 출력할 가능성이 있고, 이 경우에는 상기 외측 프레임(71)은, 황녹색으로 표시된 상태로부터 변화하지 않거나, 또는 흑색의 상태로부터 변화하지 않게 된다. 그러므로, 오퍼레이터는 외측 프레임(71) 부분이 점멸하고 있는지의 여부를 확인함으로써, 주변 감시 제어부(40)가 정상(正常)인 화상 처리를 실행하고 있는 것을 인식할 수 있다.

이 싱글 카메라 화상 위치 아이콘(70)과 외측 프레임(71)을 맞춘 것이 시간 변화 화상(63)으로서, 시간 변화 화상 생성부(55)에 의해 생성된다. 그리고, 일부 영역(72)은 외측 프레임(71)의 코너부에 배치된 영역이며, 외측 프레임(71)의 다른 영역과 마찬가지로, 시간 경과에 의해, 예를 들면, 황녹색과 흑색이 교호적으로 전환된다.

후술하지만, 이 일부 영역(72)에서의 휘도나 RGB값 등의 영상 신호의 값이 변화되고 있는지의 여부를 검출함으로써, 시간 변화 화상(63)이, 시간 경과에 따라 변동되고 있는지의 여부를 판단하고 있다. 시간 변화 화상 생성부(55)에 의해 생성된 시간 변화 화상(63)은, 화상 합성부(56)에 입력된다.

화상 합성부(56)에는, 전술한 부감 화상(61)과, 각 카메라(C1)∼(C4)가 촬상한 싱글 카메라 화상(62)과, 시간 변화 화상(63)이 입력된다. 화상 합성부(56)는, CAN(41)을 통하여 모니터 제어부(43)로부터 지시되는 제어 신호를 기초로, 전술한 부감 화상(61), 싱글 카메라 화상(62), 시간 변화 화상(63)을 합성한 화상을 생성한다. 이들 3개를 합성한 화상은, 표시 제어부(53)를 통하여 표시부(16)에 영상 신호(S1)로서 출력된다.

만일 화상 합성부(56)가, 모니터 제어부(43)로부터 부감 화상(61), 싱글 카메라 화상(62), 시간 변화 화상(63)의 합성 화상의 출력 지시를 받아들이지 않을 경우(예를 들면, 메뉴 화면이 선택되어 있는 경우 등)에는, 화상 합성부(56)는 상기 합성 화상을 모니터에 출력하지 않는다.

[모니터의 표준 화면]

도 7은, 모니터(15)의 표시부(16)에 표준 화면의 일례가 표시된 상태를 나타낸 도면이다. 표준 화면은, 키스위치 온 후, 일정 시간 경과한 상태로 표시되는 초기 화면이며, 작업 기계의 각종 정보, 예를 들면, 엔진 수온, 오일 온도, 연료의 잔량 등의 기계 정보, 기기의 이상 등을 나타내는 경고 정보, 메뉴 화면이나 유지보수 화면, 부감 화상, 싱글 카메라 화상 등이 표시된다.

도 7에 나타낸 바와 같이, 표시부(16)의 좌측에는, 부감 화상(61)이 표시되고, 우측에는, 싱글 카메라 화상(62)이 표시된다. 도 7의 싱글 카메라 화상(62)은, 상부 선회체(3)의 후방에 설치된 카메라(C1)에 의한 후방을 촬상한 화상이다. 부감 화상(61) 및 싱글 카메라 화상(62)에는, 선회 중심으로부터의 거리나 방향의 기준을 나타내는 기준선(D)이 표시되어 있다. 싱글 카메라 화상(62)의 우측 상부에는, 시간 변화 화상(63)이 표시된다.

부감 화상(61), 싱글 카메라 화상(62) 및 시간 변화 화상(63)은, 주변 감시 제어부(40) 측에서 생성된 화상이며, 이들 3개의 화상이 표시되는 영역을 합성 영상 표시 영역(60)이라고 정의한다. 그리고, 도 7에서는 부감 화상(61)이 좌측에, 싱글 카메라 화상(62)이 우측에 표시되어 있지만, 양자의 표시 위치가 반대라도 된다.

합성 영상 표시 영역(60)의 하부에는, 좌측으로부터, 엔진의 냉각수의 수온을 나타내는 엔진 수온 게이지(G1), 유압 회로 내의 작동유의 온도를 나타내는 작동유 온도 게이지(G2), 및 연료의 잔량의 레벨을 나타내는 연료 레벨 게이지(G3)가 표시된다. 또한, 작동유 온도 게이지(G2)는 비표시라도 된다.

그리고, 팬 쿠션 스위치(F1)∼(F6)는, 각 스위치의 바로 위쪽에서 표시부(16)가 표시하는 아이콘에 대응한 신호를 입력하기 위한 스위치이다. 도 7에서는, 팬 쿠션 스위치(F3)의 상부에는, 싱글 카메라 화상(62)을 전체 화면 표시로 전환하는 아이콘(I1)이 표시되어 있다. 또한, 팬 쿠션 스위치(F4)의 상부에는, 싱글 카메라 화상(62)의 카메라를 전환하는[예를 들면, 카메라(C1)의 화상으로부터 카메라(C2)의 화상으로의 전환] 아이콘(I2)이 표시되어 있다. 팬 쿠션 스위치(F6)의 상부에는, 메뉴 화면으로 전환하는 아이콘(I3)이 표시되어 있다. 메뉴 화면이란, 작업 기계의 각종 설정이나 상황을 확인할 때 사용하는 화면이다.

그리고, 팬 쿠션 스위치에 대응하는 아이콘(I1)∼(I3)을 표시하지 않고, 대응하는 스위치를 다른 조작부 등에 설치해도 된다. 아이콘(I4)은, 서비스 미터의 값을 표시한다. 또한, 아이콘(I5)은, 작업 모드의 설정 상태를 표시한다.

[주변 감시 제어부의 이상 검출 처리]

도 8은, 모니터 제어부(43)에 의한 주변 감시 제어부(40)의 이상 처리 수순을 나타낸 플로우차트이다. 모니터 제어부(43)가, 본 발명에서의 「이상 판단부」로서 기능한다. 도 8에 나타낸 바와 같이, 먼저 모니터 제어부(43)는, 모니터 제어부(43)가, 주변 감시 제어부(40)에 대하여, 부감 화상(61), 싱글 카메라 화상(62) 및 시간 변화 화상(63)의 합성 화상을 요구하고 있는지의 여부를 판단한다(스텝 S101).

모니터 제어부(43)가 합성 화상을 요구하고 있는 상태인 경우(스텝 S101, Yes)에는, 모니터 제어부(43)는, 주변 감시 제어부(40)로부터 모니터(15)에 출력된 합성 영상 표시 영역(60)의 합성 화상 중의 시간 변화 화상(63)이 소정 시간 변화되고 있지 않은지의 여부를 판단한다(스텝 S102). 여기서, 시간 변화 화상(63)의 화상이 소정 시간 변화되고 있지 않은지의 여부는, 예를 들면, 도 7에서의 시간 변화 화상(63)을 확대한, 도 6의 외측 프레임(71)의 일부 영역(72)에서의 영상 신호의 시간 변화, 예를 들면, 휘도나 RGB값 등의 시간 변화로부터 판단해도 된다. 「소정 시간」을 어느 정도의 시간으로 할 것인지는, 예를 들면, 외측 프레임(71) 부분의 점멸 속도에 따르는 등 적절히 설정하면 된다.

시간 변화 화상(63)의 화상이 소정 시간 변화되고 있지 않은 경우(스텝 S102, Yes)에는, 주변 감시 제어부(40) 내의 화상 처리가 이상인 취지의 에러 통지를 행하고(스텝 S103), 에러가 발생하고 있는 것을 오퍼레이터 등에 어떠한 형태로 통지한다. 그리고, 에러 통지의 예로서, 예를 들면, 모니터(15)의 표시부(16)에 메시지나 아이콘 표시를 해도 되고, 모니터 이외의 장소에 램프 등에 의해 표시해도 된다. 또한, 음성에 의한 버저(buzzer) 통지라도 된다.

한편, 모니터 제어부(43)가 주변 감시 제어부(40)에 합성 화상을 요구하고 있지 않은 경우(스텝 S101, No) 또는 시간 변화 화상(63)의 화상이 소정 시간 변화되고 있는 경우(스텝 S102, No)에는, 스텝 S101으로 리턴하고, 전술한 처리를 반복한다.

그리고, 스텝 S101을 설정하는 이유는, 만일 모니터 제어부(43)가 주변 감시 제어부(40)에 상기 합성 화상을 생성하도록 지시를 내리고 있지 않은 경우, 즉 도 7에서의 표준 표면과는 상이한, 예를 들면, 메뉴 화면이 표시되어 있는 경우, 표준 화면에 있어서 시간 변화 화상(63)이 표시되는 영역에는 시간 경과에 따라 변화하는 화상이 표시되지 않고, 같은 화상이 계속 표시되게 되므로, 모니터 제어부(43)는, 주변 감시 제어부(40)에 이상이 발생하고 있지 않음에도 불구하고, 이상이 있는 것으로 판단하여 버리기 때문이다.

그리고, 전술한 실시형태에서는, 싱글 카메라 화상 위치 아이콘(70)의 외측 프레임(71)을 시간 변화 화상(63)으로 하여, 그 외측 프레임(71)의 일부 영역(72)에서의 휘도나 RGB값, 그 외에 영상 신호의 시간 변화의 유무에 따라 주변 감시 제어부(40)의 화상 처리에 이상이 있었는지의 여부를 검출하고 있었다. 그러나, 이에 한정되지 않고, 부감 화상(61)이나 싱글 카메라 화상(62) 내의 일부 영역이나 이들 화상의 주변 등, 주변 감시 제어부(40)가 생성하는 합성 영상 표시 영역(60) 내이면 어느 영역에 시간 변화 화상을 생성하도록 해도 된다. 이 경우, 생성하는 시간 변화 화상은, 육안으로 관찰할 수 있도록 한 크기이면 된다.

본 실시형태인, 시간 변화 화상(63)의 외측 프레임(71)을 점멸시키는 경우에는, 육안으로 관찰할 수 있는 정도인 것이 바람직하다. 오퍼레이터가 외측 프레임(71) 부분의 점멸을 관찰함으로써, 주변 감시 제어부(40)가 정상인 화상 처리를 실행하고 있는 것을 인식할 수 있기 때문이다.

그리고, 본 발명은, 오퍼레이터가 자주 외측 프레임(71) 부분이 점멸하고 있는지의 여부를 확인하지 않고, 주변 감시 제어부(40)의 화상 처리에 이상이 있었는지의 여부를 인식할 수 있으므로, 오퍼레이터의 확인 부하를 경감할 수 있는 효과가 있다.

상기 실시형태에서는, 표준 화면에 부감 화상(61)과 싱글 카메라 화상(62)을 동시에 표시시키는 구성으로 하고 있었지만, 본 발명은 이에 한정되지 않고, 부감 화상만이나 싱글 카메라 화상만을 표시시키는 구성으로 해도 된다. 또는, 표준 화면에는 부감 화상(61)과 싱글 카메라 화상(62)을 표시시키지 않고, 화면 전환에 의해 표시시키는 형태라도 된다.

그리고, 본 발명에서의 「1대 또는 복수 대의 카메라가 촬상한 화상에 대하여 소정 처리를 행한 화상」이란, 부감 화상, 싱글 카메라 화상, 및 그 양자를 포함한 화상으로 해도 되고, 합성 영상 표시 영역(60)에 표시되는 화상이라도 된다.

또한, 주변 감시 제어부(40)(표시 제어부)와, 모니터 제어부(43)(이상 판단부)는, 1개의 컨트롤러(장치)에 설치되는 구성이라도 되고, 각각 다른 컨트롤러(장치)에 설치되는 구성이라도 된다.

또한, 본 실시형태에서는, 시간 변화 화상(63)을 1개 밖에 배치하지 않았었지만, 복수의 화상을 한 화면에서 표시하는 경우에는, 각각의 화상에 대응하는 시간 변화 화상을 준비하고, 각각의 화상에 대하여 이상이 발생하고 있지 않은지를 검지하도록 해도 된다.

그리고, 상기 실시형태에서는 유압 셔블을 사용하여 설명하였으나, 작업 기계이면, 덤프 트럭, 불도저(bulldozer), 휠 로더(wheel loader) 등의 작업 기계에 본 발명을 적용해도 된다.

또한, 상기 실시형태에서는 작업 기계의 운전실(6)에 모니터(15)를 설치한 구성으로 설명하였으나, 그 외의 장소, 예를 들면, 작업 기계의 원격 조작을 행하기 위한 원격 조작실이나, 건설 현장 내에 있는 복수의 작업 기계를 전체적으로 관리·통제하는 관제실에 표시부를 설치한 구성이라도 된다. 모니터(15)가 휴대 단말기로서 구성되고(예를 들면, 분리 가능해도 됨), 오퍼레이터가 휴대 단말기에서의 표시부에 표시된 부감 화상을 볼 수 있는 구성이라도 된다.

여기서, 원격 조작실이나 관제실에 있어서 모니터(15)에 부감 화상을 표시하는 경우나 휴대 단말기에 모니터(15)를 설치하는 경우에는, 작업 기계와, 조작실·관제실·휴대 단말기 등의 각각에 어떠한 통신 수단을 설치하고, 부감 화상 등의 정보의 송수신을 행하는 구성이라도 된다.

1: 유압 셔블
2: 하부 주행체
3: 상부 선회체
4: 작업기
4a: 붐
4b: 암
4c: 버킷
4d: 붐 실린더
4e: 암 실린더
4f: 버킷 실린더
6: 운전실
7: 파워 컨테이너
8: 카운터웨이트
10: 오퍼레이터 시트
11, 12: 조작 레버
13, 14: 주행 레버
15: 모니터
16: 표시부
17: 조작부
40: 주변 감시 제어부(표시 제어부)
42: 통신 제어부
43: 모니터 제어부(이상 판단부)
44: 엔진 제어부
45: 펌프 제어부
51: 화상 처리부
53: 표시 제어부
54: 부감 화상 생성부
55: 시간 변화 화상 생성부
56: 화상 합성부
58: 싱글 카메라 화상 생성부
60: 합성 영상 표시 영역
61: 부감 화상
62: 싱글 카메라 화상
63: 시간 변화 화상
70: 싱글 카메라 화상 위치 아이콘
71: 외측 프레임
72: 일부 영역
C: 카메라군
C1∼C4: 카메라
D: 기준선
G1: 엔진 수온 게이지
G2: 작동유 온도 게이지
G3: 연료 레벨 게이지
I1∼I5: 아이콘
S1: 영상 신호

Claims

작업 기계의 주위 상황을 취득하는 1대 또는 복수 대의 카메라;
시간 변화 화상을 생성하는 동시에 상기 1대 또는 복수 대의 카메라가 촬상(撮像)한 화상에 대하여 소정 처리를 행한 화상을 영상 신호로서 출력하는 표시 제어부;
상기 표시 제어부로부터 출력된 영상 신호를 기초로 상기 시간 변화 화상과 상기 소정 처리를 행한 화상을 표시하는 모니터; 및
상기 시간 변화 화상이 소정 시간 변화하지 않을 경우, 상기 표시 제어부에 이상(異常)이 발생한 것으로 판단하는 이상 판단부;
를 포함하는 작업 기계의 표시 시스템.
제1항에 있어서,
상기 표시 제어부와 상기 이상 판단부는, 다른 컨트롤러에 각각 설치되는, 작업 기계의 표시 시스템.
제1항 또는 제2항에 있어서,
상기 표시 제어부가 소정 처리를 행한 화상이란, 싱글 카메라(single camera) 화상 및/또는 부감(high angle) 화상인, 작업 기계의 표시 시스템.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 이상 판단부는, 상기 표시 제어부에 이상이 발생한 것으로 판단한 경우, 통지하는, 작업 기계의 표시 시스템.
제4항에 있어서,
상기 통지는, 상기 표시 제어부에 이상이 발생한 취지를 알리는 메시지, 또는 아이콘을 상기 모니터에 표시하는 것인, 작업 기계의 표시 시스템.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 표시 제어부가 생성하는 시간 변화 화상은, 싱글 카메라 화상 위치 아이콘의 외측 프레임에 배치되는, 작업 기계의 표시 시스템.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 표시 제어부가 생성하는 시간 변화 화상은, 싱글 카메라 화상 또는 부감 화상의 표시 영역 또는 그 주변 영역에 배치되는, 작업 기계의 표시 시스템.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 표시 제어부가 생성하는 시간 변화 화상은, 상기 표시 제어부가 생성하는 합성 영상 표시 영역 중 어느 하나의 영역에 배치되는, 작업 기계의 표시 시스템.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 표시 제어부가 소정 처리를 행한 화상이 복수 있는 경우, 상기 시간 변화 화상은, 복수의 상기 화상 각각에 설치되고, 상기 이상 판단부는 화상 단위로 이상을 판단하는, 작업 기계의 표시 시스템.
작업 기계의 주위 상황을 취득하는 1대 또는 복수 대의 카메라; 및
소정의 정보를 표시하는 모니터;를 구비하고,
시간 변화 화상을 생성하는 동시에 상기 1대 또는 복수 대의 카메라가 촬상한 화상에 대하여 소정 처리를 행한 화상을 영상 신호로서 출력하는 표시 제어 단계;
상기 표시 제어 단계로부터 출력된 영상 신호를 기초로 상기 시간 변화 화상과 상기 소정 처리를 행한 화상을 표시하는 단계; 및
상기 시간 변화 화상이 소정 시간 변화하지 않을 경우, 이상이 발생한 것으로 판단하는 이상 판단 단계;
를 포함하는 작업 기계의 표시 방법.