KR20240062944A - 작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계 - Google Patents

Abstract

[과제] 작업 기계의 조작에 관한 다양한 정보를 오퍼레이터가 직감적으로 파악하기 쉬운 작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계를 제공한다.
[해결 수단] 작업 기계의 제어 방법은 작업 기계 주위의 감시 에리어의 촬상 화상을 취득하는 것과, 촬상 화상에 의거한 부감 화상(Im100)을 제 1 표시 영역(R11)에 표시시키는 것과, 제 2 표시 영역(R12)에 특정 화상(Im200) 중 적어도 일부를 표시시키는 것을 갖는다. 제 1 표시 영역(R11)은 표시 장치에 표시되는 표시 화면(Dp1) 중, 평면시에 있어서 작업 기계에 상당하는 자기 기준 위치(P1)로부터 본 둘레 방향의 일부가 노치 영역(R13)으로서 노치된 형상의 영역이다. 제 2 표시 영역(R12)은 표시 화면(Dp1) 중, 노치 영역(R13) 내에 배치되는 영역이다.

Description

작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계{CONTROL METHOD OF WORKING MACHINE, CONTROL PROGRAM FOR WORKING MACHINE, CONTROL SYSTEM FOR WORKING MACHINE, AND WORKING MACHINE}

본 발명은 주위의 감시 에리어에 있어서의 검지 대상물을 검지하는 기능을 갖는 작업 기계에 이용되는 작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계에 관한 것이다.

관련 기술로서, 상부 선회체에 탑재되는 카메라가 촬상한 복수의 입력 화상에 의거해서 출력 화상을 생성하는 작업 기계(셔블)가 알려져 있다(예를 들면, 특허문헌 1 참조). 관련 기술에 의한 작업 기계는 상부 선회체의 3방향을 촬상하도록 상부 선회체의 좌방부, 우방부, 및 후방부의 3개소에 탑재되는 카메라(촬상 장치)를 구비한다. 이 작업 기계에서는, 운전실 내에 설치되는 표시 장치(표시부)에, 하부 주행체의 방향과는 관계없이, 적어도 작업 기계의 좌방, 우방 및 후방의 영역을 비춰, 작업 기계를 상공으로부터 내려다본 화상(부감 화상)을 출력 화상으로서 생성한다.

일본 특허 공개 제2018-035669호 공보

상기 관련 기술에서는 단지 부감 화상이 표시 장치에 표시될 뿐이고, 작업 기계의 조작에 관한 다양한 정보를 오퍼레이터가 직감적으로 파악하기 어려운 경우가 있다.

본 발명의 목적은 작업 기계의 조작에 관한 다양한 정보를 오퍼레이터가 직감적으로 파악하기 쉬운 작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계를 제공하는 것에 있다.

본 발명의 일 양태에 의한 작업 기계의 제어 방법은 작업 기계 주위의 감시 에리어의 촬상 화상을 취득하는 것과, 상기 촬상 화상에 의거한 부감 화상을 제 1 표시 영역에 표시시키는 것과, 제 2 표시 영역에 특정 화상 중 적어도 일부를 표시시키는 것을 갖는다. 상기 제 1 표시 영역은 표시 장치에 표시되는 표시 화면 중, 평면시에 있어서 상기 작업 기계에 상당하는 자기(自機) 기준 위치로부터 본 둘레 방향의 일부가 노치 영역으로서 노치된 형상의 영역이다. 상기 제 2 표시 영역은 상기 표시 화면 중, 상기 노치 영역 내에 배치되는 영역이다.

본 발명의 일 양태에 의한 작업 기계용 제어 프로그램은 상기 작업 기계의 제어 방법을, 하나 이상의 프로세서에 실행시키기 위한 프로그램이다.

본 발명의 일 양태에 의한 작업 기계용 제어 시스템은 화상 취득부와, 제 1 표시 처리부와, 제 2 표시 처리부를 구비한다. 상기 화상 취득부는 작업 기계 주위의 감시 에리어의 촬상 화상을 취득한다. 상기 제 1 표시 처리부는 상기 촬상 화상에 의거한 부감 화상을, 표시 장치에 표시되는 표시 화면 중, 평면시에 있어서 상기 작업 기계에 상당하는 자기 기준 위치로부터 본 둘레 방향의 일부가 노치 영역으로서 노치된 형상의 제 1 표시 영역에 표시시킨다. 상기 제 2 표시 처리부는 상기 표시 화면 중, 상기 노치 영역 내에 배치되는 제 2 표시 영역에 특정 화상 중 적어도 일부를 표시시킨다.

본 발명의 일 양태에 의한 작업 기계는 상기 작업 기계용 제어 시스템과, 상기 표시 장치가 탑재되는 기체를 구비한다.

본 발명에 의하면, 작업 기계의 조작에 관한 다양한 정보를 오퍼레이터가 직감적으로 파악하기 쉬운 작업 기계의 제어 방법, 작업 기계용 제어 프로그램, 작업 기계용 제어 시스템 및 작업 기계를 제공할 수 있다.

도 1은 실시형태 1에 의한 작업 기계의 전체 구성을 나타내는 개략 사시도이다.
도 2는 실시형태 1에 의한 작업 기계의 유압 회로 등을 나타내는 개략도이다.
도 3은 실시형태 1에 의한 작업 기계를 상방으로부터 보아, 작업 기계 주위에 설정된 감시 에리어 등을 모식적으로 나타낸 개략 평면도이다.
도 4는 실시형태 1에 의한 작업 기계용 제어 시스템에 의해 표시 화면이 표시되는 표시 장치의 개략 외관도이다.
도 5는 실시형태 1에 의한 작업 기계용 제어 시스템에 의해 표시되는 표시 화면의 일례를 나타내는 도면이다.
도 6은 실시형태 1에 의한 작업 기계용 제어 시스템에 의해 표시되는 표시 화면 중의 제 2 영역의 표시예를 나타내는 도면이다.
도 7은 실시형태 1에 의한 작업 기계용 제어 시스템에 의해 표시되는 부감 화상의 표시예를 나타내는 도면이다.
도 8은 실시형태 1에 의한 작업 기계용 제어 시스템에 의해 표시되는 부감 화상의 표시예를 나타내는 도면이다.
도 9는 실시형태 1에 의한 작업 기계용 제어 시스템의 동작예를 나타내는 플로우차트이다.
도 10은 실시형태 2에 의한 작업 기계용 제어 시스템에 의해 표시되는 부감 화상의 표시예를 나타내는 도면이다.
도 11은 실시형태 2에 의한 작업 기계용 제어 시스템에 의해 표시되는 부감 화상의 표시예를 나타내는 도면이다.

이하, 첨부 도면을 참조하면서 본 발명의 실시형태에 대해서 설명한다. 이하의 실시형태는 본 발명을 구체화한 일례이며, 본 발명의 기술적 범위를 한정하는 취지는 아니다.

(실시형태 1)

[1] 전체 구성

본 실시형태에 의한 작업 기계(3)는 도 1에 나타내는 바와 같이, 주행부(31)와, 선회부(32)와, 작업부(33)를 기체(30)에 구비하고 있다. 또한, 작업 기계(3)는 도 2에 나타내는 바와 같이, 작업 기계용 제어 시스템(1)(이하, 간단히 「제어 시스템(1)」이라고도 한다)을 더 구비하고 있다. 그 외에, 기체(30)는 표시 장치(2) 및 조작 장치 등을 더 구비하고 있다.

본 개시에서 말하는 「작업 기계」는 각종 작업용 기계를 의미하고, 일례로서 백호우(유압 셔블, 미니 셔블 등을 포함한다), 휠로더 및 캐리어 등의 작업 차량이다. 작업 기계(3)는 적어도 매달기 작업을 포함하는 하나 이상의 작업을 실행 가능하게 구성된 작업부(33)를 구비하고 있다. 작업 기계(3)는 「차량」에 한정되지 않고, 예를 들면 작업용 선박, 드론 또는 멀티콥터 등의 작업 비상체 등이어도 좋다. 또한, 작업 기계(3)는 건설 기계(건기)에 한정되지 않고, 예를 들면 이앙기, 트랙터 또는 콤바인 등의 농업 기계(농기)여도 좋다. 본 실시형태에서는 특별히 명시하지 않는 한, 작업 기계(3)가 매달기 기능이 장착(크레인 기능이 장착)된 백호우로, 매달기 작업 외에 굴삭 작업, 정지 작업, 홈굴삭 작업 또는 적입 작업 등을 작업으로서 실행 가능한 경우를 예로 들어 설명한다.

또한, 본 실시형태에서는 설명의 편의상, 작업 기계(3)가 사용 가능한 상태에서의 연직 방향을 상하 방향(D1)이라고 정의한다. 또한, 선회부(32)의 비선회 상태에 있어서, 작업 기계(3)(의 운전부(321))에 탑승한 유저(오퍼레이터)로부터 본 방향을 기준으로 하여, 전후 방향(D2) 및 좌우 방향(D3)을 정의한다. 바꿔 말하면, 본 실시형태에서 이용되는 각 방향은 모두 작업 기계(3)의 기체(30)를 기준으로 하여 규정되는 방향으로, 작업 기계(3)의 전진시에 기체(30)가 이동하는 방향이 「전방」, 작업 기계(3)의 후퇴시에 기체(30)가 이동하는 방향이 「후방」이 된다. 마찬가지로, 작업 기계(3)의 우선회시에 기체(30)의 전단부가 이동하는 방향이 「우방」, 작업 기계(3)의 좌선회시에 기체(30)의 전단부가 이동하는 방향이 「좌방」이 된다. 단, 이들 방향은 작업 기계(3)의 사용 방향(사용시의 방향)을 한정하는 취지는 아니다.

작업 기계(3)는 동력원이 되는 엔진을 구비하고 있다. 작업 기계(3)에 있어서는, 예를 들면 엔진에 의해 유압 펌프(41)(도 2 참조)가 구동되고, 유압 펌프(41)로부터 기체(30)의 각 부의 유압 액추에이터(유압 모터(43) 및 유압 실린더(44) 등을 포함한다)에 작동유가 공급됨으로써, 기체(30)가 구동한다. 또한, 작업 기계(3)는 예를 들면, 기체(30)의 운전부(321)에 탑승한 유저(오퍼레이터)가 조작 장치의 조작 레버 등을 조작함으로써 제어된다.

본 실시형태에서는, 상술한 바와 같이 작업 기계(3)가 승용 타입의 백호우인 경우를 상정하고 있으므로, 작업부(33)는 운전부(321)에 탑승한 유저(오퍼레이터)의 조작에 따라서 구동되어, 굴삭 작업 등의 작업을 실행한다. 유저가 탑승하는 운전부(321)는 선회부(32)에 설치되어 있다.

주행부(31)는 주행 기능을 갖고, 지면을 주행(선회를 포함한다) 가능하게 구성되어 있다. 주행부(31)는 예를 들면, 좌우 한쌍의 크롤러(311) 및 블레이드(312) 등을 갖고 있다. 주행부(31)는 크롤러(311)를 구동하기 위한 주행용 유압 모터(43)(유압 액추에이터) 등을 더 갖는다.

선회부(32)는 주행부(31)의 상방에 위치하고, 주행부(31)에 대하여 연직 방향을 따른 회전축을 중심으로 선회 가능하게 구성되어 있다. 선회부(32)는 선회용 유압 모터(유압 액추에이터) 등을 갖고 있다. 선회부(32)에는 운전부(321) 외에, 엔진 및 유압 펌프(41) 등이 탑재되어 있다. 또한, 선회부(32)의 전단부에는 작업부(33)가 부착되는 붐 브래킷(322)이 설치되어 있다.

작업부(33)는 매달기 작업을 포함하는 작업을 실행 가능하게 구성되어 있다. 작업부(33)는 선회부(32)의 붐 브래킷(322)에 지지되어 있으며, 작업을 실행한다. 작업부(33)는 버킷(331), 붐(332) 및 암(333) 등을 갖고 있다. 작업부(33)는 각 부를 구동하기 위한 유압 액추에이터(유압 실린더(44) 및 유압 모터 등을 포함한다)를 더 갖는다.

버킷(331)은 작업 기계(3)의 기체(30)에 부착되는 어태치먼트(작업구)의 일종으로, 복수 종류의 어태치먼트 중에서 작업의 내용에 따라서 선택되는 임의의 기구로 이루어진다. 버킷(331)은 일례로서, 기체(30)에 대하여 분리 가능하게 부착되어, 작업의 내용에 따라서 교환된다. 작업 기계(3)용 어태치먼트로서는, 예를 들면 버킷(331) 외에, 브레이커, 오거, 크러셔, 포크, 포크 클로, 철골 커터, 아스팔트 절삭기, 예초기, 리퍼, 멀쳐, 틸트 로테이터 및 탬퍼 등의 각종 기구가 있다. 작업부(33)는 구동 장치로부터의 동력에 의해 버킷(331)을 구동함으로써 작업을 실행한다.

붐(332)은 선회부(32)의 붐 브래킷(322)으로, 회전 가능하게 지지되어 있다. 구체적으로는, 붐(332)은 붐 브래킷(322)으로, 수평 방향을 따른 회전축을 중심으로 회전 가능하게 지지되어 있다. 붐(332)은 붐 브래킷(322)에 지지되는 기단부로부터 상방으로 연장되는 형상을 갖고 있다. 암(333)은 붐(332)의 선단에 연결되어 있다. 암(333)은 붐(332)에 대하여, 수평 방향을 따른 회전축을 중심으로 회전 가능하게 지지되어 있다. 암(333)의 선단에는 버킷(331)이 부착된다.

작업부(33)는 동력원으로서의 엔진으로부터의 동력을 받아 동작한다. 구체적으로는, 엔진에 의해 유압 펌프(41)가 구동되고, 작업부(33)의 유압 액추에이터(유압 실린더(44) 등)에 유압 펌프(41)로부터 작동유가 공급됨으로써, 작업부(33)의 각 부(버킷(331), 붐(332) 및 암(333))가 동작한다.

본 실시형태에서는 특히, 작업부(33)는 붐(332) 및 암(333)이 개별적으로 회전 가능하게 구성된 다관절형의 구조를 갖고 있다. 즉, 붐(332) 및 암(333)의 각각이 수평 방향을 따른 회전축을 중심으로 회전함으로써, 예를 들면 붐(332) 및 암(333)을 포함하는 다관절형의 작업부(33)는 전체적으로 늘리거나 접거나 하는 동작이 가능하다.

주행부(31) 및 선회부(32)의 각각에 대해서도, 작업부(33)와 마찬가지로, 동력원으로서의 엔진으로부터의 동력을 받아 동작한다. 즉, 주행부(31)의 유압 모터(43) 및 선회부(32)의 유압 모터 등에, 유압 펌프(41)로부터 작동유가 공급됨으로써 선회부(32) 및 주행부(31)가 동작한다.

엔진은 상술한 바와 같이 각 부에 동력을 공급하는 동력원으로서 기능한다. 여기서, 엔진은 유압 펌프(41) 등과 함께 선회부(32)에 탑재되어 있다. 본 실시형태에서는 일례로서, 엔진은 디젤 엔진이다. 엔진은 연료 탱크로부터 연료(여기서는, 경유)가 공급됨으로써 구동한다.

여기서, 기체(30)에는 기체(30)의 주변을 촬상하는 카메라 등, 작업 기계(3) 주위의 감시 에리어(A1)(도 3 참조)에 있어서의 검지 대상물(Ob1)(도 3 참조)을 검지하기 위한 각종 센서류(카메라를 포함한다)가 구비되어 있다. 본 실시형태에서는 일례로서, 도 3에 나타내는 바와 같이, 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)를 포함하는 복수(여기서는, 3개)의 카메라가 기체(30)의 선회부(32)에 탑재되어 있다. 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)는 제어 시스템(1)에 접속되어 있고, 각각으로 촬상된 화상을 제어 시스템(1)으로 출력한다. 도 3은 작업 기계(3)를 상방으로부터 본 평면도로, 작업 기계(3) 주위에 설정된 감시 에리어(A1), 검지 대상물(Ob1), 및 작업 기계(3)의 기체(30)(좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)를 포함한다)를 모식적으로 나타내고 있다.

좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)는 각각 선회부(32)의 운전부(321)에 탑승한 오퍼레이터로부터 보아, 좌방, 우방 및 후방이 되는 감시 에리어(A1)를 촬상할 수 있도록, 운전부(321)를 기준으로 좌방, 우방 및 후방을 향해서 설치된다. 즉, 감시 에리어(A1)는 도 3에 나타내는 바와 같이, 복수(여기서는, 3개)의 소에리어(A11, A12, A13)를 포함하고, 좌방 카메라(341)는 이 중 운전부(321)에 탑승한 오퍼레이터로부터 보아 좌방이 되는 소에리어(A11)(좌방 에리어)를 촬상한다. 마찬가지로, 우방 카메라(342)는 운전부(321)에 탑승한 오퍼레이터로부터 보아 우방이 되는 소에리어(A12)(우방 에리어)를 촬상하고, 후방 카메라(343)는 운전부(321)에 탑승한 오퍼레이터로부터 보아 후방이 되는 소에리어(A13)(후방 에리어)를 촬상한다. 이것에 의해, 오퍼레이터에 있어서 사각이 되기 쉬운 측방(좌방 및 우방) 및 후방을 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)로 커버하는 것이 가능하게 된다.

도 2에서는, 본 실시형태에 의한 작업 기계(3)의 유압 회로 및 전기 회로(전기적인 접속 관계)를 모식적으로 나타낸다. 도 2에서는, 실선이 고압의(작동유용) 유로, 점선이 저압의(파일럿유용) 유로, 일점쇄선의 화살표가 전기 신호의 경로를 나타낸다.

도 2에 나타내는 바와 같이, 작업 기계(3)는 유압 펌프(41), 유압 모터(43)(도 2에서는 도시를 생략) 및 유압 실린더(44)에 추가해서, 파일럿 펌프(42), 리모컨 밸브(45), 제어 밸브(46) 및 방향 스위칭 밸브(컨트롤 밸브)(47) 등을 구비하고 있다.

엔진에 의해 구동되는 유압 펌프(41)로부터의 작동유는 주행부(31)의 유압 모터(43), 선회부(32)의 유압 모터, 및 작업부(33)의 유압 실린더(44) 등에 공급된다. 이것에 의해, 유압 모터(43) 및 유압 실린더(44) 등의 유압 액추에이터가 구동된다.

유압 모터(43) 및 유압 실린더(44) 등의 유압 액추에이터에는, 유압 펌프(41)로부터의 작동유의 방향 및 유량을 스위칭 가능한 파일럿식의 방향 스위칭 밸브(47)가 설치되어 있다. 방향 스위칭 밸브(47)는 파일럿 펌프(42)로부터 입력 명령이 되는 파일럿유가 공급되어 구동된다.

여기서, 예를 들면 작업부(33)의 유압 실린더(44)에 대응하는 방향 스위칭 밸브(47)로의 파일럿유의 공급로에는, 리모컨 밸브(45)가 설치되어 있다. 리모컨 밸브(45)는 조작 레버의 조작에 따라서 작업부(33)의 작업 조작 명령을 출력한다. 작업 조작 명령은 작업부(33)의 전개 동작 및 축소 동작 등을 지시한다. 또한, 리모컨 밸브(45)와 파일럿 펌프(42) 사이에는 전자식의 제어 밸브(46)(전자 밸브)가 삽입되어 있다. 제어 밸브(46)는 컷오프 릴레이(352) 및 컷오프 스위치(353)를 통해서 전원(351)에 접속되어 있어, 전원(351)으로부터의 공급 전류에 따라서 동작한다.

마찬가지로, 주행부(31)의 유압 모터(43)에 대응하는 방향 스위칭 밸브로의 파일럿유의 공급로에도, 리모컨 밸브가 설치되어 있다. 이 리모컨 밸브는 조작 레버의 조작에 따라서 주행부(31)의 주행 조작 명령을 출력한다. 주행 조작 명령은 주행부(31)의 주행 동작(전진 또는 후퇴 등)을 지시한다. 또한, 선회부(32)의 유압 모터에 대응하는 방향 스위칭 밸브로의 파일럿유의 공급로에도, 리모컨 밸브가 설치되어 있다. 이 리모컨 밸브는 조작 레버의 조작에 따라서 선회부(32)의 선회 조작 명령을 출력한다. 선회 조작 명령은 선회부(32)의 선회 동작(좌선회 또는 우선회 등)을 지시한다. 그리고, 이들 리모컨 밸브와 파일럿 펌프(42) 사이에도, 전자식의 제어 밸브(46)(전자 밸브)가 삽입되어 있다. 제어 밸브(46)는 컷오프 릴레이(352) 및 컷오프 스위치(353)를 통해서 전원(351)에 접속되어 있어, 전원(351)으로부터의 공급 전류에 따라서 동작한다.

제어 밸브(46)는 통전 상태, 즉 전류가 공급되고 있는 상태에서 파일럿 펌프(42)로부터 리모컨 밸브(45)로의 파일럿유의 유로를 개방하고, 비통전 상태, 즉 공급 전류가 차단되어 있는 상태에서 파일럿유의 유로를 차단한다. 그 때문에, 제어 밸브(46)로의 공급 전류가 차단됨으로써, 리모컨 밸브(45)에 대응하는 유압 액추에이터가 구동 불능이 되어, 조작 레버의 조작에 상관없이 유압 액추에이터의 출력이 강제적으로 정지한다.

여기서, 컷오프 릴레이(352)는 제어 시스템(1)에 접속되어 있고, 제어 시스템(1)으로부터의 제어 신호(전기 신호)에 따라서 온/오프가 스위칭된다. 컷오프 스위치(353)는 컷오프 레버의 조작에 따라서 온/오프가 스위칭되고, 예를 들면 컷오프 레버가 하방으로 조작된 상태에서 온이 된다. 따라서, 컷오프 릴레이(352)와 컷오프 스위치(353)의 양방이 온일 때, 제어 밸브(46)는 통전 상태가 되고, 파일럿 펌프(42)로부터 리모컨 밸브(45)로의 파일럿유의 유로가 개방되므로, 조작 레버의 조작에 따라서 유압 액추에이터가 구동한다. 이것에 대하여, 컷오프 릴레이(352)와 컷오프 스위치(353) 중 적어도 일방이 오프인 상태에서는, 제어 밸브(46)는 비통전 상태가 되고, 파일럿유의 유로가 차단되므로, 유압 액추에이터가 구동 불능이 된다.

예를 들면, 선회부(32)의 유압 모터에 대응하는 리모컨 밸브와 파일럿 펌프(42) 사이에 삽입된 제어 밸브(46)에 연결되는 컷오프 릴레이(352)와 컷오프 스위치(353) 중 적어도 일방이 오프인 상태에서는, 선회부(32)의 유압 모터가 구동 불능이 된다. 이 상태에서는, 조작 레버의 조작에 상관없이, 유압 액추에이터(선회부(32)의 유압 모터)의 출력이 강제적으로 정지하기 때문에, 선회부(32)의 선회 동작이 금지되게 된다.

제어 시스템(1)은 CPU(Central Processing Unit) 등의 하나 이상의 프로세서와, ROM(Read Only Memory) 및 RAM(Random Access Memory) 등의 하나 이상의 메모리를 갖는 컴퓨터 시스템을 주구성으로 하여 다양한 처리(정보 처리)를 실행한다. 본 실시형태에서는, 제어 시스템(1)은 작업 기계(3) 전체의 제어를 행하는 통합 컨트롤러로, 예를 들면 전자 제어 유닛(ECU: Electronic Control Unit)으로 이루어진다. 단, 제어 시스템(1)은 통합 컨트롤러와 별도로 설치되어 있어도 좋다. 제어 시스템(1)에 대해서 상세하게는 「[2] 제어 시스템의 구성」의 난에서 설명한다.

표시 장치(2)는 기체(30)의 운전부(321)에 배치되어 있으며, 유저(오퍼레이터)에 의한 조작 입력을 접수하고, 유저에게 다양한 정보를 출력하기 위한 유저 인터페이스이다. 표시 장치(2)는 예를 들면, 유저의 조작에 따른 전기 신호를 출력함으로써, 유저에 의한 각종 조작을 접수한다. 이것에 의해, 유저(오퍼레이터)는 표시 장치(2)에 표시되는 표시 화면(Dp1)(도 4 참조)을 시인할 수 있고, 또한 필요에 따라서 표시 장치(2)를 조작하는 것이 가능하다.

표시 장치(2)는 도 2에 나타내는 바와 같이, 제어부(21)와, 조작부(22)와, 표시부(23)를 구비하고 있다. 표시 장치(2)는 제어 시스템(1)과 통신 가능하게 구성되어 있어, 제어 시스템(1)과의 사이에서 데이터의 수수가 가능하다. 본 실시형태에서는 일례로서, 표시 장치(2)는 작업 기계(3)에 이용되는 전용 디바이스이다.

제어부(21)는 제어 시스템(1)으로부터의 데이터에 따라서, 표시 장치(2)를 제어한다. 구체적으로는, 제어부(21)는 조작부(22)에서 접수한 유저의 조작에 따른 전기 신호를 출력하거나, 제어 시스템(1)에서 생성되는 표시 화면(Dp1)을 표시부(23)에 표시하거나 한다.

조작부(22)는 표시부(23)에 표시되는 표시 화면(Dp1)에 대한 유저(오퍼레이터)에 의한 조작 입력을 접수하기 위한 유저 인터페이스이다. 조작부(22)는 예를 들면, 유저(U1)(도 4 참조)의 조작에 따른 전기 신호를 출력함으로써, 유저(U1)에 의한 각종 조작을 접수한다. 본 실시형태에서는 일례로서, 조작부(22)는 도 4에 나타내는 바와 같이, 기계식의 복수(여기서는, 6개)의 누름 버튼 스위치(221∼226)를 포함한다. 이들 복수의 누름 버튼 스위치(221∼226)는 표시부(23)의 표시 영역의 둘레 가장자리를 따르도록, 표시 영역에 근접해서(도 4의 예에서는, 하방에) 배치되어 있다. 이들 복수의 누름 버튼 스위치(221∼226)는 후술하는 표시 화면(Dp1)에 표시되는 항목에 대응지어져 있고, 복수의 누름 버튼 스위치(221∼226) 중 어느 하나가 조작됨으로써, 표시 화면(Dp1) 중 어느 하나의 항목이 조작(선택)된다.

또한, 조작부(22)는 터치 패널 및 조작 다이얼 등을 포함하고 있어도 좋다. 이 경우에 있어서도, 조작부(22)에 대한 조작에 의해, 표시 화면(Dp1) 중 어느 하나의 항목이 조작(선택)되게 된다.

표시부(23)는 각종 정보를 표시하는 액정 디스플레이 또는 유기 EL 디스플레이와 같은, 유저(U1)(오퍼레이터)에게 정보를 제시하기 위한 유저 인터페이스이다. 표시부(23)는 유저에 대하여 각종 정보를 표시에 의해 제시한다. 본 실시형태에서는 일례로서, 표시부(23)는 백라이트가 부착된 풀 컬러의 액정 디스플레이로, 도 4에 나타내는 바와 같이, 가로 방향으로 긴 「횡장」의 표시 영역을 갖고 있다.

표시 장치(2)는 작업 기계(3)를 조작하는 유저(U1)(오퍼레이터)를 향해서 표시 화면(Dp1)에서 다양한 정보를 제시한다. 즉, 작업 기계(3)를 조작하는 유저(U1)는 표시 장치(2)에 표시되는 표시 화면(Dp1)을 봄으로써, 작업 기계(3)에 관련된 다양한 정보를 시각적으로 얻는 것이 가능하다. 일례로서, 표시 장치(2)에 냉각수온 및 작동유온 등의 작업 기계(3)의 가동 상태에 관한 정보가 표시됨으로써, 유저(U1)는 작업 기계(3)의 조작에 필요한 작업 기계(3)의 가동 상태에 관한 정보를 표시 장치(2)에서 확인할 수 있다. 또한, 표시 장치(2)는 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)로 촬상되는 작업 기계(3)의 주변 화상(감시 에리어(A1)의 화상)에 대해서도, 표시 화면(Dp1)에 표시할 수 있다. 이것에 의해, 유저(U1)(오퍼레이터)는 작업 기계(3)를 조작할 때에, 예를 들면 운전부(321)로부터의 사각이 되기 쉬운 작업 기계(3)의 측방 및 후방 등의 상황을 표시 장치(2)에 표시되는 표시 화면(Dp1)에서 확인할 수 있다.

또한, 표시 장치(2)는 유저(U1)(오퍼레이터)에 대하여 소리(음성을 포함한다)를 출력하는 기능을 갖고 있어도 좋다. 이 경우, 표시 장치(2)는 제어 시스템(1)으로부터의 소리 제어 신호에 따라서, 비프음 또는 음성 등의 소리를 출력한다.

또한, 기체(30)는 상술한 구성에 추가해서, 조작 레버, 컷오프 레버, 통신 단말, 연료 탱크 및 배터리 등을 더 구비하고 있다. 또한, 기체(30)에는 냉각수온 센서, 작동유온 센서, 엔진의 회전수를 계측하는 회전수계, 및 가동 시간을 계측하는 아워 미터기 등, 기체(30)의 가동 상태를 감시하기 위한 센서류가 구비되어 있다. 그 외에, 컷오프 레버 및 스타터 키 스위치 등의 상태 등을 검출하는 센서도 기체(30)에 구비되어 있다.

[2] 제어 시스템의 구성

이어서, 본 실시형태에 의한 제어 시스템(1)의 구성에 대해서, 도 2를 참조해서 설명한다. 제어 시스템(1)은 표시 장치(2)를 제어함으로써, 표시 장치(2)에 표시 화면(Dp1)을 표시시킨다. 본 실시형태에서는, 표시 장치(2)는 상술한 바와 같이 작업 기계(3)의 기체(30)에 탑재되어 있다. 제어 시스템(1)은 작업 기계(3)의 구성 요소로, 기체(30) 등과 함께 작업 기계(3)를 구성한다. 바꿔 말하면, 본 실시형태에 의한 작업 기계(3)는 적어도 제어 시스템(1)과, 표시 장치(2)가 탑재되는 기체(30)(주행부(31), 선회부(32) 및 작업부(33)를 포함한다)를 구비하고 있다.

본 개시에서 말하는 표시 화면(Dp1) 등의 「화면」은 표시 장치(2)에서 표시되는 영상(화상)을 의미하고, 도상, 도형, 사진, 텍스트 및 동영상 등을 포함한다. 즉, 제어 시스템(1)은 예를 들면, 냉각수온 및 작동유온 등의 작업 기계(3)의 가동 상태에 관한 정보를 나타내는 도상 등을 포함하는 표시 화면(Dp1)을 표시 장치(2)에 표시시키는 것이 가능하다. 여기서, 표시 화면(Dp1)이 동영상 등을 포함하는 경우에는, 표시 화면(Dp1)은 일정한 영상이 아니라, 시시각각 변화하는 영상을 포함한다.

제어 시스템(1)은 도 2에 나타내는 바와 같이, 표시 처리부(11)와, 화상 취득부(12)와, 검지부(13)와, 견제 처리부(14)를 구비하고 있다. 본 실시형태에서는 일례로서, 제어 시스템(1)은 하나 이상의 프로세서를 갖는 컴퓨터 시스템을 주구성으로 하므로, 하나 이상의 프로세서가 작업 기계용 제어 프로그램을 실행함으로써, 이들 복수의 기능부(표시 처리부(11) 등)가 실현된다. 제어 시스템(1)에 포함되는 이들 복수의 기능부는 복수의 하우징에 분산되어 설치되어 있어도 좋고, 1개의 하우징에 설치되어 있어도 좋다.

제어 시스템(1)은 기체(30)의 각 부에 설치된 디바이스와 통신 가능하게 구성되어 있다. 즉, 제어 시스템(1)에는 적어도 표시 장치(2), 컷오프 릴레이(352), 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343) 등이 접속되어 있다. 이것에 의해, 제어 시스템(1)은 표시 장치(2) 등을 제어하거나, 컷오프 릴레이(352)를 제어해서 제어 밸브(46)를 제어하거나, 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343) 등의 촬상 화상을 취득하거나 하는 것이 가능하다. 여기서, 제어 시스템(1)은 각종 정보(데이터)의 수수를 각 디바이스와 직접적으로 행해도 좋고, 중계기 등을 통해서 간접적으로 행해도 좋다.

표시 처리부(11)는 적어도 표시 화면(Dp1)을 표시 장치(2)에 표시시키는 표시 처리를 실행한다. 구체적으로는, 표시 처리부(11)는 화상 취득부(12)에서 취득되는 데이터 등에 의거해서 표시 화면(Dp1)을 생성하고, 표시 장치(2)를 제어함으로써, 표시 화면(Dp1)을 표시 장치(2)의 표시부(23)에 표시시킨다. 또한, 표시 처리부(11)는 표시 장치(2)의 조작부(22)가 접수한 조작에 따라서 동작한다. 표시 처리부(11)는 예를 들면, 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)로 촬상되는 촬상 화상(Im11, Im12, Im13)(도 5 참조)을 표시 화면(Dp1)에 표시시킨다. 즉, 표시 처리부(11)는, 화상 취득부(12)는 작업 기계(3) 주위의 감시 에리어(A1)(각 소에리어(A11, A12, A13))의 화상을 표시 장치(2)에 표시시킨다.

또한, 표시 처리부(11)는 표시 화면(Dp1)의 제 2 영역(R2)(도 5 참조)을 전체 화면(확대) 표시하는 전체 화면 모드를 갖고 있다. 또한, 표시 처리부(11)는 적어도 전체 화면 모드에 있어서, 촬상 화상(Im11, Im12, Im13)에 의거해서 생성되는 부감 화상(Im100)(도 7 참조)과, 부감 화상(Im100)과는 다른 특정 화상(Im200)(도 7 참조) 중 적어도 일부를 표시 화면(Dp1)에 표시시키는 것이 가능하다.

여기서, 표시 처리부(11)는 제 1 표시 처리부(111)와 제 2 표시 처리부(112)를 갖고 있다. 상세하게는 후술하지만, 제 1 표시 처리부(111)는 촬상 화상(Im11, Im12, Im13)에 의거해서 생성되는 부감 화상(Im100)을, 표시 장치(2)에 표시되는 표시 화면(Dp1)의 제 1 표시 영역(R11)(도 7 참조)에 표시시키는 제 1 표시 처리를 실행한다. 제 2 표시 처리부(112)는 특정 화상(Im200) 중 적어도 일부를, 표시 장치(2)에 표시되는 표시 화면(Dp1)의 제 2 표시 영역(R12)(도 7 참조)에 표시시키는 제 2 표시 처리를 실행한다.

또한, 표시 처리부(11)는 촬상 화상(Im11, Im12, Im13), 부감 화상(Im100) 및 특정 화상(Im200) 등에 추가해서, 검지부(13)에 의한 감시 에리어(A1)에 있어서의 검지 대상물(Ob1)의 존재 여부(유무)의 검지 결과를 나타내는 검지 오브젝트 등을 표시 화면(Dp1)에 표시한다. 검지 오브젝트는 검지부(13)의 검지 결과에 따라서 그 표시 양태가 변화한다. 그 때문에, 감시 에리어(A1)에 검지 대상물(Ob1)이 존재하는 경우와 존재하지 않는 경우에서, 표시 화면(Dp1)에 있어서의 검지 오브젝트의 표시 양태는 상이하다.

본 개시에서 말하는 검지 오브젝트 등의 「오브젝트」는 표시 화면(Dp1) 중에 표시되는 마크, 도상, 도형, 사진, 텍스트 혹은 동영상 등, 또는 이것들의 조합을 포함한다. 또한, 본 개시에서 말하는 「표시 양태」는 (오브젝트의) 표시색, 사이즈(크기, 선의 굵기 등을 포함한다), 형상, 동작 상태(애니메이션, 회전/정지 등을 포함한다), 표시의 유무 혹은 표시 패턴(점멸 패턴 등을 포함한다) 등, 또는 이것들의 조합을 포함한다. 요컨대, 표시 처리부(11)는 검지부(13)의 검지 결과에 따라서 검지 오브젝트의 표시색 등의 표시 양태를 변화시킨다.

화상 취득부(12)는 작업 기계(3) 주위의 감시 에리어(A1)의 촬상 화상을 취득하는 화상 취득 처리를 실행한다. 본 실시형태에서는, 화상 취득부(12)는 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)의 출력을 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)로부터 정기적 또는 부정기적으로 취득한다. 즉, 화상 취득부(12)는 작업 기계(3) 주위의 감시 에리어(A1)(각 소에리어(A11, A12, A13))의 화상 데이터(촬상 화상)를 취득한다. 화상 취득부(12)에서 취득된 데이터는 예를 들면, 메모리 등에 기억된다.

검지부(13)는 작업 기계(3) 주위의 감시 에리어(A1)에 있어서의 검지 대상물(Ob1)을 검지하는 검지 처리를 실행한다. 즉, 검지부(13)는 감시 에리어(A1)에 있어서의 검지 대상물(Ob1)의 존재 여부(유무)를 판단해서, 감시 에리어(A1)에 검지 대상물(Ob1)이 존재하는지의 여부를 나타내는 검지 결과를 출력한다. 본 실시형태에서는 일례로서, 검지 대상물(Ob1)은 「사람」이다. 즉, 작업 기계(3)가 이동하거나, 또는 작업 기계(3) 주위의 「사람」이 이동한 결과, 작업 기계(3) 주위의 감시 에리어(A1)에 「사람」이 침입한 경우, 검지부(13)는 상기 「사람」을 검지 대상물(Ob1)로서 검지한다. 감시 에리어(A1)에 복수의 검지 대상물(Ob1)이 존재하는 경우에는, 검지부(13)는 검지 대상물(Ob1)의 수(인원수)도 포함시켜 검지해도 좋다.

본 실시형태에서는, 검지부(13)는 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)의 출력(화상 데이터)에 의거해서, 감시 에리어(A1)에 있어서의 검지 대상물(Ob1)을 검지한다. 구체적으로는, 검지부(13)는 화상 취득부(12)에서 취득된 화상 데이터에 대하여 화상 처리를 실시함으로써, 화상 중의 특징량을 추출하고, 상기 특징량에 의거해서, 화상에 검지 대상물(Ob1)(본 실시형태에서는 「사람」)이 비치고 있는지의 여부를 판단한다. 여기서, 화상에 검지 대상물(Ob1)이 비치고 있는 경우, 검지부(13)는 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343) 중 어느 것으로 촬상된 화상에 검지 대상물(Ob1)이 비치고 있는지를 판단한다. 즉, 검지부(13)는 좌방 카메라(341)로 촬상되는 소에리어(A11), 우방 카메라(342)로 촬상되는 소에리어(A12), 및 후방 카메라(343)로 촬상되는 소에리어(A13) 중 어느 것에 검지 대상물(Ob1)이 존재하는지를 구별해서, 검지 대상물(Ob1)의 검지를 행한다.

견제 처리부(14)는 검지부(13)의 검지 결과에 의거해서, 작업 기계(3)의 동작을 견제하는 견제 처리를 실행한다. 본 실시형태에서는, 검지부(13)의 검지 결과가 감시 에리어(A1)에 검지 대상물(Ob1)(여기서는, 사람)의 존재를 나타내는 결과인 경우에, 견제 처리부(14)는 견제 처리를 실행한다. 본 개시에서 말하는 「견제 처리」는 작업 기계(3)의 동작에 관한 것으로, 무언가를 억제하는 방향으로 작용하는 처리를 의미한다. 일례로서, 견제 처리는 표시 장치(2)를 제어함으로써, 작업 기계(3)를 조작하는 유저(U1)(오퍼레이터)에 대하여, 소리 또는 광(표시를 포함한다)에 의해 경고를 행함으로써, 작업 기계(3)의 동작을 간접적으로 견제하는 처리를 포함한다. 또한, 견제 처리는 작업 기계(3)의 주행부(31), 선회부(32) 및 작업부(33) 등을 제어함으로써, 작업 기계(3)의 동작을 직접적으로 견제하는 처리를 포함한다.

구체적으로, 본 실시형태에서는 일례로서, 견제 처리부(14)는 감시 에리어(A1)에 검지 대상물(Ob1)이 존재하는 경우에, 컷오프 릴레이(352)를 오프로 한다. 이것에 의해, 컷오프 릴레이(352)를 통해서 전원(351)에 접속되어 있는 제어 밸브(46)가 비통전 상태가 되어, 제어 밸브(46)에 대응하는 유압 액추에이터의 출력이 강제적으로 정지한다. 즉, 본 실시형태에서는, 견제 처리는 작업 기계(3)의 동작을 제한하는 제한 처리를 포함한다. 본 개시에서 말하는 「제한 처리」는 작업 기계(3)의 동작에 관한 것으로, 무언가를 제한하는 방향으로 작용하는 처리를 의미한다. 일례로서, 제한 처리는 주행부(31)의 주행 동작을 금지하는(주행 동작 불능으로 하는) 처리, 선회부(32)의 선회 동작을 금지하는(선회 동작 불능으로 하는) 처리, 및 작업부(33)의 동작을 금지하는(작업 불능으로 하는) 처리 등을 포함한다. 이것에 의해, 유저(U1)(오퍼레이터)의 조작에 상관없이, 작업 기계(3)의 동작을 강제적으로 제한할 수 있다. 즉, 작업 기계(3)가 동작하는 것에 의한 기체(30)와 검지 대상물(Ob1)의 접촉을 회피할 수 있다.

그런데, 검지부(13)는 제어 시스템(1)에 필수의 구성은 아니다. 예를 들면, 제어 시스템(1)은 외부의 검지부의 검지 결과를 취득하고, 상기 검지 결과에 의거해서 견제 처리부(14)가 견제 처리를 실행하도록 구성되어 있어도 좋다.

[3] 작업 기계의 제어 방법

이하, 도 5∼도 9를 참조하면서, 주로 제어 시스템(1)에 의해 실행되는 작업 기계(3)의 제어 방법(이하, 간단히 「제어 방법」이라고 한다)의 일례에 대해서 설명한다.

본 실시형태에 의한 제어 방법은 컴퓨터 시스템을 주구성으로 하는 제어 시스템(1)에서 실행되므로, 바꿔 말하면 작업 기계용 제어 프로그램(이하, 간단히 「제어 프로그램」이라고 한다)에서 구현화된다. 즉, 본 실시형태에 의한 제어 프로그램은 제어 방법에 의한 각 처리를 하나 이상의 프로세서에 실행시키기 위한 컴퓨터 프로그램이다. 이와 같은 제어 프로그램은 예를 들면, 제어 시스템(1) 및 표시 장치(2)에 의해 협동해서 실행되어도 좋다.

여기서, 제어 시스템(1)은 제어 프로그램을 실행시키기 위한 미리 설정된 특정 개시 조작이 행해진 경우에, 제어 방법에 의한 하기 각종 처리를 실행한다. 개시 조작은 예를 들면, 작업 기계(3)의 엔진의 기동 조작 등이다. 한편, 제어 시스템(1)은 미리 설정된 특정 종료 조작이 행해진 경우에, 제어 방법에 의한 하기 각종 처리를 종료한다. 종료 조작은 예를 들면, 작업 기계(3)의 엔진의 정지 조작 등이다.

[3. 1] 표시 화면

여기서는 우선, 본 실시형태에 의한 제어 방법에 의해 표시 장치(2)의 표시부(23)에 표시되는 표시 화면(Dp1)의 구성에 대해서 설명한다. 도 5 등의 표시 장치(2)의 표시부(23)에 표시되는 표시 화면(Dp1)을 나타내는 도면에 있어서, 영역을 나타내는 일점쇄선, 인출선 및 참조 부호는 모두 설명을 위해서 부여하고 있는 것에 불과하며, 실제로 표시 장치(2)에 표시되는 것은 아니다.

도 5에 나타내는 표시 화면(Dp1)은 제어 방법에 의해 최초로 표시되는 홈화면(Dp11)이다. 즉, 제어 시스템(1)의 표시 처리부(11)는 예를 들면 도 5에 나타내는 바와 같은 표시 화면(Dp1)을 생성하고, 표시 장치(2)(의 표시부(23))에 표시시키는 표시 처리를 실행한다. 홈화면(Dp11)은 작업 기계(3)의 가동 중에, 우선은 표시 장치(2)에 표시되게 되는 기본적인 표시 화면(Dp1)이다. 표시 화면(Dp1)은 홈화면(Dp11)으로부터, 조작부(22)에 대한 조작에 따라서 메뉴 화면, 크레인 화면, 모드 화면 및 PTO 화면 등을 포함하는 다양한 표시 화면(Dp1)으로의 천이가 가능하다.

홈화면(Dp11)으로서의 표시 화면(Dp1)은 도 5에 나타내는 바와 같이, 제 1 영역(R1)과 제 2 영역(R2), 제 3 영역(R3), 제 4 영역(R4), 제 5 영역(R5), 제 6 영역(R6), 제 7 영역(R7), 제 8 영역(R8), 제 9 영역(R9) 및 제 10 영역(R10)을 포함한다. 본 실시형태에 의한 제어 방법에서는, 일례로서 표시 화면(Dp1)의 대부분을 차지하는 제 2 영역(R2)에, 감시 에리어(A1)(각 소에리어(A11, A12, A13))의 촬상 화상(Im11, Im12, Im13) 등을 표시한다.

구체적으로는, 표시 화면(Dp1)은 세로 방향(상하 방향)으로 4개의 영역으로 분할되어 있다. 그리고, 위로부터 3개의 영역은 각각 가로 방향(좌우 방향)으로 3개의 영역으로 더 분할되어 있다. 이것에 의해, 표시 화면(Dp1)은 총 10개의 영역으로 분할된다. 그리고, 위로부터 2단째의 영역은 왼쪽부터 순서대로 제 1 영역(R1), 제 2 영역(R2), 제 3 영역(R3)이 된다. 최하단의 영역은 제 4 영역(R4)이 된다. 또한, 위로부터 3단째의 영역은 왼쪽부터 순서대로 제 5 영역(R5), 제 6 영역(R6), 제 7 영역(R7)이 되고, 최상단의 영역은 왼쪽부터 순서대로 제 8 영역(R8), 제 9 영역(R9), 제 10 영역(R10)이 된다. 세로 방향의 사이즈는 세로 방향으로 분할된 4개의 영역 중에서는, 위로부터 2단째의 영역(제 1 영역(R1), 제 2 영역(R2), 제 3 영역(R3))이 가장 넓다. 가로 방향의 사이즈는 가로 방향으로 분할된 3개의 영역 중에서는, 정중앙의 영역(제 2 영역(R2), 제 6 영역(R6), 제 9 영역(R9))이 가장 넓다.

단, 이들 각 영역의 배치 및 사이즈는 일례에 불과하며, 적당히 변경 가능하다. 또한, 각 영역이 경계선에 의해 명확히 분할되어 있는 것은 필수가 아니다. 예를 들면, 도 5의 예에서도 제 2 영역(R2)과 제 3 영역(R3)은 경계선에 의해 명확히 분할되어 있는 것에 대하여, 제 1 영역(R1)과 제 2 영역(R2) 사이에는 경계선은 존재하지 않는다. 물론, 제 1 영역(R1)과 제 2 영역(R2)이 경계선에 의해 명확히 분할되어 있어도 좋다.

제 1 영역(R1)은 세로 방향으로 긴 직사각형 형상의 영역이다. 제 1 영역(R1)에는, 예를 들면 엔진의 연료(예를 들면, 경유)의 잔량에 관한 잔량 정보(G1)가 표시된다. 표시 처리부(11)는 잔량 센서의 출력(센서 신호) 등에 의거해서, 표시 화면(Dp1) 중의 잔량 정보(G1)를 생성한다.

제 2 영역(R2)은 가로 방향으로 긴 직사각형상의 영역으로, 상술한 바와 같이 제 2 영역(R2)에는 촬상 화상(Im11, Im12, Im13) 등이 표시된다. 촬상 화상(Im11)은 좌방 카메라(341)로 촬상되는 운전부(321)의 좌방이 되는 소에리어(A11)의 화상이고, 촬상 화상(Im12)은 우방 카메라(342)로 촬상되는 운전부(321)의 우방이 되는 소에리어(A12)의 화상이다. 촬상 화상(Im13)은 후방 카메라(343)로 촬상되는 운전부(321)의 후방이 되는 소에리어(A13)의 화상이다. 표시 처리부(11)는 화상 취득부(12)에서 취득되는 촬상 화상(Im11, Im12, Im13)을 리얼타임으로 표시시킨다.

또한, 제 2 영역(R2)의 중앙부에는, 상방으로부터 본 기체(30)를 본뜬 아이콘(Im10)이 표시되어 있다. 아이콘(Im10)은 기체(30)로부터 본 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)의 촬상 범위(소에리어(A11, A12, A13))의 위치 관계를 모식적으로 나타내고 있다. 본 실시형태에서는, 촬상 화상(Im11, Im12, Im13)은 제 2 영역(R2)의 중앙부가 직사각형상으로 노치된 형상이다. 그 때문에, 제 2 영역(R2)의 중앙부에 표시되는 아이콘(Im10)은 촬상 화상(Im11, Im12, Im13)의 노치 부위에 끼워지도록 배치되게 된다.

제 3 영역(R3)은 세로 방향으로 긴 직사각형 형상의 영역이다. 제 3 영역(R3)에는 작업 기계(3)의 각 부의 가동 상태에 따른 도상(아이콘)(Im1)이 표시된다. 제 3 영역(R3)에는 복수의 도상(Im1)을 표시 가능하며, 개개의 도상(Im1)의 디자인(도안)에 의해, 예를 들면 배터리, 안전 벨트, 냉각수온, 작동유온 등의, 어느 것의 상태를 표시할지를 나타낸다. 여기서, 각 도상(Im1)은 예를 들면, 표시색 또는 사이즈 등의 표시 양태에 의해, 가동 상태를 나타낸다. 표시 처리부(11)는 작업 기계(3)의 각 부의 가동 상태를 검지하는 각종 센서(냉각수온 센서 및 작동유온 센서를 포함한다)의 출력을 이용해서, 작업 기계(3)의 각 부의 상태를 판단한다. 그리고, 표시 처리부(11)는 어느 하나의 부위에서 이상값이 검지된 경우에는, 그 부위의 도상(Im1)의 표시색 등의 표시 양태를 변화시키는 것 등에 의해, 경고 표시를 행한다.

제 4 영역(R4)은 표시 화면(Dp1)의 전체폭에 걸쳐 연장되는 띠 형상의 영역이다. 제 4 영역(R4)에는 표시 화면(Dp1)에 대한 조작을 위한 각 항목이 표시된다. 도 5에서는 일례로서, 제 4 영역(R4)에는 「메뉴」, 「크레인」, 「모드」, 「카메라」, 「PTO」, 「스위칭」의 6개의 항목이 이 순서대로 왼쪽부터 나란히 배치되어 있다. 이들 6개의 항목에는 그 바로 아래에 위치하는 조작부(22)의 6개의 누름 버튼 스위치(221∼226)가 각각 대응지어져 있다. 예를 들면, 「메뉴」의 항목에는 누름 버튼 스위치(221)가, 「크레인」의 항목에는 누름 버튼 스위치(222)가, 각각 대응지어져 있다. 그 때문에, 예를 들면 「카메라」의 항목에 대응하는 누름 버튼 스위치(224)가 유저(U1)(도 4 참조)에 의해 조작되면, 「카메라」의 항목이 조작(선택)되게 된다.

또한, 본 실시형태에서는, 조작부(22)의 조작 다이얼(또는 커서 키) 등의 조작에도 대응하도록, 제 4 영역(R4)에 있어서는, 어느 하나의 항목이 하이라이트 표시된다. 도 5의 예에서는 「메뉴」의 항목이 하이라이트 표시되어 있고, 조작 다이얼(또는 커서 키) 등의 조작에 의해, 하이라이트 표시되는 항목이 스위칭된다. 유저(U1)에 있어서는, 소망의 항목을 하이라이트 표시시킨 상태에서 결정 버튼을 조작함으로써, 소망의 항목을 선택하는 것이 가능하다. 그 때문에, 예를 들면 「카메라」의 항목으로 하이라이트 표시를 이동시킨 상태에서 결정 버튼이 조작되면, 「카메라」의 항목이 조작(선택)되게 된다. 또한, 조작부(22)가 터치 패널을 포함하는 경우에는, 유저(U1)는 표시 화면(Dp1) 상의 소망의 항목을 터치하는 조작에 의해, 소망의 항목을 선택하는 것이 가능하다.

제 5 영역(R5)에는 각종 센서(냉각수온 센서 및 작동유온 센서를 포함한다)에서 이상값이 검지되어 있는 것을 나타내는 경고 표시용 도상(아이콘)이 표시된다. 제 6 영역(R6)에는, 예를 들면 작업 기계(3)에 있어서 가동 중인 작업부(33)에 관한 정보가 표시된다. 제 7 영역(R7)에는, 예를 들면 엔진의 회전수 등, 작업 기계(3)의 가동 상태에 관한 정보가 표시된다. 제 8 영역(R8)에는, 예를 들면 현재 시각이 표시된다. 제 9 영역(R9)에는, 예를 들면 현재 표시되고 있는 표시 화면(Dp1)이 속하는 항목을 나타내는 정보가 표시된다. 제 10 영역(R10)에는, 예를 들면 작업 기계(3)의 가동 시간(아워 미터기)에 관한 정보가 표시된다.

그런데, 본 실시형태에서는, 표시 처리부(11)는 상술한 바와 같은 홈화면(Dp11)과, 도 7에 나타내는 바와 같은 확대 화면(Dp12)을 포함하는 복수의 화면 사이에서, 표시 장치(2)에 표시시키는 표시 화면(Dp1)을 스위칭한다. 즉, 표시 장치(2)에 표시되는 표시 화면(Dp1)은 상술한 홈화면(Dp11)으로부터, 도 7에 나타내는 바와 같은 확대 화면(Dp12)으로 스위칭 가능하다.

도 7에 나타내는 확대 화면(Dp12)은 홈화면(Dp11)과 비교해서, 제 2 영역(R2)을 확대함으로써, 표시 화면(Dp1)의 제 2 영역(R2)을 전체 화면 표시한 화면이다. 즉, 표시 처리부(11)는 홈화면(Dp11)을 표시하는 통상 모드로부터, 전체 화면 모드로 스위칭됨으로써, 표시 장치(2)의 표시부(23)에 제 2 영역(R2)을 전체 화면 표시한 확대 화면(Dp12)을 표시시킨다.

도 7의 예에서는, 확대 화면(Dp12)은 제 2 영역(R2)만을 포함하여, 화면 전체가 제 2 영역(R2)이 된다. 즉, 확대 화면(Dp12)에 있어서는, 제 1 영역(R1), 및 제 3 영역(R3)∼제 10 영역(R10)이 비표시가 되고, 제 2 영역(R2)이 확대 표시된다.

그 때문에, 확대 화면(Dp12)에서는 홈화면(Dp11)과 비교해서, 촬상 화상(Im11, Im12, Im13)이 확대 표시되게 되고, 시인성이 우수한 표시 양태로 촬상 화상(Im11, Im12, Im13)이 표시된다. 한편으로, 확대 화면(Dp12)은 홈화면(Dp11)과는 달리, 제 1 영역(R1)의 잔량 정보(G1) 등, 작업 기계(3)의 가동 상태에 관한 가동 정보를 포함하지 않는다.

[3. 2] 부감 화상의 상세

이어서, 본 실시형태에 의한 제어 방법에 의해 표시되는 부감 화상(Im100)의 상세에 대해서 설명한다.

상술한 바와 같이, 표시 처리부(11)는 적어도 확대 화면(Dp12)을 표시하는 전체 화면 모드에 있어서, 부감 화상(Im100)을 표시 화면(Dp1)(확대 화면(Dp12))에 표시시키는 것이 가능하다. 즉, 표시 처리부(11)는 예를 들면, 시점 스위칭 조작에 따라서, 표시 화면(Dp1)의 제 2 영역(R2)에 표시시키는 화상을, 도 6에 나타내는 바와 같은 촬상 화상(Im11, Im12, Im13)과, 도 7에 나타내는 바와 같은 부감 화상(Im100) 사이에서 스위칭 가능하다. 시점 스위칭 조작의 일례로서, 「카메라」의 항목의 조작(선택), 또는 시점 스위칭용 스위치의 조작 등이 있다. 혹은, 예를 들면 검지부(13)의 검지 결과 등에 따라서, 표시 처리부(11)는 촬상 화상(Im11, Im12, Im13)과 부감 화상(Im100)을 자동적으로 스위칭해도 좋다.

부감 화상(Im100)은 기체(30)를 상방(상공)으로부터 내려다본 화상으로, 본 실시형태에서는 주행부(31)의 방향과는 관계없이, 적어도 작업 기계(3)(의 운전부(321))에 탑승한 유저(오퍼레이터)로부터 본 좌방, 우방 및 후방의 영역을 포함하는 화상이다. 이와 같은 부감 화상(Im100)은 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)의 촬상 화상(Im11, Im12, Im13)을, 좌표 변환해서 합성함으로써 생성되는 촬상 화상의 일종이다. 부감 화상(Im100)은 본 실시형태에서는 일례로서, 표시 처리부(11)의 제 1 표시 처리부(111)에서 촬상 화상(Im11, Im12, Im13)에 의거해서 생성되지만, 이 예에 한정되지 않고, 표시 처리부(11) 이외에서 생성되어도 좋다. 부감 화상(Im100)은 촬상 화상이 애니메이션에 합성된 화상이어도 좋다.

도 7의 예에서는, 표시 처리부(11)는 표시 화면(Dp1)(확대 화면(Dp12))의 제 2 영역(R2)에 제 1 표시 영역(R11)과 제 2 표시 영역(R12)을 설정하고, 제 1 표시 영역(R11)에 부감 화상(Im100)을 표시시켜, 제 2 표시 영역(R12)에 특정 화상(Im200)을 표시시킨다. 제 1 표시 영역(R11)은 표시 장치(2)에 표시되는 표시 화면(Dp1) 중, 평면시에 있어서 작업 기계(3)에 상당하는 자기 기준 위치(P1)로부터 본 둘레 방향의 일부가 노치 영역(R13)으로서 노치된 형상의 영역이다. 제 2 표시 영역(R12)은 표시 장치(2)에 표시되는 표시 화면(Dp1) 중, 노치 영역(R13) 내에 배치되는 영역이다.

구체적으로는, 제 2 영역(R2)의 중앙부에는 상방으로부터 본 기체(30)를 본뜬 아이콘(Im10)이 표시되어 있으므로, 이 아이콘(Im10)의 중심인 제 2 영역(R2)의 중심이, 평면시에 있어서 작업 기계(3)에 상당하는 자기 기준 위치(P1)가 된다. 그리고, 부감 화상(Im100)이 표시되는 제 1 표시 영역(R11)은 이 자기 기준 위치(P1)(제 2 영역(R2)의 중심)를 중심으로 하는 둘레 방향(원주 방향)의 일부가 노치 영역(R13)으로서 노치된 형상을 갖는다. 도 7에서는, 자기 기준 위치(P1)를 흑색 동그라미로 표기하고 있지만, 이것은 참조 부호 등과 마찬가지로, 설명을 위해서 부여하고 있는 것에 불과하며, 실제로 표시 장치(2)에 표시되는 것은 아니다.

보다 상세하게는, 제 1 표시 영역(R11)은 자기 기준 위치(P1)로부터 먼 측의 둘레 가장자리를 원호 형상으로 한 부채꼴의 영역으로, 상기 부채꼴의 정각에 상당하는 위치에 아이콘(Im10)이 배치된다. 본 개시에서 말하는 「원호 형상」은 진원의 일부를 구성하는 원호에 한정되지 않고, 바깥 방향으로 볼록해지는 만곡선 전반을 포함한다. 그 때문에, 도 7과 같이 둘레 가장자리(외형선)가 전체적으로 바깥 방향으로 볼록해지는 만곡선으로 이루어지는 제 1 표시 영역(R11)이어도, 둘레 가장자리를 원호 형상으로 한 부채꼴의 영역이라고 할 수 있다. 바꿔 말하면, 제 1 표시 영역(R11)의 둘레 가장자리는 원호(R110)와, 상기 원호(R110)의 양단에 연결되는 지름 방향을 따른 한쌍의 에지(R111, R112)를 포함하고, 이들 원호(R110) 및 한쌍의 에지(R111, R112)로 둘러싸이는 영역이 부채형이 된다.

그리고, 자기 기준 위치(P1)를 중심으로 하는 원형상(원환상)의 영역 중, 한쌍의 에지(R111, R112)에 의해 절취되는 제 1 표시 영역(R11) 이외의 영역이 노치 영역(R13)이 된다. 도 7의 예에서는, 제 1 표시 영역(R11)에 있어서의 한쌍의 에지(R111, R112) 사이의 각도(부채꼴의 중심각)는 대략 260도이다. 그 때문에, 노치 영역(R13)의 중심각은 대략 100도가 된다.

도 8은 실제로 표시 장치(2)에 표시되는 표시 화면(Dp1)(확대 화면(Dp12))의 일례를 나타내고 있다. 도 8에 나타내는 바와 같이, 제 1 표시 영역(R11)에 표시되는 부감 화상(Im100)은 기체(30)를 상방(상공)으로부터 내려다본 화상이 되도록, 촬상 화상(Im11, Im12, Im13)을 좌표 변환해서 심리스로 합성해서 얻어지는 화상이다. 도 8에서는 아이콘(Im10)으로서, 기체(30)를 본뜬 오브젝트가 아니고, 기체(30)에 상당하는 위치를 동그라미표로 나타낸 오브젝트가 표시되어 있다.

즉, 본 실시형태에 의한 제어 방법은 작업 기계(3) 주위의 감시 에리어의 촬상 화상(Im11, Im12, Im13)을 취득하는 것과, 촬상 화상(Im11, Im12, Im13)에 의거한 부감 화상(Im100)을 제 1 표시 영역(R11)에 표시시키는 것을 갖는다. 제 1 표시 영역(R11)은 표시 장치(2)에 표시되는 표시 화면(Dp1) 중, 평면시에 있어서 작업 기계(3)에 상당하는 자기 기준 위치(P1)로부터 본 둘레 방향의 일부가 노치 영역(R13)으로서 노치된 형상의 영역이다. 제어 방법은 표시 화면(Dp1) 중, 노치 영역(R13) 내에 배치되는 제 2 표시 영역(R12)에 특정 화상(Im200) 중 적어도 일부를 표시시키는 것을 더 갖는다.

요컨대, 부감 화상(Im100) 및 특정 화상(Im200)을 포함하는 표시 화면(Dp1)이 표시 장치(2)에 표시되게 된다. 게다가, 부감 화상(Im100)은 자기 기준 위치(P1)로부터 본 둘레 방향의 일부가 노치 영역(R13)으로서 노치된 형상의 제 1 표시 영역(R11)에 표시되어, 상기 노치 영역(R13) 내에 배치되는 제 2 표시 영역(R12)에 특정 화상(Im200) 중 적어도 일부가 표시된다. 따라서, 표시 장치(2)에는 일부가 노치된 형상의 부감 화상(Im100)과 함께, 노치 영역(R13)을 이용해서 다른 화상(특정 화상(Im200))을 표시할 수 있으므로, 부감 화상(Im100)에 추가해서 다른 특정 화상(Im200)을 일체적으로 표시할 수 있다. 결과적으로, 오퍼레이터에 있어서는 일체적으로 표시되는 부감 화상(Im100) 및 특정 화상(Im200)을 위화감 없이 시인할 수 있고, 작업 기계(3)의 조작에 관한 다양한 정보를 오퍼레이터가 직감적으로 파악하기 쉬워진다.

본 실시형태에서는 도 7 및 도 8에 나타내는 바와 같이, 제 2 표시 영역(R12)은 표시 화면(Dp1)에 있어서 제 1 표시 영역(R11)의 상방에 배치된다. 여기서 말하는 「상방」은 표시 화면(Dp1)을 시인하는 유저(오퍼레이터)로부터 본 상방을 의미하고, 실공간에 있어서의 방향에 상관없이, 표시 화면(Dp1) 내에서의 세로 방향(상하 방향) 중 일방이다. 즉, 제 1 표시 영역(R11)은 자기 기준 위치(P1)로부터 보아 표시 화면(Dp1)의 상방측이 노치 영역(R13)으로서 노치된 형상으로, 이 노치 영역(R13) 내에 제 2 표시 영역(R12)이 배치된다. 이와 같은 배치에 의해, 제 1 표시 영역(R11)에 표시되는 부감 화상(Im100)의 시인성을 유지하면서, 특정 화상(Im200)에 대해서도 오퍼레이터가 시인하기 쉬운 위치에 표시시킬 수 있다.

여기서, 노치 영역(R13)은 부감 화상(Im100)에 있어서 작업 기계(3)의 전방에 상당하는 위치에 배치된다. 즉, 본 실시형태에서는, 표시 화면(Dp1)의 상방이 부감 화상(Im100)에 있어서의 작업 기계(3)의 전방에 상당하므로, 상기 작업 기계(3)의 전방에 제 2 표시 영역(R12)이 배치된다. 오퍼레이터에 있어서는, 작업 기계(3) 주위 중 전방이 가장 시인하기 쉬우므로, 부감 화상(Im100) 중 작업 기계(3)의 전방에 상당하는 영역을 노치 영역(R13)으로 함으로써, 작업 기계(3) 주위의 시인성을 크게 저하시키지 않고 부감 화상(Im100)을 표시하는 것이 가능하다.

또한, 본 실시형태에서는 도 7 및 도 8에 나타내는 바와 같이, 표시 화면(Dp1)에 있어서, 제 1 표시 영역(R11)과 제 2 표시 영역(R12) 사이에는 간극이 배치된다. 즉, 제 2 표시 영역(R12)은 제 1 표시 영역(R11)에 있어서의 한쌍의 에지(R111, R112)로부터 이간해서 설정되어 있다. 이것에 의해, 제 1 표시 영역(R11)에 표시되는 부감 화상(Im100)과, 제 2 표시 영역(R12)에 표시되는 특정 화상(Im200) 사이에는 간극이 형성되게 되고, 오퍼레이터에 있어서는 부감 화상(Im100)과 특정 화상(Im200)을 구별하기 쉬워진다. 결과적으로, 부감 화상(Im100) 및 특정 화상(Im200)의 각각에 대한 시인성 향상에 기여한다.

또한, 본 실시형태에서는 표시 화면(Dp1)에 있어서, 제 2 표시 영역(R12)의 둘레 가장자리의 적어도 일부는 제 1 표시 영역(R11)의 둘레 가장자리의 일부를 따라서 배치된다. 도 7의 예에서는, 제 2 표시 영역(R12)의 둘레 가장자리는 육각형을 이루고 있고, 상기 육각형 중 2변이 제 1 표시 영역(R11)의 둘레 가장자리 중 한쌍의 에지(R111, R112)를 따라서 배치되어 있다. 여기서는 특히, 제 2 표시 영역(R12)의 둘레 가장자리(육각형) 중 2변은 한쌍의 에지(R111, R112)에 평행하다. 이것에 의해, 제 2 표시 영역(R12)에 표시되는 특정 화상(Im200)을 비교적 크게 표시할 수 있어, 특정 화상(Im200)의 시인성 향상에 기여한다.

또한, 본 실시형태에서는, 특정 화상(Im200)은 부감 화상(Im100)의 일부를 구성하는 촬상 화상(Im11, Im12, Im13)에 관한 화상이다. 즉, 부감 화상(Im100)은 상술한 바와 같이 촬상 화상(Im11, Im12, Im13)을 합성해서 생성되어 있으므로, 제 2 표시 처리부(112)는 촬상 화상(Im11, Im12, Im13)에 관한 화상을, 특정 화상(Im200)으로서 제 2 표시 영역(R12)에 표시시킨다. 촬상 화상(Im11, Im12, Im13)에 관한 화상은 예를 들면, 촬상 화상(Im11, Im12, Im13) 중 적어도 일부여도 좋고, 촬상 화상(Im11, Im12, Im13)에 대하여 좌표 변환 또는 필터링 등, 어떠한 화상 처리가 실시된 화상이어도 좋다. 이것에 의해, 오퍼레이터에 있어서는 부감 화상(Im100)과 함께, 촬상 화상(Im11, Im12, Im13)에 관한 화상을 시인 가능하게 되어, 기체(30) 주위의 상황을 확인하기 쉬워진다.

여기서, 특정 화상(Im200)은 작업 기계(3)의 후방측의 촬상 화상(Im13)에 관한 화상이다. 즉, 후방 카메라(343)로 촬상되는 운전부(321)의 후방이 되는 소에리어(A13)의 화상인 촬상 화상(Im13)에 관한 화상이 특정 화상(Im200)으로서 제 2 표시 영역(R12)에 표시된다. 이것에 의해, 오퍼레이터에 있어서 사각이 되기 쉬운 기체(30)의 후방을 특정 화상(Im200)으로 커버하는 것이 가능하게 된다.

본 실시형태에서는 특히, 특정 화상(Im200)은 촬상 화상(Im13)으로부터의 변환 양태가 부감 화상(Im100)과는 상이한 화상이다. 즉, 부감 화상(Im100)은 기체(30)를 상방(상공)으로부터 내려다본 화상이기 때문에, 후방 카메라(343)로 촬상되는 촬상 화상(Im13)에 대해서, 평면시가 되도록 좌표 변환 등의 변환이 행해진다. 이것에 대하여, 특정 화상(Im200)으로서 제 2 표시 영역(R12)에 표시되는 촬상 화상(Im13)은 도 6의 예와 마찬가지로, 작업 기계(3)(의 운전부(321))에 탑승한 유저(오퍼레이터)로부터 본 화상이 되도록, 좌표 변환 등의 변환이 행해진다. 따라서, 특정 화상(Im200)으로서 표시되는 소에리어(A13)에 대해서는, 부감 화상(Im100)과 특정 화상(Im200)에서 상이한 변환 양태로 표시되어, 오퍼레이터에 있어서는 보다 주의 깊게 확인할 수 있다.

또한, 표시 화면(Dp1)은 작업 기계(3)로부터 본 부감 화상(Im100)의 촬상 범위의 위치 관계를 나타내는 오브젝트(아이콘(Im10))를 포함한다. 즉, 상술한 바와 같이 제 2 영역(R2)의 중앙부에는, 기체(30)로부터 본 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)의 촬상 범위(소에리어(A11, A12, A13))의 위치 관계를 모식적으로 나타낸 아이콘(Im10)이 표시되어 있다. 여기서, 아이콘(Im10)은 부감 화상(Im100)의 자기 기준 위치(P1)에 배치되므로, 부감 화상(Im100)은 기체(30)를 상방으로부터 보았을 때의 위치 관계에 대응하도록, 아이콘(Im10) 주위에 표시된다. 즉, 기체(30)의 좌방이 되는 소에리어(A11)의 촬상 화상(Im11)은 아이콘(Im10)에 대하여 좌방에 위치하고, 기체(30)의 우방이 되는 소에리어(A12)의 촬상 화상(Im12)은 아이콘(Im10)에 대하여 우방에 위치하며, 기체(30)의 후방이 되는 소에리어(A13)의 촬상 화상(Im13)은 아이콘(Im10)에 대하여 하방에 위치하도록 부감 화상(Im100)이 표시된다.

이와 같이, 본 실시형태에 의한 제어 방법은 표시 화면(Dp1)에 있어서의 아이콘(Im10)에 대한 부감 화상(Im100)의 위치 관계에는, 실공간에 있어서의 작업 기계(3)에 대한 감시 에리어(A1)의 위치 관계를 반영시킨다. 그 때문에, 오퍼레이터에 있어서는 표시 화면(Dp1)을 보고, 감시 에리어(A1)의 어디를 촬상한 부감 화상(Im100)인지를 직감적으로 파악하기 쉽다.

또한, 부감 화상(Im100)의 표시는 확대 화면(Dp12)을 표시하는 전체 화면 모드에 한정되지 않고, 제 2 영역(R2)에 추가해서 제 1 영역(R1) 및 제 3 영역(R3)∼제 10 영역(R10)을 포함하는 홈화면(Dp11)을 표시하는 통상 모드로 행해져도 좋다.

[3. 3] 전체 처리

이어서, 제어 방법에 의한 처리 전체의 흐름에 대해서, 도 9를 참조해서 설명한다. 도 9는 제어 방법 중 특히 부감 화상(Im100)의 표시에 관한 처리의 일례를 나타내는 플로우차트이다.

도 9에 나타내는 바와 같이, 제어 시스템(1)의 화상 취득부(12)는 촬상 화상(Im11, Im12, Im13)을, 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)로부터 취득한다(S1). 그리고, 제어 시스템(1)의 표시 처리부(11)는 촬상 화상(Im11, Im12, Im13)에 의거해서 부감 화상(Im100)을 생성한다(S2).

표시 처리부(11)의 제 1 표시 처리부(111)는 부감 화상(Im100)을 표시 화면(Dp1) 중, 평면시에 있어서 작업 기계(3)에 상당하는 자기 기준 위치(P1)로부터 본 둘레 방향의 일부가 노치 영역(R13)으로서 노치된 형상의 제 1 표시 영역(R11)에 표시시킨다(S3). 또한, 표시 처리부(11)의 제 2 표시 처리부(112)는 표시 화면(Dp1) 중, 노치 영역(R13) 내에 배치되는 제 2 표시 영역(R12)에 특정 화상(Im200) 중 적어도 일부를 표시시킨다(S4).

그 결과, 도 7 및 도 8에 나타내는 바와 같이, 표시 화면(Dp1)에 있어서는 제 1 표시 영역(R11) 및 제 2 표시 영역(R12)에 각각 부감 화상(Im100) 및 특정 화상(Im200)이 표시되게 된다. 제어 시스템(1)은 상기 스텝 S1∼S4의 처리를 반복하여 실행한다. 단, 도 9에 나타내는 플로우차트는 일례에 불과하며, 처리가 적당히 추가 또는 생략되어도 좋고, 처리의 순번이 적당히 교체되어도 좋다.

[4] 변형예

이하, 실시형태 1의 변형예를 열거한다. 이하에 설명하는 변형예는 적당히 조합해서 적용 가능하다.

본 개시에 있어서의 제어 시스템(1)은 컴퓨터 시스템을 포함하고 있다. 컴퓨터 시스템은 하드웨어로서의 하나 이상의 프로세서 및 하나 이상의 메모리를 주구성으로 한다. 컴퓨터 시스템의 메모리에 기록된 프로그램을 프로세서가 실행함으로써, 본 개시에 있어서의 제어 시스템(1)으로서의 기능이 실현된다. 프로그램은 컴퓨터 시스템의 메모리에 미리 기록되어도 좋고, 전기 통신 회선을 통해서 제공되어도 좋으며, 컴퓨터 시스템으로 판독 가능한 메모리 카드, 광학 디스크, 하드 디스크 드라이브 등의 비일시적 기록 매체에 기록되어 제공되어도 좋다. 또한, 제어 시스템(1)에 포함되는 일부 또는 전부의 기능부는 전자 회로로 구성되어 있어도 좋다.

또한, 제어 시스템(1) 중 적어도 일부의 기능이 1개의 하우징 내에 집약되어 있는 것은 제어 시스템(1)에 필수의 구성은 아니며, 제어 시스템(1)의 구성 요소는 복수의 하우징에 분산되어 설치되어 있어도 좋다. 반대로, 실시형태 1에 있어서, 복수의 장치(예를 들면, 제어 시스템(1) 및 표시 장치(2))에 분산되어 있는 기능이 1개의 하우징 내에 집약되어 있어도 좋다. 또한, 제어 시스템(1) 중 적어도 일부의 기능이 클라우드(클라우드 컴퓨팅) 등에 의해 실현되어도 좋다.

또한, 작업 기계(3)의 동력원은 디젤 엔진에 한정되지 않고, 예를 들면 디젤 엔진 이외의 엔진이어도 좋고, 모터(전동기), 또는 엔진과 모터(전동기)를 포함하는 하이브리드식의 동력원이어도 좋다.

또한, 표시 장치(2)는 전용 디바이스에 한정되지 않고, 예를 들면 랩탑 컴퓨터, 태블릿 단말 또는 스마트폰 등의 범용 단말이어도 좋다. 또한, 표시부(23)는 액정 디스플레이 또는 유기 EL 디스플레이와 같이, 표시 화면을 직접적으로 표시하는 양태에 한정되지 않고, 예를 들면 프로젝터와 같이, 투영에 의해 표시 화면을 표시하는 구성이어도 좋다.

또한, 조작부(22)의 정보의 입력 양태로서, 누름 버튼 스위치, 터치 패널 및 조작 다이얼 이외의 양태를 채용해도 좋다. 예를 들면, 조작부(22)는 키보드, 마우스 등의 포인팅 디바이스, 음성 입력, 제스처 입력 또는 다른 단말로부터의 조작 신호의 입력 등의 양태를 채용해도 좋다.

또한, 견제 처리부(14)가 실행하는 제한 처리는 작업 기계(3)의 동작을 제한하는 처리이면 되고, 작업 기계(3)의 동작(선회 동작 등)을 금지하는(동작 불능으로 하는) 처리에 한정되지 않는다. 제한 처리는 예를 들면 작업 기계(3)의 동작(선회 동작 등)의 속도를 감속하는 처리, 작업 기계(3)의 동작 범위(선회 각도 등)를 좁히는 처리, 또는 작업 기계(3)의 동작의 허용 에리어를 제한하는 처리 등이어도 좋다.

또한, 견제 처리부(14)에 의한 견제 처리에 의한 기능은 필수가 아니고, 견제 처리부(14)는 적당히 생략 가능하다. 또한, 원래 검지부(13)에 의한 검지 처리에 의한 기능은 필수가 아니고, 검지부(13)는 적당히 생략 가능하다.

또한, 표시 처리부(11)는 표시 화면(Dp1)의 제 2 영역(R2)에 감시 에리어(A1)의 촬상 화상(Im11, Im12, Im13)의 세 화면을 표시하는 세 화면 표시에 추가하거나 또는 대신해서, 한 화면 표시 혹은 두 화면 표시를 행해도 좋다. 표시 처리부(11)는 한 화면 표시에서는 촬상 화상(Im11, Im12, Im13) 중 어느 한 화면을 제 2 영역(R2)에 표시하고, 두 화면 표시에서는 촬상 화상(Im11, Im12, Im13) 중 어느 두 화면을 제 2 영역(R2)에 표시한다. 두 화면 표시의 일례로서, 표시 처리부(11)는 우방 카메라(342)로 촬상되는 촬상 화상(Im12) 및 후방 카메라(343)로 촬상되는 촬상 화상(Im13)의 두 화면을 제 2 영역(R2)에 표시한다. 촬상 화상(Im12) 및 촬상 화상(Im13)은 예를 들면 제 2 영역(R2)에 좌우 방향으로 나란히 배치된다.

또한, 작업 기계(3) 주위의 감시 에리어(A1)에 있어서의 검지 대상물(Ob1)을 검지하기 위한 센서는 좌방 카메라(341), 우방 카메라(342) 및 후방 카메라(343)에 한정되지 않고, 1개, 2개 또는 4개 이상의 카메라(이미지 센서)를 포함해도 좋다. 또한, 예를 들면 전방위 카메라(360도 카메라)와 같이 작업 기계(3)로부터 보아 전방위를 촬상 가능한 카메라로 감시 에리어(A1)에 있어서의 검지 대상물(Ob1)을 검지해도 좋다. 또한, 감시 에리어(A1)에 있어서의 검지 대상물(Ob1)을 검지하기 위한 센서는 카메라에 추가하거나 또는 대신해서, 예를 들면 인감 센서, 소나 센서, 레이더 또는 LiDAR(Light Detection and Ranging) 등의 센서를 포함해도 좋다. 여기서, 감시 에리어(A1)에 있어서의 검지 대상물(Ob1)을 검지하는 센서는 광 또는 소리가 측거점에 도달해서 되돌아올 때까지의 왕복 시간에 의거해서 측거점까지의 거리를 측정하는 TOF(Time Of Flight) 방식에 의해, 검지 대상물(Ob1)까지의 거리를 측정하는 3차원 센서여도 좋다.

또한, 검지 대상물(Ob1)은 「사람」에 추가하거나 또는 대신해서, 차량 등의 이동체(다른 작업 기계를 포함한다), 벽 및 기둥 등의 구조물, 식물, 동물, 단차, 홈, 혹은 그 외의 장해물을 포함하고 있어도 좋다.

또한, 제 2 표시 영역(R12)이 표시 화면(Dp1)에 있어서 제 1 표시 영역(R11)의 상방에 배치되는 것은 필수가 아니고, 예를 들면 제 2 표시 영역(R12)이 표시 화면(Dp1)에 있어서 제 1 표시 영역(R11)의 하방에 배치되어도 좋다. 표시 화면(Dp1)에 있어서, 제 1 표시 영역(R11)과 제 2 표시 영역(R12) 사이에는 간극이 배치되는 것은 필수가 아니고, 제 1 표시 영역(R11)과 제 2 표시 영역(R12)은 간극 없이 배치되어도 좋다.

특정 화상(Im200)이 부감 화상(Im100)의 일부를 구성하는 촬상 화상(Im11, Im12, Im13)에 관한 화상인 것은 필수가 아니다. 예를 들면, 특정 화상(Im200)은 냉각수온 및 작동유온 등의 작업 기계(3)의 가동 상태에 관한 정보여도 좋다. 또한, 특정 화상(Im200)은 작업 기계(3)의 후방측의 촬상 화상(Im13)에 관한 화상이 아니어도 좋고, 예를 들면 작업 기계(3)의 좌방의 촬상 화상(Im11)에 관한 화상이어도 좋다. 특정 화상(Im200)은 촬상 화상(Im11, Im12, Im13)으로부터의 변환 양태가 부감 화상(Im100)과는 상이한 화상인 것도 필수가 아니고, 부감 화상(Im100)과 같은 변환 양태여도 좋다.

또한, 노치 영역(R13)이 부감 화상(Im100)에 있어서 작업 기계(3)의 전방에 상당하는 위치에 배치되는 것은 필수가 아니고, 예를 들면 부감 화상(Im100)에 있어서 작업 기계(3)의 후방에 상당하는 위치에 노치 영역(R13)이 배치되어도 좋다. 표시 화면(Dp1)이 작업 기계(3)로부터 본 부감 화상(Im100)의 촬상 범위의 위치 관계를 나타내는 오브젝트(아이콘(Im10))를 포함하는 것도 필수가 아니고, 아이콘(Im10)은 적당히 생략되어도 좋다.

(실시형태 2)

본 실시형태에 의한 작업 기계(3)는 도 10 및 도 11에 나타내는 바와 같이, 표시 화면(Dp1)의 제 2 영역(R2)의 표시 내용이 실시형태 1에 의한 작업 기계(3)와 상위하다. 이하, 실시형태 1과 마찬가지의 구성에 대해서는, 공통의 부호를 부여하고 적당히 설명을 생략한다.

본 실시형태에서는, 제 2 표시 영역(R12)의 둘레 가장자리의 적어도 일부가, 제 1 표시 영역(R11)의 둘레 가장자리의 일부를 따라서 배치되는 구성이 아니다. 즉, 본 실시형태에서는, 제 2 표시 영역(R12)의 둘레 가장자리의 적어도 일부가, 제 1 표시 영역(R11)의 둘레 가장자리의 일부를 따라서 배치되는 구성이 아니다. 예를 들면, 도 10의 예에서는, 제 2 표시 영역(R12)의 둘레 가장자리는 장방형(직사각형)을 이루고 있고, 상기 장방형 중 인접하는 한쌍의 코너부가, 제 1 표시 영역(R11)의 둘레 가장자리 중 한쌍의 에지(R111, R112)에 각각 대향한다. 또한, 도 11의 예에서는, 제 2 표시 영역(R12)의 둘레 가장자리는 육각형을 이루고 있지만, 상기 육각형 중 2변은 제 1 표시 영역(R11)의 둘레 가장자리 중 한쌍의 에지(R111, R112)에 대하여 경사져 있다. 이와 같이, 제 2 표시 영역(R12)의 둘레 가장자리의 적어도 일부가 제 1 표시 영역(R11)의 둘레 가장자리의 일부를 따라서 배치되는 것은 필수가 아니다.

또한, 본 실시형태에서는, 제 1 표시 영역(R11)은 표시 화면(Dp1)에 있어서, 작업 기계(3)의 후방에 상당하는 후방 기준 위치(P2)부터, 자기 기준 위치(P1)를 중심으로 하는 둘레 방향의 노치 영역(R13)까지의 거리는 시계 방향과 반시계 방향에서 상이하다. 즉, 도 10 및 도 11에 나타내는 바와 같이, 부감 화상(Im100)에 있어서 작업 기계(3)의 후방에 상당하는 위치(자기 기준 위치(P1)의 바로 아래)에 후방 기준 위치(P2)를 설정한 경우, 후방 기준 위치(P2)부터 에지(R111)까지의 시계 방향의 거리(L1)와, 후방 기준 위치(P2)부터 에지(R112)까지의 반시계 방향의 거리(L2)는 상이하다. 도 10의 예에서는, 후방 기준 위치(P2)부터 에지(R111)까지의 시계 방향의 거리(L1)는 후방 기준 위치(P2)부터 에지(R112)까지의 반시계 방향의 거리(L2)보다 작다(L1<L2). 도 11의 예에서는, 후방 기준 위치(P2)부터 에지(R111)까지의 시계 방향의 거리(L1)는 후방 기준 위치(P2)부터 에지(R112)까지의 반시계 방향의 거리(L2)보다 크다(L1>L2).

이와 같이, 부감 화상(Im100)이 표시되는 제 1 표시 영역(R11)은 표시 화면(Dp1)에 있어서 좌우 비대칭으로 구성되어 있다. 예를 들면, 작업 기계(3)에 있어서는 운전부(321)가 기체(30)의 좌우 방향(D3) 중 어느 일방측으로 오프셋하고 있는 경우가 있고, 이와 같은 경우, 부감 화상(Im100)에 있어서도 본래, 좌우 비대칭의 화상이 생성된다. 본 실시형태의 구성에 의하면, 이와 같은 좌우 비대칭의 부감 화상(Im100)을, 실제 위치 관계에 의거해서 표시하는 것이 가능하다.

실시형태 2에 의한 구성은 실시형태 1에서 설명한 다양한 구성(변형예를 포함한다)과 적당히 조합해서 채용 가능하다.

〔발명의 부기〕

이하, 상술의 실시형태로부터 추출되는 발명의 개요에 대해서 부기한다. 또한, 이하의 부기에서 설명하는 각 구성 및 각 처리 기능은 취사 선택해서 임의로 조합하는 것이 가능하다.

<부기 1>

작업 기계 주위의 감시 에리어의 촬상 화상을 취득하는 것과,

상기 촬상 화상에 의거한 부감 화상을, 표시 장치에 표시되는 표시 화면 중, 평면시에 있어서 상기 작업 기계에 상당하는 자기 기준 위치로부터 본 둘레 방향의 일부가 노치 영역으로서 노치된 형상의 제 1 표시 영역에 표시시키는 것과,

상기 표시 화면 중, 상기 노치 영역 내에 배치되는 제 2 표시 영역에 특정 화상 중 적어도 일부를 표시시키는 것을 갖는 작업 기계의 제어 방법.

<부기 2>

상기 제 2 표시 영역은 상기 표시 화면에 있어서 상기 제 1 표시 영역의 상방에 배치되는, 부기 1에 기재된 작업 기계의 제어 방법.

<부기 3>

상기 표시 화면에 있어서, 상기 제 1 표시 영역과 상기 제 2 표시 영역 사이에는 간극이 배치되는, 부기 1 또는 부기 2에 기재된 작업 기계의 제어 방법.

<부기 4>

상기 표시 화면에 있어서, 상기 제 2 표시 영역의 둘레 가장자리의 적어도 일부는 상기 제 1 표시 영역의 둘레 가장자리의 일부를 따라서 배치되는, 부기 1∼부기 3 중 어느 하나에 기재된 작업 기계의 제어 방법.

<부기 5>

상기 특정 화상은 상기 부감 화상의 일부를 구성하는 상기 촬상 화상에 관한 화상인, 부기 1∼부기 4 중 어느 하나에 기재된 작업 기계의 제어 방법.

<부기 6>

상기 특정 화상은 상기 작업 기계의 후방측의 상기 촬상 화상에 관한 화상인, 부기 5에 기재된 작업 기계의 제어 방법.

<부기 7>

상기 특정 화상은 상기 촬상 화상으로부터의 변환 양태가 상기 부감 화상과는 상이한 화상인, 부기 5 또는 부기 6에 기재된 작업 기계의 제어 방법.

<부기 8>

상기 노치 영역은 상기 부감 화상에 있어서 상기 작업 기계의 전방에 상당하는 위치에 배치되는, 부기 1∼부기 7 중 어느 하나에 기재된 작업 기계의 제어 방법.

<부기 9>

상기 표시 화면은 상기 작업 기계로부터 본 상기 부감 화상의 촬상 범위의 위치 관계를 나타내는 오브젝트를 포함하는, 부기 1∼부기 8 중 어느 하나에 기재된 작업 기계의 제어 방법.

<부기 10>

상기 제 1 표시 영역은 상기 표시 화면에 있어서, 상기 작업 기계의 후방에 상당하는 후방 기준 위치로부터, 상기 자기 기준 위치를 중심으로 하는 둘레 방향의 상기 노치 영역까지의 거리는 시계 방향과 반시계 방향에서 상이한, 부기 1∼부기 9 중 어느 하나에 기재된 작업 기계의 제어 방법.

<부기 11>

부기 1∼부기 10 중 어느 하나에 기재된 작업 기계의 제어 방법을,

하나 이상의 프로세서에 실행시키기 위한 작업 기계용 제어 프로그램.

1: 작업 기계용 제어 시스템
2: 표시 장치
3: 작업 기계
12: 화상 취득부
30: 기체
111: 제 1 표시 처리부
112: 제 2 표시 처리부
A1: 감시 에리어
Dp1: 표시 화면
Iｍ10: 아이콘(오브젝트)
Im11, Im12, Iｍ13: 촬상 화상
Iｍ100: 부감 화상
Iｍ200: 특정 화상
L1, L2: 거리
Ob1: 검지 대상물
P1: 자기 기준 위치
P2: 후방 기준 위치
R11: 제 1 표시 영역
R12: 제 2 표시 영역
R13: 노치 영역

Claims (13)

1. 작업 기계 주위의 감시 에리어의 촬상 화상을 취득하는 것과,
   상기 촬상 화상에 의거한 부감 화상을, 표시 장치에 표시되는 표시 화면 중, 평면시에 있어서 상기 작업 기계에 상당하는 자기 기준 위치로부터 본 둘레 방향의 일부가 노치 영역으로서 노치된 형상의 제 1 표시 영역에 표시시키는 것과,
   상기 표시 화면 중, 상기 노치 영역 내에 배치되는 제 2 표시 영역에 특정 화상 중 적어도 일부를 표시시키는 것을 갖는 작업 기계의 제어 방법.
2. 제 1 항에 있어서,
   상기 제 2 표시 영역은 상기 표시 화면에 있어서 상기 제 1 표시 영역의 상방에 배치되는 작업 기계의 제어 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 표시 화면에 있어서, 상기 제 1 표시 영역과 상기 제 2 표시 영역 사이에는 간극이 배치되는 작업 기계의 제어 방법.
4. 제 1 항 또는 제 2 항에 있어서,
   상기 표시 화면에 있어서, 상기 제 2 표시 영역의 둘레 가장자리의 적어도 일부는 상기 제 1 표시 영역의 둘레 가장자리의 일부를 따라서 배치되는 작업 기계의 제어 방법.
5. 제 1 항 또는 제 2 항에 있어서,
   상기 특정 화상은 상기 부감 화상의 일부를 구성하는 상기 촬상 화상에 관한 화상인 작업 기계의 제어 방법.
6. 제 5 항에 있어서,
   상기 특정 화상은 상기 작업 기계의 후방측의 상기 촬상 화상에 관한 화상인 작업 기계의 제어 방법.
7. 제 5 항에 있어서,
   상기 특정 화상은 상기 촬상 화상으로부터의 변환 양태가 상기 부감 화상과는 상이한 화상인 작업 기계의 제어 방법.
8. 제 1 항 또는 제 2 항에 있어서,
   상기 노치 영역은 상기 부감 화상에 있어서 상기 작업 기계의 전방에 상당하는 위치에 배치되는 작업 기계의 제어 방법.
9. 제 1 항 또는 제 2 항에 있어서,
   상기 표시 화면은 상기 작업 기계로부터 본 상기 부감 화상의 촬상 범위의 위치 관계를 나타내는 오브젝트를 포함하는 작업 기계의 제어 방법.
10. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 표시 영역은 상기 표시 화면에 있어서, 상기 작업 기계의 후방에 상당하는 후방 기준 위치로부터, 상기 자기 기준 위치를 중심으로 하는 둘레 방향의 상기 노치 영역까지의 거리는 시계 방향과 반시계 방향에서 상이한 작업 기계의 제어 방법.
11. 제 1 항 또는 제 2 항에 기재된 작업 기계의 제어 방법을,
    하나 이상의 프로세서에 실행시키기 위한 작업 기계용 제어 프로그램.
12. 작업 기계 주위의 감시 에리어의 촬상 화상을 취득하는 화상 취득부와,
    상기 촬상 화상에 의거한 부감 화상을, 표시 장치에 표시되는 표시 화면 중, 평면시에 있어서 상기 작업 기계에 상당하는 자기 기준 위치로부터 본 둘레 방향의 일부가 노치 영역으로서 노치된 형상의 제 1 표시 영역에 표시시키는 제 1 표시 처리부와,
    상기 표시 화면 중, 상기 노치 영역 내에 배치되는 제 2 표시 영역에 특정 화상 중 적어도 일부를 표시시키는 제 2 표시 처리부를 구비하는 작업 기계용 제어 시스템.
13. 제 12 항에 기재된 작업 기계용 제어 시스템과,
    상기 표시 장치가 탑재되는 기체를 구비하는 작업 기계.