KR20230159892A

KR20230159892A - 표시 제어 장치, 표시 제어 방법 및 작업 기계

Info

Publication number: KR20230159892A
Application number: KR1020237037003A
Authority: KR
Inventors: 다로 에구치; 고이치 나카자와
Original assignee: 가부시키가이샤 고마쓰 세이사쿠쇼
Priority date: 2021-04-28
Filing date: 2022-04-27
Publication date: 2023-11-22
Also published as: DE112022001286T5; CN117280099A; US20240141621A1; WO2022230939A1; JP2022170068A

Abstract

본 개시의 일 태양은, 하부 주행체와 상기 하부 주행체에 선회 가능하게 지지된 상부 선회체를 구비하는 작업 기계의 상기 상부 선회체에 설치된 하나 또는 복수의 촬상 장치가 촬상한 하나 또는 복수의 촬상 화상에 기초하여, 상기 작업 기계의 부감 화상을 생성하는 부감 화상 생성부와, 상기 상부 선회체의 선회에 따르는 선회 착안 범위와 상기 하부 주행체의 전후진에 따르는 주행 착안 범위를 표시하는 착안 범위 화상을 상기 부감 화상에 중첩한 표시 화상을 생성하는 중첩부와, 상기 표시 화상을 출력하는 표시 화상 출력부를 구비하는 표시 제어 장치이다.

Description

표시 제어 장치, 표시 제어 방법 및 작업 기계

본 개시는, 표시 제어 장치, 표시 제어 방법 및 작업 기계에 관한 것이다.

본원은, 2021년 4월 28일에 일본에 출원된 특허출원 제2021-075949호에 대하여 우선권을 주장하고, 그 내용을 여기에 원용한다.

특허문헌 1에 기재되어 있는 작업 기계의 시야 보조 장치에서는, 운전실 내에 설치된 표시용 모니터에 다음과 같은 표시 화상이 표시된다. 즉, 특허문헌 1에 기재되어 있는 표시 화상은, 작업 기계를 상방으로부터 본 외관 화상과, 기체의 주위의 부감(俯瞰) 합성 카메라 화상과, 복수의 카메라 화상에 의해 구성된다. 또한, 외관 화상은, 작업 기계의 기종마다 미리 설정된 비트맵 화상에 의해 구성되며, 선회체를 표시하는 선회체 화상을 포함한다. 또한, 선회체를 표시하는 선회체 화상 위에, 주행체를 나타내는 주행체 화상이 겹쳐서 표시된다. 그리고, 외관 화상은 고정 화상인 것에 대하여, 주행체 화상은 선회체의 선회에 따라 선회 중심을 중심으로 회전한다.

일본공개특허 제2010-59653호 공보

특허문헌 1에 기재되어 있는 작업 기계의 시야 보조 장치에 의하면, 운전자에 대하여 바람직한 시야 정보를 제공할 수 있고, 진행 방향의 상황을 항상 운전자가 인식할 수 있다. 그러나, 주위의 장애물 등에 대하여, 작업 기계의 상부 선회체를 선회한 경우에 착안(attention)해야 할 범위나, 하부 주행체에 의해 작업 기계를 전후진시킨 경우에 착안해야 할 범위를 운전자가 용이하게 파악할 수 없다는 과제가 있었다.

본 개시는, 상기 사정을 감안하여 이루어 것이며, 작업 기계의 운전에 따라 착안해야 할 범위를 운전자가 용이하게 파악할 수 있는 표시 제어 장치, 표시 제어 방법 및 작업 기계를 제공하는 것을 목적으로 한다.

상기 과제를 해결하기 위하여, 본 개시의 일 태양(態樣)은, 하부 주행체와 상기 하부 주행체에 선회 가능하게 지지된 상부 선회체를 구비하는 작업 기계의 상기 상부 선회체에 설치된 하나 또는 복수의 촬상(撮像) 장치가 촬상한 하나 또는 복수의 촬상 화상에 기초하여, 상기 작업 기계의 주위의 부감 화상을 생성하는 부감 화상 생성부와, 상기 상부 선회체의 선회에 따르는 선회 착안 범위와 상기 하부 주행체의 전후진에 따르는 주행 착안 범위를 표시하는 착안 범위 화상을 상기 부감 화상에 중첩한 표시 화상을 생성하는 중첩부와, 상기 표시 화상을 출력하는 표시 화상 출력부를 구비하는 표시 제어 장치이다.

본 개시의 각 태양에 의하면, 작업 기계의 운전에 따라 착안해야 할 범위를 운전자가 용이하게 파악할 수 있다.

[도 1] 실시형태에 관련된 작업 기계의 구성을 나타내는 개략도이다.
[도 2] 실시형태에 관련된 작업 기계가 구비하는 복수의 카메라의 촬상 범위를 모식적으로 나타내는 평면도이다.
[도 3] 실시형태에 관련된 운전실의 내부의 구성을 나타내는 도면이다.
[도 4] 표시 제어 시스템의 구성을 나타내는 개략 블록도이다.
[도 5] 실시형태에 관련된 표시 화면의 예를 나타내는 도면이다.
[도 6] 실시형태에 관련된 표시 화면의 예를 나타내는 도면이다.
[도 7] 실시형태에 관련된 표시 화면의 예를 나타내는 도면이다.
[도 8] 실시형태에 관련된 표시 제어 장치의 동작을 나타내는 플로차트다.
[도 9] 실시형태에 관련된 표시 화면의 다른 예를 나타내는 도면이다.
[도 10] 실시형태에 관련된 표시 화면의 다른 예를 나타내는 도면이다.

이하, 도면을 참조하여 본 개시의 실시형태에 대하여 설명한다. 그리고, 각 도면에 있어서 동일 또는 대응하는 구성에는 동일한 부호를 이용하여 설명을 적절히 생략한다.

도 1은, 실시형태에 관련된 작업 기계(100)의 구성을 나타내는 개략도이다. 도 2는, 실시형태에 관련된 작업 기계(100)가 구비하는 복수의 카메라(촬상 장치) (121A∼121D)의 촬상 범위를 모식적으로 나타내는 평면도이다. 도 3은, 실시형태에 관련된 운전실(140)의 내부의 구성을 나타내는 도면이다. 도 4는, 표시 제어 시스템(60)의 구성예를 나타내는 개략 블록도이다. 도 5∼도 7은, 실시형태에 관련된 표시 화면의 예를 나타내는 도면이다. 도 8은, 실시형태에 관련된 표시 제어 장치(61)의 동작예를 나타내는 플로차트다. 도 9∼도 10은, 실시형태에 관련된 표시 화면의 다른 예를 나타내는 도면이다.

도 1에 나타내는 바와 같이, 본 실시형태에 있어서는, 작업 기계(100)에 로컬 좌표계를 설정하고, 로컬 좌표계를 참조하면서 각 부(部)의 위치 관계에 대하여 설명한다. 로컬 좌표계에 있어서, 작업 기계(100)(상부 선회체(120))의 좌우 방향(차폭 방향)으로 연신하는 제1 축을 x축으로 하고, 작업 기계(100)의 전후 방향으로 연신하는 제2 축을 y축으로 하고, 작업 기계(100)의 상하 방향으로 연신하는 제3축을 z축으로 한다. x축과 y축은 직교한다. y축과 z축은 직교한다. z축과 x축은 직교한다. x축의 화살표 방향은 좌방향이며, 반대 방향은 우방향이다. y축의 화살표 방향은 전방향이며, 반대 방향은 후방향이다. z축의 화살표 방향은 상방향이며, 반대 방향은 하방향이다.

(작업 기계(100)의 구성예)

도 1은, 실시형태에 관련된 작업 기계(100)의 구성예를 나타낸다. 작업 기계(100)는 시공 현장에서 가동하고, 토사 등의 시공 대상을 시공한다. 실시형태에 관련된 작업 기계(100)는 일례로서 유압 셔블이다. 작업 기계(100)는 하부 주행체(110), 상부 선회체(120), 및 작업기(130)를 구비한다. 상부 선회체(120)는 운전실(140)과, 표시 제어 장치(61)를 탑재하고 있다.

하부 주행체(110)는 작업 기계(100)를 주행 가능하게 지지한다. 하부 주행체(110)는 예를 들면 좌우 한 쌍의 크롤러 벨트(110a)(좌측 크롤러 벨트(110a)라고도 함) 및 크롤러 벨트(110b)(우측 크롤러 벨트(110b)라고도 함)을 구비한다.

상부 선회체(120)는, 하부 주행체(110)에 선회 중심 c의 주위에 선회 가능하게 지지된다. 작업기(130)는 유압에 의해 구동한다. 작업기(130)는, 상부 선회체(120)의 전부(前部)에 상하 방향으로 구동 가능하게 지지된다. 운전실(140)은, 오퍼레이터(운전자)가 탑승하고, 작업 기계(100)의 조작을 행하기 위한 공간이다. 운전실(140)은 상부 선회체(120)의 좌측 전부에 설치된다. 여기에서, 상부 선회체(120) 중 작업기(130)가 장착되는 부분을 전부라고 한다. 또한, 상부 선회체(120)에 대하여, 전부를 기준으로, 반대측의 부분을 후부, 좌측의 부분을 좌부, 우측의 부분을 우부라고 한다.

그리고, 좌우 각각의 크롤러 벨트(110a 및 110b)는, 구동륜을 독립적으로 구동(전진 및 후진)시킬 수 있다. 좌측 크롤러 벨트(110a)와 우측 크롤러 벨트(110b)를 동시에 전진시키면 하부 주행체(110)는 전진하고, 좌측 크롤러 벨트(110a)와 우측 크롤러 벨트(110b)를 동시에 후진시키면 하부 주행체(110)는 후진한다. 또한, 한쪽의 크롤러 벨트의 구동륜과, 다른 쪽의 크롤러 벨트의 구동륜을 서로 역방향으로 구동, 예를 들면, 우측 크롤러 벨트(110b)를 전진시킴과 동시에 좌측 크롤러 벨트(110a)를 후진시키면, 하부 주행체(110)는 선회 중심을 중심으로 회전할 수 있다. 이와 같은 선회 방법은 초신지(超信地) 선회라고 불린다.

그리고, 하부 주행체(110)를 초신지 선회시켰을 때의 선회 중심과, 상부 선회체(120)의 선회 중심 c를 일치시키도록 구성해도 되고, 상이하게 해도 된다. 특허청구의 범위에 기재된 「선회 중심」은, 초신지 선회시켰을 때의 선회 중심과, 상부 선회체(120)의 선회 중심 c 중 어느 쪽이라도 된다.

또한, 작업 기계(100)는 선회각 센서(160)를 구비한다. 선회각 센서(160)는, 하부 주행체(110)에 대한 상부 선회체(120)의 소정의 기준 각도로부터의 선회각을 계측한다. 선회각 센서(160)는, 상부 선회체(120)와 하부 주행체(110)의 상대적인 위치 관계를 파악하기 위해 사용된다. 선회각 센서(160)는 예를 들면 로터리 포텐셔미터, 로터리 인코더 등을 사용하여 구성할 수 있다.

(카메라의 구성예)

상부 선회체(120)에는, 작업 기계(100)의 주위를 촬상하는 복수의 카메라(전방 카메라(121A), 좌측방 카메라(121B), 후방 카메라(121C) 및 우측방 카메라(121D))가 설치된다. 그리고, 도 1에 나타내는 예에 있어서 전방 카메라(121A)는 운전실(140) 내에 설치되어 있다. 또한, 전방 카메라(121A), 좌측방 카메라(121B), 후방 카메라(121C) 및 우측방 카메라(121D)를 총칭하는 경우, 복수의 카메라(121A∼121D)로 칭한다. 도 2는, 실시형태에 관련된 작업 기계(100)가 구비하는 복수의 카메라(121A∼121D)의 촬상 범위를 모식적으로 나타낸다.

구체적으로는, 상부 선회체(120)에는, 상부 선회체(120)의 주위 중 전방 영역(Ra)을 촬상하는 전방 카메라(121A), 상부 선회체(120)의 주위 중 좌측방 영역(Rb)을 촬상하는 좌측방 카메라(121B), 상부 선회체(120)의 주위 중 후방 영역(Rc)을 촬상하는 후방 카메라(121C), 상부 선회체(120)의 주위의 우측방 영역(Rd)을 촬상하는 우측방 카메라(121D)가 설치된다. 그리고, 복수의 카메라(121A∼121D)의 촬상 범위의 일부는 서로 중복되어 있어도 되고, 중복되어 있지 않아도 된다. 또한, 복수의 카메라(121A∼121D) 대신에, 혹은, 복수의 카메라(121A∼121D)와 함께, 예를 들면 1대의 전방위(全方位) 카메라 등을 사용해도 된다.

복수의 카메라(121A∼121D)의 촬상 범위는 도 2에 나타내는 예에 한정되지 않는다. 예를 들면, 운전실(140)로부터 시인(視認) 가능한 좌측 전방 영역의 촬영을 생략해도 된다. 복수의 카메라(121A∼121D)의 수 및 촬상 범위는, 도 1 및 도 2에 나타내는 예와 상이해도 된다.

(작업기(130)의 구성예)

작업기(130)는 붐(131), 암(132), 버킷(133), 붐 실린더(131C), 암 실린더(132C), 및 버킷 실린더(133C)를 구비한다.

붐(131)의 기단부(基端部)는, 상부 선회체(120)에 붐 핀(131P)을 통하여 장착된다. 암(132)은 붐(131)과 버킷(133)을 연결한다. 암(132)의 기단부는, 붐(131)의 선단부에 암 핀(132P)를 통하여 장착된다. 버킷(133)은, 토사 등을 굴삭하기 위한 날과 굴착한 토사를 수용하기 위한 수용부를 구비한다. 버킷(133)의 기단부는, 암(132)의 선단부에 버킷 핀(133P)을 통하여 장착된다.

붐 실린더(131C)는 붐(131)을 작동시키기 위한 유압 실린더다. 붐 실린더(131C)의 기단부는 상부 선회체(120)에 장착된다. 붐 실린더(131C)의 선단부는 붐(131)에 장착된다.

암 실린더(132C)는 암(132)을 구동시키기 위한 유압 실린더다. 암 실린더(132C)의 기단부는 붐(131)에 장착된다. 암 실린더(132C)의 선단부는 암(132)에 장착된다.

버킷 실린더(133C)는 버킷(133)을 구동시키기 위한 유압 실린더다. 버킷 실린더(133C)의 기단부는 암(132)에 장착된다. 버킷 실린더(133C)의 선단부는 버킷(133)에 접속되는 링크 부재에 장착된다.

(운전실(140)의 구성예)

도 3은, 실시형태에 관련된 운전실(140)의 내부의 구성예를 나타낸다. 운전실(140) 내에는, 운전석(141), 조작 장치(142), 및 표시 입력 장치(145)가 설치된다.

조작 장치(142)는 오퍼레이터의 수동 조작에 의해 하부 주행체(110), 상부 선회체(120) 및 작업기(130)를 구동시키기 위한 장치이다. 조작 장치(142)는 좌측 조작 레버(142LO), 우측 조작 레버(142RO), 좌측 풋 페달(142LF), 우측 풋 페달(142RF), 좌측 주행 레버(142LT), 우측 주행 레버(142RT)를 구비한다.

좌측 조작 레버(142LO)는 운전석(141)의 좌측에 설치된다. 우측 조작 레버(142RO)는 운전석(141)의 우측에 설치된다.

좌측 조작 레버(142LO)는 상부 선회체(120)의 선회 동작, 및 암(132)의 굴삭/덤프 동작을 행하기 위한 조작 기구이다. 구체적으로는, 작업 기계(100)의 오퍼레이터가 좌측 조작 레버(142LO)를 전방으로 밀면, 암(132)이 덤프 동작한다. 또한, 작업 기계(100)의 오퍼레이터가 좌측 조작 레버(142LO)를 후방으로 밀면, 암(132)이 굴삭 동작한다. 또한, 작업 기계(100)의 오퍼레이터가 좌측 조작 레버(142LO)를 우방향으로 밀면, 상부 선회체(120)가 우선회한다. 또한, 작업 기계(100)의 오퍼레이터가 좌측 조작 레버(142LO)를 좌측 방향으로 밀면, 상부 선회체(120)가 좌선회한다. 그리고, 다른 실시형태에 있어서는, 좌측 조작 레버(142LO)를 전후 방향으로 밀었을 경우에 상부 선회체(120)가 우선회 또는 좌선회하고, 좌측 조작 레버(142LO)가 좌우 방향으로 밀었을 경우에 암(132)이 굴삭 동작 또는 덤프 동작해도 된다.

우측 조작 레버(142RO)는, 버킷(133)의 굴삭/덤프 동작, 및 붐(131)의 인상/인하 동작을 행하기 위한 조작 기구이다. 구체적으로는, 작업 기계(100)의 오퍼레이터가 우측 조작 레버(142RO)를 전방으로 밀면, 붐(131)의 인하 동작이 실행된다. 또한, 작업 기계(100)의 오퍼레이터가 우측 조작 레버(142RO)를 후방으로 밀면, 붐(131)의 인상 동작이 실행된다. 또한, 작업 기계(100)의 오퍼레이터가 우측 조작 레버(142RO)를 우방향으로 밀면, 버킷(133)의 덤프 동작이 행해진다. 또한, 작업 기계(100)의 오퍼레이터가 우측 조작 레버(142RO)를 좌측 방향으로 밀면, 버킷(133)의 굴삭 동작이 행해진다. 그리고, 다른 실시형태에 있어서는, 우측 조작 레버(142RO)를 전후 방향으로 밀었을 경우에, 버킷(133)이 덤프 동작 또는 굴삭 동작하고, 우측 조작 레버(142RO)를 좌우 방향으로 밀었을 경우에 붐(131)이 인상 동작 또는 인하 동작해도 된다.

좌측 풋 페달(142LF)은 운전석(141)의 전방의 바닥면의 좌측에 배치된다. 우측 풋 페달(142RF)은 운전석(141)의 전방의 바닥면의 우측에 배치된다. 좌측 주행 레버(142LT)는 좌측 풋 페달(142LF)에 축지지되고, 좌측 주행 레버(142LT)의 경사와 좌측 풋 페달(142LF)의 압하(押下)가 연동하도록 구성된다. 우측 주행 레버(142RT)는 우측 풋 페달(142RF)에 축지지되고, 우측 주행 레버(142RT)의 경사와 우측 풋 페달(142RF)의 압하가 연동하도록 구성된다.

좌측 풋 페달(142LF) 및 좌측 주행 레버(142LT)는 하부 주행체(110)의 좌측 크롤러 벨트(110a)의 회전 구동에 대응한다. 구체적으로는, 작업 기계(100)의 오퍼레이터가 좌측 풋 페달(142LF) 또는 좌측 주행 레버(142LT)를 전방으로 밀면, 좌측 크롤러 벨트(110a)는 전진 방향으로 회전한다. 또한, 작업 기계(100)의 오퍼레이터가 좌측 풋 페달(142LF) 또는 좌측 주행 레버(142LT)를 후방으로 밀면, 좌측 크롤러 벨트(110a)는 후진 방향으로 회전한다.

우측 풋 페달(142RF) 및 우측 주행 레버(142RT)는, 하부 주행체(110)의 우측 크롤러 벨트(110b)의 회전 구동에 대응한다. 구체적으로는, 작업 기계(100)의 오퍼레이터가 우측 풋 페달(142RF) 또는 우측 주행 레버(142RT)를 전방으로 밀면, 우측 크롤러 벨트(110b)는 전진 방향으로 회전한다. 또한, 작업 기계(100)의 오퍼레이터가 우측 풋 페달(142RF) 또는 우측 주행 레버(142RT)를 후방으로 밀면, 우측 크롤러 벨트(110b)는 후진 방향으로 회전한다.

표시 입력 장치(145)는, 작업 기계(100)가 가지는 복수의 기능에 관련된 정보를 표시하거나, 각종 지시 조작을 입력하거나 하는 장치이다. 표시 입력 장치(145)는 디스플레이(145D)를 구비한다. 디스플레이(145D)는 예를 들면 터치패널 등으로 구성된다.

(표시 제어 시스템(60)의 구성예)

도 4는, 실시형태에 관련된 표시 제어 시스템(60)의 구성예를 나타낸다. 표시 제어 시스템(60)은 표시 제어 장치(61)와, 복수의 카메라(121A∼121D)와, 조작 장치(142)와, 선회각 센서(160)와, 표시 입력 장치(145)를 구비한다.

표시 입력 장치(145)는, 표시 디스플레이(145D)를 구성하는 하드웨어와 하드웨어를 제어하는 프로그램 등의 소프트웨어의 조합으로 구성되는 기능적 구성으로서, 표시부(145A)와 선택부(145B)를 구비한다. 표시부(145A)는, 표시 제어 장치(61)로부터의 지시에 따라 표시 디스플레이(145D)에 지시된 화상을 표시한다. 선택부(145B)는, 예를 들면 표시 디스플레이(145D)에 대한 오퍼레이터의 입력 조작에 따라, 후술하는 십자선의 표시 있음과 없음의 설정을 선택한다.

표시 제어 장치(61)는 마이크로 컴퓨터, CPU(Central Processing Unit) 등의 컴퓨터와, 컴퓨터의 주변회로나 주변장치 등의 하드웨어를 이용하여 구성할 수 있다. 그리고, 표시 제어 장치(61)는 하드웨어와, 컴퓨터가 실행하는 프로그램 등의 소프트웨어의 조합으로 구성되는 기능적 구성으로서, 입출력부(62), 부감 화상 생성부(63), 상부 선회체 화상 중첩부(64), 기준선 중첩부(65), 십자선 중첩부(66), 진행 방향 화상 생성부(67) 및 표시 화상 출력부(68)를 구비한다.

그리고, 표시 제어 장치(61)나 표시 입력 장치(145)는, PLD(Progra㎜able Logic Device) 등의 커스텀 LSI(Large Scale Integrated Circuit)를 이용하여 구성되어 있어도 된다. PLD의 예로서는, PAL(Progra㎜able Array Logic), GAL(Generic Array Logic), CPLD(Complex Progra㎜able Logic Device), FPGA(Field Progra㎜able Gate Array)을 들 수 있다. 이 경우, 프로세서에 의해 실현되는 기능의 일부 또는 전부가 해당 집적 회로에 의해 실현되어도 된다.

또한, 예를 들면, 디스플레이(145D)와 조작 장치(142)는 작업 기계(100)와 원격으로 설치된 원격 조작실에 설치된 구성으로 해도 된다.

입출력부(62)는 소정의 주기로 반복하여, 복수의 카메라(121A∼121D)가 촬상한 촬상 화상을 나타내는 화상 전송 신호를 입력하거나, 조작 장치(142)의 조작 정보를 입력하거나, 선회각 센서(160)가 계측한 선회각을 나타내는 신호를 입력하거나, 표시 입력 장치(145)의 선택부(145B)에 대한 입력 조작 신호를 입력하거나 한다.

부감 화상 생성부(63)는, 복수의 카메라(121A∼121D)로 촬상된 화상에 기초하여, 작업 기계(100)의 주위를 상방으로부터 보고 있는가와 같이 표시하는 부감 화상(도 5의 부감 화상(G20)을 참조)을 생성한다. 구체적으로는, 소정의 기억부에 기억된 변환 정보를 이용하여 화상 데이터의 좌표 변환을 행하고, 복수의 카메라(121A∼121D)에 의해 촬상된 화상을, 작업 기계(100)의 상방에 위치하는 가상 시점으로부터 소정의 가상 투영면 상에 투영되는 화상, 즉 상방 시점 화상으로 변환한다. 부감 화상 생성부(63)는, 4대의 카메라(121A∼121D)로 촬상된 각 화상 데이터를 각각 상방 시점 화상으로 변환하고 나서, 변환 후의 각 화상 데이터를 합성하는 것에 의해, 하나의 작업 기계(100)의 주위를 부감할 수 있는 부감 화상을 생성한다. 부감 화상 생성부(63)는 예를 들면 선회 중심 c를 기준으로 하여, 주위의 화상을 합성한다. 그 때, 부감 화상 생성부(63)는, 항상 운전실(140)의 전방이 화상 상방향으로 되도록 부감 화상을 생성한다. 본 실시형태에 있어서, 부감 화상 생성부(63)는, 하부 주행체(110)와 하부 주행체(110)에 선회 가능하게 지지된 상부 선회체(120)를 구비하는 작업 기계(100)의 상부 선회체(120)에 설치된 하나 또는 복수의 카메라(촬상 장치)(121A∼121D)가 촬상한 하나 또는 복수의 촬상 화상에 기초하여, 작업 기계(100)의 주위의 부감 화상을 생성한다.

상부 선회체 화상 중첩부(64)는 예를 들면 도 5에 나타내는 바와 같이, 부감 화상 생성부(63)가 생성한 부감 화상(G20)에 대하여, 미리 준비된 상부 선회체(120) 및 작업기(130)의 상면 화상(IM1)을 중첩한다. 도 5는, 표시 디스플레이(145D)의 표시예(표시 화면(1451))를 나타낸다. 표시 화면(1451)은 표시 화상(G21)과, 진행 방향 화상(G22)을 포함한다. 표시 화상(G21)에서는, 부감 화상(G20)에 대하여, 상면 화상(IM1)과, 기준선 화상(m1 및 m2)과, 십자선 화상(L1)과, 선회 중심 화상(c1)이 중첩되어 있다. 상부 선회체 화상 중첩부(64)는, 부감 화상 생성부(63)에서 생성된 부감 화상(G20)의 중앙부에 작업 기계(100)의 상면 화상(IM1)을 중첩시킨다. 그렇게 함으로써, 도 5에 나타내는 표시 화상(G21)을 본 오퍼레이터는, 부감 화상(G20) 중에 표시된 주위의 장애물 등과 작업 기계(100)의 위치 관계나 거리감의 파악이 용이해진다. 그리고, 부감 화상(G20)은 크롤러 벨트(110a 및 110b)의 실제의 촬상 화상을 포함한다.

기준선 중첩부(65)는, 상부 선회체(120)의 선회에 따르는 선회 착안 범위를 표시하는 화상인 기준선 화상(m1 및 m2)을 생성하여, 부감 화상(G20)에 대하여 중첩한다. 기준선 중첩부(65)는 예를 들면 기준선 화상(m1 및 m2)(모서리가 둥근 직사각형)을 반투명의 상태로 부감 화상(G20)에 대하여 중첩한다. 기준선 화상(m1) 및 기준선 화상(m2)은 예를 들면 색이 상이하다. 기준선 화상(m1)은 예를 들면, 상부 선회체(120)가 선회하는 경우의 외측 에지(최외부의 궤적)에 대응하는 화상이다. 기준선 화상(m1)은, 상부 선회체(120)가 선회한 경우에 기준선 화상(m1)이 나타내는 범위 내에 장애물 등이 있었을 때, 접촉, 간섭, 충돌 등이 발생할 우려가 범위 외와 비교하여 높고, 오퍼레이터가 주의해서 봐야 할 범위(선회 착안 범위)를 나타내는 화상이다. 그리고, 본 실시형태에 있어서 「착안」이란, 주의해서 보는 것, 특히 주목하는 것 등을 의미하고, 예를 들면, 「주의」, 「유의」, 「경계」, 「조심」 등의 문언으로 읽어도 된다. 기준선 화상(m2)은, 기준선 화상(m1)으로부터 일정한 거리(예를 들면, 2∼3m), 상부 선회체(120)로부터 이격한 범위를 표시하는 화상이다. 예를 들면, 기준선 화상(m1)은 선회에 따라 착안해야 할 범위를 나타내고, 기준선 화상(m2)은 기준선 화상(m1)이 나타내는 범위보다는 주의의 정도는 낮지만 선회에 따라 착안해야 할 범위를 나타낸다. 그리고, 기준선 화상(m1)이 나타내는 범위와 기준선 화상(m2)이 나타내는 범위는, 예를 들면 장애물 등의 자동 검지에 의한 자동 제어에 의한 정지 제어 범위와 그 외측의 감속 제어 범위에 대응하는 각 범위로 하거나, 경고 범위와 그 외측의 주의 범위로 하거나, 정지 판정 범위와 그 외측의 감속 판정 범위에 대응하는 각 범위로 하거나 해도 된다.

십자선 중첩부(66)는, 선회각 센서(160)가 계측한 선회각에 기초하여, 십자선 화상(L1)과 선회 중심 c를 표시하는 화상인 선회 중심 화상(c1)을 생성하여, 부감 화상(G20)에 대하여 중첩한다. 십자선 중첩부(66)는, 예를 들면 십자선 화상(L1)을 반투명의 상태로 부감 화상(G20)에 대하여 중첩한다. 선회 중심 화상(c1)은 선회 중심 c를 표시하는 소정의 형상을 가지는 화상이며, 예를 들면 반투명 혹은 비반투명의 특정 색의 동그라미 등이다. 십자선 화상(L1)은, 하부 주행체(110) 전후진에 따르는 주행 착안 범위와, 상부 선회체(120)의 선회에 따르는 선회 착안 범위를 표시하는 화상(착안 범위 화상)이다. 하부 주행체(110) 전후진에 따르는 주행 착안 범위는, 하부 주행체(110)를 전진 또는 후진시킨 경우(혹은 전진 또는 후진시키면서 상부 선회체(120)를 선회시킨 경우)에, 십자선 화상(L1)이 나타내는 방향(전진 방향 또는 후진 방향)에서, 십자선 화상(L1)이 나타내는 범위(폭과 길이) 내에 장애물 등이 있었을 때, 접촉 등이 발생할 우려가 범위 외와 비교하여 높고, 오퍼레이터가 주의해서 봐야 할 범위이다. 도 5에 나타내는 예에서는, 십자선 화상(L1)은 화살표 화상(L11)과, 선분 화상(L12)을 포함한다. 혹은, 십자선 화상(L1)은 화살표 화상(L11)과, 선분 화상(L12)과, 선회 중심 화상(c1)을 포함한다. 그리고, 십자선 중첩부(66)는 선택부(145B)에 의한 선택 조작에 따라서, 십자선 화상(L1)을 중첩하거나, 중첩을 정지하거나 한다.

화살표 화상(L11)은, 작업 기계(100)의 오퍼레이터가 좌측 풋 페달(142LF) 또는 좌측 주행 레버(142LT)와 우측 풋 페달(142RF) 또는 우측 주행 레버(142RT)를 동시에 전방으로 밀었을 때, 하부 주행체(110)가 주행하는 방향을, 화살표의 방향으로 나타낸다. 화살표 화상(L11)은, 또한, 화살표의 길이로, 주행 착안 범위의 길이의 기준을 표시한다. 선분 화상(L12)은, 작업 기계(100)의 선회 중심 c에서 화살표 화상(L11)의 화살표와 교차하여 선회 착안 범위에 대응하는 길이를 나타내는 선분을 표시한다. 도 5에 나타내는 예에서는, 화살표 화상(L11)과 선분 화상(L12)은 선회 화상(c1)의 위치에서 직교하고, 화살표 화상(L11)이 기준 화상(m2)에 접하는 길이를 가지고, 선분 화상(L12)이 기준 화상(m1)에 접하는 길이를 가진다.

그리고, 도 6은, 도 5에 나타내는 상태로부터, 하부 주행체(110)를 우방향으로 45도 선회시킨 상태의 표시 화상(G21a)를 나타낸다. 또한, 도 7은, 도 5에 나타내는 상태로부터, 하부 주행체(110)를 우방향으로 90도 선회시킨 상태의 표시 화상(G21b)를 나타낸다.

본 실시형태에 있어서 십자선 중첩부(66)(중첩부)는, 상부 선회체(120)의 선회에 따르는 선회 착안 범위와 하부 주행체(110)의 전후진에 따르는 주행 착안 범위를 표시하는 십자선 화상(L1)(착안 범위 화상)을 부감 화상(G20)에 중첩한 표시 화상(G21)을 생성한다. 또한, 십자선 화상(L1)은, 하부 주행체(110)를 조작하는 조작 장치(142)에 대한 전진 또는 후진의 소정의 지시 조작(작업 기계(100)의 오퍼레이터가 좌측 풋 페달(142LF) 또는 좌측 주행 레버(142LT)와 우측 풋 페달(142RF) 또는 우측 주행 레버(142RT)를 동시에 전방으로 미는 조작)에 대응하는 방향을 나타내는 정보(십자선 화상(L1)의 화살표의 방향)를 표시한다. 또한, 십자선 화상(L1)은, 주행 착안 범위에 대응하는 길이와 상기 소정의 지시 조작에 대응하는 방향을 나타내는 화살표를 표시하는 화상(화살표 화상(L11))과, 작업 기계(100)의 선회 중심 c에서 화살표(화살표 화상(L11)이 표시하는 화살표)와 교차하여 선회 착안 범위에 대응하는 길이를 나타내는 선분을 표시하는 화상(선분 화상(L12))을 포함한다.

진행 방향 화상 생성부(67)는 예를 들면 조작 장치(142)에 대하여 전진 또는 후진을 지시하는 소정의 지시 조작이 행해진 경우, 하나 또는 복수의 카메라(121A∼121D)의 촬상 화상에 기초하여 하부 주행체(110)의 진행 방향에 대응하는 진행 방향 화상을 생성한다. 도 5에 나타내는 진행 방향 화상(G22)은, 표시 화상(G21)에 표시된 상태의 작업 기계(100)에 있어서 전진을 지시하는 지시 조작이 조작 장치(142)에 대하여 행해졌을 때 표시되는 화상이다. 이 경우, 진행 방향 화상(G22)은 예를 들면 전방 카메라(121A)의 촬상 화상이다. 진행 방향 화상 생성부(67)는 예를 들면 진행 방향이 전후 좌우인 경우, 카메라(121A∼121D)의 촬상 화상의 하나를 선택하여 진행 방향 화상으로 하거나, 카메라(121A∼121D)의 촬상 화상을 합성한 화상으로부터 진행 방향에 대응하는 화상을 잘라내어 진행 방향 화상으로 하거나 할 수 있다. 그리고, 진행 방향 화상 생성부(67)는 예를 들면, 조작 장치(142)에 대하여 전진 또는 후진을 지시하는 소정의 지시 조작이 행해지고 있지 않은 경우, 하나 또는 복수의 카메라(121A∼121D)의 촬상 화상에 기초하여 하부 주행체(110)의 전진 방향에 대응하는 진행 방향 화상을 생성해도 된다.

표시 화상 출력부(68)는 표시 화상과 진행 방향 화상을 표시부(145A)에 대하여 표시의 지시와 함께 출력한다.

(표시 제어 장치(61)의 동작예)

도 8과 도 5를 참조하여, 도 4에 나타내는 표시 제어 장치(61)의 동작예에 대하여 설명한다. 도 8에 나타내는 처리는, 소정의 주기로 반복 실행된다. 도 8에 나타내는 처리가 개시되면, 먼저, 부감 화상 생성부(63)가 부감 화상(G20)을 생성한다(S1). 다음으로, 상부 선회체 화상 중첩부(64)가 상면 화상(IM1)을 부감 화상(G20)에 중첩한다(S2). 다음으로, 기준선 중첩부(65)가, 상면 화상(IM1)이 중첩된 부감 화상(G20)에, 기준선 화상(m1)과 기준선 화상(m2)을 중첩한다(S3). 다음으로, 십자선 중첩부(66)가, 상면 화상(IM1)과 기준선 화상(m1)과 기준선 화상(m2)이 중첩된 부감 화상(G20)에, 십자선 화상(L1)과 선회 중심 화상(c1)을 중첩한다(이것이 표시 화상(G21))(S4). 다음으로, 진행 방향 화상 생성부(67)가 진행 방향 화상(G22)을 생성한다(S5). 다음으로, 표시 화상 출력부(68)가, 표시 화상(G21)과 진행 방향 화상(G22)을 표시부(145A)에 출력하고, 표시 디스플레이(145D)에 표시 화상(G21)과 진행 방향 화상(G22)을 표시시킨다(S6).

(작용·효과)

본 실시형태에 의하면, 작업 기계(100)의 운전(주행 및 선회)에 따르는 착안 범위를 오퍼레이터(운전자)가 용이하게 파악할 수 있다.

(변형예)

다음으로 도 9와 도 10을 참조하여, 도 5에 나타내는 표시 화상(G21)의 변형예(표시 화상(G21c)과, 표시 화상(G21d))에 대하여 설명한다. 도 9에 나타내는 표시 화상(G21c)은, 도 5에 나타내는 표시 화상(G21)에 대하여 다음의 점이 상이하다. 즉, 도 9에 나타내는 표시 화상(G21c)은, 도 5에 나타내는 기준 화상(m1)과 기준 화상(m2)을 포함하지 않고, 기준 화상(m3)을 포함하고 있다. 기준 화상(m3)은, 기준 화상(m1) 내의 영역(도 9에서 사선으로 나타내 영역(Rm1)) 전체와, 화살표 화상(L11)을 포함하는 영역을 나타낸다. 이 경우, 기준 화상(m3)은, 상부 선회체(120)의 선회에 따르는 선회 착안 범위와 하부 주행체(110) 전후진에 따르는 주행 착안 범위를 포함하고 있다. 즉, 도 9에 나타내는 표시 화상(G21c)에서, 십자 화상(L1)이 단독으로 착안 범위 화상이고, 또한 기준 화상(m3)도 단독으로 착안 범위 화상이다.

한편, 도 10에 나타내는 표시 화상(G21d)는, 도 5에 나타내는 표시 화상(G21)에 대하여 다음의 점이 상이하다. 즉, 도 10에 나타내는 표시 화상(G21d)는, 도 5에 나타내는 기준 화상(m1)과 기준 화상(m2)과 십자 화상(L11)을 포함하지 않고, 기준 화상(m4)을 포함하고 있다. 기준 화상(m4)은 도 9에 나타내는 기준 화상(m3)과 동일 형상의 영역을 나타낸다. 다만, 기준 화상(m3)과 상이하게, 기준 화상(m4)은, 상반 부분의 기준 화상(m4a)와 하반 부분의 기준 화상(m4b)의 표시 태양(態樣)을 변화시킴으로써, 하부 주행체(110)의 방향의 방향을 표시하고 있다. 표시 태양의 변화는 색의 차이, 점멸 표시의 주기(周期)의 차이, 파선의 굵기의 차이 등이다. 이 경우, 기준 화상(m4)은 단독으로 착안 범위 화상이고, 또한 하부 주행체(110)를 조작하는 조작 장치(142)에 대한 전진 또는 후진의 소정의 지시 조작에 대응하는 방향을 나타내고 있다. 이 경우, 기준선 중첩부(65)는 십자선 중첩부(66)와 마찬가지로, 「중첩부」에 대응한다.

이상, 본 발명의 실시형태에 대하여 도면을 참조하여 설명했으나, 구체적인 구성은 상기 실시형태에 한정되는 것은 아니며, 본 발명의 요지를 벗어나지 않는 범위의 설계 변경 등도 포함된다.

예를 들면, 전술한 실시형태에 관련된 작업 기계(100)는 유압 셔블이지만, 이것에 한정되지 않는다. 예를 들면, 다른 실시형태에 관련된 작업 기계(100)는, 예를 들면 덤프 트럭, 불도저, 휠 로더 등의 다른 작업 기계라도 된다.

또한, 상기 실시형태에서 컴퓨터가 실행하는 프로그램의 일부 또는 전부는, 컴퓨터 판독 가능한 기록 매체나 통신 회선을 통하여 반포할 수 있다.

본 개시의 각 태양에 의하면, 작업 기계의 운전에 따라서 착안해야 할 범위를 운전자가 용이하게 파악할 수 있다.

100: 작업 기계, 110: 하부 주행체, 120: 상부 선회체, 121A∼121D: 카메라, 61: 표시 제어 장치, 62: 입출력부, 63: 부감 화상 생성부, 64: 상부 선회체 화상 중첩부, 65: 기준선 중첩부, 66: 십자선 중첩부, 67: 진행 방향 화상 생성부, 68: 표시 화상 출력부, L1: 십자 화상, m1, m2, m3, m4: 기준 화상, G20: 부감 화상, G21: 표시 화상, G22: 진행 방향 화상

Claims

하부 주행체와 상기 하부 주행체에 선회 가능하게 지지된 상부 선회체를 구비하는 작업 기계의 상기 상부 선회체에 설치된 하나 또는 복수의 촬상(撮像) 장치가 촬상한 하나 또는 복수의 촬상 화상에 기초하여, 상기 작업 기계의 주위의 부감(俯瞰) 화상을 생성하는 부감 화상 생성부;
상기 상부 선회체의 선회에 따르는 선회 착안(attention) 범위와 상기 하부 주행체의 전후진에 따르는 주행 착안 범위를 표시하는 착안 범위 화상을 상기 부감 화상에 중첩한 표시 화상을 생성하는 중첩부; 및
상기 표시 화상을 출력하는 표시 화상 출력부;
를 구비하는 표시 제어 장치.
제1항에 있어서,
상기 착안 범위 화상은, 상기 하부 주행체를 조작하는 조작 장치에 대한 전진 또는 후진의 소정의 지시 조작에 대응하는 방향을 나타내는 정보를 표시하는, 표시 제어 장치.
제2항에 있어서,
상기 착안 범위 화상은, 상기 주행 착안 범위에 대응하는 길이와 상기 지시 조작에 대응하는 방향을 나타내는 화살표를 표시하는 화상과, 상기 작업 기계의 선회 중심에서 상기 화살표와 교차하여 상기 선회 착안 범위에 대응하는 길이를 나타내는 선분을 표시하는 화상을 포함하는, 표시 제어 장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 하나 또는 복수의 촬상 화상에 기초하여 상기 하부 주행체의 진행 방향에 대응하는 진행 방향 화상을 생성하는 진행 방향 화상 생성부를 더 구비하고,
상기 표시 화상 출력부는, 상기 표시 화상과 함께, 상기 진행 방향 화상을 출력하는, 표시 제어 장치.
하부 주행체와 상기 하부 주행체에 선회 가능하게 지지된 상부 선회체를 구비하는 작업 기계의 상기 상부 선회체에 설치된 하나 또는 복수의 촬상 장치가 촬상한 하나 또는 복수의 촬상 화상에 기초하여, 상기 작업 기계의 주위의 부감 화상을 생성하는 단계;
상기 상부 선회체의 선회에 따르는 선회 착안 범위와 상기 하부 주행체의 전후진에 따르는 주행 착안 범위를 표시하는 착안 범위 화상을 상기 부감 화상에 중첩한 표시 화상을 생성하는 단계; 및
상기 표시 화상을 출력하는 단계;
를 포함하는 표시 제어 방법.
하부 주행체;
상기 하부 주행체에 선회 가능하게 지지된 상부 선회체;
상기 상부 선회체에 설치된 하나 또는 복수의 촬상 장치; 및
표시 제어 장치;
를 구비하고,
상기 표시 제어 장치가,
상기 하나 또는 복수의 촬상 장치가 촬상한 하나 또는 복수의 촬상 화상에 기초하여, 상기 상부 선회체와 상기 하부 주행체의 주위의 부감 화상을 생성하는 부감 화상 생성부와,
상기 상부 선회체의 선회에 따르는 선회 착안 범위와 상기 하부 주행체의 전후진에 따르는 주행 착안 범위를 표시하는 착안 범위 화상을 상기 부감 화상에 중첩한 표시 화상을 생성하는 중첩부와,
상기 표시 화상을 출력하는 표시 화상 출력부를 가지는,
작업 기계.