KR102449834B1 - 작업기계용 주변감시 시스템 - Google Patents

작업기계용 주변감시 시스템 Download PDF

Info

Publication number
KR102449834B1
KR102449834B1 KR1020197017643A KR20197017643A KR102449834B1 KR 102449834 B1 KR102449834 B1 KR 102449834B1 KR 1020197017643 A KR1020197017643 A KR 1020197017643A KR 20197017643 A KR20197017643 A KR 20197017643A KR 102449834 B1 KR102449834 B1 KR 102449834B1
Authority
KR
South Korea
Prior art keywords
image
monitoring
shovel
display device
display
Prior art date
Application number
KR1020197017643A
Other languages
English (en)
Other versions
KR20190120162A (ko
Inventor
요시히사 키요타
슌스케 오오츠키
šœ스케 오오츠키
스스무 아이자와
Original Assignee
스미도모쥬기가이고교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스미도모쥬기가이고교 가부시키가이샤 filed Critical 스미도모쥬기가이고교 가부시키가이샤
Publication of KR20190120162A publication Critical patent/KR20190120162A/ko
Application granted granted Critical
Publication of KR102449834B1 publication Critical patent/KR102449834B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

작업기계 주변의 모습을 나타내는 화상을 표시하는 표시장치에, 감시대상의 위치를 나타내는 표지를 확실하게 표시시키는 것이 가능한 작업기계용 주변감시 시스템을 제공한다. 이로 인하여, 본 발명의 일실시형태에 관한 작업기계용 주변감시 시스템은, 작업기계의 주변을 촬상하는 촬상장치와, 촬상장치에 의하여 촬상되는, 작업기계의 주변의 화상과, 감시대상의 위치를 나타내는 표지를 표시하는 표시장치를 구비하고, 표시장치는, 표지를 2종류 이상의 다른 표시양태로 표시한다.

Description

작업기계용 주변감시 시스템
본 발명은, 작업기계용 주변감시 시스템에 관한 것이다.
작업기계 주변의 소정의 감시대상(예를 들면, 사람)을 검지하여, 감시대상이 검지되면, 작업기계 주변의 모습을 나타내는 화상(예를 들면, 카메라의 촬상화상 혹은 그 촬상화상에 근거하여 생성되는 시점변환화상 등)을 표시하는 표시장치의 화면에, 감시대상의 위치를 나타내는 표지(예를 들면, 감시대상을 둘러싸는 프레임)를 중첩하여 표시시키는 감시 시스템이 알려져 있다(예를 들면, 특허문헌 1 참조).
특허문헌 1: 일본 공개특허공보 2012-221437호
그러나, 감시대상의 위치를 나타내는 표지를 화면에 표시시키기 위하여 필요한 사양정보(예를 들면, 표지의 형상을 특정하는 복수의 구성점의 위치정보 등)의 데이터 등을, 예를 들면, 감시대상의 검지기능을 담당하는 제어장치 등의 외부로부터 표시장치에 송신하는 경우가 있다. 이 경우, 어떠한 이유, 예를 들면, 화상에 비치고 있는 감시대상의 수가 많아, 송신해야 할 표지에 관한 데이터양이 매우 많은 것 등에 의하여 통신대역이 부족한 상황이 발생할 수 있다. 이로 인하여, 표시장치는, 외부로부터 표지의 사양정보가 송신될 때의 통신대역이 부족한 상황에서도, 감시대상의 위치를 나타내는 표지를 확실하게 표시 가능한 것이 바람직하다.
그래서, 상기 과제를 감안하여, 작업기계 주변의 모습을 나타내는 화상을 표시하는 표시장치에, 감시대상의 위치를 나타내는 표지를 확실하게 표시시키는 것이 가능한 작업기계용 주변감시 시스템을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 일실시형태에서는,
상기 작업기계의 주변을 촬상하는 촬상장치와,
상기 촬상장치에 의하여 촬상되는, 상기 작업기계의 주변의 화상과, 감시대상의 위치를 나타내는 표지를 표시하는 표시장치를 구비하고,
상기 표시장치는, 상기 표지를 2종류 이상의 다른 표시양태로 표시하는,
작업기계용 주변감시 시스템이 제공된다.
상술한 실시형태에 의하면, 작업기계 주변의 모습을 나타내는 화상을 표시하는 표시장치에, 감시대상의 위치를 나타내는 표지를 확실하게 표시시키는 것이 가능한 작업기계용 주변감시 시스템을 제공할 수 있다.
도 1은 주변감시 시스템이 탑재되는 작업기계의 일례를 나타내는 도이다.
도 2는 주변감시 시스템의 구성의 일례를 나타내는 개략도이다.
도 3은 제1 특징기능(제1 표지표시기능)에 관한 주변감시 시스템의 구성의 일례를 나타내는 도이다.
도 4는 표시장치에 표시되는 감시화상의 일례를 나타내는 도이다.
도 5는 표시장치에 표시되는 감시화상의 다른 예를 나타내는 도이다.
도 6은 후보점생성부에 의하여 생성되는 후보점군의 일례를 설명하는 도이다.
도 7a는 구성점선택부에 의하여 표지화상(표지도형)의 정점으로서 선택되는 후보점의 일례를 나타내는 도이다.
도 7b는 구성점선택부에 의하여 표지화상(표지도형)의 정점으로서 선택되는 후보점의 일례를 나타내는 도이다.
도 8a는 구성점선택부에 의하여 표지화상(표지도형)의 정점으로서 선택되는 후보점의 다른 예를 나타내는 도이다.
도 8b는 구성점선택부에 의하여 표지화상(표지도형)의 정점으로서 선택되는 후보점의 다른 예를 나타내는 도이다.
도 9a는 구성점선택부에 의하여 표지화상(표지도형)의 정점으로서 선택되는 후보점의 또 다른 예를 나타내는 도이다.
도 9b는 구성점선택부에 의하여 표지화상(표지도형)의 정점으로서 선택되는 후보점의 또 다른 예를 나타내는 도이다.
도 10은 컨트롤러에 의한 표지표시처리의 제1예를 개략적으로 나타내는 플로차트이다.
도 11은 컨트롤러에 의한 표지표시처리의 제2예를 개략적으로 나타내는 플로차트이다.
도 12는 컨트롤러에 의한 표지표시처리의 제3예를 개략적으로 나타내는 플로차트이다.
도 13은 컨트롤러에 의한 표지표시처리의 제4예를 개략적으로 나타내는 플로차트이다.
도 14는 컨트롤러에 의한 표지표시처리의 제5예를 개략적으로 나타내는 플로차트이다.
도 15는 표지표시설정화면의 일례를 나타내는 도이다.
도 16은 표지표시설정화면의 다른 예를 나타내는 도이다.
도 17은 제2 특징기능(제2 표지표시기능)에 관한 주변감시 시스템의 구성의 일례를 나타내는 도이다.
도 18a는 표시장치에 표시되는 감시화상의 일례를 나타내는 도이다.
도 18b는 표시장치에 표시되는 감시화상의 일례를 나타내는 도이다.
도 19a는 표시장치에 표시되는 감시화상의 다른 예를 나타내는 도이다.
도 19b는 표시장치에 표시되는 감시화상의 다른 예를 나타내는 도이다.
도 20은 표지표시처리부에 의한 감시대상의 위치를 나타내는 마커(표지)의 표시처리(표지표시처리)의 제1예를 설명하는 도이다.
도 21은 표지표시처리부에 의한 감시대상의 위치를 나타내는 마커(표지)의 표시처리(표지표시처리)의 제2예를 설명하는 도이다.
도 22는 표지표시처리부에 의한 감시대상의 위치를 나타내는 마커(표지)의 표시처리(표지표시처리)의 제3예를 설명하는 도이다.
도 23은 표지표시처리부에 의한 감시대상의 위치를 나타내는 마커(표지)의 표시처리(표지표시처리)의 제4예를 설명하는 도이다.
도 24a는 표지표시처리부에 의한 표지표시처리의 제4예~제6예에 의하여 표시장치의 스루화상에 중첩하여 표시되는 마커의 표시양태의 일례를 나타내는 도이다.
도 24b는 표지표시처리부에 의한 표지표시처리의 제4예~제6예에 의하여 표시장치의 스루화상에 중첩하여 표시되는 마커의 표시양태의 일례를 나타내는 도이다.
도 25a는 표지표시처리부에 의한 표지표시처리의 제4예~제6예에 의하여 표시장치의 스루화상에 중첩하여 표시되는 마커의 표시양태의 일례를 나타내는 도이다.
도 25b는 표지표시처리부에 의한 표지표시처리의 제4예~제6예에 의하여 표시장치의 스루화상에 중첩하여 표시되는 마커의 표시양태의 일례를 나타내는 도이다.
도 26a는 표지표시처리부에 의한 표지표시처리의 제4예~제6예에 의하여 표시장치의 주변화상(시점변환화상)에 중첩하여 표시되는 마커의 표시양태의 일례를 나타내는 도이다.
도 26b는 표지표시처리부에 의한 표지표시처리의 제4예~제6예에 의하여 표시장치의 주변화상(시점변환화상)에 중첩하여 표시되는 마커의 표시양태의 일례를 나타내는 도이다.
도 27은 표지표시처리부에 의한 감시대상의 위치를 나타내는 마커(표지)의 표시처리(표지표시처리)의 제5예를 설명하는 도이다.
도 28은 표지표시제어부에 의한 감시대상의 위치를 나타내는 마커(표지)의 표시처리(표지표시처리)의 제6예를 설명하는 도이다.
도 29는 마커설정화면의 일례를 나타내는 도이다.
도 30은 제3 특징기능(원방접근차량통지기능)에 관한 주변감시 시스템의 구성의 일례를 나타내는 도이다.
도 31은 표시장치에 표시되는 감시화상의 일례를 나타내는 도이다.
도 32는 주변감시 시스템에 의한 처리의 제1예를 개략적으로 나타내는 플로차트이다.
도 33a는 표시장치에 표시되는 스루화상의 일례를 나타내는 도이다.
도 33b는 표시장치에 표시되는 스루화상의 일례를 나타내는 도이다.
도 34a는 표시장치에 표시되는 주변화상의 일례(주변화상에 있어서의 검지차량의 강조표시의 일례)를 나타내는 도이다.
도 34b는 표시장치에 표시되는 주변화상의 일례(주변화상에 있어서의 검지차량의 강조표시의 일례)를 나타내는 도이다.
도 35는 주변화상에 있어서의 검지차량의 강조표시의 다른 예를 나타내는 도이다.
도 36은 주변화상에 있어서의 검지차량의 강조표시의 또 다른 예를 나타내는 도이다.
도 37은 주변감시 시스템에 의한 처리의 제2예를 개략적으로 나타내는 플로차트이다.
도 38은 주변감시 시스템에 의한 처리의 제3예를 개략적으로 나타내는 플로차트이다.
도 39는 주변감시 시스템에 의한 처리의 제4예를 개략적으로 나타내는 플로차트이다.
도 40a는 표시장치에 표시되는 스루화상의 다른 예를 나타내는 도이다.
도 40b는 표시장치에 표시되는 스루화상의 다른 예를 나타내는 도이다.
도 41a는 표시장치에 표시되는 주변화상의 다른 예를 나타내는 도이다.
도 41b는 표시장치에 표시되는 주변화상의 다른 예를 나타내는 도이다.
도 42는 제4 특징기능(안전기능제한통지기능)에 관한 주변감시 시스템의 구성의 일례를 나타내는 도이다.
도 43은 표시장치에 표시되는 감시화상의 일례를 나타내는 도이다.
도 44a는 쇼벨의 주변을 향하여 출력되는 경보의 일례를 모식적으로 설명하는 도이다.
도 44b는 쇼벨의 주변을 향하여 출력되는 경보의 일례를 모식적으로 설명하는 도이다.
도 45는 쇼벨의 주변을 향하여 통지되는 제한통지의 일례를 모식적으로 설명하는 도이다.
도 46a는 쇼벨의 주변을 향하여 통지되는 제한통지의 다른 예를 모식적으로 설명하는 도이다.
도 46b는 쇼벨의 주변을 향하여 통지되는 제한통지의 다른 예를 모식적으로 설명하는 도이다.
도 47은 주변감시 시스템에 의한 통지처리의 제1예를 개략적으로 나타내는 플로차트이다.
도 48은 주변감시 시스템에 의한 통지처리의 제2예를 개략적으로 나타내는 플로차트이다.
도 49는 주변감시 시스템에 의한 통지처리의 제3예를 개략적으로 나타내는 플로차트이다.
이하, 도면을 참조하여 발명을 실시하기 위한 형태에 대하여 설명한다.
[작업기계의 개요]
먼저, 도 1을 참조하여, 본 실시형태에 관한 주변감시 시스템(100)(도 2 참조)이 탑재되는 작업기계에 대하여 설명을 한다.
도 1은, 본 실시형태에 관한 주변감시 시스템(100)이 탑재되는 작업기계의 일례를 나타내는 도이며, 구체적으로는, 쇼벨의 측면도이다.
다만, 본 실시형태에 관한 주변감시 시스템(100)은, 쇼벨 이외의 임의의 작업기계, 예를 들면, 휠로더, 아스팔트피니셔 등에 탑재되어도 된다.
본 실시형태에 관한 쇼벨은, 하부주행체(1)와, 선회기구(2)를 통하여 선회 가능하게 하부주행체(1)에 탑재되는 상부선회체(3)와, 작업장치로서의 붐(4), 암(5), 및 버킷(6)과, 오퍼레이터가 탑승하는 캐빈(10)을 구비한다.
하부주행체(1)는, 예를 들면, 좌우 1쌍의 크롤러를 포함하고, 각각의 크롤러가 주행유압모터(도시생략)로 유압구동됨으로써, 스스로 주행한다.
상부선회체(3)는, 선회유압모터, 혹은, 전동기(모두 도시생략) 등으로 구동됨으로써, 하부주행체(1)에 대하여 선회한다.
붐(4)은, 상부선회체(3)의 전부 중앙에 부앙(俯仰) 가능하게 피봇장착되고, 붐(4)의 선단에는, 암(5)이 상하회전운동 가능하게 피봇장착되며, 암(5)의 선단에는, 버킷(6)이 상하회전운동 가능하게 피봇장착된다. 붐(4), 암(5), 및 버킷(6)은, 각각, 붐실린더(7), 암실린더(8), 및 버킷실린더(9)에 의하여 각각 유압구동된다.
캐빈(10)은, 오퍼레이터가 탑승하는 조종실이며, 상부선회체(3)의 전부 좌측에 탑재된다.
또, 본 실시형태에 관한 쇼벨은, 주변감시 시스템(100)에 관련되는 구성요소로서, 컨트롤러(30)와, 촬상장치(40)와, 표시장치(50)를 구비한다.
컨트롤러(30)는, 쇼벨의 전체 혹은 후술하는 특정 기능에 관한 제어를 행하는 제어장치이다. 예를 들면, 컨트롤러(30)는, 캐빈(10) 내에 탑재된다.
촬상장치(40)는, 상부선회체(3)의 상부에 장착되어, 쇼벨의 주변을 촬상한다. 촬상장치(40)는, 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)를 포함한다.
후방 카메라(40B)는, 상부선회체(3)의 후단 상부에 장착되어, 상부선회체(3)의 후방을 촬상한다.
좌측방 카메라(40L)는, 상부선회체(3)의 좌단 상부에 장착되어, 상부선회체(3)의 좌측방을 촬상한다.
우측방 카메라(40R)는, 상부선회체(3)의 우단 상부에 장착되어, 상부선회체(3)의 우측방을 촬상한다.
표시장치(50)는, 캐빈(10) 내의 조종석 주변, 구체적으로는, 조종석에 착석하는 오퍼레이터나 쇼벨의 메인터넌스를 행하는 서비스맨 등(이하, "오퍼레이터 등"이라고 칭함)이 시인하기 쉬운 위치에 마련되어, 컨트롤러(30)에 의한 제어하에, 오퍼레이터에게 통지하는 각종 화상정보를 표시한다. 표시장치(50)는, 예를 들면, 액정디스플레이이다.
음성출력장치(52)는, 캐빈(10) 내의 조종석 주변에 마련되어, 컨트롤러(30)에 의한 제어하에, 오퍼레이터에게 통지하는 각종 음성정보를 출력한다. 음성출력장치(52)는, 예를 들면, 스피커나 버저 등이다.
게이트로크 밸브(54)는, 파일럿 펌프로부터 쇼벨의 동작요소(예를 들면, 하부주행체(1), 상부선회체(3), 붐(4), 암(5), 및 버킷(6) 등)를 조작하는 조작장치(도시생략)에 대하여 파일럿압을 공급하는 파일럿라인의 최상류에 마련되어, 파일럿라인의 연통/비연통을 전환한다. 예를 들면, 게이트로크 밸브(54)는, 통상, 캐빈(10) 내의 조종석의 입구에 상당하는 부분에 마련되는 게이트로크 레버의 조작상태와 연동하는, 게이트로크 스위치의 출력신호(ON 신호/OFF 신호)에 따라, 파일럿라인의 연통/비연통을 전환한다. 구체적으로는, 게이트로크 밸브(54)는, 게이트로크 스위치의 출력신호가, 게이트로크 레버가 당겨 올려진 상태(즉, 조종석에 오퍼레이터가 착석한 상태)에 대응하는 ON 신호인 경우, 파일럿라인을 연통상태로 한다. 한편, 게이트로크 밸브(54)는, 게이트로크 스위치의 출력신호가, 게이트로크 레버가 내려간 상태(즉, 조종석으로부터 오퍼레이터가 이탈한 상태)에 대응하는 OFF 신호인 경우, 파일럿라인을 비연통상태로 한다. 또, 예를 들면, 게이트로크 밸브(54)는, 컨트롤러(30)로부터 입력되는 지령신호도 접수 가능하게 구성되어, 컨트롤러(30)로부터의 지령신호(ON 신호/OFF 신호)에 따라, 파일럿라인의 연통/비연통을 전환한다.
다만, 게이트로크 밸브(54)에 있어서, 게이트로크 스위치의 출력신호와 컨트롤러(30)로부터의 지령신호의 쌍방을 접수 가능한 구성으로서는, 예를 들면, 게이트로크 스위치의 출력신호와 컨트롤러(30)로부터의 지령신호의 쌍방이 입력되는 논리합회로(적어도 일방으로부터 ON 신호가 입력되면, ON 신호를 출력하는 논리회로)가 채용되면 된다.
외부용 표시장치(60)(통지수단의 일례)는, 컨트롤러(30)에 의한 제어하에, 쇼벨의 주변(예를 들면, 쇼벨의 주변에서 작업하는 작업자나 쇼벨이 작업하는 작업현장의 현장감독 등의 감시자 등)에 통지하는 각종 정보를 표시한다. 외부용 표시장치(60)는, 쇼벨의 주변으로부터 각종 정보를 시인 가능하면, 상부선회체(3)의 임의의 위치에 탑재되면 되고, 예를 들면, 상부선회체(3)의 후단부의 측면에 탑재된다. 외부용 표시장치(60)는, 문자정보만을 표시 가능한 디바이스, 예를 들면, 전광 게시판이나 자기반전식 게시판 등이어도 되고, 화상정보도 표시 가능한 디바이스, 예를 들면, 액정디스플레이 등이어도 된다.
외부용 음성출력장치(62)(통지수단의 일례)는, 컨트롤러(30)에 의한 제어하에, 쇼벨의 주변에 통지하는 각종 음성정보를 출력한다. 외부용 음성출력장치(62)는, 쇼벨의 주변에 있어서의 소정 범위에 음성정보를 도달시키는 것이 가능하면, 상부선회체(3)의 임의의 위치에 탑재되면 된다. 외부용 음성출력장치(62)는, 예를 들면, 스피커, 버저 등이다.
[주변감시 시스템의 개요]
다음으로, 도 2를 참조하여, 주변감시 시스템(100)의 개요를 설명한다.
도 2는, 본 실시형태에 관한 주변감시 시스템의 구성의 일례를 나타내는 개요도이다.
주변감시 시스템(100)은, 쇼벨의 주변의 소정 범위 내로의 감시대상인 소정의 물체(이하, 간단히 "감시대상"이라고 칭하는 경우가 있음)의 침입을 감시한다. 그리고, 주변감시 시스템(100)은, 감시대상을 검지한 경우, 경보 등에 의하여 오퍼레이터 등에게 통지를 행하거나, 경우에 따라서는, 쇼벨의 동작을 제한하거나 한다. 감시대상은, 사람이나 사람 이외의 장애물이나 차량 등의 임의의 물체이면 된다.
주변감시 시스템(100)은, 컨트롤러(30)와, 촬상장치(40)와, 표시장치(50)와, 음성출력장치(52)와, 게이트로크 밸브(54)와, 외부용 표시장치(60)와, 외부용 음성출력장치(62)를 포함한다.
컨트롤러(30)는, 주변감시 시스템(100)에 있어서의 각종 제어처리를 행한다. 컨트롤러(30)는, 그 기능이 임의의 하드웨어, 소프트웨어, 혹은 그 조합에 의하여 실현되면 되고, 예를 들면, CPU(Central Processing Unit)와, RAM(Random Access Memory)과, ROM(Read Only Memory)과, 보조기억장치와, I/O(Input-Output interface) 등을 포함하는 마이크로컴퓨터를 중심으로 구성된다. 컨트롤러(30)는, 예를 들면, ROM이나 보조기억장치 등에 저장되는 각종 프로그램을 CPU 상에서 실행함으로써 각종 기능을 실현한다.
촬상장치(40)는, 상술한 바와 같이, 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)를 포함한다. 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)는, 상부선회체(3)의 상부에 있어서, 광축이 경사 하방을 향하도록 장착되어, 쇼벨 근방의 지면으로부터 쇼벨의 원방까지를 포함하는 상하방향의 촬상범위(화각)를 갖는다. 후방 카메라(40B), 좌측방 카메라(40L) 및 우측방 카메라(40R)는, 각각, 쇼벨의 운전 중, 소정 주기(예를 들면, 1/30초)마다, 촬상화상을 출력하여, 컨트롤러(30)에 송신한다.
다만, 촬상장치(40)는, 후술하는 바와 같이, 감시대상을 검지하기 위한 검출정보를 출력하는 센서로서 기능하지만, 쇼벨의 주변의 물체를 검출하고, 당해 물체까지의 거리정보를 출력하는 것이 가능한 센서라면, 다른 센서가 쇼벨에 탑재되어도 된다. 이 경우, 감시대상을 검지하기 위한 검출정보를 출력하는 센서에는, 촬상장치(40) 외에, 예를 들면, 후술하는 LIDAR(LIght Detection And Ranging), 밀리파 레이더, 스테레오 카메라 등이 포함되면 된다.
표시장치(50)는, 컨트롤러(30)에 의한 제어하에, 촬상장치(40)의 촬상화상(이하, 스루화상이라고 칭하는 경우가 있음)이나, 컨트롤러(30)에 의하여 촬상장치(40)의 촬상화상에 근거하여 생성(합성)되는 주변화상(예를 들면, 시점변환화상 등의 합성화상) 등을 표시할 수 있다.
음성출력장치(52)는, 컨트롤러(30)에 의한 제어하에, 경보음을 출력할 수 있다.
게이트로크 밸브(54)는, 컨트롤러(30)에 의한 제어하에, 상술한 게이트로크 레버(도시생략)가 당겨 올려진 상태여도, 파일럿라인(도시생략)을 비연통상태로 할 수 있다. 이로써, 쇼벨의 동작이 제한(정지)될 수 있다.
외부용 표시장치(60)는, 컨트롤러(30)에 의한 제어하에, 쇼벨의 주변을 향하여, 소정의 문자정보나 화상정보를 표시하여, 쇼벨의 주변의 경계 에어리어로의 감시대상의 침입에 대한 경보 등을 행할 수 있다.
외부용 음성출력장치(62)는, 컨트롤러(30)에 의한 제어하에, 쇼벨의 주변을 향하여, 소정의 음성정보를 출력하여, 감시대상의 쇼벨의 주변의 경계 에어리어로의 침입에 대한 경보를 행할 수 있다.
이하, 상술한 주변감시 시스템(100)의 구성을 전제로 하는 특징적인 기능(이하, 편의적으로 "특징기능"이라고 칭함)에 대하여 설명한다. 본 실시형태에 관한 주변감시 시스템(100)은, 후술하는 제1 특징기능~제4 특징기능의 각각에 관한 구성의 일부 또는 전부를 포함할 수 있다. 즉, 후술하는 제1 특징기능~제4 특징기능은, 당연히, 각각이 단체(單體)로 실행될 수 있음과 함께, 적절히, 그 특징기능에 관한 구성이 다른 특징기능에 관한 구성과 조합되거나, 혹은, 공용되는 양태여도 된다.
예를 들면, 후술하는 감시대상검지부(301A), 감시대상검지부(301B), 물체검지부(301C), 및 검지부(301D)는, 각각의 기능 구성의 일부 혹은 전부가 공통이면 된다. 또, 감시화상표시처리부(302A, 302B)는, 각각의 기능의 일부 혹은 전부가 공통이면 된다. 또, 표지화상표시처리부(303A) 및 표지표시처리부(303B)는, 각각의 기능의 일부 혹은 전부가 공통이면 된다. 또, 감시화상표시처리부(302A) 및 표지화상표시처리부(303A), 감시화상표시처리부(302B) 및 표지표시처리부(303B), 표시제어부(302C), 및, 표시제어부(302D)는, 각각의 기능의 일부 혹은 전부가 공통이면 된다. 또, 음성제어부(303C) 및 경보출력부(303D)는, 각각의 기능의 일부 혹은 전부가 공통이면 된다. 또, 음성제어부(303C) 및 경보출력부(303D) 중 적어도 하나는, 제1 특징기능 혹은 제2 특징기능에 관한 주변감시 시스템(100)에 포함되어 있으면 된다(즉, 조합되어도 된다). 또, 동작제한부(304) 및 판정부(305) 중 적어도 하나는, 제1~제3 특징기능 중 어느 하나에 관한 주변감시 시스템(100)에 포함되어 있으면 된다.
[주변감시 시스템의 제1 특징기능]
먼저, 본 실시형태에 관한 주변감시 시스템(100)에 관한 제1 특징기능, 구체적으로는, 표시장치(50)에 표시되는 스루화상이나 주변화상 내의 감시대상에 표지(마커라고도 함)를 중첩하여 표시시키는 기능(표지표시기능)의 일례(이하, "제1 표지표시기능"이라고도 칭하는 경우가 있음)에 대하여 설명한다.
＜주변감시 시스템의 구성＞
도 3은, 제1 특징기능(제1 표지표시기능)에 관한 본 실시형태에 관한 주변감시 시스템(100)의 구성의 일례를 나타내는 블록도이다.
다만, 도 3에서는, 제1 특징기능에 관한 구성을 중심으로 나타나고, 도 1, 도 2에 나타나는 다른 구성은, 생략된다.
주변감시 시스템(100)은, 상술한 바와 같이, 쇼벨의 주변의 소정 범위 내로의 소정의 물체(본 실시형태에서는, 차량 및 사람)의 침입을 감시하여, 소정의 물체를 검지한 경우, 오퍼레이터 등으로의 통지를 행한다. 주변감시 시스템(100)은, 컨트롤러(30), 촬상장치(40), 표시장치(50)를 포함한다.
컨트롤러(30)(제어장치의 일례)는, 상술한 바와 같이, 주변감시 시스템(100)에 있어서의 각종 제어처리를 행한다. 컨트롤러(30)는, 예를 들면, ROM이나 불휘발성 보조기억장치에 저장되는 각종 프로그램을 CPU 상에서 실행함으로써 실현되는 기능부로서, 감시대상검지부(301A), 감시화상표시처리부(302A), 표지화상표시처리부(303A)를 포함한다.
촬상장치(40)는, 상술한 바와 같이, 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)를 포함한다. 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)는, 상부선회체(3)의 상부에 있어서, 광축이 경사 하방을 향하도록 장착되어, 쇼벨 근방의 지면으로부터 쇼벨의 원방까지를 포함하는 비교적 넓은 상하방향의 촬상범위(화각)를 갖는다. 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)는, 쇼벨의 운전 중, 소정 주기(예를 들면, 1/30초)마다, 촬상화상을 출력하여, 컨트롤러(30)에 송신한다.
표시장치(50)는, 컨트롤러(30)(구체적으로는, 감시화상표시처리부(302A))에 의한 제어하에, 촬상장치(40)에 의하여 촬상되는 쇼벨의 주변의 모습을 나타내는 감시화상을 표시한다. 감시화상에는, 촬상장치(40)의 촬상화상(스루화상), 및 컨트롤러(30)(구체적으로는, 감시화상표시처리부(302A))에 의하여 촬상장치(40)의 촬상화상에 근거하여 생성되는 주변화상(예를 들면, 시점변환화상) 등이 포함된다. 상세는, 후술한다(도 4, 도 5 참조).
감시대상검지부(301A)는, 쇼벨 주변의 소정의 감시대상을 검지한다. 감시대상은, 상술한 바와 같이, 예를 들면, 사람, 작업차량(트럭), 그 외의 장애물 등이다. 이하, 제1 특징기능에 관한 설명에서는, 감시대상이 사람인 경우를 중심으로 설명을 행한다. 구체적으로는, 감시대상검지부(301A)는, 촬상장치(40)에 의하여 촬상된 촬상화상에 근거하여, 쇼벨의 주변에 있어서의 소정 영역(이하, "감시 에어리어"라고 칭함) 내, 예를 들면, 쇼벨로부터 소정 거리 D1(예를 들면, 5미터) 이내의 감시대상(즉, 사람)을 검지한다. 예를 들면, 감시대상검지부(301A)는, 이미 알려진 각종 화상처리수법이나 기계학습 베이스의 식별기 등을 임의로 적용함으로써, 촬상장치(40)의 촬상화상 내의 사람을 인식함과 함께, 인식한 사람의 실재위치(쇼벨로부터 인식한 사람까지의 거리 D 등)를 특정할 수 있다.
또, 감시대상검지부(301A)는, 촬상장치(40)의 촬상화상에 근거하는 화상처리에 의하여 사람을 검지하는 과정에서 생성되는, 촬상화상 내에 있어서의 검지된 사람의 위치를 대표적으로 나타내는 점(대표점)에 관한 정보(대표점정보)를 표지화상표시처리부(303A)에 보낸다. 대표점은, 예를 들면, 촬상화상 상에 있어서의 검지된 사람의 발밑 위치에 대응하는 점, 머리의 위치에 대응하는 점 등, 임의의 점이면 된다. 이하, 대표점은, 촬상화상 상의 검지된 사람의 발밑 위치에 대응하는 점이라는 전제로 설명을 진행한다.
다만, 감시대상검지부(301A)는, 촬상장치(40)의 촬상화상 대신에, 혹은, 더하여, 다른 센서, 예를 들면, 밀리파 레이더, LIDAR, 스테레오 카메라 등의 검출결과(거리화상 등)에 근거하여, 감시대상을 검지해도 된다.
감시화상표시처리부(302A)는, 오퍼레이터에 의한 각종 조작 등에 따라, 촬상장치(40)에 의하여 촬상되는 쇼벨의 주변의 모습을 나타내는 감시화상을 표시장치(50)에 표시시킨다. 예를 들면, 감시화상표시처리부(302A)는, 오퍼레이터에 의한 소정 조작에 따라, 촬상장치(40), 즉, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)의 촬상화상(스루화상)을 감시화상으로서 표시장치(50)에 그대로 표시시킨다. 이 때, 감시화상표시처리부(302A)는, 오퍼레이터에 의한 조작의 내용이나 설정내용 등에 따라, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R) 중 하나의 카메라의 촬상화상을 표시장치(50)에 표시시켜도 되고, 복수(2개 혹은 3개)의 카메라의 촬상화상을 동시에 표시장치(50)에 표시시켜도 된다. 또, 예를 들면, 감시화상표시처리부(302A)는, 오퍼레이터에 의한 소정 조작에 따라, 촬상장치(40)의 촬상화상에 근거하여 주변화상(예를 들면, 시점변환화상)을 생성하여, 표시장치(50)에 표시시킨다. 구체적으로는, 감시화상표시처리부(302A)는, 주변화상으로서, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)의 촬상화상에 근거하여, 이미 알려진 시점변환처리를 행함으로써, 시점변환화상(가상시점으로부터 본 화상)을 생성하여, 표시장치(50)에 표시시킨다. 또, 감시화상표시처리부(302A)는, 주변화상을 표시장치(50)에 표시시킬 때, 주변화상에 비치고 있는 촬상장치(40)의 촬상범위의 쇼벨에 대한 상대위치관계를 명시하기 위하여, 쇼벨을 모식적으로 나타내는 쇼벨화상을 함께 표시장치(50)에 표시시킨다. 즉, 감시화상표시처리부(302A)는, 쇼벨화상과, 쇼벨과 촬상장치(40)의 촬상범위와의 상대위치관계에 맞추어, 쇼벨화상의 주위에 배치되는 주변화상을 포함하는 감시화상을 생성하여, 표시장치(50)에 표시시킨다. 이하, 도 4, 도 5를 참조하여, 표시장치(50)에 표시되는 감시화상에 대하여 설명을 한다.
도 4는, 표시장치(50)에 표시되는 감시화상의 일례(감시화상(MP1))를 나타내는 도이며, 구체적으로는, 표시장치(50)에 감시화상(MP1)으로서 표시되는 스루화상을 나타내는 도이다. 도 5는, 표시장치(50)에 표시되는 감시화상의 다른 예(감시화상(MP2))를 나타내는 도이며, 구체적으로는, 표시장치(50)에 표시되는 주변화상(EP)(시점변환화상) 및 쇼벨화상(CG)을 포함하는 감시화상(MP2)을 나타내는 도이다.
도 4에 나타내는 바와 같이, 표시장치(50)에 있어서의 가로로 긴 직사각형의 화면(예를 들면, 애스펙트비 4:3의 화면)에는, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R) 중 어느 하나의 카메라의 촬상화상이 표시되어 있다.
또, 본예에서는, 표시장치(50)에 표시되는 스루화상에 사람(작업자(W1A))이 포함되어 있다. 또, 스루화상 상의 작업자(W1A)에는, 그 위치(본 실시형태에서는, 감시대상검지부(301A)에 의한 검지위치)를 나타내는 표지화상(FR1A), 즉, 표지화상(FR1A)으로서의 작업자(W1A)를 둘러싸는 프레임이 중첩하여 표시되어 있다. 이로써, 오퍼레이터는, 표시장치(50)에 비치고 있는 감시대상(즉, 사람)을 알아차리기 쉬워짐과 함께, 표시장치(50)에 표시되는 감시화상, 구체적으로는, 스루화상 혹은 주변화상(시점변환화상) 상에 있어서, 감시대상(즉, 사람)의 상황 등을 시인하기 쉬워진다. 표지화상의 상세에 대해서는, 후술한다.
또, 도 5에 나타내는 바와 같이, 표시장치(50)에 있어서의 가로로 긴 직사각형의 화면(예를 들면, 애스펙트비 4:3의 화면)에는, 상술한 바와 같이, 쇼벨화상(CG)과 쇼벨화상(CG)의 주위에 배치되는 주변화상(EP)을 포함하는 감시화상(MP2)이 표시되어 있다. 이로써, 오퍼레이터는, 주변화상(EP)에 비치고 있는 감시대상(즉, 사람)과 쇼벨의 위치관계를 적절히 파악할 수 있다.
본예에서는, 주변화상(EP)은, 쇼벨에 인접하는 주변영역을 바로 위로부터 본 부감화상(BVP)과, 당해 부감화상(BVP)의 주위에 배치되는, 쇼벨로부터 당해 주변영역의 주위를 수평방향으로 본 수평화상(HVP)을 조합한 시점변환화상이다. 시점변환화상인 주변화상(EP)은, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)의 각각의 촬상화상을 공간모델에 투영한 다음, 그 공간모델에 투영된 투영화상을 다른 이차원 평면에 재투영함으로써 얻어진다. 공간모델은, 가상공간에 있어서의 촬상화상의 투영대상이며, 촬상화상이 위치하는 평면 이외의 평면 혹은 곡면을 포함하는 하나 또는 복수의 평면 혹은 곡면으로 구성된다. 이하, 본 실시형태에 있어서의 주변화상은, 쇼벨에 인접하는 주변영역을 바로 위로부터 본 부감화상과, 그 주변영역의 주위를 수평방향으로 본 수평화상을 조합한 시점변환화상이라는 전제로 설명을 계속한다.
또, 감시화상(MP2)(주변화상(EP))에는, 가이드라인(GL1)이 중첩표시된다. 가이드라인(GL1)은, 쇼벨로부터의 거리 D가 소정 거리 D2(＜D1)인 위치를 나타낸다. 이로써, 감시화상 내의 주변화상에 감시대상(즉, 사람)이 비치고 있는 경우, 오퍼레이터는, 쇼벨로부터 어느 정도 떨어진 위치에 있는지를 파악할 수 있다.
또, 본예에서는, 도 4와 동일하게, 표시장치(50)에 표시되는 감시화상(MP2) 내의 주변화상(EP)에 사람(작업자(W2A))이 포함되어 있다. 또, 주변화상 상의 작업자(W2A)에는, 그 위치(본 실시형태에서는, 감시대상검지부(301A)에 의한 검지위치)를 나타내는 표지화상(FR1A), 즉, 작업자(W2A)를 둘러싸는 프레임이 중첩하여 표시되어 있다. 상술한 바와 같이, 표지화상의 상세에 대해서는, 후술한다.
도 3으로 되돌아가, 표지화상표시처리부(303A)는, 감시대상검지부(301A)에 의하여 감시대상이 검지된 경우, 표시장치(50)에 표시되어 있는 감시화상 상에, 감시화상에 포함되는 감시대상(즉, 사람)의 위치를 나타내는 상술한 표지화상을 중첩하여 표시시킨다. 표지화상은, 감시화상에 포함되는 사람의 위치를 강조하는 것이 가능하면, 임의의 양태이면 되고, 예를 들면, 도형, 색, 모양, 혹은 그들의 조합 등에 의하여 구성되면 된다. 이하, 본 실시형태에서는, 표지화상이 도형(이하, "표지도형"이라고 칭함)이라는 전제로 설명을 진행한다. 표지화상표시처리부(303A)는, 더 세분화된 기능부로서, 후보점생성부(3031A), 표지화상선택부(3032A), 구성점선택부(3033A), 인코드부(3034A), 송신부(3035A)를 포함한다.
후보점생성부(3031A)는, 표시장치(50)에 표시되어 있는 감시화상에 포함되는, 감시대상검지부(301A)에 의하여 검지된 감시대상(즉, 사람)의 검출위치를 나타내는 표지도형의 정점의 후보가 되는 복수의 후보점(이하, 후보점군이라고 칭함)을 생성한다. 예를 들면, 후보점생성부(3031A)는, 감시대상검지부(301A)로부터 취득하는, 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R) 중 어느 하나의 촬상화상 상에 있어서의 검지된 사람의 대표점정보에 근거하여, 당해 촬상화상 상에 있어서의 사람이 존재하는 영역을 인식함과 함께, 소정의 규칙에 따라, 미리 규정되는 개수의 후보점을 생성한다. 이하, 후보점군으로서 생성되는 후보점의 개수가 M(3 이상의 정수)이라는 전제로 설명을 진행한다. 또, 후보점생성부(3031A)는, 표시장치(50)에 표시되어 있는 감시화상이 시점변환화상 등의 주변화상인 경우, 촬상화상 상의 후보점군의 위치데이터(좌표)를, 촬상화상으로부터 주변화상을 생성하는 경우와 동일한 변환방법에 근거하여, 주변화상 상의 후보점군의 위치데이터(좌표)로 변환한다. 이로써, 주변화상 상에 포함되는 검지된 사람의 검지위치를 나타내는 표지도형의 정점의 후보점군을 생성할 수 있다.
예를 들면, 도 6은, 촬상장치(40)의 촬상화상 상에 포함되는, 감시대상검지부(301A)에 의하여 검지된 사람에 대응하는 후보점군의 일례를 나타내는 도이다. 도 6에 나타내는 바와 같이, 촬상장치(40), 즉, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R) 중 어느 하나의 촬상화상의 중앙 부근에, 등을 돌린 작업자(W1A)가 비치고 있고, 작업자(W1A)의 발밑 부근에는, 감시대상검지부(301A)에 의하여 생성되는 대표점(RP)이 나타나 있다. 본예에서는, 후보점군(CP)은, 당해 촬상화상에 포함되는 작업자(W1A)를 둘러싸는 양태로, 합계 16개(M=16)의 후보점(흰 동그라미)의 집합으로서 생성되어 있다.
도 3으로 되돌아가, 표지화상선택부(3032A)(선택부의 일례)는, 미리 규정되는 복수의 종류의 표지화상(표지도형) 중에서, 실제로 표시장치(50)의 감시화상 상에 중첩하여 표시시키는 표지화상(표지도형)을 선택한다. 본 실시형태에서는, 후보가 되는 복수의 종류의 표지도형은, 후보점군 중에서 선택되는 2 이상의 후보점을 구성점으로 하는 복수의 종류의 도형, 즉, 선분, 삼각형, 사각형, ..., M각형 중 2종류 이상의 도형을 포함한다. 구성점이란, 선분의 끝점, 혹은 다각형의 정점 등을 의미한다. 즉, 표지화상선택부(3032A)는, 후보점군 중에서 선택되는 2 이상의 후보점(이하, "선택점"이라고 칭함)을 구성점으로 하는 2종류 이상의 도형 중에서 1개를 선택한다. 구체적으로는, 표지화상선택부(3032A)는, 후보점군 중에서 도형의 구성점으로서 선택하는 후보점의 수(이하, "선택수"라고 칭함)를 결정한다. 이하, 표지화상선택부(3032A)는, M각형(선택수 M), 사각형(선택수 4), 선분(선택수 2)의 3 종류의 표지도형 중에서, 감시화상 상에 중첩하여 표시시키는 표지도형을 선택한다, 즉, 표지화상선택부(3032A)는, 표지도형을 구성하는 구성점을 M, 4, 및 2 중 어느 하나로 결정한다는 전제로, 설명을 진행한다. 이 경우, 후보점군에 포함되는 후보점 수 M은, 5 이상이다. 상세는, 후술한다.
구성점선택부(3033A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서, 표지화상선택부(3032A)에 의하여 결정된 선택수만큼, 표지도형의 구성점을 선택한다. 표지화상선택부(3032A)에 의하여 M각형이 선택된 경우, 구성점선택부(3033A)는, 당연히, 후보점군에 포함되는 모든(M개의) 후보점을 표지도형의 구성점으로서 선택한다. 또, 표지화상선택부(3032A)에 의하여 사각형 혹은 선분이 선택된 경우, 구성점선택부(3033A)는, 미리 규정되는 규칙에 따라, 후보점군(즉, M개의 후보점) 중에서 4개 혹은 2개의 구성점을 선택한다.
예를 들면, 도 7(도 7a, 도 7b), 도 8(도 8a, 도 8b), 도 9(도 9a, 도 9b)는, 구성점선택부(3033A)에 의하여 후보점군으로부터 선택되는 표지화상의 구성점의 일례(선택수 M인 경우), 다른 예(선택수 4인 경우), 및 또 다른 예(선택수 2인 경우)를 나타내는 도이다. 구체적으로는, 도 7a, 도 8a, 및 도 9a는, 도 6에 나타내는 후보점이 생성된 경우에, 표지화상선택부(3032A)에 의하여 선택된 표지도형의 종류, 즉, 결정된 선택수에 따라, 후보점군 중에서 선택되는 표지화상의 구성점의 양태를 나타낸다. 또, 도 7b, 도 8b, 및 도 9b는, 각각, 도 7a, 도 8a, 및 도 9a에 나타내는 구성점이 선택된 경우에, 표시장치(50)에 표시되는 표지도형을 나타내는 도이다.
다만, 도 7a, 도 8a, 및 도 9a에 있어서, 구성점선택부(3033A)에 의하여 선택된 구성점은, 검은 동그라미로 나타나며, 후보점군 중의 선택되지 않는 후보점은, 흰 동그라미로 나타난다.
표지화상선택부(3032A)에 의하여 선택된 표지도형의 종류가 M각형, 즉, 결정된 선택수가 M인 경우, 도 7a에 나타내는 바와 같이, 당연히, 촬상화상 상에 있어서, 감시대상검지부(301A)에 의하여 검지된 작업자(W1A)의 주위를 둘러싸는 양태로 배치되는 후보점군의 M(=16)개의 후보점이 모두 표지도형의 구성점으로서 선택된다. 그리고, 도 7b에 나타내는 바와 같이, 표시장치(50)에는, 촬상화상 상에 있어서, 감시대상검지부(301A)에 의하여 검지된 작업자(W1A)의 주위를 둘러싸는 양태의 표지화상(FR1A)으로서의 M각형, 즉, 16각형이 중첩하여 표시된다.
또, 표지화상선택부(3032A)에 의하여 선택된 표지화상의 종류가 사각형, 즉, 결정된 정점수가 4인 경우, 도 8a에 나타내는 바와 같이, 촬상화상 상에 있어서, 감시대상검지부(301A)에 의하여 검지된 작업자(W1A)의 신체의 상하축을 발밑보다 하측 및 머리보다 상측의 쌍방으로 연장시킨 방향에 존재하는 2개의 후보점과, 작업자(W1A)의 대략 양 어깨를 잇는 축을 양 어깨의 외측으로 연장시킨 방향에 존재하는 2개의 후보점이 표지도형의 구성점으로서 선택되어 있다. 그리고, 도 8b에 나타내는 바와 같이, 표시장치(50)에는, 촬상화상 상에 있어서, 감시대상검지부(301A)에 의하여 검지된 작업자(W1A)를 둘러싸는 양태의 표지화상(FR1A)으로서의 사각형이 중첩하여 표시된다.
이와 같이, 표지도형이 3 이상의 구성점으로 구성되는 경우, 감시대상을 둘러싸는 양태로 표시할 수 있기 때문에, 표시장치(50)에 표시되는 감시화상 내의 감시대상의 표지로서 기능시키면서, 감시화상 내의 감시대상의 모습을 오퍼레이터 등에게 파악시킬 수 있다.
또, 표지화상선택부(3032A)에 의하여 선택된 표지화상의 종류가 선분, 즉, 결정된 정점수가 2인 경우, 도 9a에 나타내는 바와 같이, 촬상화상 상에 있어서, 감시대상검지부(301A)에 의하여 검지된 작업자(W1A)의 신체의 상하축을 발밑보다 하측 및 머리보다 상측의 쌍방으로 연장시킨 방향에 존재하는 2개의 후보점이 표지도형의 구성점으로서 선택되어 있다. 그리고, 도 9b에 나타내는 바와 같이, 표시장치(50)에는, 촬상화상 상에 있어서, 감시대상검지부(301A)에 의하여 검지된 작업자(W1A)의 상하축을 대략 나타내는 양태의 표지화상(FR1A)으로서의 선분이 중첩하여 표시된다.
도 3으로 되돌아가, 인코드부(3034A)는, 구성점선택부(3033A)에 의하여 후보점군 중에서 선택된 표지도형의 구성점의 위치정보, 구체적으로는, 표시장치(50)에 표시되어 있는 감시화상 상에 있어서의 위치정보(좌표정보)를 미리 규정된 규칙에 따라, 인코드하여, 표시장치(50)에 송신하는 데이터(이하, 송신용 데이터라 칭함)를 생성한다.
송신부(3035A)는, 인코드부(3034A)에 의하여 생성된 송신용 데이터를 표시장치(50)에 송신한다. 이로써, 표시장치(50)는, 송신용 데이터에 포함되는 표지도형의 정점의 위치정보(좌표정보)에 근거하여, 표지화상선택부(3032A)에 의하여 복수 종류의 표지도형 중에서 선택된 종류의 표지화상을 감시화상 상에 중첩하여 표시할 수 있다.
＜주변감시 시스템의 동작의 상세＞
다음으로, 도 10~도 14를 참조하여, 본 실시형태에 관한 주변감시 시스템(100)에 의한 특징적인 처리, 즉, 표지화상표시처리부(303A)에 의한 표지화상을 표시장치(50)에 표시시키는 처리(표지화상표시처리)의 상세에 대하여 설명을 한다.
먼저, 도 10은, 컨트롤러(30)(표지화상표시처리부(303A))에 의한 표지화상표시처리의 제1예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 예를 들면, 쇼벨의 운전 중, 표시장치(50)에 감시화상이 표시되어 있는 경우에, 소정 시간마다(예를 들면, 감시대상검지부(301A)에 의한 감시대상의 검지주기마다) 반복 실행된다.
스텝 S101A에서, 후보점생성부(3031A)는, 감시대상검지부(301A)에 의하여 감시대상이 검지되고 있는지 아닌지를 판정한다. 후보점생성부(3031A)는, 감시대상검지부(301A)에 의하여 감시대상이 검지되고 있는 경우, 스텝 S102A로 진행하고, 검지되고 있지 않은 경우, 이번 처리를 종료한다.
스텝 S102A에서, 후보점생성부(3031A)는, 감시대상검지부(301A)로부터 검지된 감시대상(즉, 사람)의 촬상화상 상에 있어서의 대표점을 취득한다.
스텝 S104A에서, 후보점생성부(3031A)는, 취득한 대표점에 근거하여, 표시장치(50)에 표시되어 있는 감시화상(촬상화상 혹은 주변화상) 상에 있어서의 표지도형의 정점의 후보가 되는 후보점군을 생성한다.
스텝 S106A에서, 표지화상선택부(3032A)는, 감시대상검지부(301A)에 의하여 현재 검지되고 있는 감시대상의 수(이하, "검지수"라고 칭함) N이 소정수 N11 이하인지 아닌지를 판정한다. 소정수 N11은, 감시대상검지부(301A)에 의하여 검지되고 있는 모든 감시대상(즉, 사람)에 대하여, M개의 정점(즉, 후보점생성부(3031A)에 의하여 생성되는 모든 후보점)의 위치정보를 포함하는 송신용 데이터를 소정의 송신주기 내에 확실하게 송신 가능한 검지수 N의 상한으로서 설정된다. 표지화상선택부(3032A)는, 검지수 N이 소정수 N11 이하인 경우, 스텝 S108A로 진행하고, 검지수 N이 소정수 N11 이하가 아닌 경우, 스텝 S110A로 진행한다.
스텝 S108A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 M각형을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지도형의 구성점의 수(선택수)를 M(5 이상의 정수)으로 결정한다.
한편, 스텝 S110A에서, 표지화상선택부(3032A)는, 검지수 N이 소정수 N11보다 큰 소정수 N12 이하인지 아닌지를 판정한다. 소정수 N12는, 감시대상검지부(301A)에 의하여 검지된 모든 감시대상(즉, 사람)에 대하여, 4개의 정점의 위치정보를 포함하는 송신용 데이터를 소정의 송신주기 내에 확실하게 송신 가능한 검지수 N의 상한으로서 설정된다. 표지화상선택부(3032A)는, 검지수 N이 소정수 N12 이하인 경우, 스텝 S112A로 진행하고, 검지수가 소정수 N12 이하가 아닌 경우, 스텝 S114A로 진행한다.
스텝 S112A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 사각형을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지화상의 구성점의 수(선택수)를 4로 결정한다.
한편, 스텝 S114A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 선분을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지화상의 구성점의 수(선택수)를 2로 결정한다.
스텝 S115A에서, 구성점선택부(3033A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서, 스텝 S108A, S112A, S114A 중 어느 하나의 처리에 있어서, 표지화상선택부(3032A)에 의하여 결정된 선택수만큼 표지도형의 구성점을 선택한다.
스텝 S116A에서, 인코드부(3034A)는, 구성점선택부(3033A)에 의하여 선택된 구성점의 위치정보를 인코드하여, 송신용 데이터를 생성한다.
스텝 S118A에서, 송신부(3035A)는, 인코드부(3034A)에 의하여 생성되는 송신용 데이터를 표시장치(50)에 송신하여, 이번 처리를 종료한다.
이와 같이, 본예에서는, 표지화상표시처리부(303A)는, 표시장치(50)에 표시되어 있는 감시화상 상의 감시대상의 위치를 나타내는 표지를 2종류 이상의 다른 표시양태로 표시한다. 구체적으로는, 표지화상선택부(3032A)는, 감시대상검지부(301A)에 의하여 검지되고 있는 감시대상의 검지수 N에 따라, 표시장치(50)에 표시되어 있는 감시화상 상에 있어서의 감시대상의 위치를 나타내는 표지화상의 종류를 변경한다. 보다 구체적으로는, 표지화상선택부(3032A)는, 검지수 N이 많아질수록, 표지도형의 구성점의 수를 줄인다, 즉, 표시장치(50)에 표지화상을 표시시키기 위한 사양정보(이하, 간단히 "표지화상의 사양정보"라고 칭함)로서의 구성점의 위치정보의 데이터양을 작게 한다. 이로써, 감시대상검지부(301A)에 의하여 검지되고 있는 감시대상의 검지수 N이 비교적 많아지고, 컨트롤러(30)로부터 표시장치(50)에 송신해야 할 표지화상의 사양정보로서의 구성점의 위치정보의 데이터양이 많아지는 등, 통신대역이 부족할 수 있는 상황에서도, 검지수 N에 따라, 표지화상의 사양정보의 데이터양을 조정할 수 있다. 구체적으로는, 구성점수를 줄여, 송신용 데이터에 포함되는 구성점의 위치정보의 데이터양을 줄일 수 있다. 이로 인하여, 표시장치(50)에 표시되어 있는 감시화상 상에서, 감시대상의 위치를 나타내는 표지화상의 사양정보를 포함하는 송신용 데이터를, 컨트롤러(30)로부터 표시장치(50)에 소정의 송신주기 내에 확실하게 송신할 수 있다. 또, 검지수 N이 많아지면, 감시화상에 포함되는 감시대상의 수에 비례하여, 표지화상의 수도 증가하여, 정보과다로 인해 감시화상이 보기 어려워질 가능성이 있지만, 검지수 N이 많아질수록, 표지도형의 구성점을 줄여, 표지화상이 간소화되기 때문에, 이와 같은 사태를 억제할 수 있다.
다만, 표지화상의 사양정보에는, 도형의 구성점의 위치정보 외에, 표지화상의 크기, 모양, 색 등의 종별을 나타내는 정보나, 크기, 모양, 색의 변화나 점멸의 유무를 나타내는 정보 등이 포함될 수 있다. 예를 들면, 컨트롤러(30)(송신부(3035A))는, 통신대역이 부족한 상황이 아닌 경우(즉, 본예에 있어서의 검지수 N이 비교적 적은 경우), 비교적 많은 속성(형상, 색, 모양, 점멸의 유무 등)을 포함하는 표지화상을 표시시키기 위한 사양정보를 포함하는 비교적 데이터양이 큰 송신용 데이터를 표시장치(50)에 송신하면 된다. 이로써, 표지화상의 정보량이 증가하여, 감시대상을 보다 강조할 수 있다. 한편, 컨트롤러(30)(송신부(3035A))는, 통신대역이 부족한 상황인 경우(즉, 본예에 있어서의 검지수 N이 비교적 많은 경우), 비교적 적은 속성(예를 들면, 형상만)을 포함하는 표지화상을 표시시키기 위한 사양정보를 포함하는 비교적 데이터양이 작은 송신용 데이터를 표시장치(50)에 송신하면 된다. 이로써, 상술한 바와 같이, 통신대역이 부족할 수 있는 상황에서도, 표지화상의 사양정보를 포함하는 데이터를 소정의 송신주기 내에 확실하게 송신할 수 있다. 이하, 도 11, 도 12의 경우도 동일하다.
계속해서, 도 11은, 컨트롤러(30)(표지화상표시처리부(303A))에 의한 표지화상표시처리의 제2예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 상술한 제1예(도 10)와 동일하게, 예를 들면, 쇼벨의 운전 중, 표시장치(50)에 감시화상이 표시되어 있는 경우에, 소정 시간마다(예를 들면, 감시대상검지부(301A)에 의한 감시대상의 검지주기마다) 반복 실행된다.
다만, 본 플로차트에 의한 처리에서는, 감시대상검지부(301A)에 의하여 검지되는 감시대상의 검지수 N의 상한, 즉, 소정의 처리주기 내에 검지 가능한 감시대상의 검지수 N의 상한으로서 최대검지수 Nmax가 미리 설정된다는 전제로 설명을 진행한다. 또, 최대검지수 Nmax는, 처리주기, 컨트롤러(30)의 처리성능 등에 따라 그 최대값이 미리 규정됨과 함께, 오퍼레이터에 의한 소정 조작에 따라, 당해 최대값 이하의 범위에서 설정 가능하면 된다.
본 플로차트의 스텝 S201A~S204A, S215A~S218A는, 상술한 제1예와 동일하기 때문에, 다른 부분을 중심으로 설명한다.
스텝 S206A에서, 표지화상선택부(3032A)는, 최대검지수 Nmax가 소정수 N21 이하인지 아닌지를 판정한다. 소정수 N21은, 만일, 감시대상검지부(301A)에 의하여 최대검지수 Nmax에 상당하는 감시대상(즉, 사람)이 검지된 경우에도, 검지된 모든 감시대상에 대하여, M개의 정점(즉, 후보점생성부(3031A)에 의하여 생성되는 모든 후보점)의 위치정보를 포함하는 송신용 데이터를 소정의 송신주기 내에 확실하게 송신 가능한 최대검지수 Nmax의 상한으로서 설정된다. 표지화상선택부(3032A)는, 최대검지수 Nmax가 소정수 N21 이하인 경우, 스텝 S208A로 진행하고, 최대검지수 Nmax가 소정수 N21 이하가 아닌 경우, 스텝 S210A로 진행한다.
스텝 S208A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 M각형을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지도형의 구성점의 수(선택수)를 M(5 이상의 정수)으로 결정한다.
한편, 스텝 S210A에서, 표지화상선택부(3032A)는, 검지수 N이 소정수 N21보다 큰 소정수 N22 이하인지 아닌지를 판정한다. 소정수 N22는, 만일, 감시대상검지부(301A)에 의하여 최대검지수 Nmax에 상당하는 감시대상(즉, 사람)이 검지된 경우에도, 검지된 모든 감시대상에 대하여, 4개의 정점의 위치정보를 포함하는 송신용 데이터를 소정의 송신주기 내에 확실하게 송신 가능한 최대검지수 Nmax의 상한으로서 설정된다. 표지화상선택부(3032A)는, 최대검지수 Nmax가 소정수 N22 이하인 경우, 스텝 S212A로 진행하고, 검지수가 소정수 N22 이하가 아닌 경우, 스텝 S214A로 진행한다.
스텝 S212A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 사각형을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지화상의 구성점의 수(선택수)를 4로 결정한다.
한편, 스텝 S214A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 선분을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지화상의 구성점의 수(선택수)를 2로 결정한다.
이와 같이, 본예에서는, 상술한 도 10과 동일하게, 표지화상표시처리부(303A)는, 표시장치(50)에 표시되어 있는 감시화상 상의 감시대상의 위치를 나타내는 표지를 2종류 이상의 다른 표시양태로 표시한다. 구체적으로는, 표지화상선택부(3032A)는, 감시대상검지부(301A)에 의하여 검지되는 감시대상의 검지수 N의 상한으로서 미리 설정되는 최대검지수 Nmax에 따라, 표시장치(50)에 표시되어 있는 감시화상 상에 있어서의 감시대상의 위치를 나타내는 표지화상의 종류를 변경한다. 구체적으로는, 표지화상선택부(3032A)는, 최대검지수 Nmax가 많아질수록, 표지도형의 구성점의 수를 줄인다, 즉, 표지화상의 사양정보로서의 구성점의 위치정보의 데이터양을 작게 한다. 이로써, 최대검지수 Nmax가 비교적 큰 값으로 설정되어 있는 상황에서, 만일, 감시대상검지부(301A)에 의하여 최대검지수 Nmax에 상당하는 감시대상이 검지되어, 컨트롤러(30)로부터 표시장치(50)에 송신해야 할 표지화상의 사양정보를 포함하는 송신용 데이터의 데이터양이 많아지는 등, 통신대역이 부족할 수 있는 상황이 발생해도, 최대검지수 Nmax에 따라, 표지화상의 데이터양을 조정할 수 있다. 이로 인하여, 상술한 제1예의 경우와 동일하게, 표시장치(50)에 표시되어 있는 감시화상 상에서, 감시대상의 위치를 나타내는 표지화상의 사양정보를 포함하는 송신용 데이터를, 컨트롤러(30)로부터 표시장치(50)에 소정의 송신주기 내에 확실하게 송신할 수 있다. 또, 상술한 제1예의 경우와 동일하게, 최대검지수 Nmax가 많아지면, 감시화상에 포함되는 감시대상의 수에 비례하여, 표지화상의 수도 증가하여, 정보과다로 인해 감시화상이 보기 어려워질 가능성이 있지만, 최대검지수 Nmax가 많아질수록, 표지도형의 구성점을 줄여, 표지화상이 간소화되기 때문에, 이와 같은 사태를 억제할 수 있다.
계속해서, 도 12는, 컨트롤러(30)(표지화상표시처리부(303A))에 의한 표지화상표시처리의 제3예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 상술한 제1예(도 10) 등과 동일하게, 예를 들면, 쇼벨의 운전 중, 표시장치(50)에 감시화상이 표시되어 있는 경우에, 소정 시간마다(예를 들면, 감시대상검지부(301A)에 의한 감시대상의 검지주기마다) 반복 실행된다.
본 플로차트의 스텝 S301A~S304A, S315A~S318A는, 상술한 제1예와 동일하기 때문에, 다른 부분을 중심으로 설명한다.
스텝 S306A에서, 표지화상선택부(3032A)는, 표시장치(50)에 현재 표시되어 있는 감시화상(스루화상 혹은 주변화상)에 대응하는 촬상장치(40)의 촬상범위 내에서, 감시대상검지부(301A)에 의하여 현재 검지되고 있는 감시대상의 수(이하, 감시화상 내 검지수라 칭함) Np가 소정수 N31 이하인지 아닌지를 판정한다. 소정수 N31은, 상술한 제1예(도 10)의 소정수 N11과 동일하게, 표시장치(50)에 현재 표시되어 있는 감시화상에 대응하는 촬상장치(40)의 촬상범위 내에서, 감시대상검지부(301A)에 의하여 검지되고 있는 모든 감시대상(즉, 사람)에 대하여, M개의 정점(즉, 후보점생성부(3031A)에 의하여 생성되는 모든 후보점)의 위치정보를 포함하는 송신용 데이터를 소정의 송신주기 내에 확실하게 송신 가능한 감시화상 내 검지수 Np의 상한으로서 설정된다.
스텝 S308A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 M각형을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지도형의 구성점의 수(선택수)를 M(5 이상의 정수)으로 결정한다.
한편, 스텝 S310A에서, 표지화상선택부(3032A)는, 감시화상 내 검지수 Np가 소정수 N31보다 큰 소정수 N32 이하인지 아닌지를 판정한다. 소정수 N32는, 상술한 제1예(도 10)의 소정수 N12와 동일하게, 표시장치(50)에 현재 표시되어 있는 감시화상에 대응하는 촬상장치(40)의 촬상범위 내에서, 감시대상검지부(301A)에 의하여 검지된 모든 감시대상(즉, 사람)에 대하여, 4개의 정점의 위치정보를 포함하는 송신용 데이터를 소정의 송신주기 내에 확실하게 송신 가능한 감시화상 내 검지수 Np의 상한으로서 설정된다. 표지화상선택부(3032A)는, 감시화상 내 검지수 Np가 소정수 N32 이하인 경우, 스텝 S312A로 진행하고, 감시화상 내 검지수 Np가 소정수 N32 이하가 아닌 경우, 스텝 S314A로 진행한다.
스텝 S312A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 사각형을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지화상의 구성점의 수(선택수)를 4로 결정한다.
한편, 스텝 S314A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 선분을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지화상의 구성점의 수(선택수)를 2로 결정한다.
이와 같이, 본예에서는, 상술한 도 10 등의 경우와 동일하게, 표지화상표시처리부(303A)는, 표시장치(50)에 표시되어 있는 감시화상 상의 감시대상의 위치를 나타내는 표지를 2종류 이상의 다른 표시양태로 표시한다. 구체적으로는, 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 감시화상(촬상화상 혹은 주변화상)에 대응하는 촬상장치(40)의 촬상범위 내에서, 감시대상검지부(301A)에 의하여 검지되고 있는 감시대상의 검지수(감시화상 내 검지수 Np)에 따라, 표시장치(50)에 표시되어 있는 감시화상 상에 있어서의 감시대상의 위치를 나타내는 표지화상의 종류를 변경한다. 즉, 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 감시화상에 포함되는 감시대상의 수에 따라, 당해 감시화상 상에 있어서의 감시대상의 위치를 나타내는 표지화상의 종류를 변경한다. 보다 구체적으로는, 표지화상선택부(3032A)는, 감시화상 내 검지수 Np가 많아질수록, 표지도형의 구성점의 수를 줄이고, 송신용 데이터에 포함되는 표지화상의 사양정보로서의 구성점의 위치정보의 데이터양을 줄인다. 즉, 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 감시화상에 포함되는 감시대상의 수가 많아질수록, 표지도형의 구성점의 수를 줄여, 송신용 데이터의 데이터양을 작게 한다. 이로써, 감시화상 내 검지수 Np, 즉, 표시장치(50)에 표시되어 있는 감시화상에 포함되는 감시대상이 비교적 많아져, 컨트롤러(30)로부터 표시장치(50)에 송신해야 할 표지화상의 사양정보로서의 구성점의 위치정보의 데이터양이 많아지는 등, 통신대역이 부족할 수 있는 상황에서도, 감시화상 내 검지수 Np에 따라, 표지화상의 사양정보의 데이터양을 조정할 수 있다. 또, 감시화상 내 검지수 Np가 많아지면, 감시화상에 포함되는 감시대상의 수에 비례하여, 표지화상의 수도 증가하여, 정보과다로 인해 감시화상이 보기 어려워질 가능성이 있지만, 감시화상 내 검지수 Np가 많아질수록, 표지도형의 구성점을 줄여, 표지화상이 간소화되기 때문에, 이와 같은 사태를 억제할 수 있다. 또, 예를 들면, 감시화상으로서 하나의 카메라의 촬상화상이 표시장치(50)에 표시되어 있는 경우, 감시화상 내 검지수 Np는, 복수의 카메라, 즉, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)의 촬상화상에 근거하여, 감시대상검지부(301A)에 의하여 검지되고 있는 감시대상의 전체의 검지수 N보다 적은 경우도 있을 수 있다. 이로 인하여, 이와 같은 상황에서는, 사양정보의 데이터양이 비교적 많은 표지화상, 즉, 감시대상을 보다 강조하기 쉬운 표지화상을 채용하여, 오퍼레이터에게 감시대상을 시인하기 쉽게 할 수 있다. 즉, 본예에서는, 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 감시화상에 대응하는 쇼벨의 주변영역의 대소를 고려하여, 표지화상의 사양정보의 데이터양을 조정할 수 있다.
계속해서, 도 13은, 컨트롤러(30)(표지화상표시처리부(303A))에 의한 표지화상표시처리의 제4예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 상술한 제1예(도 10)와 동일하게, 예를 들면, 쇼벨의 운전 중, 표시장치(50)에 감시화상이 표시되어 있는 경우에, 소정 시간마다(예를 들면, 감시대상검지부(301A)에 의한 감시대상의 검지주기마다) 반복 실행된다.
다만, 본예에서는, 표시장치(50)에는, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R) 중 최대 2대의 카메라의 스루화상이 동시에 표시될 수 있다는 전제로 설명을 행한다.
본 플로차트의 스텝 S401A~S404A, S415A~S418A는, 상술한 제1예와 동일하기 때문에, 다른 부분을 중심으로 설명한다.
스텝 S406A에서, 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 감시화상이 스루화상인지 아닌지를 판정한다. 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 감시화상이 스루화상인 경우, 스텝 S407A로 진행하고, 스루화상이 아닌(즉, 주변화상인) 경우, 스텝 S414A로 진행한다.
스텝 S407A에서, 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 스루화상이, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R) 중 카메라 1대만의 촬상화상인지를 판정한다. 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 스루화상이, 카메라 1대만의 촬상화상인 경우, 스텝 S408A로 진행하고, 그 이외의 경우(즉, 2대의 카메라의 촬상화상인 경우), 스텝 S412A로 진행한다.
스텝 S408A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 M각형을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지도형의 구성점의 수(선택수)를 M(5 이상의 정수)으로 결정한다.
한편, 스텝 S412A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 사각형을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지화상의 구성점의 수(선택수)를 4로 결정한다.
또, 스텝 S414A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 선분을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지화상의 구성점의 수(선택수)를 2로 결정한다.
이와 같이, 본예에서는, 상술한 도 10 등의 경우와 동일하게, 표지화상표시처리부(303A)는, 표시장치(50)에 표시되어 있는 감시화상 상의 감시대상의 위치를 나타내는 표지를 2종류 이상의 다른 표시양태로 표시한다. 구체적으로는, 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 감시화상의 종류(즉, 스루화상인지 주변화상인지)에 따라, 표시장치(50)에 표시되어 있는 감시화상 상에 있어서의 감시대상의 위치를 나타내는 표지화상의 종류를 변경한다. 즉, 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 감시화상에 대응하는 카메라의 대수에 따라, 당해 감시화상 상에 있어서의 감시대상의 위치를 나타내는 표지화상의 종류를 변경한다. 보다 구체적으로는, 표지화상선택부(3032A)는, 표시장치(50)에 주변화상이 표시되어 있는 경우, 스루화상의 경우보다, 표지도형의 구성점의 수를 줄여, 송신용 데이터에 포함되는 표지화상의 사양정보로서의 구성점의 위치정보의 데이터양을 줄인다. 즉, 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 감시화상에 대응하는 카메라의 대수가 많아질수록, 표지도형의 구성점의 수를 줄여, 송신용 데이터의 데이터양을 작게 한다. 감시화상에 대응하는 카메라가 많아져, 감시화상으로서 표시되는 쇼벨의 주위의 영역이 증가하면, 검지될 수 있는 감시대상의 수가 많아지는 경향이 있어, 컨트롤러(30)로부터 표시장치(50)에 송신해야 할 표지화상의 사양정보로서의 구성점의 위치정보의 데이터양이 많아지는 등, 통신대역이 부족할 수 있는 상황에서도, 감시화상에 대응하는 카메라의 대수에 따라, 표지화상의 사양정보의 데이터양을 조정할 수 있다. 한편, 감시화상에 대응하는 카메라의 대수가 적은 경우에는, 구성점이 많아, 감시대상을 강조하기 쉬운 표지화상을 표시시킬 수 있어, 오퍼레이터 등에 의한 감시대상의 파악을 촉구하기 쉬워진다. 또, 감시화상에 대응하는 카메라가 많아지면, 감시화상에 포함되는 감시대상의 수에 비례하여, 표지화상의 수도 증가하여, 정보과다로 인해 감시화상이 보기 어려워질 가능성이 있지만, 감시화상에 대응하는 카메라의 대수가 많아질수록, 표지도형의 구성점을 줄여, 표지화상이 간소화되기 때문에, 이와 같은 사태를 억제할 수 있다.
계속해서, 도 14는, 컨트롤러(30)(표지화상표시처리부(303A))에 의한 표지화상표시처리의 제5예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 상술한 제1예(도 10)와 동일하게, 예를 들면, 쇼벨의 운전 중, 표시장치(50)에 감시화상이 표시되어 있는 경우에, 소정 시간마다(예를 들면, 감시대상검지부(301A)에 의한 감시대상의 검지주기마다) 반복 실행된다.
본 플로차트의 스텝 S501A~S504A, S515A~S518A는, 상술한 제1예와 동일하기 때문에, 다른 부분을 중심으로 설명한다.
이하, 스텝 S506A~S514A의 처리는, 감시대상검지부(301A)에 의하여 검지되고 있는 감시대상마다 행해진다.
스텝 S506A에서, 표지화상선택부(3032A)는, 감시대상검지부(301A)에 의하여 검지되고 있는 감시대상의 쇼벨로부터의 거리 D가 소정 거리 D3(＜D2＜D1) 이하인지 아닌지를 판정한다. 표지화상선택부(3032A)는, 감시대상검지부(301A)에 의하여 검지되고 있는 감시대상의 쇼벨로부터의 거리 D가 소정 거리 D3 이하인 경우, 스텝 S508A로 진행하고, 그 이외의 경우, 스텝 S510A로 진행한다.
스텝 S508A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 M각형을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지도형의 구성점의 수(선택수)를 M(5 이상의 정수)으로 결정한다.
한편, 스텝 S510A에서, 표지화상선택부(3032A)는, 감시대상검지부(301A)에 의하여 검지되고 있는 감시대상의 쇼벨로부터의 거리 D가 소정 거리 D2(＜D1) 이하인지 아닌지를 판정한다. 표지화상선택부(3032A)는, 감시대상검지부(301)에 의하여 검지되고 있는 감시대상의 쇼벨로부터의 거리 D가 소정 거리 D2 이하인 경우, 스텝 S512A로 진행하고, 그 이외의 경우, 스텝 S514A로 진행한다.
스텝 S412A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 사각형을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지화상의 구성점의 수(선택수)를 4로 결정한다.
또, 스텝 S414A에서, 표지화상선택부(3032A)는, 표지도형의 종류로서 선분을 선택한다. 즉, 표지화상선택부(3032A)는, 후보점생성부(3031A)에 의하여 생성된 후보점군 중에서 선택하는 표지화상의 구성점의 수(선택수)를 2로 결정한다.
이와 같이, 본예에서는, 상술한 도 10 등의 경우와 동일하게, 표지화상표시처리부(303A)는, 표시장치(50)에 표시되어 있는 감시화상 상의 감시대상의 위치를 나타내는 표지를 2종류 이상의 다른 표시양태로 표시한다. 구체적으로는, 표지화상선택부(3032A)는, 표시장치(50)에 표시되어 있는 감시화상의 쇼벨로부터의 거리에 따라, 표시장치(50)에 표시되어 있는 감시화상 상에 있어서의 감시대상의 위치를 나타내는 표지화상의 종류를 변경한다. 보다 구체적으로는, 표지화상선택부(3032A)는, 감시대상의 쇼벨로부터의 거리가 멀어질수록, 표지도형의 구성점의 수를 줄여, 송신용 데이터에 포함되는 표지화상의 사양정보로서의 구성점의 위치정보의 데이터양을 줄인다. 한편, 표지화상선택부(3032A)는, 감시화상의 쇼벨로부터의 거리가 가까워질수록, 표지도형의 구성점을 많게 하여, 감시대상을 눈에 띄기 쉽게 한다. 이로써, 안전 확보를 위하여 우선도가 높은 감시대상, 즉, 쇼벨에 근접하는 영역에 있는 감시대상의 오퍼레이터 등에 의한 파악을 촉구할 수 있다. 한편, 상대적으로 우선도가 낮은 감시대상, 즉, 쇼벨로부터 비교적 떨어져 있는 감시대상에 대해서는, 간소한 표지화상에 의한 통지로 함으로써, 상술한 통신대역의 부족 등을 억제할 수 있다.
다만, 도 10~도 14로 나타내는 예시에서는, 표시장치(50)에 표시되는 감시화상에 표시되는 표지화상은, 소정의 조건에 따라, 자동적으로 규정되지만, 오퍼레이터 등이 수동으로 설정 가능한 양태여도 된다(도 15, 도 16 참조).
＜표지화상의 표시설정＞
다음으로, 도 15, 도 16을 참조하여, 오퍼레이터 등에 의한 표지화상의 표시설정에 대하여 설명한다.
먼저, 도 15는, 표시장치(50)에 표시되는, 오퍼레이터 등이 표지화상의 표시설정을 행하기 위한 조작 화면(이하, "표지화상설정화면"이라고 칭함)의 일례(표지화상설정화면(1500))을 나타내는 도이다.
표지화상설정화면(1500)에서는, 미리 규정된 3개의 표시모드(통상모드, 심플모드, 강조우선모드) 중에서 하나의 표시모드를 선택하는 양태로, 오퍼레이터 등이 표지화상의 표시설정을 행할 수 있다.
표지화상설정화면(1500)은, 캐빈(10) 내에 마련되는 버튼, 토글, 조이스틱 등의 하드웨어에 의한 조작부나, 표시장치(50)에 실장되는 터치패널 등에 의하여 조작 가능한 버튼 아이콘(1501~1504)을 포함한다.
버튼 아이콘(1501)은, "통상모드"라는 문자화상이 부기되어 있으며, 오퍼레이터 등은, 당해 버튼 아이콘(1501)을 선택하고, 결정하는 조작을 행함으로써, 표지화상의 표시모드로서 통상모드를 설정할 수 있다.
통상모드는, 상술한 도 10~도 14 중 적어도 하나의 처리에 근거하여, 자동적으로, 감시화상에 표시되는 표지화상이 결정되는 표시모드이다.
버튼 아이콘(1502)은, "심플모드"라는 문자화상이 부기되어 있으며, 오퍼레이터 등은, 당해 버튼 아이콘(1502)을 선택하고, 결정하는 조작을 행함으로써, 표지화상의 표시모드로서 심플모드를 설정할 수 있다.
심플모드는, 감시화상에 표시되는 표지화상이 비교적 간소한 양태(예를 들면, 상술한 사각형이나 선분 등)에 고정되는 표시모드이다. 심플모드에서는, 감시화상에 포함되는 감시대상의 수가 비교적 많은 경우에도, 표지화상 때문에 감시화상이 번잡해져, 오히려 감시대상의 파악이 어려워지는 상황이 억제될 수 있다.
버튼 아이콘(1503)은, "강조우선모드"라는 문자화상이 부기되어 있으며, 오퍼레이터 등은, 당해 버튼 아이콘(1503)을 선택하고, 결정하는 조작을 행함으로써, 표지화상의 표시모드로서 강조우선모드를 설정할 수 있다.
강조우선모드는, 감시화상에 표시되지만 표지화상이 비교적 눈에 띄기 쉬운 양태(예를 들면, 상술한 M각형 등의 비교적 데이터양이 많은 표지도형)에 고정되는 표시모드이다. 강조우선모드에서는, 예를 들면, 오퍼레이터가, 표시장치(50)를 주시할 수 없는 매우 조작난이도가 높은 작업 등을 행하고 있는 상황에서도, 표시장치(50)에 표시되어 있는 감시대상을 인식하기 쉬워진다.
버튼 아이콘(1504)은, "커스터마이즈판"이라는 문자정보가 부기되어 있으며, 오퍼레이터 등은, 당해 버튼 아이콘(1504)을 선택하고, 결정하는 조작을 행함으로써, 보다 상세한 표지화상의 설정이 가능한 조작 화면(후술하는 표지화상설정화면(1600))으로 천이할 수 있다.
이와 같이, 본예에서는, 오퍼레이터 등은, 미리 규정된 심플모드와 강조우선모드 중에서 표시모드를 설정할 수 있다. 이로써, 주변감시 시스템(100)은, 오퍼레이터의 취향에 맞춘 표지화상의 표시를 행할 수 있다.
계속해서, 도 16은, 표시장치(50)에 표시되는 표지화상설정화면의 다른 예(표지화상설정화면(1600))를 나타내는 도이다.
표지화상설정화면(1600)에서는, 오퍼레이터 등이 표지화상의 사양을 구체적으로 설정할 수 있다.
표지화상설정화면(1600)은, 캐빈(10) 내에 마련되는 버튼, 토글, 조이스틱 등의 하드웨어에 의한 조작부나, 표시장치(50)에 실장되는 터치패널 등에 의하여 조작 가능한 버튼 아이콘(1601~1604)을 포함한다.
버튼 아이콘(1601)은, "표지의 일률선택"이라는 문자정보가 부여되어 있으며, 오퍼레이터 등은, 당해 버튼 아이콘(1601)을 선택하고, 결정하는 조작을 행함으로써, 감시화상에 표시시키는 표지화상의 종류를 고정시키기 위한 설정화면으로 천이할 수 있다. 따라서, 오퍼레이터 등은, 천이 후의 설정화면에서, 복수 종류의 표지화상(예를 들면, 상술한 M각형, 사각형, 및 선분) 중에서 자신의 취향의 표지화상을 설정할 수 있다.
버튼 아이콘(1602)은, "감시대상의 종류"라는 문자정보가 부여되어 있다. 오퍼레이터 등은, 당해 버튼 아이콘(1602)을 선택하고, 결정하는 조작을 행함으로써, 감시대상의 종류마다, 감시화상에 표시시키는 표지화상의 종류를 설정하는 설정화면으로 천이할 수 있다. 천이 후의 설정화면에서는, 오퍼레이터 등은, 예를 들면, 감시대상이 사람인지 차량인지나, 감시대상이 이동물인지 정지물인지 등, 미리 규정되는 복수의 종류마다, 복수의 표지화상 중에서 자신의 취향의 표지화상을 설정할 수 있다.
버튼 아이콘(1603)은, "감시대상의 상대위치"라는 문자정보가 부여되어 있다. 오퍼레이터 등은, 당해 버튼 아이콘(1603)을 선택하고, 결정하는 조작을 행함으로써, 감시대상의 상대위치에 따라 표지화상을 설정하기 위한 설정화면으로 천이할 수 있다. 당해 설정화면에서는, 오퍼레이터 등은, 예를 들면, 감시대상검지부(301)에 의한 감시 에어리어를 쇼벨에 가까운 측으로부터 복수의 영역으로 구분했을 때의 영역마다, 복수의 표지화상 중에서 자신의 취향의 표지화상을 설정할 수 있다. 이로써, 오퍼레이터 등은, 쇼벨로부터 비교적 먼 감시대상을 간소한 표지화상(예를 들면, 선분)으로 하고, 비교적 가까운 감시대상을 눈에 띄기 쉬운 표지화상(예를 들면, 사각형이나 M각형 등)으로 하여, 비교적 가까운 감시대상을 파악하기 쉽게 커스터마이즈할 수 있고, 또, 반대로, 비교적 먼 감시대상을 파악하기 쉽게 커스터마이즈할 수도 있다.
이와 같이, 본예에서는, 오퍼레이터 등은, 감시화상에 표시되는 표지화상의 종류를 고정시키는 설정을 하거나, 감시대상의 종류나 쇼벨로부터의 상대위치 등에 따른 표지화상의 종류를 수동으로 설정할 수 있다. 이로써, 주변감시 시스템(100)은, 보다 오퍼레이터의 취향에 맞춘 표지화상을 표시시킬 수 있다.
이상, 본 발명의 일실시형태에 관한 주변감시 시스템의 제1 특징기능(제1 표지표시기능)에 대하여 상세하게 서술했지만, 본 발명은 이러한 특정 실시형태에 한정되는 것은 아니며, 본 발명의 요지의 범위 내에 있어서, 다양한 변형·변경이 가능하다.
예를 들면, 상술한 실시형태에 있어서, 표지화상선택부(3032A)는, 감시대상검지부(301A)에 의하여 검지되는 감시대상의 검지수에 기인하는 통신대역이 부족한 상황을 판단하는 것 대신에, 혹은, 더하여, 다른 통신대역이 부족한 상황을 판단하여, 표시장치(50)에 표시되어 있는 감시화상 상에 있어서의 감시대상의 위치를 나타내는 표지의 표시양태, 즉, 표지화상의 종류를 변경해도 된다. 예를 들면, 표지화상선택부(3032A)는, 컨트롤러(30)와 표시장치(50) 사이의 통신회선의 정적 혹은 동적인 대역폭이나 빈 상황을 판단하여, 표시장치(50)에 표시되어 있는 감시화상 상에 있어서의 감시대상의 검지위치를 나타내는 표지화상의 종류를 변경해도 된다. 또, 표지화상선택부(3032A)는, 감시대상검지부(301A)에 의한 감시대상을 검지하는 검지주기가 동적으로 변화하는 경우나 오퍼레이터 등에 의한 설정으로 변경될 수 있는 경우에, 설정되어 있는 검지주기에 따라, 표시장치(50)에 표시되어 있는 감시화상 상에 있어서의 감시대상의 위치를 나타내는 표지화상의 종류를 변경해도 된다.
또, 상술한 실시형태에 있어서, 표지화상선택부(3032A)에 의하여 선택되는 표지화상의 종류가 오퍼레이터 등에 의하여 수동으로 설정 가능해도 된다. 이 경우, 표지화상의 사양정보의 데이터양이 작아지는 방향(예를 들면, 표지도형의 구성점의 수가 적어지는 방향)의 설정 변경만 가능한 것이 바람직하다.
또, 상술한 실시형태 및 변형예에 있어서, 표지화상의 종류를 변경하는 것에 더하여, 혹은, 대신에, 컨트롤러(30)로부터 표시장치(50)에 송신되는 송신용 데이터에 포함되는 표지화상의 위치정보(예를 들면, 표지도형의 각 구성점의 위치정보)의 분해능을 조정해도 된다. 즉, 인코드부(3034A)(분해능조정부의 일례)는, 예를 들면, 도 10~도 12와 동일하게, 검지수 N, 최대검지수 Nmax, 감시화상 내 검지수 Np 등에 따라, 표지화상의 위치정보의 분해능을 조정하는 양태로, 인코드를 행한다. 구체적으로는, 인코드부(3034A)는, 검지수 N, 최대검지수 Nmax, 감시화상 내 검지수 Np가 많아질수록, 표지화상의 위치정보의 분해능이 낮아지도록(즉, 자리수가 적어지도록) 송신용 데이터를 생성하면 된다. 이로써, 어떠한 이유로, 통신대역이 부족한 상황이 발생해도, 표지화상의 사양정보의 데이터양을 조정하는 경우와 동일하게, 송신용 데이터의 데이터양을 조정할 수 있다.
또, 상술한 실시형태에서는, 표지화상으로서 이차원의 표지도형(사각형이나 M각형 등)이 표시되지만, 예를 들면, 감시화상에 비치고 있는 삼차원 공간 상에서 감시대상을 둘러싸는 가상적인 입체도형(예를 들면, 원기둥이나 사각기둥 등)을 감시화상 상에 표시시켜도 된다. 이로써, 예를 들면, 복수 종류의 감시대상이 설정되어 있는 경우에 있어서, 특히, 주의가 필요하다고 생각되는 종류의 감시대상에 대하여, 당해 입체도형이 설정됨으로써, 오퍼레이터 등은, 다른 종류의 감시대상과 구별하기가 더 쉬워지기 때문에, 오퍼레이터 등의 편리성을 향상시킬 수 있다.
다만, 상술한 본 실시형태에 관한 주변감시 시스템의 제1 특징기능(제1 표지표시기능)에 관하여, 이하를 더 개시한다.
(1)
작업기계의 주변을 촬상하는 촬상장치와,
상기 촬상장치에 의하여 촬상되는, 상기 작업기계의 주변의 화상과, 감시대상의 위치를 나타내는 표지를 표시하는 표시장치를 구비하고,
상기 표시장치는, 상기 표지를 2종류 이상의 다른 표시양태로 표시하는,
작업기계용 주변감시 시스템.
(2)
상기 작업기계의 주변에서 상기 감시대상을 검지하는 감시대상검지부를 더 구비하고,
상기 표시장치는, 상기 감시대상검지부에 의한 상기 감시대상의 검지수에 따라, 상기 표지의 표시양태를 변경하는,
(1)에 기재된 작업기계용 주변감시 시스템.
(3)
상기 표시장치는, 상기 감시대상검지부에 의하여 현재 검지되고 있는 상기 감시대상의 검지수에 따라, 상기 표지의 표시양태를 변경하는,
(2)에 기재된 작업기계용 주변감시 시스템.
(4)
상기 촬상장치는, 서로 촬상범위가 다른 복수의 카메라를 포함하고,
상기 표시장치는, 상기 복수의 카메라 중 일부 또는 전부에 의하여 촬상되는, 상기 작업기계의 주변의 상기 화상을 표시하고, 현재 표시하고 있는 상기 화상에 대응하는 상기 작업기계의 주변영역 내에서, 상기 감시대상검지부에 의하여 현재 검지되고 있는 상기 감시대상의 검지수에 따라, 상기 표지의 표시양태를 변경하는,
(3)에 기재된 작업기계용 주변감시 시스템.
(5)
상기 표시장치는, 상기 감시대상검지부에 의하여 현재 검지되고 있는 상기 감시대상의 검지수가 많아질수록, 상기 표지를 표시하기 위하여 필요한 사양정보의 데이터양이 작아지도록, 상기 표지의 표시양태를 변경하는,
(3) 또는 (4)에 기재된 작업기계용 주변감시 시스템.
(6)
상기 감시대상검지부에 의하여 검지되는 상기 감시대상의 검지수의 상한인 최대검지수가 미리 규정되고,
상기 표시장치는, 상기 최대검지수에 따라, 상기 표지의 표시양태를 변경하는,
(2)에 기재된 작업기계용 주변감시 시스템.
(7)
상기 표시장치는, 상기 최대검지수가 많아질수록, 상기 표지를 표시하기 위하여 필요한 사양정보의 데이터양이 작아지도록, 상기 표지의 표시양태를 변경하는,
(6)에 기재된 작업기계용 주변감시 시스템.
(8)
상기 표시장치는, 상기 화상에 포함되는 상기 감시대상의 수에 따라, 상기 표지의 표시양태를 변경하는,
(1)에 기재된 작업기계용 주변감시 시스템.
(9)
상기 표시장치는, 상기 화상에 포함되는 상기 감시대상의 수가 많아질수록, 상기 표지를 표시하기 위하여 필요한 사양정보의 데이터양이 작아지도록, 상기 표지의 표시양태를 변경하는,
(8)에 기재된 작업기계용 주변감시 시스템.
(10)
상기 표시장치와 별도로 마련되어, 2종류 이상의 표지화상 중에서 상기 표지로서 표시시키는 하나의 표지화상을 선택하는 선택부와, 상기 선택부에 의하여 선택된 상기 하나의 표지화상을 상기 표시장치에 표시시키기 위하여 필요한 사양정보의 데이터를 상기 표시장치에 송신하는 송신부를 포함하는 제어장치를 더 구비하고,
상기 표시장치는, 상기 제어장치로부터 수신하는 상기 하나의 표지화상을 상기 표지로서 표시하는,
(1) 내지 (9) 중 어느 한 항에 기재된 작업기계용 주변감시 시스템.
(11)
상기 데이터의 상기 사양정보에 포함되는 상기 하나의 표지화상의 상기 화상 상에 있어서의 위치정보의 분해능을 조정하는 분해능조정부를 더 구비하고,
상기 송신부는, 상기 분해능조정부에 의하여 상기 위치정보의 분해능이 조정된 상기 데이터를 상기 표시장치에 송신하는,
(10)에 기재된 작업기계용 주변감시 시스템.
[주변감시 시스템의 제2 특징기능]
이어서, 본 실시형태에 관한 주변감시 시스템(100)에 관한 제2 특징기능, 구체적으로는, 표지표시기능의 다른 예(이하, " 제2 표지표시기능"이라고도 칭하는 경우가 있음)에 대하여 설명한다.
다만, 제1 표지표시기능 및 제2 표지표시기능은, 각각이 단체로 실행되어도 되고, 조합되어 실행되어도 된다. 즉, 제1 표지표시기능 및 제2 표지표시기능의 각각에 관한 구성은, 조합되어도 되고, 공용되어도 된다.
＜제2 특징기능에 의한 작용에 관한 개요＞
먼저, 제2 특징기능(제2 표지표시기능)에 의한 작용에 관한 개요를 설명한다.
작업기계의 주변을 카메라로 촬상하고, 그 촬상화상이나 그 촬상화상에 근거하여 생성되는 가공 화상(예를 들면, 시점변환화상) 등의 작업기계의 주변의 모습을 나타내는 감시화상을 조종석 부근의 표시장치에 표시하는 주변감시 시스템이 알려져 있다(예를 들면, 일본 공개특허공보 2012-221437호 등 참조).
그러나, 작업현장의 상황이나 감시대상의 동작상태 등에 따라서는, 표시장치에 표시되는 감시화상에 비치는 감시대상(예를 들면, 사람이나 차량 등의 사람 이외의 장애물 등)이 보기 힘들어져, 오퍼레이터가 감시대상의 존재를 파악하기 어려워질 가능성이 있다.
그래서, 본 실시형태에서는, 제2 특징기능에 의하여, 오퍼레이터 등이 표시장치에 표시되는 감시화상에 비치는 감시대상의 존재를 보다 용이하게 파악하는 것이 가능한 작업기계용 주변감시 시스템을 제공한다.
＜주변감시 시스템의 구성＞
다음으로, 도 17을 참조하여, 제2 특징기능에 관한 주변감시 시스템(100)의 구체적인 구성에 대하여 설명한다.
도 17은, 제2 특징기능에 관한 주변감시 시스템(100)의 구성의 일례를 나타내는 블록도이다.
다만, 도 17에서는, 제2 특징기능에 관한 구성을 중심으로 나타나고, 도 1, 도 2에 나타나는 다른 구성은, 생략된다.
주변감시 시스템(100)은, 쇼벨의 주변의 소정 범위 내로의 소정의 물체(본 실시형태에서는, 차량 및 사람)의 침입을 감시하여, 소정의 물체를 검지한 경우, 오퍼레이터 등으로의 통지를 행한다. 주변감시 시스템(100)은, 컨트롤러(30), 촬상장치(40), 표시장치(50)를 포함한다.
컨트롤러(30)는, 상술한 바와 같이, 주변감시 시스템(100)에 있어서의 각종 제어처리를 행한다. 컨트롤러(30)는, 예를 들면, ROM에 저장되는 각종 프로그램을 CPU 상에서 실행함으로써 실현되는 기능부로서, 감시대상검지부(301B), 감시화상표시처리부(302B), 표지표시처리부(303B)를 포함한다.
촬상장치(40)는, 상술한 바와 같이, 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)를 포함한다. 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)는, 상부선회체(3)의 상부에 있어서, 광축이 경사 하방을 향하도록 장착되어, 쇼벨 근방의 지면으로부터 쇼벨의 원방까지를 포함하는 비교적 넓은 상하방향의 촬상범위(화각)를 갖는다. 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)는, 쇼벨의 운전 중, 소정 주기(예를 들면, 1/30초)마다, 촬상화상을 출력하여, 컨트롤러(30)에 송신한다.
표시장치(50)는, 컨트롤러(30)(구체적으로는, 감시화상표시처리부(302B))에 의한 제어하에, 쇼벨의 주변의 모습을 나타내는 감시화상을 표시한다. 감시화상에는, 촬상장치(40)의 촬상화상(스루화상), 및 컨트롤러(30)(구체적으로는, 감시화상표시처리부(302B))에 의하여 촬상장치(40)의 촬상화상에 근거하여 생성되는 주변화상(예를 들면, 시점변환화상) 등이 포함된다. 상세는, 후술한다(도 18, 도 19 참조).
감시대상검지부(301B)는, 쇼벨 주변의 소정의 감시대상을 검지한다. 감시대상은, 예를 들면, 사람, 작업차량(트럭), 그 외의 장애물 등이다. 이하, 본 실시형태에서는, 감시대상이 사람이라는 전제로 설명을 행한다. 구체적으로는, 감시대상검지부(301B)는, 촬상장치(40)에 의하여 촬상된 촬상화상에 근거하여, 쇼벨의 주변에 있어서의 소정 영역(이하, "감시 에어리어"라고 칭함) 내, 예를 들면, 쇼벨로부터 소정 거리 D1(예를 들면, 5미터) 이내의 감시대상(즉, 사람)을 검지한다. 예를 들면, 감시대상검지부(301B)는, 이미 알려진 각종 화상처리수법이나 기계학습 베이스의 식별기 등을 임의로 적용함으로써, 촬상장치(40)의 촬상화상 내의 사람을 인식함과 함께, 인식한 사람의 실재위치(쇼벨로부터 인식한 사람까지의 거리 D나 쇼벨로부터 본 방향 등)를 특정할 수 있다.
다만, 감시대상검지부(301B)는, 촬상장치(40)의 촬상화상 대신에, 혹은, 더하여, 다른 센서, 예를 들면, 밀리파 레이더, LIDAR, 스테레오 카메라 등의 검출결과(거리화상 등)에 근거하여, 감시대상을 검지해도 된다.
감시화상표시처리부(302B)는, 오퍼레이터에 의한 각종 조작 등에 따라, 표시장치(50)에 촬상장치(40)에 의하여 촬상되는 쇼벨의 주변의 모습을 나타내는 화상(이하, 감시화상이라 칭함)을 표시시킨다.
예를 들면, 감시화상표시처리부(302B)는, 오퍼레이터에 의한 소정 조작에 따라, 촬상장치(40), 즉, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)의 촬상화상(스루화상)을 감시화상으로서 표시장치(50)에 그대로 표시시킨다(도 18 참조). 이 때, 감시화상표시처리부(302B)는, 오퍼레이터에 의한 조작의 내용이나 설정내용 등에 따라, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R) 중 하나의 카메라의 촬상화상을 표시장치(50)에 표시시켜도 되고, 복수(2개 혹은 3개)의 카메라의 촬상화상을 동시에 표시장치(50)에 표시시켜도 된다.
또, 예를 들면, 감시화상표시처리부(302B)는, 오퍼레이터에 의한 소정 조작에 따라, 촬상장치(40)의 촬상화상에 근거한 소정 처리를 함으로써, 주변화상(예를 들면, 시점변환화상)을 생성하여, 표시장치(50)에 표시시킨다(도 19 참조). 구체적으로는, 감시화상표시처리부(302B)는, 주변화상으로서, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)의 촬상화상에 근거하여, 이미 알려진 시점변환처리를 행함으로써, 시점변환화상(가상시점으로부터 본 화상)을 생성하여, 표시장치(50)에 표시시킨다. 이 때, 감시화상표시처리부(302B)는, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R) 중 하나의 카메라의 촬상화상으로부터 주변화상을 생성하여, 표시장치(50)에 표시시켜도 되고, 복수(2개 혹은 3개)의 카메라의 촬상화상으로부터 주변화상을 생성하여, 표시장치(50)에 표시시켜도 된다.
표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 감시대상이 검지된 경우, 표시장치(50)에 표시되어 있는 감시화상 상에, 감시화상에 포함되는 감시대상(즉, 사람)의 위치(구체적으로는, 감시대상검지부(301B)에 의하여 검지된 위치)를 나타내는 표지인 마커를 중첩하여 표시시킨다. 마커는, 감시화상에 포함되는 사람의 위치를 강조하는 것이 가능하면, 임의의 양태이면 되고, 예를 들면, 도형, 색, 모양 등, 혹은 그들의 조합 등에 의하여 구성되면 된다. 예를 들면, 표지표시처리부(303B)는, 후술하는 바와 같이, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)이 이동하고 있는지 아닌지에 따라, 표지의 표시양태를 변화시킨다(도 20~도 23, 도 27, 도 28 참조). 또, 예를 들면, 표지표시처리부(303B)는, 후술하는 바와 같이, 쇼벨과 감시대상검지부(301B)에 의하여 검지된 감시대상의 사이의 충돌에 관한 리스크 퍼텐셜에 따라, 표지의 표시양태를 변화시킨다(도 23~도 28 참조).
＜감시화상 상의 마커의 개요＞
다음으로, 도 18(도 18a, 도 18b), 도 19(도 19a, 도 19b)를 참조하여, 감시화상표시처리부(302B)에 의하여 표시장치(50)에 표시되는 감시화상, 및 표지표시처리부(303B)에 의하여 표시장치(50)의 감시화상 상에 중첩하여 표시되는 마커의 개요에 대하여 설명한다.
도 18a, 도 18b는, 모두, 표시장치(50)에 표시되는 감시화상의 일례(감시화상(MP1))를 나타내는 도이며, 구체적으로는, 표시장치(50)에 감시화상(MP1)로서 표시되는 스루화상을 나타내는 도이다. 도 19a, 도 19b는, 모두, 표시장치(50)에 표시되는 감시화상의 다른 예(감시화상(MP2))를 나타내는 도이며, 구체적으로는, 표시장치(50)에 표시되는 주변화상(EP)(시점변환화상)을 중심으로 하는 감시화상(MP2)을 나타내는 도이다.
도 18a, 도 18b에 나타내는 바와 같이, 표시장치(50)에 있어서의 가로로 긴 직사각형의 화면(예를 들면, 애스펙트비 4:3의 화면)에는, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R) 중 어느 하나의 카메라의 촬상화상이 표시되어 있다.
또, 도 19a, 도 19b에 나타내는 바와 같이, 표시장치(50)에 있어서의 가로로 긴 직사각형의 화면에는, 상술한 바와 같이, 쇼벨화상(CG)과, 쇼벨과 촬상장치(40)의 촬상영역과의 상대위치관계에 맞추어, 쇼벨화상(CG)의 주위에 배치되는 주변화상(EP)을 포함하는 감시화상(MP2)이 표시되어 있다. 이로써, 오퍼레이터는, 주변화상(EP)에 비치고 있는 감시대상(즉, 사람)과 쇼벨의 위치관계를 적절히 파악할 수 있다.
본예에서는, 주변화상(EP)은, 쇼벨에 인접하는 주변영역을 바로 위로부터 본 부감화상(BVP)과, 당해 부감화상(BVP)의 주위에 배치되는, 쇼벨로부터 당해 주변영역의 주위를 수평방향으로 본 수평화상(HVP)을 조합한 시점변환화상이다. 시점변환화상인 주변화상(EP)은, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)의 각각의 촬상화상을 공간모델에 투영한 다음, 그 공간모델에 투영된 투영화상을 다른 이차원 평면에 재투영함으로써 얻어진다. 공간모델은, 가상공간에 있어서의 촬상화상의 투영대상이며, 촬상화상이 위치하는 평면 이외의 평면 혹은 곡면을 포함하는 하나 또는 복수의 평면 혹은 곡면으로 구성된다. 이하, 본 실시형태에 있어서의 주변화상은, 쇼벨에 인접하는 주변영역을 바로 위로부터 본 부감화상과, 그 주변영역의 주위를 수평방향으로 본 수평화상을 조합한 시점변환화상이라는 전제로 설명을 계속한다.
또, 감시화상(MP2)(주변화상(EP))에는, 가이드라인(GL1)이 중첩 표시된다. 가이드라인(GL1)은, 쇼벨로부터의 거리 D가 소정 거리 D2(＜D1)인 위치를 나타낸다. 이로써, 감시화상 내의 주변화상에 감시대상(즉, 사람)이 비치고 있는 경우, 오퍼레이터는, 쇼벨로부터 어느 정도 떨어진 위치에 있는지를 파악하기 쉬워진다.
또, 도 18, 도 19에 나타내는 바와 같이, 표시장치(50)에 표시되는 감시화상(MP1, MP2)에는, 감시대상인 사람(작업자(W1B, W2B))이 포함되어 있다. 또, 감시화상(MP1, MP2) 상의 작업자(W1B, W2B)에는, 감시대상검지부(301B)에 의하여 검지되고 있는 점 및 그 검지위치를 나타내는 표지인 마커(MK1~MK4)가 중첩하여 표시되어 있다. 이로써, 오퍼레이터는, 감시대상검지부(301B)에 의하여 감시대상(즉, 사람)이 검지된 것을 알기 쉬워짐과 함께, 표시장치(50)에 표시되는 감시화상, 구체적으로는, 스루화상 혹은 주변화상(시점변환화상) 상에 있어서, 감시대상검지부(301B)에 의하여 검지된 감시대상(즉, 사람)의 상황 등을 시인하기 쉬워진다.
도 18a, 도 19a에 나타내는 바와 같이, 마커(MK1, MK3)는, 감시화상(MP1, MP2) 상의 작업자(W1B, W2B)를 둘러싸도록 마련되는 박스프레임이다. 표지표시처리부(303B)는, 박스프레임과 같이, 감시화상 상의 점유영역이 크고, 또, 감시화상에 포함되는 감시대상 전체를 강조하는 양태의 마커를 표시시킴으로써, 오퍼레이터는, 감시대상의 존재를 파악하기 쉬워진다. 또, 도 18b, 도 19b에 나타내는 바와 같이, 마커(MK2, MK4)는, 감시화상(MP1, MP2) 상의 작업자(W1B, W2B)의 쇼벨 주변에 있어서의 이동궤적을 나타내는 궤적선이다. 표지표시처리부(303B)는, 궤적선을 마커로서 표시시킴으로써, 감시화상 상의 감시대상의 존재뿐만 아니라, 쇼벨의 주변영역(즉, 후방영역, 좌측방영역, 및 우측방영역)에 있어서의 감시대상의 이동상황을 파악할 수 있다. 이와 같이, 표지표시처리부(303B)는, 박스프레임이나 궤적선 등의 미리 규정되는 종류가 다른 표지를 표시하면 된다. 상세는, 후술한다.
다만, 표지표시처리부(303B)는, 감시대상검지부(301B)로부터 출력되는, 검지된 감시대상의 위치의 이력을, 컨트롤러(30)의 내부 메모리(버퍼) 등에 저장함으로써, 궤적선의 감시화상 상에 있어서의 좌표정보를 생성한다. 또, 표지표시처리부(303B)는, 쇼벨이 이동하거나 선회하거나 한 경우, 쇼벨의 이동상태나 선회상태에 근거하여, 감시화상 상에 있어서의 좌표정보를 보정함으로써, 표시장치(50)의 감시화상 상에 표시시키는 궤적선의 표시위치를 보정한다. 이 경우, 표지표시처리부(303B)는, 쇼벨의 주행상태나 선회상태를 검출하는 센서(도시생략)의 검출신호에 근거하여, 쇼벨의 이동량이나 선회량을 취득하면 된다.
또, 도 18b, 도 19b에 나타내는 바와 같이, 마커(MK2, MK4)는, 실선으로 나타나는, 비교적 새로운(즉, 상대적으로 시간경과가 진행되지 않은) 이동궤적 부분(MK21, MK41)과, 점선으로 나타나는, 비교적 오래된(즉, 상대적으로 시간경과가 진행된) 이동궤적 부분(MK22, MK42)을 포함한다. 표지표시처리부(303B)는, 표시장치(50)의 감시화상 상에 마커로서 궤적선을 표시시키는 경우, 궤적선 중 상대적으로 시간경과가 진행된 부분이, 상대적으로 시간경과가 진행되지 않은 부분보다 보이기 어려워지는 양태, 예를 들면, 점선으로 나타나는 것 외에, 시간경과와 함께, 서서히 흐려져 가는 등의 양태로 표시시키면 된다. 이로써, 표시장치(50)의 감시화상 상에 대응하는 쇼벨의 주변영역에서의 감시대상의 이동궤적이 비교적 길어져도, 감시화상 상에 실제로 표시되는 궤적선 중 시계열적으로 비교적 오래된 부분이 보이기 어려워지기 때문에, 감시화상 상의 궤적선의 표시가 번잡해지는 사태를 억제할 수 있다.
또, 도 19b에 나타내는 바와 같이, 감시화상(MP2), 즉, 주변화상(EP) 상의 작업자(W2B)의 궤적선인 마커(MK4)는, 좌측방 카메라(40L)의 촬상영역에 대응하는 화상 부분에서 후방 카메라(40B)의 촬상영역에 대응하는 화상 부분에 포함되는 작업자(W2B)의 위치까지 연속적으로 묘화되고 있다. 이와 같이, 표지표시처리부(303B)는, 복수의 카메라(후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R))의 촬상영역이 포함되는 감시화상(즉, 복수의 카메라의 스루화상을 포함하는 감시화상, 혹은, 복수의 카메라의 촬상화상에 근거하여 생성되는 주변화상을 포함하는 감시화상) 상에 마커로서 궤적선을 표시시키는 경우, 복수의 카메라의 촬상영역에 대응하는 화상 부분에 걸친 양태로, 궤적선을 연속적으로 표시시키면 된다. 즉, 표지표시처리부(303B)는, 복수의 카메라 중 어떤 카메라의 촬상영역에 대응하는 화상 부분에 감시대상(즉, 사람)이 포함되지 않게 되어도, 감시화상으로부터 감시대상이 없어질 때까지, 궤적선의 표시를 유지시키는 양태이면 된다.
다만, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 감시대상이 현재 검지되고 있는 경우만, 감시화상 상에, 마커로서의 궤적선을 표시시키면 된다. 즉, 예를 들면, 표지표시처리부(303B)는, 감시화상에 포함되어 있던 감시대상이 감시화상 상에 포함되지 않게 된 경우, 궤적선으로서의 마커를 감시화상 상으로부터 소거하면 된다. 또, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있던 감시대상이 검지되지 않게 된 경우여도, 당해 감시대상의 궤적선을 일정시간 남겨 두어도 된다. 이 경우, 표지표시처리부(303B)는, 일정시간이 경과할 때까지, 궤적선을 서서히 보이기 어렵게 하는 양태, 예를 들면, 서서히 궤적선을 흐리게 하거나, 선종을 점선 등의 보이기 어려운 선종으로 변경하는 등의 양태여도 된다.
＜주변감시 장치에 의한 표지표시처리의 상세＞
다음으로, 계속하여, 도 18, 도 19를 참조하면서, 또한, 도 20~도 28을 참조하여, 표지표시처리부(303B)에 의한 표시장치(50)의 감시화상 상에 마커(표지)를 중첩하여 표시시키는 처리(표지표시처리)에 대하여, 구체적으로 설명을 한다.
먼저, 도 20은, 표지표시처리부(303B)에 의한 표지표시처리의 제1예를 설명하는 도이다. 구체적으로는, 표지의 표시양태(즉, 마커의 속성)를 변화시킬 때의 감시대상에 관한 조건과, 마커의 속성 중 어느 것을 변화시킬지의 대응관계의 제1예를 나타내는 도이다.
본예에서는, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)이 이동하고 있는 경우와, 정지하고 있는 경우에서, 마커의 표시양태를 변화시킨다.
구체적으로는, 도 20에 나타내는 바와 같이, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있지 않은, 즉, 정지하고 있는 경우, 표시장치(50)의 감시화상 상에 중첩하여 표시되는 마커는, 그 종류가 상술한 박스프레임이고, 그 색이 적색이며, 점멸한다. 예를 들면, 표지표시처리부(303B)는, 작업자(W1B, W2B)가 정지하고 있는 경우, 도 18a, 도 19a에 나타내는 바와 같이, 감시화상(MP1, MP2) 상에, 마커(MK1, MK3)로서의 박스프레임을 중첩하여 표시시킨다. 이 때, 표지표시처리부(303B)는, 마커(MK1, MK3)로서의 박스프레임을, 적색, 또한, 점멸하는 상태로 표시시킨다.
한편, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우, 표시장치(50)의 감시화상 상에 중첩하여 표시되는 마커는, 그 종류가 상술한 박스프레임이고, 그 색이 적색이며, 점멸하지 않는다. 예를 들면, 표지표시처리부(303B)는, 작업자(W1B, W2B)가 이동하고 있는 경우, 도 18a, 도 19a에 나타내는 바와 같이, 감시화상(MP1, MP2) 상에, 마커(MK1, MK3)로서의 박스프레임을 중첩하여 표시시킨다. 이 때, 표지표시처리부(303B)는, 마커(MK1, MK3)로서의 박스프레임을, 적색, 또한, 점멸하지 않는(즉, 상시점등) 상태로 표시시킨다.
이와 같이, 본예에서는, 표지표시처리부(303B)는, 표시장치(50)의 감시화상 상에, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상의 검지위치를 나타내는 마커로서 박스프레임을 표시시킨다. 이로 인하여, 상술한 바와 같이, 감시화상 상의 점유영역이 크고, 또, 감시화상에 포함되는 감시대상 전체를 강조하는 양태의 마커로서 박스프레임을 표시시킴으로써, 오퍼레이터는, 감시대상의 존재를 파악하기 쉬워진다. 또, 본예에서는, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우와, 정지하고 있는 경우에서, 표시장치(50)에 있어서의 감시화상 상의 마커를 다른 표시양태로 표시시킨다. 즉, 표지표시처리부(303B)는, 감시대상이 이동하고 있는 경우와, 정지하고 있는 경우에서, 마커의 속성의 일부(본예에서는, 점멸의 유무)를 변화시킨다. 이로써, 오퍼레이터는, 감시대상이 이동하고 있는지, 정지하고 있는지를 용이하게 판별할 수 있다. 또, 정지하고 있는 감시대상은, 배경과 동화되기 쉬워, 이동하고 있는 감시대상보다 시인하기 어려운 경우가 있으므로, 이동하고 있는 감시대상의 경우와 다른 표시양태로 마커가 표시되기 때문에, 정지하고 있는 감시대상을 이동하고 있는 감시대상보다 상대적으로 강조시킨다, 즉, 마커를 점멸시켜 강조시킬 수 있다. 이로 인하여, 오퍼레이터는, 표시장치(50)의 감시화상 상의 정지하고 있는 감시대상을 파악하기 쉬워진다.
다만, 마커의 속성에는, 미리 규정되는 종류(예를 들면, 형상의 차이 등), 색, 점멸의 유무 등의 외에, 모양, 크기, 휘도 등, 임의의 항목이 포함될 수 있다.
계속해서, 도 21은, 표지표시처리부(303B)에 의한 표지표시처리의 제2예를 설명하는 도이다. 구체적으로는, 도 21은, 표지의 표시양태(즉, 마커의 속성)를 변화시킬 때의 감시대상에 관한 조건과, 마커의 속성 중 어느 것을 변화시킬지의 대응관계의 제2예를 나타내는 도이다.
본예에서는, 상술한 제1예와 동일하게, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)이 이동하고 있는 경우와, 정지하고 있는 경우에서, 마커의 표시양태를 변화시킨다.
구체적으로는, 도 21에 나타내는 바와 같이, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있지 않은, 즉, 정지하고 있는 경우, 표시장치(50)의 감시화상 상에 중첩하여 표시되는 마커는, 그 종류가 상술한 궤적선이고, 그 색이 적색이며, 점멸한다. 예를 들면, 표지표시처리부(303B)는, 작업자(W1B, W2B)가 정지하고 있는 경우, 도 18b, 도 19b에 나타내는 바와 같이, 감시화상(MP1, MP2) 상에, 마커(MK2, MK4)로서의 궤적선을 중첩하여 표시시킨다. 이 때, 표지표시처리부(303B)는, 마커(MK2, MK4)로서의 궤적선을, 적색, 또한, 점멸하는 상태로 표시시킨다.
한편, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우, 표시장치(50)의 감시화상 상에 중첩하여 표시되는 마커는, 그 종류가 상술한 궤적선이고, 그 색이 적색이며, 점멸하지 않는다. 예를 들면, 표지표시처리부(303B)는, 작업자(W1B, W2B)가 이동하고 있는 경우, 도 18b, 도 19b에 나타내는 바와 같이, 감시화상(MP1, MP2) 상에, 마커(MK2, MK4)로서의 궤적선을 중첩하여 표시시킨다. 이 때, 표지표시처리부(303B)는, 마커(MK2, MK4)로서의 궤적선을, 적색, 또한, 점멸하지 않는(즉, 상시점등) 상태로 표시시킨다.
이와 같이, 본예에서는, 표지표시처리부(303B)는, 표시장치(50)의 감시화상 상에, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상의 검지위치를 나타내는 마커로서 궤적선을 표시시킨다. 이로써, 상술한 바와 같이, 감시화상 상의 감시대상의 존재뿐만 아니라, 쇼벨의 주변영역에 있어서의 감시대상의 이동상황을 파악할 수 있다. 또, 표지표시처리부(303B)는, 상술한 제1예와 동일하게, 감시대상이 이동하고 있는 경우와, 이로써, 상술한 제1예와 동일하게, 오퍼레이터는, 표시장치(50)의 감시화상 상의 정지하고 있는 감시대상을 파악하기 쉬워진다.
계속해서, 도 22는, 표지표시처리부(303B)에 의한 표지표시처리의 제3예를 설명하는 도이다. 구체적으로는, 도 22는, 표지의 표시양태(즉, 마커의 속성)를 변화시킬 때의 감시대상에 관한 조건과, 마커의 속성 중 어느 것을 변화시킬지의 대응관계의 제3예를 나타내는 도이다.
본예에서는, 상술한 제1예 등과 동일하게, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)이 이동하고 있는 경우와, 정지하고 있는 경우에서, 마커의 표시양태를 변화시킨다.
구체적으로는, 도 22에 나타내는 바와 같이, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있지 않은, 즉, 정지하고 있는 경우, 표시장치(50)의 감시화상 상에 중첩하여 표시되는 마커는, 그 종류가 상술한 박스프레임이고, 그 색이 적색이며, 점멸한다. 예를 들면, 표지표시처리부(303B)는, 작업자(W1B, W2B)가 정지하고 있는 경우, 도 18a, 도 19a에 나타내는 바와 같이, 감시화상(MP1, MP2) 상에, 마커(MK1, MK3)로서의 박스프레임을 중첩하여 표시시킨다. 이 때, 표지표시처리부(303B)는, 박스프레임으로서의 마커(MK1, MK3)를, 적색, 또한, 점멸하는 상태로 표시시킨다.
한편, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우, 표시장치(50)의 감시화상 상에 중첩하여 표시되는 마커는, 그 종류가 상술한 궤적선이고, 그 색이 적색이며, 점멸하지 않는다. 예를 들면, 표지표시처리부(303B)는, 작업자(W1B, W2B)가 이동하고 있는 경우, 도 18b, 도 19b에 나타내는 바와 같이, 감시화상(MP1, MP2) 상에, 마커(MK2, MK4)로서의 궤적선을 중첩하여 표시시킨다. 이 때, 표지표시처리부(303B)는, 궤적선으로서의 마커(MK2, MK4)를, 적색, 또한, 점멸하지 않는(즉, 상시점등) 상태로 표시시킨다.
이와 같이, 본예에서는, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우와, 정지하고 있는 경우에서, 표시장치(50)에 있어서의 감시화상 상의 마커를 다른 표시양태로 표시시킨다. 즉, 표지표시처리부(303B)는, 감시대상이 이동하고 있는 경우와, 정지하고 있는 경우에서, 마커의 속성의 일부, 즉, 마커의 종류(박스프레임 혹은 궤적선), 및 점멸의 유무를 변화시킨다. 이로써, 제1예 등과 동일하게, 오퍼레이터는, 감시대상이 이동하고 있는지, 정지하고 있는지를 용이하게 판별할 수 있음과 함께에, 표시장치(50)의 감시화상 상의 정지하고 있는 감시대상을 파악하기 쉬워진다. 특히, 본예에서는, 마커의 복수(3개)의 속성 중, 2개의 속성을 변화시키기 때문에, 이 점에 있어서, 표시장치(50)의 감시화상 상의 정지하고 있는 감시대상을 더 파악하기 쉬워진다. 또, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우에, 표시장치(50)의 감시화상 상에 마커로서 궤적선을 표시시키기 때문에, 오퍼레이터는, 직감적으로, 궤적선과 박스프레임의 차이에 의하여 감시대상이 이동하고 있는지 정지하고 있는지를 이해할 수 있어, 감시대상이 이동하고 있는지, 정지하고 있는지를 더 판별하기 쉬워진다.
다만, 상술한 제1예(도 20)~제3예(도 22)에 있어서, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우와, 정지하고 있는 경우에서, 미리 규정되는 마커의 속성(본예의 경우, 미리 규정되는 종류, 색, 점멸의 유무의 3개)의 모두를 변화시켜도 된다.
계속해서, 도 23은, 표지표시처리부(303B)에 의한 표지표시처리의 제4예를 설명하는 도이다. 구체적으로는, 도 23은, 표지의 표시양태(즉, 마커의 속성)를 변화시킬 때의 감시대상에 관한 조건과, 마커의 속성 중 어느 것을 변화시킬지의 대응관계의 제4예를 나타내는 도이다.
본예에서는, 상술한 제1예 등과 동일하게, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)이 이동하고 있는 경우와, 정지하고 있는 경우에서, 마커의 표시양태를 변화시킨다.
구체적으로는, 도 23에 나타내는 바와 같이, 표시장치(50)의 감시화상 상에 표시되는 마커는, 상술한 제3예와 동일하게, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우, 점멸하지 않는(즉, 상시점등) 궤적선이며, 정지하고 있는 경우, 점멸하는 박스프레임이다. 즉, 표지표시처리부(303B)는, 감시대상이 이동하고 있는 경우와 이동하고 있지 않은 경우에서, 마커의 복수의 속성 중 2개의 속성(마커의 종류, 점멸의 유무)을 변화시킨다.
또, 본예에서는, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)과 쇼벨의 사이의 충돌에 관한 리스크 퍼텐셜에 따라, 표지의 표시양태, 즉, 마커의 복수의 속성 중 하나의 속성(색)을 변화시킨다. 본예에서는, 리스크 퍼텐셜의 지표로서, 쇼벨과 감시대상의 위치관계, 구체적으로는, 감시대상과 쇼벨과의 거리를 채용한다.
구체적으로는, 도 23에 나타내는 바와 같이, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상의 리스크 퍼텐셜이 비교적 낮은, 즉, 쇼벨과의 거리가 비교적 먼 경우, 표시장치(50)의 감시화상 상에 표시되는 마커의 색은, 청색이다. 한편, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상의 리스크 퍼텐셜이 비교적 높은, 즉, 쇼벨과의 거리가 비교적 가까운 경우, 표시장치(50)의 감시화상 상에 표시되는 마커의 색은, 적색이다. 즉, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상과 쇼벨과의 거리가 비교적 가까운(예를 들면, 소정 임곗값 이하인) 경우, 표시장치(50)의 감시화상 상에 적색의 마커를 표시시키고, 감시대상과 쇼벨과의 거리가 비교적 먼(예를 들면, 소정 임곗값보다 큰) 경우, 표시장치(50)의 감시화상 상에 청색의 마커를 표시시킨다.
예를 들면, 도 24(도 24a, 도 24b), 도 25(도 25a, 도 25b)는, 표지표시처리부(303B)에 의한 표지표시처리에 의하여 표시장치(50)의 스루화상에 중첩하여 표시되는 마커의 표시양태의 일례를 나타내는 도이다. 구체적으로는, 도 24는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 정지하고 있는 경우에, 표지표시처리부(303B)의 표지표시처리에 의하여 표시장치(50)의 스루화상에 중첩하여 표시되는 마커의 표시양태의 일례를 나타내는 도이다. 또, 도 25는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우에, 표지표시처리부(303B)의 본예에 관한 표지표시처리에 의하여 표시장치(50)의 스루화상에 중첩하여 표시되는 마커의 표시양태의 일례를 나타내는 도이다.
본예에서는, 도 24a에 나타내는 바와 같이, 정지하고 있는 작업자(W5B)가 쇼벨로부터 비교적 먼 위치에 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 스루화상 상에, 마커(MK5)로서, 청색의 점멸하는 박스프레임을 중첩하여 표시시킨다. 한편, 도 24b에 나타내는 바와 같이, 정지하고 있는 작업자(W6B)가 쇼벨로부터 비교적 가까운 위치에 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 스루화상 상에, 마커(MK6)로서, 적색의 점멸하는 박스프레임을 표시시킨다.
또, 본예에서는, 도 25a에 나타내는 바와 같이, 이동하고 있는 작업자(W7B)가 쇼벨로부터 비교적 먼 위치에 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 스루화상 상에, 마커(MK7)로서, 청색의 궤적선(점멸 없음)을 중첩하여 표시시킨다. 한편, 도 25b에 나타내는 바와 같이, 이동하고 있는 작업자(W8B)가 쇼벨로부터 비교적 가까운 위치에 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 스루화상 상에, 마커(MK8)로서, 적색의 궤적선(점멸 없음)을 중첩하여 표시시킨다.
또, 예를 들면, 도 26(도 26a, 도 26b)은, 표지표시처리부(303B)에 의한 표지표시처리에 의하여 표시장치(50)의 주변화상에 중첩하여 표시되는 마커의 일례를 나타내는 도이다. 구체적으로는, 도 26a는 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 정지하고 있는 경우에, 표지표시처리부(303B)의 표지표시처리에 의하여 표시장치(50)의 주변화상에 중첩하여 표시되는 마커의 표시양태의 일례를 나타내는 도이다. 또, 도 26b는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우에, 표지표시처리부(303B)의 표지표시처리에 의하여 표시장치(50)의 주변화상에 중첩하여 표시되는 마커의 표시양태의 일례를 나타내는 도이다.
본예에서는, 도 26a에 나타내는 바와 같이, 정지하고 있는 작업자(W9B)가 쇼벨로부터 비교적 먼 위치에 있는, 예를 들면, 가이드라인(GL1)보다 외측에 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 주변화상(EP) 상에, 마커(MK9)로서, 청색의 점멸하는 박스프레임을 표시시킨다. 한편, 정지하고 있는 작업자(W10B)가 쇼벨로부터 비교적 가까운 위치에 있는, 예를 들면, 가이드라인(GL1) 이내에 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 주변화상(EP) 상에, 마커(MK10)로서, 적색의 점멸하는 박스프레임을 표시시킨다.
또, 본예에서는, 도 26b에 나타내는 바와 같이, 이동하고 있는 작업자(W11B)가 쇼벨로부터 비교적 먼 위치에 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 주변화상(EP) 상에, 마커(MK11)로서, 청색의 궤적선(점멸 없음)을 표시시킨다. 또, 이동하고 있는 작업자(W12B)가 쇼벨로부터 비교적 가까운 위치에 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 주변화상(EP) 상에, 마커(MK12)로서, 적색의 궤적선(점멸 없음)을 표시시킨다.
이와 같이, 본예에서는, 표지표시처리부(303B)는, 상술한 제1예(도 20) 등과 동일하게, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)이 이동하고 있는 경우와 정지하고 있는 경우에서, 마커의 표시양태를 변화시킨다. 이로써, 상술한 제1예 등과 동일한 작용·효과를 얻을 수 있다. 또, 본예에서는, 아울러, 표지표시처리부(303B)는, 쇼벨과 감시대상의 위치관계, 즉, 감시대상과 쇼벨과의 거리에 따라, 감시대상과 쇼벨과의 거리가 비교적 가까운 경우와 비교적 먼 경우에서, 마커의 표시양태, 즉, 마커의 색을 변화시킨다. 이로 인하여, 오퍼레이터는, 마커의 표시양태의 변화에 근거하여, 감시대상과 쇼벨의 충돌에 관한 리스크 퍼텐셜의 고저, 즉, 감시대상이 쇼벨로부터 비교적 먼지 가까운지를 파악할 수 있다. 특히, 본예에서는, 쇼벨과 감시대상과의 거리가 비교적 가까운, 즉, 리스크 퍼텐셜이 높은 경우에, 리스크를 상기시키는 "적색"의 마커가 표시되기 때문에, 이 점에 있어서, 리스크 퍼텐셜을 더 파악하기 쉬워진다.
다만, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있고, 또한, 감시대상과 쇼벨과의 거리가 비교적 가까운 경우만, 마커로서 궤적선을 표시시키고, 그 이외의 경우, 즉, 감시대상이 이동하고 있지 않거나, 혹은, 감시대상과 쇼벨과의 거리가 비교적 먼 경우, 마커로서 박스프레임을 표시시켜도 된다. 비교적 먼 감시대상의 이동궤적은, 필요성이 비교적 낮은 경우도 있을 수 있기 때문이다.
계속해서, 도 27은, 표지표시처리부(303B)에 의한 표지표시처리의 제5예를 설명하는 도이다. 구체적으로는, 도 27은, 표지의 표시양태(즉, 마커의 속성)을 변화시킬 때의 감시대상에 관한 조건과, 마커의 속성 중 어느 것을 변화시킬지의 대응관계의 제5예를 나타내는 도이다.
본예에서는, 상술한 제1예 등과 동일하게, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)이 이동하고 있는 경우와, 정지하고 있는 경우에서, 마커의 표시양태를 변화시킨다.
구체적으로는, 도 27에 나타내는 바와 같이, 표시장치(50)의 감시화상 상에 표시되는 마커는, 상술한 제3예 등과 동일하게, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우, 점멸하지 않는(즉, 상시점등) 궤적선이며, 정지하고 있는 경우, 점멸하는 박스프레임이다. 즉, 표지표시처리부(303B)는, 감시대상이 이동하고 있는 경우와 이동하고 있지 않은 경우에서, 마커의 복수의 속성 중 2개의 속성(마커의 종류, 점멸의 유무)을 변화시킨다.
또, 본예에서는, 표지표시처리부(303B)는, 상술한 제4예와 동일하게, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)과 쇼벨의 사이의 충돌에 관한 리스크 퍼텐셜에 따라, 마커의 표시양태, 즉, 마커의 복수의 속성 중 하나의 속성(색)을 변화시킨다. 본예에서는, 리스크 퍼텐셜의 지표로서, 쇼벨과 감시대상의 위치관계, 구체적으로는, 감시대상과 쇼벨과의 거리의 시계열적인 변화의 상황, 즉, 경시변화의 상황을 채용한다.
구체적으로는, 도 27에 나타내는 바와 같이, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상의 리스크 퍼텐셜이 비교적 낮은, 즉, 시계열적으로 감시대상이 쇼벨에 가까워지지 않은(즉, 쇼벨과 감시대상과의 거리에 변화가 없거나, 혹은, 감시대상이 쇼벨로부터 멀어지고 있는) 경우, 표시장치(50)의 감시화상 상에 표시되는 마커의 색은, 청색이다. 한편, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상의 리스크 퍼텐셜이 비교적 높은, 즉, 시계열적으로 감시대상이 쇼벨에 가까워지고 있는 경우, 표시장치(50)의 감시화상 상에 표시되는 마커의 색은, 적색이다. 즉, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상과 쇼벨과의 거리의 경시변화가 감시대상의 쇼벨로의 접근을 나타내고 있는 경우, 표시장치(50)의 감시화상 상에 적색의 마커를 표시시키고, 감시대상과 쇼벨과의 거리의 경시변화가 쇼벨로의 접근을 나타내고 있지 않은 경우, 표시장치(50)의 감시화상 상에 청색의 마커를 표시시킨다.
다만, 표지표시처리부(303B)는, 과거의 일정시간에 있어서의 쇼벨과 감시대상과의 거리의 변화를 모니터링함으로써, 감시대상이 쇼벨에 가까워지고 있는지 아닌지를 판정하면 된다.
예를 들면, 본예에서는, 상술한 도 24a에 나타내는 바와 같이, 정지하고 있는 작업자(W5B)가 쇼벨로부터 비교적 먼 위치에 있는 경우에서도, 작업자(W5B)가 시계열적으로 쇼벨에 가까워지고 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 스루화상 상에, 마커(MK5)로서, 적색의 점멸하는 박스프레임을 표시시킨다. 한편, 상술한 도 24b에 나타내는 바와 같이, 정지하고 있는 작업자(W6B)가 쇼벨로부터 비교적 가까운 위치에 있는 경우에서도, 작업자(W6B)가 시계열적으로 쇼벨로부터 멀어지고 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 스루화상 상에, 마커(MK6)로서, 청색의 점멸하는 박스프레임을 표시시킨다.
또, 본예에서는, 예를 들면, 상술한 도 25a에 나타내는 바와 같이, 이동하고 있는 작업자(W7B)는, 쇼벨로부터 비교적 먼 위치에 있지만, 쇼벨에 가까워지고 있기 때문에, 표지표시처리부(303B)는, 표시장치(50)의 스루화상 상에, 마커(MK7)로서, 적색의 궤적선(점멸 없음)을 표시시킨다. 한편, 상술한 도 25b에 나타내는 바와 같이, 이동하고 있는 작업자(W8B)는, 쇼벨로부터 비교적 가까운 위치에 있지만, 쇼벨로부터 멀어지고 있기 때문에, 표지표시처리부(303B)는, 표시장치(50)의 스루화상 상에, 마커(MK8)로서, 청색의 궤적선(점멸 없음)을 표시시킨다.
또, 본예에서는, 예를 들면, 상술한 도 26a에 나타내는 바와 같이, 정지하고 있는 작업자(W9B)가 쇼벨로부터 비교적 먼 위치에 있는, 예를 들면, 가이드라인(GL1)보다 외측에 있는 경우에서도, 작업자(W9B)가 시계열적으로 쇼벨에 가까워지고 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 주변화상(EP) 상에, 마커(MK9)로서, 적색의 점멸하는 박스프레임을 표시시킨다. 한편, 정지하고 있는 작업자(W10B)가 쇼벨로부터 비교적 가까운 위치에 있는, 예를 들면, 가이드라인(GL1) 이내에 있는 경우에서도, 작업자(W10B)가 시계열적으로 쇼벨로부터 멀어지고 있는 경우, 표지표시처리부(303B)는, 표시장치(50)의 주변화상(EP) 상에, 마커(MK10)로서, 청색의 점멸하는 박스프레임을 표시시킨다.
또, 본예에서는, 도 26b에 나타내는 바와 같이, 이동하고 있는 작업자(W11B)는, 쇼벨로부터 비교적 먼 위치에 있지만, 쇼벨에 가까워지고 있기 때문에, 표지표시처리부(303B)는, 표시장치(50)의 주변화상(EP) 상에, 마커(MK11)로서 적색의 궤적선(점멸 없음)을 표시시킨다. 또, 이동하고 있는 작업자(W12B)는, 쇼벨로부터 비교적 가까운 위치에 있지만, 쇼벨에 가까워진 후, 쇼벨로부터 멀어지고 있기 때문에, 표지표시처리부(303B)는, 표시장치(50)의 주변화상(EP) 상에, 마커(MK12)로서, 청색의 궤적선(점멸 없음)을 표시시킨다.
다만, 도 26b에 나타내는 바와 같이, 주변화상(EP)에 포함되는 작업자(W12B)는, 쇼벨에 가까워진 후, 쇼벨로부터 멀어지고 있기 때문에, 표지표시처리부(303B)는, 작업자(W12B)의 마커(MK12)(궤적선) 중 쇼벨에 가까워지고 있는 궤적 부분을 적색으로 함과 함께, 쇼벨로부터 멀어지는 궤적 부분을 청색으로 해도 된다. 이하, 후술하는 제6예(도 28)에 대해서도 동일하다.
이와 같이, 본예에서는, 표지표시처리부(303B)는, 상술한 제1예(도 20) 등과 동일하게, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)이 이동하고 있는 경우와 정지하고 있는 경우에서, 마커의 표시양태를 변화시킨다. 이로써, 상술한 제1예 등과 동일한 작용·효과를 얻을 수 있다. 또, 본예에서는, 아울러, 표지표시처리부(303B)는, 쇼벨과 감시대상의 위치관계, 즉, 감시대상과 쇼벨과의 거리의 경시변화의 상황에 따라, 감시대상이 쇼벨에 가까워지고 있는 경우와 그 이외의 경우(쇼벨로부터 멀어지고 있는 경우, 혹은, 쇼벨과의 거리에 변화가 없는 경우)에서, 마커의 표시양태, 즉, 마커의 색을 변화시킨다. 이로 인하여, 오퍼레이터는, 상술한 제4예와 동일하게, 마커의 표시양태의 변화에 근거하여, 감시대상과 쇼벨의 충돌에 관한 리스크 퍼텐셜의 고저, 즉, 감시대상이 쇼벨에 가까워지고 있는지 아닌지를 파악할 수 있다. 특히, 본예에서는, 제4예와 동일하게, 감시대상이 쇼벨에 가까워지고 있는, 즉, 리스크 퍼텐셜이 높은 경우에, 리스크를 상기시키는 "적색"의 마커가 표시되기 때문에, 이 점에 있어서, 리스크 퍼텐셜을 더 파악하기 쉬워진다.
계속해서, 도 28은, 표지표시처리부(303B)에 의한 표지표시처리의 제6예를 설명하는 도이다. 구체적으로는, 도 28은, 표지의 표시양태(즉, 마커의 속성)를 변화시킬 때의 감시대상에 관한 조건과, 마커의 속성 중 어느 것을 변화시킬지의 대응관계의 제6예를 나타내는 도이다.
본예에서는, 표지표시처리부(303B)는, 상술한 제1예 등과 동일하게, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)이 이동하고 있는 경우와, 정지하고 있는 경우에서, 마커의 표시양태를 변화시킨다.
구체적으로는, 도 28에 나타내는 바와 같이, 표시장치(50)의 감시화상 상에 표시되는 마커는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 이동하고 있는 경우, 궤적선이며, 정지하고 있는 경우, 박스프레임이다. 즉, 표지표시처리부(303B)는, 감시대상이 이동하고 있는 경우와 이동하고 있지 않은 경우에서, 마커의 속성 중 하나의 속성(마커의 종류)을 변화시킨다.
또, 본예에서는, 표지표시처리부(303B)는, 상술한 제4예 등과 동일하게, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)과 쇼벨의 사이의 충돌에 관한 리스크 퍼텐셜에 따라, 마커의 표시양태, 즉, 마커의 속성을 변화시킨다. 본예에서는, 리스크 퍼텐셜의 지표로서, 상술한 쇼벨과 감시대상의 위치관계, 구체적으로는, 상술한 제4예에 있어서의 감시대상과 쇼벨과의 거리, 및 상술한 제5예에 있어서의 감시대상과 쇼벨과의 거리의 시계열적인 변화의 상황, 즉, 경시변화의 상황의 쌍방을 채용한다.
구체적으로는, 도 28에 나타내는 바와 같이, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상과 쇼벨과의 거리가 비교적 먼 경우, 표시장치(50)의 감시화상 상에 표시되는 마커는, 점멸 없음 상태, 즉, 상시점등 상태이다. 한편, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상의 리스크 퍼텐셜이 비교적 높은, 즉, 쇼벨과의 거리가 비교적 가까운 경우, 표시장치(50)의 감시화상 상에 표시되는 마커는, 점멸상태이다. 즉, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상과 쇼벨과의 거리가 비교적 가까운 경우와 비교적 먼 경우에서, 표시장치(50)의 감시화상 상에 표시시키는 마커의 복수의 속성 중 하나의 속성(점멸의 유무)을 변화시킨다.
또, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 시계열적으로 쇼벨에 가까워지지 않는 경우, 표시장치(50)의 감시화상 상에 표시되는 마커의 색은, 청색이다. 한편, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상이 시계열적으로 쇼벨에 가까워지고 있는 경우, 표시장치(50)의 감시화상 상에 표시되는 마커의 색은, 적색이다. 즉, 표지표시처리부(303B)는, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상과 쇼벨과의 거리의 경시변화가 감시대상의 쇼벨로의 접근을 나타내고 있는 경우와 쇼벨로의 접근을 나타내지 않은 경우에서, 표시장치(50)의 감시화상 상에 표시시키는 마커의 복수의 속성 중 하나의 속성(색)을 변화시킨다.
예를 들면, 상술한 도 24a에 나타내는 바와 같이, 정지하고 있는 작업자(W5B)가 쇼벨로부터 비교적 먼 위치에 있기 때문에, 표지표시처리부(303B)는, 작업자(W5B)가 쇼벨에 가까워지고 있는 경우, 표시장치(50)의 스루화상 상에, 마커(MK5)로서, 점멸하지 않는, 즉, 상시점등의 적색의 박스프레임을 표시시키고, 작업자(W5B)가 쇼벨에 가까워지지 않는 경우, 표시장치(50)의 스루화상 상에, 마커(MK5)로서, 점멸하지 않는, 즉, 상시점등의 청색의 박스프레임을 표시시킨다. 한편, 상술한 도 24b에 나타내는 바와 같이, 정지하고 있는 작업자(W6B)는, 쇼벨로부터 비교적 가까운 위치에 있기 때문에, 표지표시처리부(303B)는, 작업자(W6B)가 쇼벨에 가까워지고 있는 경우, 표시장치(50)의 스루화상 상에, 마커(MK6)로서, 점멸하는 적색의 박스프레임을 표시시키고, 작업자(W5B)가 쇼벨에 가까워지지 않을 때에, 표시장치(50)의 스루화상 상에, 마커(MK6)로서, 점멸하는 청색의 박스프레임을 표시시킨다.
또, 예를 들면, 상술한 도 25a에 나타내는 바와 같이, 이동하고 있는 작업자(W7B)는, 쇼벨로부터 비교적 먼 위치에서, 쇼벨에 가까워지고 있기 때문에, 표지표시처리부(303B)는, 표시장치(50)의 스루화상 상에, 마커(MK7)로서, 점멸하지 않는, 즉, 상시점등의 적색의 궤적선을 표시시킨다. 한편, 상술한 도 25b에 나타내는 바와 같이, 이동하고 있는 작업자(W8B)는, 쇼벨에 비교적 가까운 위치에서, 쇼벨로부터 멀어지고 있기 때문에, 표지표시처리부(303B)는, 표시장치(50)의 스루화상 상에, 마커(MK8)로서, 점멸하는 청색의 궤적선을 표시시킨다.
또, 예를 들면, 상술한 도 26a에 나타내는 바와 같이, 정지하고 있는 작업자(W9B)는, 쇼벨로부터 비교적 먼 위치에 있기 때문에, 표지표시처리부(303B)는, 작업자(W9B)가 쇼벨에 가까워지고 있는 경우, 표시장치(50)의 주변화상(EP)에, 마커(MK9)로서, 점멸하지 않는, 즉, 상시점등의 적색의 박스프레임을 표시시키고, 작업자(W9B)가 쇼벨에 가까워지지 않는 경우, 표시장치(50)의 주변화상(EP)에, 마커(MK9)로서, 점멸하지 않는, 즉, 상시점등의 청색의 박스프레임을 표시시킨다. 한편, 정지하고 있는 작업자(W10B)는, 쇼벨에 비교적 가까운 위치에 있기 때문에, 표지표시처리부(303B)는, 작업자(W10B)가 쇼벨에 가까워지고 있는 경우, 표시장치(50)의 주변화상(EP) 상에, 마커(MK10)로서, 점멸하는 적색의 박스프레임을 표시시키고, 작업자(W10B)가 쇼벨에 가까워지지 않는 경우, 표시장치(50)의 주변화상(EP) 상에, 마커(MK10)로서, 점멸하는 청색의 박스프레임을 표시시킨다.
또, 예를 들면, 상술한 도 26b에 나타내는 바와 같이, 이동하고 있는 작업자(W11B)는, 쇼벨로부터 비교적 먼 위치에서, 쇼벨에 가까워지고 있기 때문에, 표지표시처리부(303B)는, 표시장치(50)의 주변화상(EP) 상에, 마커(MK11)로서, 점멸하지 않는, 즉, 상시점등의 적색의 궤적선을 표시시킨다. 한편, 이동하고 있는 작업자(W12B)는, 쇼벨에 비교적 가까운 위치에서, 쇼벨로부터 멀어지고 있기 때문에, 표지표시처리부(303B)는, 표시장치(50)의 스루화상 상에, 마커(MK12)로서, 점멸하는 청색의 궤적선을 표시시킨다.
이와 같이, 본예에서는, 표지표시처리부(303B)는, 상술한 제1예(도 20) 등과 동일하게, 감시대상검지부(301B)에 의하여 검지되고 있는 감시대상(즉, 사람)이 이동하고 있는 경우와 정지하고 있는 경우에서, 마커의 표시양태를 변화시킨다. 이로써, 상술한 제1예 등과 동일한 작용·효과를 얻을 수 있다. 또, 본예에서는, 아울러, 표지표시처리부(303B)는, 쇼벨과 감시대상의 위치관계에 따라, 마커의 표시양태, 즉, 마커의 속성을 변화시킨다. 이로 인하여, 오퍼레이터는, 상술한 제4예(도 23) 등과 동일하게, 마커의 표시양태의 변화에 근거하여, 감시대상과 쇼벨의 충돌에 관한 리스크 퍼텐셜의 고저를 파악할 수 있다. 또, 본예에서는, 리스크 퍼텐셜에 관한 지표로서, 감시대상과 쇼벨과의 거리(제1 지표)와, 당해 거리의 경시변화의 상황(제2 지표)의 쌍방을 채용함과 함께, 제1 지표 및 제2 지표의 각각에 근거하는 리스크 퍼텐셜을, 마커의 다른 속성(점멸의 유무, 및 색)의 변화로 표현하고 있다. 이로 인하여, 오퍼레이터는, 2개의 지표에 근거한 리스크 퍼텐셜의 고저를 파악할 수 있다.
다만, 도 20~도 28에 나타내는 예시에서는, 감시대상에 관한 조건마다의 마커의 속성은 미리 규정되어 있지만, 오퍼레이터 등에 의하여 감시대상에 관한 조건마다의 마커의 속성의 설정이 가능한 구성이어도 된다(도 29 참조).
＜마커 속성의 설정＞
다음으로, 도 29를 참조하여, 오퍼레이터 등에 의한 마커의 표시설정(마커 속성의 설정)에 대하여 설명한다.
도 29는, 표시장치(50)에 표시되는, 오퍼레이터 등이 마커의 표시설정을 행하기 위한 조작 화면(이하, ("마커설정화면"이라고 칭함)의 일례(마커설정화면(2900))를 나타내는 도이다.
마커설정화면(2900)에서는, 오퍼레이터 등이 마커의 속성을 구체적으로 설정할 수 있다.
마커설정화면(2900)은, 캐빈(10) 내에 마련되는 버튼, 토글, 조이스틱 등의 하드웨어에 의한 조작부나, 표시장치(50)에 실장되는 터치패널 등에 의하여 조작 가능한 버튼 아이콘(2901~2904)을 포함한다.
버튼 아이콘(2901)은, "일률선택"이라는 문자정보가 부기되어 있으며, 오퍼레이터 등은, 당해 버튼 아이콘(2901)을 선택하고, 결정하는 조작을 행함으로써, 감시화상에 표시시키는 마커의 속성을 고정시키기 위한 설정화면으로 천이할 수 있다. 따라서, 오퍼레이터 등은, 천이 후의 설정화면에서, 마커의 속성을 개별적으로 설정함으로써, 자신의 취향의 표지화상을 설정할 수 있다.
버튼 아이콘(2902)은, "감시대상의 위치"라는 문자정보가 부여되어 있다. 오퍼레이터 등은, 당해 버튼 아이콘(2902)을 선택하고, 결정하는 조작을 행함으로써, 감시대상에 관한 조건 중 감시대상의 위치에 관한 조건마다의 마커의 속성을 구체적으로 설정할 수 있다. 따라서, 오퍼레이터 등은, 천이 후의 설정화면에서, 예를 들면, 감시대상이 쇼벨에 대하여 상대적으로 가까운 위치에 있는 경우와 먼 위치에 있는 경우에서, 다른 속성의 마커를 자신의 취향으로 설정할 수 있다.
버튼 아이콘(2903)은, "감시대상의 이동상황"이라는 문자정보가 부여되어 있다. 오퍼레이터 등은, 당해 버튼 아이콘(2903)을 선택하고, 결정하는 조작을 행함으로써, 감시대상에 관한 조건 중 감시대상의 이동상황(예를 들면, 이동의 유무나 쇼벨로의 접근의 유무 등)에 관한 조건마다의 마커의 속성을 구체적으로 설정할 수 있다. 따라서, 오퍼레이터 등은, 천이 후의 설정화면에서, 예를 들면, 감시대상이 쇼벨로부터 가까워지고 있는지 아닌지나, 감시대상이 이동하고 있는지 아닌지 등의 단체의 조건이나 복수의 조건의 조합마다, 다른 마커를 자신의 취향으로 설정할 수 있다.
다만, 당연히, 감시대상의 위치에 관한 조건과 감시대상의 이동상황에 관한 조건을 조합한 조건마다의 마커 속성을 설정 가능한 설정화면이 준비되어도 된다.
버튼 아이콘(2904)은, "돌아가기"라는 문자정보가 부기되어 있으며, 오퍼레이터 등은, 당해 버튼 아이콘(2904)을 선택하고, 결정하는 조작을 행함으로써, 마커설정화면(2900)으로 천이하기 전의 계층적으로 상위의 정보화면을 표시장치(50)에 표시시킬 수 있다.
이와 같이, 본예에서는, 오퍼레이터 등은, 감시대상에 관한 조건마다의 마커의 속성을 수동으로 설정할 수 있다. 이로써, 주변감시 시스템(100)은, 오퍼레이터 등의 취향에 맞추어 감시화상 상의 마커를 표시시킬 수 있다.
이상, 본 발명의 일실시형태에 관한 주변감시 시스템의 제2 특징기능에 대하여 상세하게 서술했지만, 본 발명은 이러한 특정 실시형태에 한정되는 것은 아니며, 본 발명의 요지의 범위 내에 있어서, 다양한 변형·변경이 가능하다.
예를 들면, 상술한 실시형태에서는, 리스크 퍼텐셜의 지표로서, 쇼벨과 감시대상과의 거리(제1 지표)와, 당해 거리의 경시변화의 상황(제2 지표)을 이용했지만, 당해 지표 이외의 임의의 지표가 채용되어도 된다.
다만, 상술한 실시형태에 관한 주변감시 시스템의 제2 특징기능에 관하여, 이하를 더 개시한다.
(1)
작업기계의 주변을 촬상하는 촬상장치와,
상기 촬상장치에 의하여 촬상되는 상기 작업기계의 주변의 화상과, 감시대상의 위치를 나타내는 표지를 표시하는 표시장치를 구비하고,
상기 표시장치는, 상기 감시대상이 정지하고 있는 경우와 이동하고 있는 경우에서, 상기 표지의 표시를 변화시키는,
작업기계용 주변감시 시스템.
(2)
상기 표지는, 상기 감시대상의 이동궤적을 나타내는 궤적선을 포함하는,
(1)에 기재된 작업기계용 주변감시 시스템.
(3)
상기 촬상장치는, 서로 촬상범위가 다른 복수의 카메라를 포함하고,
상기 표시장치는, 상기 복수의 카메라 중 하나의 카메라의 촬상영역과 다른 카메라의 촬상영역의 사이에 걸쳐 감시대상이 이동하는 경우여도, 상기 화상에 있어서의 상기 하나의 카메라의 촬상영역에 대응하는 하나의 화상영역과 상기 다른 카메라에 대응하는 다른 화상영역의 사이에서 연속적으로 연결되는 상기 궤적선을 표시하는,
(2)에 기재된 작업기계용 주변감시 시스템.
(4)
상기 촬상장치는, 서로 촬상범위가 다른 복수의 카메라를 포함하고,
상기 표시장치는, 상기 화상이 상기 복수의 카메라 중 하나의 카메라의 촬상영역 및 다른 카메라의 촬상영역의 각각에 대응하는 하나의 화상영역 및 다른 화상영역을 포함하는 경우, 상기 감시대상이 상기 하나의 카메라의 촬상영역에 포함되지 않게 되었을 때에도, 상기 다른 카메라의 촬상영역에 포함되어 있을 때에는, 상기 궤적선의 표시를 유지하는,
(2)에 기재된 작업기계용 주변감시 시스템.
(5)
상기 궤적선은, 상대적으로 시간경과가 진행된 부분이 상대적으로 시간경과가 진행되지 않은 부분보다 보이기 어려워지는 양태로 표시되는,
(2) 내지 (4) 중 어느 한 항에 기재된 작업기계용 주변감시 시스템.
(6)
상기 표시장치는, 상기 감시대상과 상기 작업기계의 위치관계에 따라, 상기 표지의 표시를 변화시키는,
(1) 내지 (5) 중 어느 한 항에 기재된 작업기계용 주변감시 시스템.
(7)
상기 표시장치는, 상기 작업기계와 상기 감시대상과의 거리에 따라, 상기 표지의 표시를 변화시키는,
(6)에 기재된 작업기계용 주변감시 시스템.
(8)
상기 표시장치는, 상기 작업기계와 상기 감시대상과의 거리의 경시변화의 상황에 따라, 상기 표지의 표시를 변화시키는,
(6) 또는 (7)에 기재된 작업기계용 주변감시 시스템.
(9)
상기 표시장치는, 상기 작업기계와 상기 감시대상의 충돌에 관한 리스크 퍼텐셜에 따라, 상기 표지의 표시를 변화시키는,
(1) 내지 (5) 중 어느 한 항에 기재된 작업기계용 주변감시 시스템.
(10)
상기 표시장치는, 상기 표지의 형상, 색, 모양, 크기, 휘도, 및 점멸의 유무를 포함하는 속성 중 적어도 하나를 변화시킴으로써, 상기 표지의 표시를 변화시키는,
(1) 내지 (9) 중 어느 한 항에 기재된 작업기계용 주변감시 시스템.
[주변감시 시스템의 제3 특징기능]
이어서, 본 실시형태에 관한 주변감시 시스템(100)에 관한 제3 기능, 구체적으로는, 쇼벨로부터 보아 상대적으로 원방의 영역으로부터 당해 쇼벨에 접근해 오는 차량(트럭 등)의 존재를 오퍼레이터 등에게 통지하는 기능(이하, "원방접근차량통지기능"이라고도 칭함)에 대하여 설명한다.
＜제3 특징기능에 의한 작용에 관한 개요＞
먼저, 제3 특징기능(원방접근차량통지기능)에 의한 작용에 관한 개요를 설명한다.
작업기계에 근접하는 소정의 근접영역의 대상이 되는 물체(예를 들면, 사람)를 검지하는 물체검지수단과, 물체검지수단에 의하여 당해 물체가 검지되면 오퍼레이터 등에게 알리는 알림수단을 구비하는 작업기계용 주변감시 시스템이 알려져 있다(예를 들면, 일본 공개특허공보 2014-181508호 등 참조).
이러한 구성에 의하면, 오퍼레이터 등은, 작업기계에 근접하는 근접영역의 감시대상의 물체의 존재를 용이하게 인지할 수 있다.
그러나, 작업효율의 관점으로부터, 오퍼레이터 등에게는, 원방으로부터 작업기계에 가까워져 오는 차량(특히, 트럭)을 보다 빨리 인지하고자 하는 요구가 있다. 예를 들면, 가까워져 오는 트럭의 도착에 맞추어, 트럭으로의 배토 준비를 진행시켜 두는 등, 작업효율을 향상시킬 수 있기 때문이다. 이로 인하여, 근접영역보다 원방의 원방영역의 차량 등의 물체에 대해서도, 오퍼레이터 등이 용이하게 인지할 수 있는 것이 바람직하다.
그래서, 본 실시형태에서는, 제3 특징기능에 의하여, 오퍼레이터 등에 작업기계의 원방영역의 차량을 용이하게 인지시키는 것이 가능한 작업기계용 주변감시 시스템을 제공한다.
＜주변감시 시스템의 구성＞
다음으로, 도 30을 참조하여, 제3 특징기능에 관한 주변감시 시스템(100)의 구체적인 구성에 대하여 설명을 한다.
도 30은, 본 실시형태에 관한 주변감시 시스템(100)의 구성의 일례를 나타내는 블록도이다.
다만, 도 30에서는, 제3 특징기능에 관한 구성을 중심으로 나타나고, 도 1, 도 2에 나타나는 다른 구성은, 생략된다.
주변감시 시스템(100)은, 쇼벨의 주변의 소정 범위 내로의 소정의 물체(본 실시형태에서는, 차량 및 사람)의 침입을 감시하여, 소정의 물체를 검지한 경우, 오퍼레이터 등에게 통지를 행한다. 주변감시 시스템(100)은, 컨트롤러(30), 촬상장치(40), 표시장치(50), 음성출력장치(52)를 포함한다.
컨트롤러(30)는, 상술한 바와 같이, 주변감시 시스템(100)에 있어서의 각종 제어처리를 행한다. 컨트롤러(30)는, 예를 들면, ROM이나 보조기억장치 등에 저장되는 각종 프로그램을 CPU 상에서 실행함으로써 실현되는 기능부로서, 물체검지부(301C), 표시제어부(302C), 음성제어부(303C)를 포함한다.
촬상장치(40)는, 상술한 바와 같이, 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)를 포함한다. 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)는, 상부선회체(3)의 상부에 있어서, 광축이 경사 하방을 향하도록 장착되어, 쇼벨 근방의 지면으로부터 쇼벨의 원방까지를 포함하는 상하방향의 촬상범위(화각)를 갖는다. 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)는, 쇼벨의 운전 중, 소정 주기(예를 들면, 1/30초)마다, 촬상화상을 출력하여, 컨트롤러(30)에 송신한다.
표시장치(50)는, 촬상장치(40)의 촬상화상(스루화상)이나, 컨트롤러(30)(표시제어부(302C))에 의하여 촬상장치(40)의 촬상화상에 근거하여 생성되는 주변화상(예를 들면, 후술하는 시점변환화상) 등을 표시한다.
음성출력장치(52)는, 컨트롤러(30)(음성제어부(303C))에 의한 제어하에, 소정의 소리를 출력한다.
물체검지부(301C)는, 촬상장치(40)에 의하여 촬상된 촬상화상에 근거하여, 쇼벨의 주변의 소정 영역에 있어서의 소정의 대상이 되는 물체를 검지한다. 물체검지부(301C)는, 검지대상으로서의 트럭을 포함하는 차량을 검지하는 차량검지부(3011C)와, 검지대상으로서의 사람을 검지하는 사람검지부(3012C)를 포함한다.
차량검지부(3011C)는, 쇼벨의 주변에 있어서의 소정의 검지영역(이하, 차량검지영역)을 대상으로 하여, 차량을 검지한다. 구체적으로는, 차량검지부(3011C)는, 쇼벨에 근접하는 근접영역(예를 들면, 쇼벨로부터의 거리 D가 소정 거리 D1 이하인 영역)의 외측에 인접하는 원방영역(예를 들면, 쇼벨로부터의 거리 D가 소정 거리 D1을 넘는 영역)을 차량검지영역으로 하여, 차량을 검지한다. 예를 들면, 차량검지부(3011C)는, 이미 알려진 각종 화상처리수법이나 기계학습 베이스의 식별기 등을 임의로 적용함으로써, 촬상화상 내의 차량을 인식함과 함께, 인식한 차량의 실재위치(예를 들면, 쇼벨로부터 인식한 차량까지의 거리 등)를 특정할 수 있다.
사람검지부(3012C)는, 쇼벨의 주변에 있어서의 소정의 검지영역(이하, 사람검지영역)을 대상으로 하여, 사람을 검지한다. 구체적으로는, 사람검지부(3012C)는, 쇼벨에 근접하는 근접영역(예를 들면, 상술한 바와 같이, 쇼벨로부터의 거리 D가 소정 거리 D1 이하인 영역)을 사람검지영역으로 하여, 사람을 검지한다. 예를 들면, 사람검지부(3012C)는, 이미 알려진 각종 화상처리수법이나 기계학습 베이스의 식별기 등을 임의로 적용함으로써, 촬상화상 내의 사람을 인식함과 함께, 인식한 사람의 실재위치(예를 들면, 쇼벨로부터 인식한 사람까지의 거리 등)를 특정할 수 있다.
표시제어부(302C)는, 오퍼레이터에 의한 각종 조작 등에 따라, 표시장치(50)에 각종 정보 화상을 표시시킨다. 예를 들면, 표시제어부(302C)는, 오퍼레이터에 의한 소정 조작에 따라, 촬상장치(40)(후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R))의 촬상화상(스루화상)을 표시장치(50)에 표시시킨다. 또, 예를 들면, 표시제어부(302C)는, 오퍼레이터에 의한 소정 조작에 따라, 촬상장치(40)의 촬상화상에 근거하여 주변화상을 생성하여, 표시장치(50)에 표시시킨다. 구체적으로는, 표시제어부(302C)는, 주변화상으로서, 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)의 촬상화상에 근거하여, 이미 알려진 시점변환처리를 행함으로써, 시점변환화상(가상시점으로부터 본 화상)을 생성하여, 표시장치(50)에 표시시킨다. 또, 표시제어부(302C)는, 주변화상을 표시장치(50)에 표시시킬 때, 주변화상에 비치고 있는 촬상장치(40)의 촬상범위의 쇼벨에 대한 상대위치관계를 명시하기 위하여, 쇼벨을 모식적으로 나타내는 쇼벨화상을 함께 표시장치(50)에 표시시킨다. 즉, 표시제어부(302C)는, 쇼벨화상과, 쇼벨과 촬상장치(40)의 촬상범위의 상대위치관계에 맞추어, 쇼벨화상의 주위에 배치되는 주변화상을 포함하는 감시화상을 생성하여, 표시장치(50)에 표시시킨다. 이하, 도 31을 참조하여, 표시장치(50)에 표시되는 감시화상에 대하여 설명을 한다.
도 31은, 표시장치(50)에 표시되는 감시화상(MP2)의 일례를 나타내는 도이다. 도 31에 나타내는 바와 같이, 표시장치(50)에 있어서의 가로로 긴 직사각형의 화면(예를 들면, 애스펙트비 4:3의 화면)에는, 상술한 바와 같이, 쇼벨화상(CG)과, 쇼벨화상(CG)의 주위에 배치되는 주변화상(EP)을 포함하는 감시화상(MP2)이 표시되어 있다. 이로써, 오퍼레이터는, 주변화상(EP)에 비치고 있는 물체(예를 들면, 사람, 차량 등)와 쇼벨의 위치관계를 적절히 파악할 수 있다.
본예에 있어서의 주변화상(EP)은, 쇼벨에 인접하는 주변영역을 바로 위로부터 본 부감화상(BVP)과, 당해 부감화상의 주위에 배치되는, 쇼벨로부터 당해 주변영역의 주위를 수평방향으로 본 수평화상(HVP)을 조합한 시점변환화상이다. 시점변환화상인 주변화상(EP)은, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)의 각각의 촬상화상을 공간모델에 투영한 다음, 그 공간모델에 투영된 투영화상을 다른 이차원 평면에 재투영함으로써 얻어진다. 공간모델은, 가상공간에 있어서의 촬상화상의 투영대상이며, 촬상화상이 위치하는 평면 이외의 평면 혹은 곡면을 포함하는 하나 또는 복수의 평면 혹은 곡면으로 구성된다. 이하, 본 실시형태에 있어서의 주변화상은, 쇼벨에 인접하는 주변영역을 바로 위로부터 본 부감화상과, 그 주변영역의 주위를 수평방향으로 본 수평화상을 조합한 시점변환화상이라는 전제로 설명을 계속한다.
또, 감시화상(MP2)(주변화상(EP))에는, 가이드라인(GL1)이 중첩 표시된다. 가이드라인(GL1)은, 쇼벨로부터의 거리 D가 소정 거리 D2(＜D1)인 위치를 나타낸다. 이로써, 주변화상에 차량, 사람 등의 물체가 비치고 있는 경우, 오퍼레이터는, 쇼벨로부터 어느 정도 떨어진 위치에 있는지를 파악할 수 있다.
도 30으로 되돌아가, 또, 표시제어부(302C)는, 차량검지영역에 있어서, 차량검지부(3011C)에 의하여 차량이 검지된 경우, 차량이 검지된 취지를 나타내는 표시, 예를 들면, 표시장치(50)에 표시되는 스루화상 혹은 주변화상의 일부를 강조시키는 표시를 행한다. 또, 표시제어부(302C)는, 후술하는 바와 같이(도 39 참조), 사람검지영역에 있어서, 사람검지부(3012C)에 의하여 사람이 검지된 경우, 사람이 검지된 취지를 나타내는 표시, 예를 들면, 표시장치(50)에 표시되는 스루화상 혹은 주변화상 중의 검지된 사람이 포함되는 영역(사람영역)을 강조시키는 표시를 행해도 된다. 표시제어부(302C)에 의한 당해 처리의 상세에 대해서는, 후술한다.
다만, 표시제어부(302C)의 기능은, 컨트롤러(30)의 외부에 마련되어도 되고, 예를 들면, 표시장치(50)에 내장되어도 된다. 이 경우, 촬상장치(40)(후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R))의 촬상화상, 및 차량검지부(3011C), 사람검지부(3012C)에 의한 검지결과 등의 정보는, 각각, 촬상장치(40) 및 컨트롤러(30)로부터 표시장치(50)에 입력된다.
음성제어부(303C)는, 차량검지영역에 있어서, 차량검지부(3011C)에 의하여 차량이 검지된 경우, 음성출력장치(52)를 제어하여, 차량이 검지된 취지를 오퍼레이터 등에게 통지하는 소정의 소리(이하, 차량검지음)를 출력시킨다. 또, 음성제어부(303C)는, 후술하는 바와 같이(도 39 참조), 사람검지부(3012C)에 의하여 사람이 검지된 경우, 사람이 검지된 취지를 통지하는 소정의 소리(이하, 사람검지음)를 출력시켜도 된다.
다만, 음성제어부(303C)의 기능은, 컨트롤러(30)의 외부에 마련되어도 되고, 예를 들면, 음성출력장치(52)에 내장되어도 된다.
＜주변감시 시스템의 동작의 상세＞
다음으로, 도 32~도 41을 참조하여, 본 실시형태에 관한 주변감시 시스템(100)에 의한 특징적인 동작에 대하여 설명을 한다.
도 32는, 본 실시형태에 관한 주변감시 시스템(100)에 의한 처리의 제1예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 예를 들면, 쇼벨의 운전 중에 있어서, 소정 시간마다 반복 실행된다.
스텝 S102C에서, 차량검지부(3011C)는, 차량검지영역, 즉, 쇼벨 주변의 원방영역(쇼벨로부터의 거리 D가 소정 거리 D1을 넘는 영역)에서 차량을 검지했는지 아닌지를 판정한다. 차량검지부(3011C)는, 원방영역에서 차량을 검지한 경우, 스텝 S104C로 진행하고, 그 이외의 경우, 이번 처리를 종료한다.
스텝 S104C에서, 표시제어부(302C)는, 표시장치(50)에 차량검지부(3011C)에 의하여 검지된 차량(검지차량)이 비치고 있는 스루화상(후술하는 감시화상(MP1)) 혹은 주변화상(감시화상(MP2))이 표시되어 있는지 없는지를 판정한다. 표시제어부(302C)는, 표시장치(50)에 검지차량이 비치고 있는 스루화상 및 주변화상이 표시되어 있지 않은 경우, 스텝 S106C로 진행하고, 어느 일방이 표시되어 있는 경우, 스텝 S108C로 진행한다.
스텝 S106C에서, 표시제어부(302C)는, 검지차량이 비치고 있는 스루화상 혹은 주변화상을 표시시킨다. 어느 화상을 표시시킬지에 대해서는, 미리 규정된다.
스텝 S108C에서, 표시제어부(302C)는, 상술한 바와 같이, 표시장치(50)의 화면의 일부, 즉, 표시되는 스루화상(감시화상(MP1)) 혹은 주변화상(감시화상(MP2))의 일부를 강조시킴으로써, 원방영역에서 차량이 검지된 취지를 오퍼레이터 등에게 통지한다. 아울러, 음성제어부(303C)는, 상술한 바와 같이, 음성출력장치(52)로부터 차량검지음을 출력시킴으로써, 원방영역에서 차량이 검지된 취지를 오퍼레이터 등에게 통지한다.
스텝 S110C에서, 차량검지부(3011C)는, 원방영역에서 당해 차량을 검지하고 있는 상태가 계속되고 있는지 아닌지를 판정한다. 차량검지부(3011C)는, 원방영역에서 당해 차량을 검지하고 있는 상태가 계속되고 있는 경우, 본스텝의 판정을 반복하고, 원방영역에서 당해 차량을 검지하고 있는 상태가 계속되지 않는 경우, 즉, 원방영역에서 당해 차량을 검지하지 않게 된 경우, 스텝 S112C로 진행한다.
스텝 S112C에서, 표시제어부(302C)는, 스루화상(감시화상(MP1)) 혹은 주변화상(감시화상(MP2))의 일부를 강조시키는 표시를 정지시킴과 함께, 아울러, 음성제어부(303C)는, 차량검지음을 정지시켜, 이번 처리를 종료한다.
이와 같이, 본예에서는, 표시장치(50) 및 음성출력장치(52)(모두 통지부의 일례)는, 물체검지부(301C)(차량검지부(3011C))에 의하여 원방영역에서 차량이 검지된 경우, 오퍼레이터 등에게 차량이 검지된 취지의 통지를 행한다. 구체적으로는, 표시장치(50)는, 표시제어부(302C)에 의한 제어하에, 스루화상(감시화상(MP1)) 혹은 주변화상(감시화상(MP2))의 일부를 강조시키는 표시를 행하고, 음성출력장치(52)는, 음성제어부(303C)에 의한 제어하에, 차량검지음을 출력한다. 이로써, 오퍼레이터 등은, 원방으로부터 쇼벨에 가까워질 가능성이 있는 차량을 용이하게 인지할 수 있다. 이로 인하여, 예를 들면, 원방으로부터 가까워지는 트럭의 도착에 맞추어, 트럭으로의 배토 준비를 진행시켜 두는 등, 작업효율을 향상시킬 수 있다.
또, 표시장치(50) 및 음성출력장치(52)는, 물체검지부(301C)(차량검지부(3011C))에 의하여 원방영역에서 차량이 검지된 것에 의하여, 그 취지의 통지를 행하고 있는 상태에서, 당해 차량이 원방영역에서 검지되지 않게 된 경우, 통지를 정지한다. 예를 들면, 표시장치(50) 및 음성출력장치(52)는, 당해 차량이 원방영역으로부터 더 근접영역으로 이동함으로써(즉, 쇼벨에 더 가까워진 것에 의하여), 차량이 원방영역에서 검지되지 않게 되면, 통지를 정지한다. 이로써, 오퍼레이터가 원방으로부터 쇼벨에 가까워지는 차량을 이미 인지한 상태에 있어서, 통지가 계속됨으로써 오퍼레이터가 느끼는 번잡함이나 불쾌감을 억제할 수 있다.
예를 들면, 도 33(도 33a, 도 33b)은, 표시장치(50)에 표시되는 감시화상(MP1)으로서의 스루화상의 일례를 나타내는 도이다. 구체적으로는, 도 33a는, 차량검지부(3011C)에 의하여 원방영역에서 차량이 검지된 경우에 있어서의 스루화상을 나타내는 도이며, 도 33b는, 검지차량이 근접영역으로 이동한 것에 의하여, 차량검지부(3011C)에 의하여 원방영역에서 차량이 검지되지 않게 된 경우에 있어서의 스루화상을 나타내는 도이다.
도 33a에 나타내는 바와 같이, 표시장치(50)에 표시되는 스루화상에는, 근접영역과 원방영역의 경계(즉, 쇼벨로부터의 거리 D가 소정 거리 D1인 위치)를 나타내는 가이드라인(GL2)가 중첩하여 표시된다. 그리고, 스루화상 중의 원방영역에 상당하는 가이드라인(GL2)보다 상측의 영역에는, 차량검지부(3011C)에 의하여 검지된 트럭(V1)이 비치고 있어, 트럭(V1)이 포함되는 영역(차량영역)은, 굵은선 프레임(FR1C)으로 둘러싸이는 양태로 강조하여 표시된다. 이로써, 표시장치(50)의 화면(스루화상)의 일부인 트럭(V1)이 포함되는 영역(차량영역)이 강조되기 때문에, 표시장치(50)는, 오퍼레이터 등에게 트럭(V1)이 검지된 취지를 통지할 수 있다.
한편, 도 33b에 나타내는 바와 같이, 차량검지부(3011C)에 의하여 검지된 트럭(V1)은, 더 쇼벨에 가까워짐으로써, 스루화상 중의 근접영역에 상당하는 가이드라인(GL2)보다 하측의 영역에 포함되는 상태로 변화하고 있다. 이로 인하여, 트럭(V1)은, 차량검지부(3011C)에 의하여 원방영역에서 검지되지 않게 되기 때문에, 트럭(V1)이 포함되는 영역을 강조시키는 표시(굵은선 프레임(FR1C)의 표시)는 정지된다. 이로써, 상술한 바와 같이, 통지가 계속됨으로써 느끼는 오퍼레이터의 번잡함이나 불쾌감을 억제할 수 있다.
또, 예를 들면, 도 34(도 34a, 도 34b)는, 표시장치(50)에 표시되는 주변화상(EP)(감시화상(MP2))의 일례를 나타내는 도이다. 구체적으로는, 도 34a는, 차량검지부(3011C)에 의하여 원방영역에서 차량이 검지된 경우의 주변화상(EP)(감시화상(MP2))에 있어서의 검지차량의 강조표시의 일례를 나타내는 도이며, 도 34b는, 검지차량이 근접영역으로 이동한 것에 의하여, 차량검지부(3011C)에 의하여 원방영역에서 차량이 검지되지 않게 된 경우에 있어서의 주변화상(EP)(감시화상(MP2))을 나타내는 도이다.
도 34a에 나타내는 바와 같이, 표시장치(50)에 표시되는 주변화상(EP)에는, 근접영역과 원방영역의 경계(즉, 쇼벨로부터의 거리 D가 소정 거리 D1인 위치)를 나타내는 가이드라인(GL3)이 중첩하여 표시된다. 그리고, 주변화상(EP) 중의 원방영역에 상당하는 가이드라인(GL3)보다 외측의 영역에는, 차량검지부(3011C)에 의하여 검지된 트럭(V2)이 비치고 있어, 주변화상(EP) 중의 트럭(V2)이 포함되는 영역(차량영역)은, 도 33a에 나타내는 스루화상의 일례와 동일하게, 굵은선 프레임(FR2C)으로 둘러싸이는 양태로 강조하여 표시된다. 이로써, 표시장치(50)의 화면(감시화상(MP2))의 일부인 트럭(V2)이 포함되는 영역(차량영역)이 강조되기 때문에, 표시장치(50)는, 오퍼레이터 등에게 트럭(V1)이 검지된 취지를 통지할 수 있다.
또, 도 34b에 나타내는 바와 같이, 차량검지부(3011C)에 의하여 검지된 트럭(V2)은, 더 쇼벨에 가까워짐으로써, 주변화상(EP) 중의 근접영역에 상당하는 가이드라인(GL3)보다 외측의 영역에 포함되는 상태로 변화하고 있다. 이로 인하여, 트럭(V2)은, 차량검지부(3011C)에 의하여 원방영역에서 검지되지 않게 되기 때문에, 트럭(V2)이 포함되는 영역을 강조시키는 표시(굵은선 프레임(FR2C)의 표시)는 정지된다. 이로써, 상술한 바와 같이, 통지가 계속됨으로써 느끼는 오퍼레이터의 번잡함이나 불쾌감을 억제할 수 있다.
또, 예를 들면, 도 35는, 차량검지부(3011C)에 의하여 원방영역에서 차량이 검지된 경우의 주변화상(EP)(감시화상(MP2))에 있어서의 검지차량의 강조표시의 다른 예를 나타내는 도이다.
도 35에 나타내는 바와 같이, 본예에서는, 표시장치(50)는, 표시제어부(302C)에 의한 제어하에, 차량검지부(3011C)에 의하여 트럭(V2)이 검지된 경우에, 아이콘(IC1)을 주변화상(EP)에 중첩하여 표시함으로써 주변화상(EP)의 일부를 강조하여 표시시킨다. 구체적으로는, 주변화상(EP) 중의 원방영역에 상당하는 가이드라인(GL3)보다 외측의 영역에는, 차량검지부(3011C)에 의하여 검지된 트럭(V2)이 비치고 있어, 주변화상(EP) 중의 트럭(V2)이 포함되는 영역에 인접하여 트럭(V2)이 접근해 오는 방향을 나타내는 화살표의 아이콘(IC1)이 중첩하여 표시된다. 이로써, 표시장치(50)의 화면(감시화상(MP2)) 중의 일부인 트럭(V2)이 포함되는 영역(차량영역)이 아이콘(IC1)에 의하여 강조되기 때문에, 표시장치(50)는, 오퍼레이터 등에게 트럭(V2)이 검지된 취지를 통지할 수 있다.
다만, 아이콘(IC1)의 형상은, 화살표 형상에 한정되지 않고, 임의의 형상이면 된다. 또, 스루화상 및 주변화상 중의 검지차량이 포함되는 영역(차량영역)을 강조시키는 표시양태로서, 차량영역을 굵은선 프레임으로 둘러싸는 것 및 아이콘을 중첩 표시시키는 것 이외의 임의의 방법이 이용되면 되고, 예를 들면, 표시장치(50)는, 차량영역의 휘도를 다른 영역보다 높게 하거나, 차량영역의 휘도를 주기적으로 변화시켜 점멸상태로 하거나, 차량영역의 색을 다른 영역과 다르게 하거나 해도 된다.
또, 예를 들면, 도 36은, 차량검지부(3011C)에 의하여 원방영역에서 차량이 검지된 경우의 주변화상(EP)(감시화상(MP2))에 있어서의 검지차량의 강조표시의 또 다른 예를 나타내는 도이다.
도 36에 나타내는 바와 같이, 본예에서는, 표시장치(50)는, 표시제어부(302C)에 의한 제어하에, 차량검지부(3011C)에 의하여 트럭(V2)이 검지된 경우에, 화면(즉, 감시화상(MP2)) 중에 있어서, 주변화상(EP)의 바깥 가장자리보다 외측의 영역(AR1), 즉, 주변화상(EP)에 있어서의 원방영역에 상당하는 가이드라인(GL3)보다 외측영역의 더 외측에 인접하는 영역(AR1)을 강조하여 표시한다. 예를 들면, 표시장치(50)는, 영역(AR1)을 통상상태와 다른 색이나 모양으로 변화시키거나, 휘도를 화면 중의 다른 영역보다 높게 하거나, 주기적으로 휘도를 변화시켜 점멸상태로 하거나 함으로써, 영역(AR1)을 강조하면 된다. 이로써, 주변화상(EP)의 원방영역에 상당하는 가이드라인(GL3)보다 외측의 영역에 인접하는, 표시장치(50)의 화면(감시화상(MP2))의 일부인 영역(AR1)이 강조하여 표시되기 때문에, 표시장치(50)는, 오퍼레이터 등에게 트럭(V2)이 검지된 취지를 통지할 수 있다.
계속해서, 도 37은, 본 실시형태에 관한 주변감시 시스템(100)에 의한 처리의 제2예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 상술한 제1예와 동일하게, 예를 들면, 쇼벨의 운전 중에 있어서, 소정 시간마다 반복 실행된다.
스텝 S202C에서, 차량검지부(3011C)는, 도 32의 스텝 S102C와 동일하게, 차량검지영역, 즉, 쇼벨 주변의 원방영역(쇼벨로부터의 거리 D가 소정 거리 D1을 넘는 영역)에서 차량을 검지했는지 아닌지를 판정한다. 차량검지부(3011C)는, 원방영역에서 차량을 검지한 경우, 스텝 S204C로 진행하고, 그 이외의 경우, 이번 처리를 종료한다.
스텝 S204C에서, 차량검지부(3011C)는, 검지차량이 쇼벨에 접근하고 있는지 아닌지를 판정한다. 차량검지부(3011C)는, 예를 들면, 검지차량을 검지하는 과정에 있어서의 위치의 이력(이동이력) 등에 근거하여, 검지차량이 쇼벨에 접근하고 있는지 아닌지를 검지하면 된다. 차량검지부(3011C)는, 검지차량이 쇼벨에 접근하고 있는 경우, 스텝 S206C로 진행하고, 검지차량이 쇼벨에 접근하고 있지 않은 경우, 이번 처리를 종료한다.
스텝 S206C~S214C의 처리는, 상술한 제1예(도 32)에 있어서의 스텝 S104C~S112C와 동일하기 때문에, 설명을 생략한다.
이와 같이, 본예에서는, 표시장치(50) 및 음성출력장치(52)는, 물체검지부(301C)(차량검지부(3011C))에 의하여 원방영역에서 쇼벨에 접근하는, 즉, 가까워지는 방향으로 이동하는 차량이 검지된 경우, 차량이 검지된 취지의 통지를 행한다. 이로써, 원방영역에 존재하는 차량 중, 쇼벨에 접근해 오는 차량이 검지된 경우만 그 취지가 통지되기 때문에, 불필요한 통지를 억제할 수 있다.
계속해서, 도 38은, 본 실시형태에 관한 주변감시 시스템(100)에 의한 처리의 제3예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 상술한 제1예 등과 동일하게, 예를 들면, 쇼벨의 운전 중에 있어서, 소정 시간마다 반복 실행된다.
스텝 S302C에서, 차량검지부(3011C)는, 도 32의 스텝 S102C 등과 동일하게, 차량검지영역, 즉, 쇼벨 주변의 원방영역(쇼벨로부터의 거리 D가 소정 거리 D1을 넘는 영역)에서 차량을 검지했는지 아닌지를 판정한다. 차량검지부(3011C)는, 원방영역에서 차량을 검지한 경우, 스텝 S204C로 진행하고, 그 이외의 경우, 이번 처리를 종료한다.
스텝 S304C에서, 표시제어부(302C)는, 표시장치(50)에 검지차량이 비치고 있는 스루화상이 표시되어 있는지 아닌지를 판정한다. 표시제어부(302C)는, 표시장치(50)에 검지차량이 비치고 있는 스루화상이 표시되어 있지 않은 경우, 스텝 S306C로 진행하고, 검지차량이 비치고 있는 스루화상이 표시되어 있는 경우, 스텝 S308C로 진행한다.
스텝 S306C에서, 표시제어부(302C)는, 표시장치(50)에 검지차량이 비치고 있는 스루화상을 표시시킨다.
스텝 S308C~S312C는, 표시장치(50)에 표시되는 대상이 검지차량을 포함하는 스루화상에 한정되는 것 이외에, 상술한 제1예(도 32)의 스텝 S108C~S112C와 동일하기 때문에, 설명을 생략한다.
다만, 본예의 플로차트는, 상술한 제1예를 베이스로 하여, 스텝 S104C, S106C의 처리를 스텝 S304C, S306C의 처리로 치환함으로써 구성되지만, 상술한 제2예를 베이스로 하여, 스텝 S206C, S208C의 처리를 스텝 S304C, S306C의 처리로 치환해도 된다(제3예의 변형예).
이와 같이, 본예에서는, 표시장치(50)는, 표시제어부(302C)의 제어하에, 차량검지부(3011C)에 의하여 원방영역에서 차량이 검지된 경우, 자동적으로, 검지차량이 포함되는 스루화상을 표시한다. 이로써, 스루화상에 포함되는 원방영역의 차량은, 주변화상의 경우보다 비교적 크게 표시되기 때문에, 오퍼레이터 등은, 원방영역의 차량의 존재뿐만 아니라, 차량의 상세까지 확인하기 쉬워진다.
계속해서, 도 39는, 본 실시형태에 관한 주변감시 시스템(100)에 의한 처리의 제4예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 상술한 제1예~제3예, 및 제3예의 변형예에 관한 처리 중 어느 하나와 병렬하여 실행된다.
스텝 S402C에서, 사람검지부(3012C)는, 사람검지영역, 즉, 쇼벨 주변의 근접영역(쇼벨로부터의 거리 D가 소정 거리 D1 이하인 영역)에서 사람을 검지했는지 아닌지를 판정한다. 사람검지부(3012C)는, 근접영역에서 사람을 검지한 경우, 스텝 S404C로 진행하고, 그 이외의 경우, 이번 처리를 종료한다.
스텝 S404C에서, 표시제어부(302C)는, 표시장치(50)에 사람검지부(3012C)에 의하여 검지된 사람이 비치고 있는 감시화상으로서의 스루화상 혹은 주변화상(감시화상(MP2))이 표시되어 있는지 아닌지를 판정한다. 표시제어부(302C)는, 표시장치(50)에 검지된 사람이 비치고 있는 스루화상 및 주변화상(감시화상(MP2))이 표시되어 있지 않은 경우, 스텝 S406C로 진행하고, 어느 일방이 표시되어 있는 경우, 스텝 S408C로 진행한다.
스텝 S406C에서, 표시제어부(302C)는, 검지된 사람이 비치고 있는 스루화상 혹은 주변화상(감시화상(MP2))을 표시시킨다. 어느 화상을 표시시킬지에 대해서는, 미리 규정된다.
다만, 상술한 제1예~제3예, 및 제3예의 변형예의 처리에 의하여 선택되는 스루화상(검지차량이 비치고 있는 스루화상)과 본예의 처리에 의하여 선택되는 스루화상(검지된 사람이 비치고 있는 스루화상)이 다른 경우, 표시제어부(302C)는, 표시장치(50)에 주변화상을 표시시키거나, 혹은, 2개의 스루화상을 좌우로 나란히 표시시킨다.
스텝 S408C에서, 표시제어부(302C)는, 상술한 바와 같이, 표시장치(50)에 포함되는 사람을 강조시킴으로써, 근접영역에서 사람이 검지된 취지를 오퍼레이터 등에게 통지한다. 아울러, 음성제어부(303C)는, 상술한 바와 같이, 음성출력장치(52)로부터 사람검지음을 출력시킴으로써, 근접영역에서 사람이 검지된 취지를 오퍼레이터 등에게 통지한다.
스텝 S410C에서, 사람검지부(3012C)는, 근접영역에서 당해 사람을 검지하고 있는 상태가 계속되고 있는지 아닌지를 판정한다. 사람검지부(3012C)는, 근접영역에서 당해 사람을 검지하고 있는 상태가 계속되고 있는 경우, 본스텝의 판정을 반복하고, 근접영역에서 당해 사람을 검지하고 있는 상태가 계속되고 있지 않은 경우, 즉, 근접영역에서 당해 사람을 검지하지 않게 된 경우, 스텝 S412C로 진행한다.
스텝 S412C에서, 표시제어부(302C)는, 스루화상(감시화상(MP1)) 혹은 주변화상(감시화상(MP2))에 포함되는 사람을 강조시키는 표시를 정지시킴과 함께, 아울러, 음성제어부(303C)는, 사람검지음을 정지시켜, 이번 처리를 종료한다.
이와 같이, 본예에서는, 표시장치(50) 및 음성출력장치(52)는, 물체검지부(301C)(차량검지부(3011C))에 의하여 원방영역에서 차량이 검지된 경우, 오퍼레이터 등에게 차량이 검지된 취지의 통지를 행함과 함께, 물체검지부(301C)(사람검지부(3012C))에 의하여 근접영역에서 차량이 검지된 경우, 오퍼레이터 등에게 사람이 검지된 취지의 통지를 행한다. 이로써, 오퍼레이터는, 원방영역의 차량을 조기에 인식하여, 작업효율을 높일 수 있음과 함께, 근접영역의 사람을 조기에 인식하여, 안전성을 확보할 수 있다.
또, 표시장치(50) 및 음성출력장치(52)는, 물체검지부(301C)(사람검지부(3012C))에 의하여 근접영역에서 사람이 검지된 것에 의하여, 그 취지의 통지를 행하고 있는 상태에서, 당해 사람이 근접영역에서 검지되지 않게 된 경우, 통지를 정지한다. 예를 들면, 표시장치(50) 및 음성출력장치(52)는, 당해 사람이 근접영역에서 원방영역으로 이동함으로써(즉, 쇼벨로부터 떨어진 것에 의하여), 당해 사람이 근접영역에서 검지되지 않게 되면, 통지를 정지한다. 이로써, 안전성이 비교적 확보된 상태에서는, 통지가 정지되기(실행되지 않기) 때문에, 오퍼레이터가 느끼는 번잡함이나 불쾌감을 억제할 수 있다.
예를 들면, 도 40(도 40a, 도 40b)은, 표시장치(50)에 표시되는 감시화상(MP1)으로서의 스루화상의 다른 예를 나타내는 도이다. 구체적으로는, 도 40a는, 사람(작업자(H1))이 원방영역에 존재하는 경우에 있어서의 스루화상을 나타내는 도이며, 도 40b는, 근접영역으로 이동한 것에 의하여, 사람검지부(3012C)에 의하여 사람(작업자(H1))이 검지된 경우에 있어서의 스루화상을 나타내는 도이다.
도 40a에 나타내는 바와 같이, 표시장치(50)에 표시되는 스루화상 중의 원방영역에 상당하는 가이드라인(GL2)보다 상측의 영역에는, 작업자(H1)가 비치고 있다. 이 경우, 원방영역의 작업자(H1)는, 사람검지부(3012C)에 의하여 검지되지 않기 때문에, 사람이 검지된 취지의 통지(후술하는 사람이 포함되는 영역의 강조표시)는 행해지지 않는다.
한편, 도 40b에 나타내는 바와 같이, 작업자(H1)는, 쇼벨에 가까워짐으로써, 스루화상 중의 근접영역에 상당하는 가이드라인(GL2)보다 하측의 영역에 포함되는 상태로 변화하고 있다. 이로 인하여, 작업자(H1)는, 사람검지부(3012C)에 의하여 근접영역에서 검지되고, 작업자(H1)가 포함되는 영역(사람영역)은, 굵은선 프레임(FR3C)으로 둘러싸이는 양태로 강조하여 표시된다. 이로써, 상술한 바와 같이, 오퍼레이터는, 근접영역의 사람을 조기에 인식하여, 안전성을 확보할 수 있다.
또, 예를 들면, 도 41(도 41a, 도 41b)은, 표시장치(50)에 표시되는 주변화상(EP)(감시화상(MP2))의 다른 예를 나타내는 도이다. 구체적으로는, 도 41a는, 사람(작업자(H2))이 원방영역에 존재하는 경우에 있어서의 주변화상(EP)(감시화상(MP2))을 나타내는 도이며, 도 41b는, 근접영역으로 이동한 것에 의하여, 사람검지부(3012C)에 의하여 근접영역에서 사람(작업자(H2))이 검지된 경우에 있어서의 주변화상(EP)(감시화상(MP2))을 나타내는 도이다.
도 41a에 나타내는 바와 같이, 표시장치(50)에 표시되는 주변화상(EP) 중의 원방영역에 상당하는 가이드라인(GL3)보다 외측의 영역에는, 작업자(H2)가 비치고 있다. 이 경우, 원방영역의 작업자(H2)는, 사람검지부(3012C)에 의하여 검지되지 않기 때문에, 사람이 검지된 취지의 통지(후술하는 사람이 포함되는 영역의 강조표시)는 행해지지 않는다.
한편, 도 41b에 나타내는 바와 같이, 작업자(H2)는, 쇼벨에 가까워짐으로써, 주변화상(EP) 중의 근접영역에 상당하는 가이드라인(GL3)보다 내측의 영역에 포함되는 상태로 변화하고 있다. 이로 인하여, 작업자(H2)는, 사람검지부(3012C)에 의하여 근접영역에서 검지되고, 작업자(H2)가 포함되는 영역(사람영역)은, 굵은선 프레임(FR4C)으로 둘러싸이는 양태로 강조하여 표시된다. 이로써, 상술한 바와 같이, 오퍼레이터는, 근접영역의 사람을 조기에 인식하여, 안전성을 확보할 수 있다.
다만, 스루화상 및 주변화상 중의 검지된 사람이 포함되는 영역(사람영역)을 강조시키는 표시양태로서, 사람영역을 굵은선 프레임으로 둘러싸는 것 이외의 임의의 방법이 이용되면 되고, 예를 들면, 표시장치(50)는, 사람영역 혹은 사람영역에 인접하여 아이콘을 중첩 표시시키거나, 사람영역의 휘도를 다른 영역보다 높게 하거나, 사람영역의 휘도를 주기적으로 변화시켜 점멸상태로 하거나, 사람영역의 색을 다른 영역과 다르게 하거나 해도 된다.
이상, 본 발명의 일실시형태에 관한 주변감시 시스템의 제3 기능에 대하여 상세하게 서술했지만, 본 발명은 이러한 특정 실시형태에 한정되는 것은 아니며, 본 발명의 요지의 범위 내에 있어서, 다양한 변형·변경이 가능하다.
예를 들면, 상술한 실시형태에서는, 표시제어부(302C) 및 음성제어부(303C)에 의한 제어하에, 표시장치(50) 및 음성출력장치(52)의 쌍방에 의하여, 오퍼레이터 등에 대한 차량 및 사람이 검지된 취지의 통지를 하지만, 어느 일방만이 당해 통지를 행하는 양태여도 된다.
또, 상술한 실시형태 및 변형예에서는, 물체검지부(301C), 즉, 차량검지부(3011C) 및 사람검지부(3012C)는, 각각, 촬상장치(40)(후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R))의 촬상화상에 근거하여, 차량 및 사람을 검지하지만, 촬상장치(40)의 촬상화상 대신에, 혹은, 더하여, 다른 센서, 예를 들면, 밀리파 레이더, LIDAR, 스테레오 카메라 등의 검출결과(거리화상 등)에 근거하여, 차량 및 사람을 검지해도 된다.
또, 상술한 실시형태 및 변형예에서는, 물체검지부(301C)는, 쇼벨에 탑재되는 센서에 의하여, 차량을 검지하지만, 당해 양태에는 한정되지 않는다. 예를 들면, 물체검지부(301C)는, 직접, 혹은 간접적으로, 동일한 작업현장에서 작업하거나, 혹은, 당해 작업현장으로 이동해 올 가능성이 있는 차량(이하, "대상차량"이라고 칭함)의 위치정보와, 쇼벨의 위치정보를 취득하여, 쇼벨과 대상차량의 상대위치관계에 근거하여, 상대적으로 원방으로부터 쇼벨에 접근하는 대상차량을 검지한다. 구체적으로는, 대상차량 및 쇼벨의 위치정보는, 각각, 대상차량 및 쇼벨에 탑재되는 GNSS(Global Navigation Satellite System：전지구측정 위성 시스템)장치에 의하여 취득되면 된다. 그리고, 대상차량 및 쇼벨은, 예를 들면, 각각에 탑재되는 소정의 통신기기를 이용하여, 소정의 통신네트워크를 통하여, 소정의 관리서버 등과 통신 가능하게 접속되며, 쇼벨은, 당해 통신네트워크를 통하여, 대상차량으로부터 관리서버에 업로드된 차량의 위치정보를 관리서버로부터 취득하고, 쇼벨의 위치정보와 비교함으로써, 쇼벨에 가까워지는 대상차량을 검지하면 된다. 이로써, 쇼벨(물체검지부(301C))은, 보다 빠른 단계에서, 쇼벨에 가까워지는 차량을 검지할 수 있다. 또, 쇼벨은, 예를 들면, 차량의 위치정보에 더하여, 차량에 관한 부속정보(어떠한 작업 목적으로 어디를 향하고 있는지) 등을 취득함으로써, 더 빠른 단계에서, 쇼벨에 가까워지는 차량을 검지할 수 있다.
다만, 상술한 실시형태에 관한 주변감시 시스템의 제3 기능에 관하여, 이하를 더 개시한다.
(1)
작업기계에 근접하는 소정의 근접영역보다 원방의 원방영역에서 차량을 검지하는 물체검지부와,
상기 물체검지부에 의하여 상기 원방영역에서 차량이 검지된 경우, 차량이 검지된 취지의 통지를 행하는 통지부를 구비하는,
작업기계용 주변감시 시스템.
(2)
상기 통지부는, 상기 물체검지부에 의하여 상기 원방영역에서 상기 작업기계에 가까워지는 방향으로 이동하는 차량이 검지된 경우, 차량이 검지된 취지의 통지를 행하는,
(1)에 기재된 작업기계용 주변감시 시스템.
(3)
상기 통지부는, 상기 물체검지부에 의하여 차량이 상기 원방영역에서 검지된 것에 의하여, 상기 통지를 행하고 있는 상태에서, 당해 차량이 상기 근접영역으로 이동함으로써, 상기 물체검지부에 의하여 당해 차량이 상기 원방영역에서 검지되지 않게 된 경우, 상기 통지를 정지하는,
(1) 또는 (2)에 기재된 작업기계용 주변감시 시스템.
(4)
상기 물체검지부는, 상기 근접영역에서 사람을 검지하고,
상기 통지부는, 상기 물체검지부에 의하여 상기 근접영역에서 사람이 검지된 경우, 사람이 검지된 취지의 통지를 행하는,
(3)에 기재된 작업기계용 주변감시 시스템.
(5)
상기 물체검지부는, 차량을 검지하기 위한 차량검지부와, 사람을 검지하기 위한 사람검지부를 가짐과 함께, 상기 원방영역을 대상으로 하여 상기 차량검지부를 이용하고, 상기 근접영역을 대상으로 하여 상기 사람검지부를 이용하는,
(4)에 기재된 작업기계용 주변감시 시스템.
(6)
작업기계의 주변을 촬상하는 촬상장치를 더 구비하고,
상기 통지부는, 상기 작업기계의 조종석 주변에 마련되어, 상기 촬상장치의 촬상화상, 또는, 상기 촬상화상에 근거하여 생성되는 시점변환화상을 표시하는 표시장치를 포함하고,
상기 표시장치는, 상기 물체검지부에 의하여 차량이 검지된 경우, 상기 촬상화상 또는 상기 시점변환화상을 포함하는 상기 표시장치의 화면의 일부를 강조시킴으로써, 차량이 검지된 취지의 통지를 행하는,
(1) 내지 (5) 중 어느 한 항에 기재된 작업기계용 주변감시 시스템.
(7)
상기 표시장치는, 상기 물체검지부에 의하여 차량이 검지된 경우, 상기 촬상화상 또는 상기 시점변환화상 중의 상기 물체검지부에 의하여 검지된 차량이 포함되는 영역을 강조시키는,
(6)에 기재된 작업기계용 주변감시 시스템.
(8)
상기 표시장치는, 상기 물체검지부에 의하여 차량이 검지된 경우, 화면 중의 상기 시점변환화상의 바깥 가장자리보다 외측의 영역을 강조시키는 표시를 행하는,
(6)에 기재된 작업기계용 주변감시 시스템.
(9)
작업기계로부터 보아 상대적으로 원방으로부터 상기 작업기계에 접근해 오는 차량이 존재하는 경우, 당해 차량의 존재를 통지하는 통지부를 구비하는,
작업기계용 주변감시 시스템.
(10)
작업기계의 주변을 촬상하는 촬상장치를 더 구비하고,
상기 통지부는, 상기 작업기계의 조종석 주변에 마련되어, 상기 촬상장치의 촬상화상, 또는, 상기 촬상화상에 근거하여 생성되는 시점변환화상을 표시하는 표시장치를 포함하고,
상기 표시장치는, 상기 촬상화상 또는 상기 시점변환화상에 상기 차량이 포함되는 경우, 상기 촬상화상 또는 상기 시점변환화상을 포함하는 상기 표시장치의 화면의 일부를 강조시킴으로써, 상기 차량의 존재를 통지하는,
(9)에 기재된 작업기계용 주변감시 시스템.
(11)
상기 표시장치는, 상기 촬상화상 또는 상기 시점변환화상에 상기 차량이 포함되는 경우, 상기 촬상화상 또는 상기 시점변환화상 중의 상기 차량이 포함되는 영역을 강조시키는,
(10)에 기재된 작업기계용 주변감시 시스템.
(12)
상기 표시장치는, 상기 물체검지부에 의하여 차량이 검지된 경우, 화면 중의 상기 시점변환화상의 바깥 가장자리보다 외측의 영역을 강조시키는 표시를 행하는,
(10)에 기재된 작업기계용 주변감시 시스템.
[주변감시 시스템의 제4 특징기능]
이어서, 본 실시형태에 관한 주변감시 시스템(100)에 관한 제4 특징기능, 구체적으로는, 주변감시 시스템(100)의 안전기능이 제한되어 있는 상황을 쇼벨 주변에 통지하는 기능의 일례(이하, "안전기능제한통지기능"이라고도 칭하는 경우가 있음)에 대하여 설명한다.
＜제4 특징기능에 의한 작용에 관한 개요＞
먼저, 제4 특징기능(안전기능제한통지기능)의 작용에 관한 개요를 설명한다.
작업기계 주변의 소정의 감시대상(예를 들면, 사람)을 검지하는 감시대상검지수단과, 감시대상이 검지되면, 예를 들면, 당해 감시대상이 검지된 취지를 오퍼레이터에게 통지하거나, 작업기계의 동작을 제한하거나 함으로써, 작업기계 주변의 안전성의 유지를 도모하는 안전확보수단을 구비하는 작업기계용 주변감시 시스템이 알려져 있다(예를 들면, 일본 공개특허공보 2014-181508호 등 참조).
그러나, 감시대상검지수단 및 안전확보수단 중 적어도 일방이 동작하고 있지 않은 경우 혹은 동작하고 있어도 동작상태가 정상이 아닌 경우, 감시대상검지수단 및 안전확보수단에 의한 작업기계 주변의 안전성의 확보가 제한된다. 이로 인하여, 이와 같은 상황을 고려하여, 작업기계가 사용되는 작업현장에 있어서의 추가적인 안전성의 확보가 도모되는 것이 바람직하다.
그래서, 본 실시형태에서는, 제4 특징기능에 의하여, 작업기계가 사용되는 작업현장에 있어서의 안전성을 더 향상시키는 것이 가능한 작업기계용 주변감시 시스템을 제공한다.
＜주변감시 시스템의 구성＞
다음으로, 도 42를 참조하여, 본 실시형태에 관한 주변감시 시스템(100)의 구체적인 구성에 대하여 설명을 한다.
도 42는, 본 실시형태에 관한 주변감시 시스템(100)의 구성의 일례를 나타내는 블록도이다.
주변감시 시스템(100)은, 쇼벨의 주변의 소정 범위 내로의 감시대상인 소정의 물체(이하, 간단히 "감시대상"이라고 칭함)의 침입을 감시하여, 감시대상을 검지한 경우, 경보를 출력하거나, 쇼벨의 동작을 제한하거나 한다. 감시대상은, 사람이나 사람 이외의 장애물이나 차량 등의 임의의 물체이면 된다. 이하, 감시대상은, 사람이라는 전제로 설명을 계속한다.
주변감시 시스템(100)은, 컨트롤러(30)와, 촬상장치(40)와, 표시장치(50)와, 음성출력장치(52)와, 게이트로크 밸브(54)와, 외부용 표시장치(60)와, 외부용 음성출력장치(62)를 포함한다.
컨트롤러(30)는, 상술한 바와 같이, 주변감시 시스템(100)에 있어서의 각종 제어처리를 행한다. 컨트롤러(30)는, 예를 들면, ROM이나 보조기억장치 등에 저장되는 각종 프로그램을 CPU 상에서 실행함으로써 실현되는 기능부로서, 검지부(301D)와, 표시제어부(302D)와, 경보출력부(303D)와, 제한제어부(304D)와, 판정부(305D)를 포함한다.
촬상장치(40)는, 상술한 바와 같이, 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)를 포함한다. 후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)는, 상부선회체(3)의 상부에 있어서, 광축이 경사 하방을 향하도록 장착되어, 쇼벨 근방의 지면으로부터 쇼벨의 원방까지를 포함하는 상하방향의 촬상범위(화각)를 갖는다. 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)는, 각각, 쇼벨의 운전 중, 소정 주기(예를 들면, 1/30초)마다, 촬상화상을 출력하여, 컨트롤러(30)에 송신한다.
표시장치(50)는, 촬상장치(40)의 촬상화상(스루화상)이나, 컨트롤러(30)(표시제어부(302D))에 의하여 촬상장치(40)의 촬상화상에 근거하여 생성되는 주변화상(예를 들면, 후술하는 시점변환화상) 등을 표시한다.
음성출력장치(52)는, 컨트롤러(30)(구체적으로는, 경보출력부(303D))에 의한 제어하에, 경보음을 출력한다.
게이트로크 밸브(54)는, 컨트롤러(30)(구체적으로는, 제한제어부(304D))에 의한 제어하에, 상술한 게이트로크 레버(도시생략)가 당겨 올려진 상태여도, 파일럿라인(도시생략)을 비연통상태로 한다.
외부용 표시장치(60)는, 컨트롤러(30)(구체적으로는, 경보출력부(303D))에 의한 제어하에, 쇼벨의 주변을 향하여, 소정의 문자정보나 화상정보를 표시하여, 쇼벨의 주변의 경계 에어리어로의 감시대상의 침입에 대한 경보를 행한다. 또, 외부용 표시장치(60)는, 컨트롤러(30)(구체적으로는, 판정부(305D))에 의한 제어하에, 쇼벨의 주변을 향하여, 쇼벨의 감시기능(쇼벨의 주변에서 감시대상을 검지하는 기능) 혹은 감시기능에 근거하여 동작하는, 후술하는 안전기능이 제한되어 있는 취지를 나타내는 문자정보나 화상정보를 표시한다.
외부용 음성출력장치(62)는, 컨트롤러(30)(구체적으로는, 경보출력부(303D))에 의한 제어하에, 쇼벨의 주변을 향하여, 소정의 음성정보를 출력하여, 감시대상의 쇼벨의 주변의 경계 에어리어로의 침입에 대한 경보를 행한다. 또, 외부용 음성출력장치(62)는, 컨트롤러(30)(구체적으로는, 판정부(305D))에 의한 제어하에, 쇼벨의 주변을 향하여, 쇼벨의 감시기능(쇼벨의 주변에서 감시대상을 검지하는 기능) 혹은 후술하는 안전기능이 제한되어 있는 취지를 나타내는 음성정보를 출력한다.
검지부(301D)는, 촬상장치(40)에 의하여 촬상된 촬상화상에 근거하여, 쇼벨의 주변의 소정 영역(감시 에어리어) 내, 예를 들면, 쇼벨로부터의 거리 D가 소정 거리 D1(예를 들면, 5미터) 이내에 있어서의 사람(감시대상)을 검지한다. 예를 들면, 검지부(301D)는, 이미 알려진 각종 화상처리수법이나 기계학습 베이스의 식별기 등을 임의로 적용함으로써, 촬상화상 내의 사람을 인식함과 함께, 인식한 사람의 실재위치(쇼벨로부터 인식한 사람까지의 거리 D 등)를 특정할 수 있다. 검지부(301D)는, 후방 검지부(301DB)와, 좌측방 검지부(301DL)와, 우측방 검지부(301DR)를 포함한다.
후방 검지부(301DB)는, 후방 카메라(40B)로부터 입력되는 촬상화상에 근거하여, 후방 카메라(40B)의 촬상영역(즉, 후방영역)에 있어서의 감시 에어리어 내의 감시대상(즉, 사람)을 검지한다.
좌측방 검지부(301DL)는, 좌측방 카메라(40L)로부터 입력되는 촬상화상에 근거하여, 좌측방 카메라(40L)의 촬상영역(즉, 좌측방영역)에 있어서의 감시 에어리어 내의 감시대상(즉, 사람)을 검지한다.
우측방 검지부(301DR)는, 우측방 카메라(40R)로부터 입력되는 촬상화상에 근거하여, 우측방 카메라(40R)의 촬상영역(즉, 우측방영역)에 있어서의 감시 에어리어 내의 감시대상(즉, 사람)을 검지한다.
다만, 검지부(301D)(후방 검지부(301DB), 좌측방 검지부(301DL), 우측방 검지부(301DR))는, 촬상장치(40)의 촬상화상 대신에, 혹은, 더하여, 다른 센서, 예를 들면, 밀리파 레이더, LIDAR, 스테레오 카메라 등의 검출결과(거리화상 등)에 근거하여, 쇼벨의 주변의 감시대상을 검지해도 된다. 이 경우, 이들 다른 센서가 쇼벨에 마련된다.
이와 같이, 본 실시형태에 관한 주변감시 시스템(100)에 있어서, 감시대상(즉, 사람)을 검지하는 기능(이하, "감시기능"이라고 칭함)을 갖는 감시대상검지수단(110)은, 상술한 설명으로부터 알 수 있듯이, 감시 에어리어를 포함하는 쇼벨의 주변을 촬상하는 촬상장치(40)와, 촬상장치(40)의 촬상화상으로부터, 화상처리 등을 이용하여, 감시대상을 검지하는 검지부(301D)를 포함하여 구성된다.
또, 감시대상검지수단(110)은, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)의 각각의 촬상영역 내에 있어서, 감시대상을 검지하는 후방용 감시대상검지수단(110B), 좌측방용 감시대상검지수단(110L), 및 우측방용 감시대상검지수단(110R)(복수의 영역별 감시대상검지수단의 일례)를 포함한다. 구체적으로는, 후방용 감시대상검지수단(110B)(영역별 감시대상검지수단의 일례)은, 후방 카메라(40B)와, 후방 검지부(301DB)를 포함하고, 좌측방용 감시대상검지수단(110L)(영역별 감시대상검지수단의 다른 예)은, 좌측방 카메라(40L)와, 좌측방 검지부(301DL)를 포함하며, 우측방용 감시대상검지수단(110R)(영역별 감시대상검지수단의 또 다른 예)은, 우측방 카메라(40R)와, 우측방 검지부(301DR)를 포함한다.
표시제어부(302D)는, 오퍼레이터의 각종 조작에 따라, 표시장치(50)에 각종 정보 화상을 표시시킨다. 예를 들면, 표시제어부(302D)는, 오퍼레이터에 의한 소정 조작에 따라, 촬상장치(40)의 촬상화상에 근거하여, 주변화상을 생성하여, 표시장치(50)에 표시시킨다. 구체적으로는, 표시제어부(302D)는, 주변화상으로서, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)의 촬상화상에 근거하여, 이미 알려진 시점변환처리를 행함으로써, 시점변환화상(가상시점으로부터 본 화상)을 생성하여, 표시장치(50)에 표시시킨다. 또, 표시제어부(302D)는, 주변화상을 표시장치(50)에 표시시킬 때, 주변화상에 비치는 촬상장치(40)의 촬상범위의 쇼벨에 대한 상대위치관계를 명시하기 위하여, 쇼벨을 모식적으로 나타내는 쇼벨화상을 함께 표시장치(50)에 표시시킨다. 즉, 표시제어부(302D)는, 쇼벨화상과, 쇼벨과 촬상장치(40)의 촬상범위의 상대위치관계에 맞추어, 쇼벨화상의 주위에 배치되는 주변화상을 포함하는 감시화상을 생성하여, 표시장치(50)에 표시시킨다. 이하, 도 43을 참조하여, 표시장치(50)에 표시되는 감시화상에 대하여 설명을 한다.
다만, 표시제어부(302D)의 기능은, 표시장치(50)에 내장되어도 된다. 이 경우, 촬상장치(40)(후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R))의 촬상화상, 및 검지부(301D)의 검지결과 등의 정보는, 각각, 촬상장치(40) 및 컨트롤러(30)로부터 표시장치(50)에 입력된다.
도 43은, 표시장치(50)에 표시되는 감시화상(MP2)의 일례를 나타내는 도이다.
도 43에 나타내는 바와 같이, 표시장치(50)에 있어서의 가로로 긴 직사각형의 화면(예를 들면, 애스펙트비 4:3의 화면)에는, 상술한 바와 같이, 쇼벨화상(CG)과, 쇼벨화상(CG)의 주위에 배치되는 주변화상(EP)을 포함하는 감시화상(MP2)이 표시되어 있다. 이로써, 오퍼레이터 등은, 주변화상(EP)에 비치고 있는 감시대상(즉, 사람)과 쇼벨의 위치관계를 적절히 파악할 수 있다.
본예에 있어서의 주변화상(EP)은, 쇼벨에 인접하는 주변영역을 바로 위로부터 본 부감화상(BVP)과, 당해 부감화상(BVP)의 주위에 배치되는, 쇼벨로부터 당해 주변영역을 수평방향으로 본 수평화상(HVP)을 조합한 시점변환화상이다. 시점변환화상인 주변화상(EP)은, 후방 카메라(40B), 좌측방 카메라(40L), 및 우측방 카메라(40R)의 각각의 촬상화상을 공간모델에 투영한 다음, 그 공간모델에 투영된 투영화상을 다른 이차원 평면에 재투영함으로써 얻어진다. 공간모델은, 가상공간에 있어서의 촬상화상의 투영대상이며, 촬상화상이 위치하는 평면 이외의 평면 혹은 곡면을 포함하는 하나 또는 복수의 평면 혹은 곡면으로 구성된다. 이하, 본 실시형태에 있어서의 주변화상은, 쇼벨에 인접하는 주변영역을 바로 위로부터 본 부감화상과, 그 주변영역의 주위를 쇼벨로부터 수평방향으로 본 수평화상을 조합한 시점변환화상이라는 전제로 설명을 계속한다.
또, 감시화상(MP2)에는, 가이드라인(GL1)이 중첩 표시된다. 가이드라인(GL1)은, 쇼벨로부터의 거리 D가 소정 거리 D2(＜D1)의 위치, 즉, 감시 에어리어에 포함되는 후술하는 경계 에어리어의 바깥 가장자리 위치를 나타낸다. 이로써, 주변화상에 감시대상(즉, 사람)이 비치고 있는 경우, 오퍼레이터 등은, 쇼벨로부터 어느 정도 떨어진 위치에 있는지를 파악할 수 있다.
또, 본예에서는, 감시화상(MP2)의 주변화상(EP)은, 경계 에어리어(쇼벨로부터의 거리 D가 소정 거리 D2 이하인 에어리어) 내에 감시대상인 사람(작업자(W1D))을 포함한다. 주변화상(EP)에 포함되는, 경계 에어리어 내의 작업자(W1D)는, 굵은선 프레임(FR1D)으로 둘러싸이는 양태로 강조된다. 이로써, 오퍼레이터를 향하여, 경계 에어리어에 감시대상이 침입하고 있는 취지를 경보(통지)할 수 있다.
도 42로 되돌아가, 경보출력부(303D)는, 검지부(301D)에 의하여 경계 에어리어, 즉, 쇼벨로부터의 거리 D가 소정 거리 D2 이내에서 사람이 검지된 경우, 캐빈(10)의 내부, 즉, 오퍼레이터, 및 쇼벨의 주변, 즉, 작업자나 작업현장의 현장감독 등의 감시자 등을 향하여 경보를 행한다. 예를 들면, 경보출력부(303D)는, 소리에 의한 경보를 출력시킨다. 구체적으로는, 경보출력부(303D)는, 음성출력장치(52) 및 외부용 음성출력장치(62)를 통하여 경고음을 출력시킨다. 예를 들면, 도 44(도 44a, 도 44b)는, 쇼벨의 주변을 향하여 출력되는 경보의 일례를 모식적으로 설명하는 도이다. 도 44에 나타내는 바와 같이, 쇼벨의 주변에 있어서의 경계 에어리어 외에 있는 작업자(도 44a)가, 경계 에어리어 내에 침입한 경우, 캐빈(10)의 내부의 오퍼레이터 및 쇼벨의 주변의 침입한 작업자, 다른 작업자 및 작업현장의 현장감독 등의 감시자 등을 향하여, 음성출력장치(52) 및 외부용 음성출력장치(62)로부터, 예를 들면, "위험 에어리어에 진입하였습니다" 등의 경고음(음성)이 출력된다(도 44b).
또, 예를 들면, 경보출력부(303D)는, 시각적인 표시에 의한 경보를 출력시킨다. 구체적으로는, 경보출력부(303D)는, 표시제어부(302D)에 경보요구를 송신한다. 이로써, 표시제어부(302D)는, 경보요구에 따라, 표시장치(50)에 표시되는 감시화상(MP2)의 주변화상(EP)에 포함되는 감시대상인 사람을 굵은선 프레임으로 둘러싸는 등의 강조시키는 처리를 실시하고(도 43 참조), 표시장치(50)는, 오퍼레이터에 대한 경보를 행할 수 있다. 또, 경보출력부(303D)는, 외부용 표시장치(60)에 경보요구를 송신한다. 이로써, 표시장치(50)는, 상술한 도 44의 경고음(음성)과 동일한 문자정보를 표시시키는 등에 의하여, 쇼벨의 주변으로의 경보를 행할 수 있다.
이와 같이, 경보출력부(303D)는, 음성출력장치(52)를 이용하여, 오퍼레이터를 향하여 경보를 행함으로써, 오퍼레이터에 의한 쇼벨의 조작의 중단 등을 촉구할 수 있어, 결과적으로, 쇼벨의 주변에 있어서의 안전성의 유지를 도모할 수 있다. 또, 경보출력부(303D)는, 외부용 음성출력장치(62)를 이용하여, 쇼벨의 주변을 향하여 경보를 행함으로써, 경계 에어리어로부터의 사람의 퇴피를 촉구하거나, 경계 에어리어 외의 사람(다른 작업자나 작업현장의 현장감독 등의 감시자)에 대하여, 작업자의 배치위치의 재검토를 촉구하거나 할 수 있어, 결과적으로, 쇼벨의 주변에 있어서의 안전성의 유지를 도모할 수 있다.
다만, 경보출력부(303D)는, 경계 에어리어보다 외측의 감시 에어리어(D2＜D≤D1)에서 감시대상(즉, 사람)을 검지한 경우, 경계 에어리어에서 감시대상을 검지한 경우보다도 위험도를 나타내는 경보레벨이 비교적 낮은 경보, 즉, 예비적인 경보를 행해도 된다. 예를 들면, 경보출력부(303D)는, 검지된 사람의 쇼벨로부터의 거리 D가 소정 거리 D1 이하 또한 소정 거리 D2보다 큰 경우(즉, 검지된 사람이 경계 에어리어보다 외측의 감시 에어리어에 있는 경우), 비교적 위험도가 낮은 주의상태(경보레벨 1)라고 하여, 예비적인 경보(예를 들면, 비교적 작은 음량의 경고음을 스피커에 출력시킴)를 출력한다. 한편, 경보출력부(303D)는, 검지된 사람의 쇼벨로부터의 거리 D가 소정 거리 D2 이하인 경우(즉, 검지된 사람이 경계 에어리어 내에 있는 경우), 비교적 위험도가 높은 경계상태(경보레벨 2)라고 하여, 정식적 경보(예를 들면, 비교적 큰 음량의 경고음)를 출력한다.
도 42로 되돌아가, 제한제어부(304D)는, 검지부(301D)에 의하여 경계 에어리어에서 사람이 검지된 경우, 쇼벨의 동작요소(하부주행체(1), 상부선회체(3), 붐(4), 암(5), 버킷(6) 등)의 동작을 제한시킨다. 예를 들면, 제한제어부(304D)는, 게이트로크 밸브(54)에 지령신호로서의 ON 신호를 송신함으로써, 게이트로크 밸브(54)에 파일럿라인을 비연통상태로 하게 한다. 이로써, 파일럿 펌프(도시생략)로부터 쇼벨의 동작요소를 조작하는 조작장치(도시생략)에 작동유(파일럿압)가 공급되지 않기 때문에, 오퍼레이터가 조작장치에 조작 입력을 행해도, 쇼벨의 동작요소가 동작하지 않게 제한할 수 있다. 이로 인하여, 쇼벨에 근접하는 경계 에어리어에 사람이 침입해 버린 경우에도, 쇼벨의 동작이 제한되어, 쇼벨과 사람의 충돌을 억제할 수 있으며, 결과적으로, 쇼벨의 주변에 있어서의 안전성의 유지를 도모할 수 있다.
다만, 예를 들면, 조작장치로부터 출력되는 2차측의 파일럿압을 감압하는 감압밸브를 마련하고, 제한제어부(304D)는, 게이트로크 밸브(54) 대신에, 당해 감압밸브를 제어해도 된다. 이 경우, 당해 감압밸브는, 조작장치로부터 출력되는 2차측의 파일럿압을 조작량 제로에 상당하는 압력값 이하까지 감압시킴으로써, 오퍼레이터에 의한 조작장치에 대한 조작을 무효화할 수 있어, 결과적으로, 쇼벨의 동작요소의 동작을 제한할 수 있다.
이와 같이, 감시대상검지수단(110)에 의하여 경계 에어리어 내에서 감시대상(즉, 사람)이 검지된 경우에, 쇼벨의 주변에 있어서의 안전성의 확보를 도모하는 안전기능, 예를 들면, 상술한 바와 같이, 오퍼레이터를 향하여 경보를 출력하는 기능(이하, 내부경보기능이라고 칭함), 쇼벨의 주변을 향하여 경보를 출력하는 기능(이하, 외부경보기능이라고 칭함), 및 쇼벨의 동작요소의 동작을 제한시키는 기능(이하, 동작제한기능이라고 칭함) 등을 갖는 안전확보수단(120)은, 표시제어부(302D), 경보출력부(303D), 제한제어부(304D), 표시장치(50), 음성출력장치(52), 게이트로크 밸브(54), 외부용 표시장치(60), 외부용 음성출력장치(62) 등을 포함하여 구성된다.
판정부(305D)(판정수단의 일례)는, 주변감시 시스템(100)에 있어서의 감시대상을 검지하는 기능(이하, 감시기능이라고 칭함), 즉, 감시대상검지수단(110)이 동작하고 있는지 아닌지, 및 동작하고 있는 경우의 동작상태가 정상인지 아닌지를 판정한다(이하, 동작하고 있는지 아닌지의 판정을 "제1 당부판정"이라고 칭하고, 동작상태가 정상인지의 판정을 "제2 당부판정"이라고 칭한다). 감시대상검지수단(110)이 "동작하고 있지 않은" 상태란, 예를 들면, 감시대상검지수단(110)의 적어도 일부가 전원공급 혹은 유압공급에 의하여 동작하는 경우에, 전원 OFF되어 있거나 혹은 유압이 차단되어 있는 상태나, 감시대상검지수단(110)의 감시기능을 ON/OFF 전환 가능한 경우에, 당해 감시기능이 OFF로 설정되어 있는 상태 등, 의도적으로 감시대상검지수단(110)(즉, 감시기능)이 작동하지 않게 되어 있는 상태를 포함한다.
그리고, 판정부(305D)는, 감시대상검지수단(110)이 동작하고 있지 않거나, 혹은, 동작하고 있지만, 그 동작상태가 정상이 아니라(즉, 이상하다)고 판정된 경우, 외부용 표시장치(60) 및 외부용 음성출력장치(62)에 통지지령을 송신하고, 쇼벨의 주변을 향하여, 감시대상검지수단(110)(즉, 감시기능)의 동작이 제한되어 있는 것을 나타내는 통지(제한통지)를 행한다.
판정부(305D)는, 임의의 방법으로, 감시대상검지수단(110)이 동작하고 있는지 아닌지를 판정하면 된다. 예를 들면, 판정부(305D)는, 감시대상검지수단(110)에 포함되는 각 구성요소, 즉, 촬상장치(40)(후방 카메라(40B), 좌측방 카메라(40L), 우측방 카메라(40R)) 및 검지부(301D)(후방 검지부(301DB), 좌측방 검지부(301DL), 우측방 검지부(301DR))의 각각에 대하여, 당부판정을 행하면 된다. 이 경우, 판정부(305D)는, 구성요소 중 적어도 하나가 동작하고 있지 않은 경우, 감시대상검지수단(110)이 동작하고 있지 않다고 판정한다. 또, 예를 들면, 판정부(305D)는, 촬상장치(40)로부터 컨트롤러(30)에 정기적으로 촬상화상이 입력되고 있는 상태인지 아닌지에 의하여, 촬상장치(40)가 동작하고 있는지 아닌지를 판정하면 된다. 또, 판정부(305D)는, 컨트롤러(30)의 메모리 등에 저장되는, 감시기능의 ON/OFF에 관한 정보(플래그) 등을 확인함으로써, 검지부(301D)가 동작하고 있는지 아닌지를 판정하면 된다.
또, 판정부(305D)는, 임의의 방법으로, 감시대상검지수단(110)의 동작상태가 정상인지 아닌지를 판정하면 된다. 예를 들면, 판정부(305D)는, 감시대상검지수단(110)에 포함되는 각 구성요소, 즉, 촬상장치(40) 및 검지부(301D)의 각각에 대하여, 당부판정을 행하면 된다. 이 경우, 판정부(305D)는, 구성요소 중 적어도 하나의 동작상태가 정상이 아닌 경우, 감시대상검지수단(110)의 동작상태가 정상이 아니라고 판정한다. 또, 예를 들면, 판정부(305D)는, 컨트롤러(30)의 ROM 등에 미리 저장되는 헬스체크프로그램(다이아그노스틱프로그램)에 근거하여, 촬상장치(40) 및 검지부(301D)의 헬스체크를 행하고, 헬스체크결과에 근거하여, 촬상장치(40) 및 검지부(301D)의 동작상태가 정상인지 아닌지를 판정하면 된다.
또, 판정부(305D)는, 화상처리에 의하여 감시대상을 정상으로 검지할 수 있을 정도의 촬상화상이 촬상장치(40)로부터 취득되어 있는지 아닌지를 판정함으로써, 감시대상검지수단(110)의 동작상태가 정상인지 아닌지를 판정해도 된다. 촬상장치(40)로부터 출력되는 촬상화상에 프리즈, 노출과다, 노출부족이 발생하거나, 촬상장치(40)의 렌즈의 부착물에 기인하여 촬상장치(40)로부터 출력되는 촬상화상의 대부분을 부착물이 차지하고 있거나 하면, 화상처리 베이스의 경우, 감시대상을 정상으로 검지할 수 없을 가능성이 높기 때문이다. 또, 어느 정도의 속도로, 쇼벨이 이동하거나, 선회하거나 하고 있는 상황에서는, 촬상장치(40)의 촬상영역이 시시각각으로 변화하기 때문에, 감시대상을 정상으로 검지할 수 있을 정도, 즉, 동일한 감시대상의 후보를 추적하여, 정식적인 감시대상으로서 검지하기 위하여 필요한 매수의 동일한 감시대상이 포함되는 촬상화상을 취득할 수 없어, 화상처리 베이스의 경우, 감시대상을 정상으로 검지할 수 없을 가능성이 높기 때문이다.
구체적으로는, 판정부(305D)는, 촬상장치(40)의 촬상화상의 평균정보량, 예를 들면, 평균휘도정보량 등에 근거하여, 촬상장치(40)의 촬상화상이 감시대상을 정상으로 검지할 수 있는 상태에 있는지 아닌지, 즉, 촬상화상이, 노출과다, 노출부족, 프리즈 등에 해당하지 않는 상태인지 아닌지를 판정하면 된다. 예를 들면, 촬상장치(40)에 의한 촬상화상의 평균휘도정보량이 비교적 작은, 즉, 적절히 미리 규정되는 임곗값보다 작은 경우, 촬상화상에 있어서의 휘돗값의 히스토그램분산이 좁은 상태를 나타내고 있기 때문에, 노출과다, 노출부족, 혹은 그것과 유사한 상태(촬상장치(40)의 렌즈를 부착물이 덮고 있는 상태 등)라고 판정할 수 있다. 이 경우, 시계열적으로 연속하는 복수의 촬상화상에 있어서의 평균휘도정보량의 평균값을 이용하여, 당해 판정을 행해도 된다. 또, 시계열적으로 연속하는 2개의 촬상화상의 평균휘도정보량의 변화량(평균휘도정보량 변화량)이 대략 제로인(즉, 대략 제로라고 판정 가능한 매우 작은 임곗값보다 작은) 경우, 2개의 촬상화상에 있어서의 휘도의 히스토그램에 변화가 없는 상태를 나타내고 있기 때문에, 촬상화상의 프리즈, 혹은, 그것과 유사한 상태라고 판정할 수 있다. 이 경우, 시계열적으로 연속하는 2 이상의 평균휘도정보량 변화량의 각각에 대하여, 대략 제로인지 아닌지를 판정하여, 당해 조건을 만족시키는 비율이 소정 이상인 경우에, 촬상화상의 프리즈, 혹은, 그것과 유사한 상태라고 판정해도 된다.
또, 판정부(305D)는, 촬상장치(40)의 촬상화상의 소정의 화상특징량, 예를 들면, LBP(Local Binary Pattern) 특징량의 시계열변화에 근거하여, 쇼벨의 이동상태 또는 선회상태가, 촬상화상으로부터 감시대상을 정상으로 검지할 수 있는 정도인지 아닌지를 판정해도 된다. 촬상장치(40)에 의한 촬상화상에 있어서의 화상특징량의 시계열변화(차분)가 비교적 큰 경우는, 배경이 이동하고 있다, 즉, 쇼벨이 이동하고 있거나, 혹은, 선회하고 있다고 판단할 수 있기 때문이다. 예를 들면, 먼저, 판정부(305D)는, 촬상장치(40)의 시계열적으로 연속하는 2개의 촬상화상의 각각을 미리 규정되는 복수의 블록, 예를 들면, N(2 이상의 정수)개의 블록으로 구분하여, 블록마다 LBP 특징량을 산출한다. 다음으로, 판정부(305D)는, 블록마다, 2개의 촬상화상 사이의 LBP 특징량의 변화량에 상당하는 허밍거리 hdi(i=1, ..., N)를 산출함과 함께, 구분되는 N개의 블록의 모든 허밍거리 hdi의 합을, 2개의 촬상화상 사이의 허밍거리 HD(=hd1+...+hdN)로서 산출한다. 그리고, 산출한 허밍거리 HD가, 적절히 미리 규정되는 임곗값보다 큰 경우, 배경이 어느 정도의 속도로 이동하고 있다, 즉, 쇼벨이 어느 정도의 속도로 이동 혹은 선회하고 있다고 판정할 수 있다. 이 경우, 시계열적으로 연속하는 3 이상의 촬상화상을 대상으로 하여, 2 이상의 허밍거리 HD를 산출하고, 그들의 평균값을 이용하여, 당해 판정을 행해도 된다.
또, 판정부(305D)는, 감시대상검지수단(110)에 포함되는 후방용 감시대상검지수단(110B), 좌측방용 감시대상검지수단(110L), 우측방용 감시대상검지수단(110R)의 각각에 대하여, 동작하고 있는지 아닌지, 및 동작하고 있는 경우의 동작상태가 정상인지 아닌지를 판정해도 된다.
그리고, 판정부(305D)는, 후방용 감시대상검지수단(110B), 좌측방용 감시대상검지수단(110L), 우측방용 감시대상검지수단(110R) 중 일부가 동작하고 있지 않거나, 혹은, 동작하고 있지만, 그 동작상태가 정상이 아니라(즉, 이상하다)고 판정된 경우, 외부용 표시장치(60) 및 외부용 음성출력장치(62)를 이용하여, 쇼벨의 주변을 향하여, 후방용 감시대상검지수단(110B), 좌측방용 감시대상검지수단(110L), 우측방용 감시대상검지수단(110R) 중 일부에 대응하는 촬상장치(40)의 촬상영역(후방영역, 좌측방영역, 및 우측방영역 중 어느 1개 혹은 2개의 영역)에 있어서의 감시기능이 제한되어 있는 취지의 통지(이하, "제한통지"라고 칭함)를 행해도 된다(후술하는 도 48 참조).
또, 판정부(305D)는, 감시대상검지수단(110)에 의하여 경계 에어리어에서 감시대상(즉, 사람)이 검지된 경우에 쇼벨의 주변에 있어서의 안전성의 확보를 도모하는 안전확보수단(120)에 대하여, 동작하고 있는지 아닌지, 및 동작하고 있는 경우의 동작상태가 정상인지 아닌지를 판정해도 된다. 안전확보수단(120)이 "동작하고 있지 않은" 상태란, 감시대상검지수단(110)의 경우와 동일하게, 예를 들면, 안전확보수단(120) 중 적어도 일부가 전원공급 혹은 유압공급에 의하여 동작하는 경우에, 전원이 OFF되어 있거나 혹은 유압이 차단되어 있는 상태나, 안전확보수단(120)(즉, 안전기능)을 ON/OFF 전환 가능한 경우에, 안전기능이 OFF로 설정되어 있는 상태 등, 의도적으로 안전확보수단(120)의 기능이 작동하지 않게 되어 있는 상태를 포함한다.
그리고, 판정부(305D)는, 안전확보수단(120)이 동작하고 있지 않거나, 혹은, 동작하고 있지만, 그 동작상태가 정상이 아니라(즉, 이상하다)고 판정된 경우, 외부용 표시장치(60) 및 외부용 음성출력장치(62)에 통지지령을 송신하고, 쇼벨의 주변을 향하여, 안전확보수단(120)(즉, 안전기능)의 동작이 제한되어 있는 것을 나타내는 통지(제한통지)를 행해도 된다(도 49 참조).
판정부(305D)는, 감시대상검지수단(110)의 경우와 동일하게, 임의의 방법으로, 안전확보수단(120)이 동작하고 있는지 아닌지를 판정하면 된다. 예를 들면, 판정부(305D)는, 안전확보수단(120)에 포함되는 각 구성요소, 즉, 표시제어부(302D), 경보출력부(303D), 제한제어부(304D), 표시장치(50), 음성출력장치(52), 게이트로크 밸브(54), 외부용 표시장치(60), 외부용 음성출력장치(62)의 각각에 대하여, 당부판정을 행하면 된다. 이 경우, 판정부(305D)는, 구성요소 중 적어도 하나가 동작하고 있지 않은 경우, 안전확보수단(120)이 동작하고 있지 않다고 판정한다. 또, 예를 들면, 판정부(305D)는, 촬상장치(40)로부터 컨트롤러(30)에 정기적으로 촬상화상이 입력되고 있는 상태인지 아닌지에 의하여, 촬상장치(40)가 동작하고 있는지 아닌지를 판정하면 된다. 또, 판정부(305D)는, 컨트롤러(30)의 메모리 등에 저장되는, 안전기능의 ON/OFF에 관한 정보(플래그) 등을 확인함으로써, 검지부(301D)가 동작하고 있는지 아닌지를 판정하면 된다.
또, 판정부(305D)는, 감시대상검지수단(110)의 경우와 동일하게, 임의의 방법으로, 안전확보수단(120)의 동작상태가 정상인지 아닌지를 판정하면 된다. 예를 들면, 판정부(305D)는, 안전확보수단(120)에 포함되는 각 구성요소, 즉, 표시제어부(302D), 경보출력부(303D), 제한제어부(304D), 표시장치(50), 음성출력장치(52), 게이트로크 밸브(54), 외부용 표시장치(60), 외부용 음성출력장치(62)의 각각에 대하여, 당부판정을 행하면 된다. 이 경우, 판정부(305D)는, 구성요소 중 적어도 하나의 동작상태가 정상이 아닌 경우, 안전확보수단(120)의 동작상태가 정상이 아니라고 판정한다. 또, 예를 들면, 판정부(305D)는, 컨트롤러(30)의 ROM 등에 미리 저장되는 헬스체크프로그램(다이아그노스틱프로그램)에 근거하여, 표시제어부(302D), 경보출력부(303D), 제한제어부(304D), 표시장치(50), 음성출력장치(52), 게이트로크 밸브(54), 외부용 표시장치(60), 외부용 음성출력장치(62)의 헬스체크를 행하고, 헬스체크결과에 근거하여, 표시제어부(302D), 경보출력부(303D), 제한제어부(304D), 표시장치(50), 음성출력장치(52), 게이트로크 밸브(54), 외부용 표시장치(60), 외부용 음성출력장치(62)의 동작상태가 정상인지 아닌지를 판정하면 된다.
＜제한통지의 구체예＞
다음으로, 도 45, 도 46을 참조하여, 외부용 표시장치(60) 및 외부용 음성출력장치(62)에 의하여 행해지는 감시대상검지수단(110)의 동작(감시기능)이 제한되어 있는 것을 나타내는 통지(제한통지)의 구체예를 설명한다.
다만, 안전확보수단(120)의 동작(안전기능)이 제한되어 있는 것을 나타내는 통지에 대해서도, 동일하게 행해지기 때문에, 설명을 생략한다.
도 45, 도 46(도 46a, 도 46b)은, 쇼벨의 주변을 향하여 통지되는 제한통지의 일례 및 다른 예를 모식적으로 설명하는 도이다.
도 45에 나타내는 바와 같이, 본예에서는, 상부선회체(3)의 후단의 측면 상부에 있어서, 좌우방향을 따라 배치되는 외부용 표시장치(60)에는, "감시기능 제한중"이라고 표시되어 있다. 이로써, 쇼벨의 주변에서 작업을 하고 있는 작업자나 작업현장의 감독자 등은, 쇼벨의 감시기능이 제한되어 있는 것을 파악할 수 있다.
또, 도 46에 나타내는 바와 같이, 감시대상검지수단(110)의 동작이 정상이 아닌 상황이 된 경우(도 46a), 외부용 음성출력장치(62)로부터, 예를 들면, "쇼벨의 감시기능이 제한되어 있습니다" 등의 음성이 출력된다(도 46b).
이로써, 작업자나 작업현장의 현장감독 등의 감시자 등은, 쇼벨의 감시기능이나 당해 감시기능에 근거하는 안전기능이 제한되어 있는 것을 쇼벨의 외부로부터 파악할 수 있다. 이로 인하여, 통상, 쇼벨의 주변의 안전성의 확보에 대해서는, 쇼벨측에서의 감시기능이나 안전기능에 의지하는 부분이 크므로, 이들 기능이 제한된 경우에도, 작업자나 작업현장의 현장감독 등의 감시자 등에 대하여, 쇼벨의 주변에 있어서의 안전성의 확보를 고려한 행동(예를 들면, 쇼벨과의 거리를 통상보다 확보하여 작업을 행하는 등)을 촉구할 수 있다. 따라서, 쇼벨의 주변의 안전성을 더 향상시킬 수 있다.
＜주변감시 시스템의 동작의 상세＞
다음으로, 도 47~도 49를 참조하여, 본 실시형태에 관한 주변감시 시스템(100)에 의한 특징적인 처리, 즉, 판정부(305D)에 의한 제한통지를 행하기 위한 처리(통지처리)의 플로에 대하여 설명을 한다.
도 47은, 주변감시 시스템(100)의 판정부(305D)에 의한 통지처리의 제1예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 예를 들면, 쇼벨의 운전 중, 제한통지를 하지 않은 상황에서, 정기적으로 반복 실행되면 된다.
스텝 S102D에서, 판정부(305D)는, 감시기능에 대한 제1 당부판정, 즉, 감시대상검지수단(110)이 동작하고 있는지 아닌지의 판정을 행한다.
스텝 S104D에서, 판정부(305D)는, 감시기능에 대한 제2 당부판정, 즉, 감시대상검지수단(110)이 동작하고 있는 경우의 동작상태가 정상인지 아닌지의 판정을 행한다.
다만, 스텝 S102D, S104D의 처리의 순서는, 반대여도 된다.
스텝 S106D에서, 판정부(305D)는, 스텝 S102D, S104D에 있어서의 제1 당부판정 및 제2 당부판정에서 부정판정이 하나라도 있는지 없는지를 판정한다. 판정부(305D)는, 부정판정이 있는 경우, 스텝 S108D로 진행하고, 부정판정이 없는 경우, 이번 처리를 종료한다.
스텝 S108D에서, 판정부(305D)는, 외부용 표시장치(60) 및 외부용 음성출력장치(62)에 통지지령을 송신하고, 쇼벨의 주변을 향하여, 감시기능(즉, 감시대상검지수단(110)의 동작)이 제한되어 있는 것을 나타내는 통지를 행하게 하여, 이번 처리를 종료한다.
이와 같이, 본예에서는, 외부용 표시장치(60) 및 외부용 음성출력장치(62)는, 쇼벨의 감시기능이 동작하고 있지 않은 경우나 동작하고 있어도 동작상태가 정상이 아닌(예를 들면, 고장나 있는) 경우에, 쇼벨의 주변을 향하여, 그 취지를 통지한다. 이로써, 쇼벨의 주변에 있는 작업자나 작업현장의 현장감독 등의 감시자 등은, 쇼벨의 감시기능이 정상으로 동작하고 있는 것을 전제로 하여, 쇼벨의 주변에서 작업하거나, 작업을 시키거나 하고 있는 경우도 많으므로, 상술한 바와 같이, 작업자나 감독자 등은, 쇼벨의 감시기능이 제한되어 있는 것을 쇼벨의 외부로부터 파악할 수 있다. 이로 인하여, 통상, 쇼벨의 주변의 안전성의 확보에 대해서는, 쇼벨측에서의 감시기능에 의지하는 부분이 크므로, 이들 기능이 제한된 경우에도, 작업자나 감독자 등에 대하여, 쇼벨의 주변에 있어서의 안전성의 확보를 고려한 행동을 촉구할 수 있다. 따라서, 쇼벨의 주변의 안전성을 더 향상시킬 수 있다.
다만, 쇼벨에 마련되는 도시하지 않은 통신 디바이스 등을 이용하여, 쇼벨의 감시기능이 동작하고 있지 않은 경우나 동작하고 있어도 동작상태가 정상이 아닌 경우(스텝 S106D의 Yes)에, 작업현장의 관리단말이나 작업현장의 현장감독 등의 감시자의 단말(스마트폰, 태블릿단말) 등에, 쇼벨의 감시기능이 제한되어 있는 취지의 통지가 송신되어도 된다. 예를 들면, 통신 디바이스는, 소정의 관리서버에 당해 통지를 송신함으로써, 관리서버를 경유하여, 미리 등록되는 작업현장의 관리단말이나 현장감독 등의 관리자의 단말에 당해 통지가 리얼타임으로 전송되는 양태이면 된다. 이로써, 예를 들면, 작업현장이 넓은 경우 등, 작업현장의 현장감독 등의 감시자는, 쇼벨로부터 직접 출력되는 통지를 알아차리지 못할 가능성이 있지만, 작업현장의 사무소에 마련되는 관리단말이나 감시자 자신이 휴대하는 단말에 당해 통지가 송신되기 때문에, 쇼벨의 감시기능이 제한되어 있는 것을 파악할 수 있다. 이하, 후술하는 도 48의 스텝 S206D의 Yes의 경우나 도 49의 스텝 S310D의 Yes의 경우에 대해서도, 동일한 대응이 행해지면 된다.
또, 예를 들면, 컨트롤러(30)는, 쇼벨의 감시기능이 동작하고 있지 않은 경우나 동작하고 있어도 동작상태가 정상이 아닌 경우(스텝 S106D의 Yes)에, 쇼벨의 각종 상태(예를 들면, 쇼벨에 탑재되는 각종 센서의 검출신호, 조작장치에 대한 조작상태를 나타내는 신호, 컨트롤러(30)를 포함하는 각종 제어장치의 제어상태를 나타내는 신호 등)를 내부 메모리 등에 기록해도 된다. 또, 기록된 데이터는, 도시하지 않은 통신 디바이스에 의하여, 관리서버에 송신되어, 축적되어도 된다. 이와 같이, 감시기능이 제한되었을 때의 각종 상태를 기록함으로써, 문제의 증거기록으로 하거나, 축적되는 각종 상태를 해석함으로써, 문제의 원인구명이나 향후의 개량 등을 행하거나 할 수 있다. 이하, 후술하는 도 48의 스텝 S206D의 Yes의 경우나 도 49의 스텝 S310D의 Yes의 경우에 대해서도, 동일한 대응이 행해지면 된다.
또, 예를 들면, 컨트롤러(30)는, 쇼벨의 감시기능이 동작하고 있지 않은 경우나 동작하고 있어도 동작상태가 정상이 아닌 경우(스텝 S106D의 Yes)이며, 촬상장치(40)로부터 촬상화상이 입력되고 있는 경우에, 촬상장치(40)의 촬상화상을 일정기간분, 내부 메모리 등에 기록해도 된다. 또, 기록된 촬상화상의 데이터는, 도시하지 않은 통신 디바이스에 의하여, 관리서버에 송신되어, 축적되어도 된다. 이로써, 쇼벨의 각종 상태에 관한 데이터의 경우와 동일하게, 촬상장치(40)의 동작상태가 정상이 아닐 때의 구체적인 상황을 파악할 수 있어, 문제의 원인구명이나 향후의 개량 등에 활용할 수 있음과 함께, 촬상장치(40)에 문제가 없을 때에는, 감시기능이 제한되었을 때의 주변 상황 등을 문제의 증거기록으로서 축적할 수 있다. 이하, 후술하는 도 48의 스텝 S206D의 Yes의 경우나 도 49의 스텝 S310D의 Yes의 경우에 대해서도, 동일한 대응이 행해지면 된다.
계속해서, 도 48은, 주변감시 시스템(100)의 판정부(305D)에 의한 통지처리의 제2예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 상술한 제1예(도 47)의 경우와 동일하게, 예를 들면, 쇼벨의 운전 중, 제한통지를 하지 않은 상황에서, 정기적으로 반복 실행되면 된다.
스텝 S202D에서, 판정부(305D)는, 후방영역, 좌측방영역, 및 우측방영역의 각각에 있어서의 감시기능에 대한 제1 당부판정, 즉, 후방용 감시대상검지수단(110B), 좌측방용 감시대상검지수단(110L), 및 우측방용 감시대상검지수단(110R)의 각각이, 동작하고 있는지 아닌지의 판정을 행한다.
스텝 S204D에서, 판정부(305D)는, 후방영역, 좌측방영역, 및 우측방영역의 각각에 있어서의 감시기능에 대한 제2 당부판정, 즉, 후방용 감시대상검지수단(110B), 좌측방용 감시대상검지수단(110L), 및 우측방용 감시대상검지수단(110R)의 각각이 동작하고 있는 경우의 동작상태가 정상인지 아닌지의 판정을 행한다.
스텝 S206D에서, 판정부(305D)는, 스텝 S202D, S204D에 있어서의 제1 당부판정 및 제2 당부판정에서 부정판정이 있는지 없는지를 판정한다. 판정부(305D)는, 부정판정이 있는 경우, 스텝 S208D로 진행하고, 부정판정이 없는 경우, 이번 처리를 종료한다.
스텝 S208D에서, 판정부(305D)는, 스텝 S202D, S204D에 있어서의 제1 당부판정 및 제2 당부판정에서, 후방영역, 좌측방영역, 및 우측방영역의 전체영역에 있어서의 감시기능에 대한 부정판정이 있는지 없는지를 판정한다. 판정부(305D)는, 후방영역, 좌측방영역, 및 우측방영역의 전체영역에 있어서의 감시기능에 대한 부정판정이 있는 경우, 스텝 S210D로 진행하고, 후방영역, 좌측방영역, 및 우측방영역 중 일부 영역의 감시기능에 대한 부정판정이 있는 경우, 스텝 S212D로 진행한다.
스텝 S210D에서, 판정부(305D)는, 외부용 표시장치(60) 및 외부용 음성출력장치(62)에 통지지령을 송신하고, 쇼벨의 주변을 향하여, 전체영역(후방영역, 좌측방영역, 및 우측방영역)에서 감시기능이 제한되어 있는 것을 나타내는 통지를 행하게 하여, 이번 처리를 종료한다.
한편, 스텝 S212D에서, 판정부(305D)는, 외부용 표시장치(60) 및 외부용 음성출력장치(62)에 통지지령을 송신하고, 쇼벨의 주변을 향하여, 전체영역 중, 부정판정이 있는 일부의 영역별 감시대상검지수단(후방용 감시대상검지수단(110B), 좌측방용 감시대상검지수단(110L), 및 우측방용 감시대상검지수단(110R) 중 어느 1개 혹은 2개에 대응하는 영역(후방영역, 좌측방영역, 및 우측방영역 중 어느 1개 혹은 2개)에서 감시기능이 제한되어 있는 것을 나타내는 통지를 행하게 하여, 이번 처리를 종료한다.
이와 같이, 본예에서는, 외부용 표시장치(60) 및 외부용 음성출력장치(62)는, 후방용 감시대상검지수단(110B), 좌측방용 감시대상검지수단(110L), 및 우측방용 감시대상검지수단(110R) 증 일부가 동작하고 있지 않거나, 혹은, 동작상태가 정상이 아닌 경우, 당해 일부에 대응하는 영역에 대한 감시기능이 제한되어 있는 것을 나타내는 통지를 행한다. 이로써, 쇼벨의 주변에 있는 작업자나 작업현장의 현장감독 등의 감시자 등은, 감시기능에 의한 쇼벨 주변의 감시대상영역 중 어느 영역에 대한 감시기능이 제한되어 있는지를 쇼벨의 외부로부터 파악할 수 있다.
계속해서, 도 49는, 주변감시 시스템(100)의 판정부(305D)에 의한 통지처리의 제2예를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 상술한 제1예(도 47)의 경우와 동일하게, 예를 들면, 쇼벨의 운전 중에 있어서의 제한통지를 하지 않은 상황에서, 정기적으로 반복 실행되면 된다.
본 플로차트의 스텝 S302D, S304D는, 상술한 제1예(도 47)의 스텝 S102D, S104D와 동일하기 때문에, 다른 부분을 중심으로 설명한다.
스텝 S306D에서, 판정부(305D)는, 안전기능에 대한 제1 당부판정, 즉, 안전확보수단(120)이 동작하고 있는지 아닌지의 판정을 행한다.
스텝 S308D에서, 판정부(305D)는, 안전기능에 대한 제2 당부판정, 즉, 안전확보수단(120)이 동작하고 있는 경우의 동작상태가 정상인지 아닌지를 판정한다.
다만, 스텝 S302D~S308D의 판정 처리의 순서는, 임의이면 된다.
스텝 S310D에서, 판정부(305D)는, 스텝 S302D~S308D에 있어서의 제1 당부판정 및 제2 당부판정에서 부정판정이 하나라도 있는지 없는지를 판정한다. 판정부(305D)는, 부정판정이 있는 경우, 스텝 S312D로 진행하고, 부정판정이 없는 경우, 이번 처리를 종료한다.
스텝 S312D에서, 판정부(305D)는, 외부용 표시장치(60) 및 외부용 음성출력장치(62)에 통지지령을 송신하고, 쇼벨의 외부를 향하여, 감시기능(즉, 감시대상검지수단(110)의 동작) 혹은 안전기능(즉, 안전확보수단(120)의 동작)이 제한되어 있는 것을 나타내는 통지를 행하게 하여, 이번 처리를 종료한다.
다만, 스텝 S312D에서, 판정부(305D)는, 외부용 표시장치(60), 외부용 음성출력장치(62)를 통하여, 감시기능만 제한되어 있는지 안전기능만 제한되어 있는지, 혹은, 감시기능 및 안전기능의 쌍방이 제한되어 있는지의 구별을, 쇼벨의 주변에 통지해도 된다. 또, 판정부(305D)는, 감시기능에 대한 제1 당부판정 및 제2 당부판정(스텝 S302D, S304D)을 생략하고, 감시기능에 근거하는 안전기능에 대해서만 제1 당부판정 및 제2 당부판정(스텝 S306D, S308D)을 행해도 된다. 이 경우, 스텝 S312D에서, 판정부(305D)는, 외부용 표시장치(60), 외부용 음성출력장치(62)를 통하여, 쇼벨의 주변을 향하여, 안전기능이 제한되어 있는 것을 나타내는 통지를 행한다. 또, 판정부(305D)는, 복수의 안전기능, 즉, 상술한 내부경보기능, 외부경보기능, 동작제한기능 등의 각각에 대하여, 제1 당부판정 및 제2 당부판정을 행해도 된다. 이 경우, 스텝 S312D에서, 판정부(305D)는, 외부용 표시장치(60), 외부용 음성출력장치(62)를 통하여, 복수의 안전기능 중 모두가 제한되어 있는지, 혹은, 일부의 안전기능이 제한되어 있는지를 통지해도 된다.
이와 같이, 본예에서는, 외부용 표시장치(60) 및 외부용 음성출력장치(62)는, 쇼벨의 감시기능, 및 그 감시기능에 근거하여 동작하는 안전기능 중 적어도 일방이 동작하고 있지 않거나 혹은 동작상태가 정상이 아닌 경우, 쇼벨의 주변을 향하여, 감시기능 혹은 안전기능이 제한되어 있는 것을 나타내는 통지를 행한다. 이로써, 쇼벨의 주변에 있는 작업자나 작업현장의 현장감독 등의 감시자 등은, 감시기능이 제한되어 있는 것뿐만 아니라, 감시기능에 근거하여 동작하는 안전기능이 제한되어 있는 것을 쇼벨의 외부로부터 파악할 수 있다. 이로 인하여, 감시기능이 제한되어 있지 않은 경우에도, 감시기능에 근거하여 동작하는 안전기능이 제한되어 있는 경우, 안전기능이 정상으로 동작하지 않을 가능성이 있으므로, 작업자나 작업현장의 현장감독 등의 감시자 등에 대하여, 쇼벨의 주변에 있어서의 안전성의 확보를 고려한 행동을 촉구할 수 있다. 따라서, 쇼벨의 주변의 안전성을 더 향상시킬 수 있다.
이상, 본 발명의 일실시형태에 관한 주변감시 시스템의 제4 기능에 대하여 상세하게 서술했지만, 본 발명은 이러한 특정 실시형태에 한정되는 것은 아니며, 본 발명의 요지의 범위 내에 있어서, 다양한 변형·변경이 가능하다.
예를 들면, 상술한 실시형태에서는, 감시대상검지수단(110) 및 안전확보수단(120) 중 적어도 일방에 대하여, 제1 당부판정 및 제2 당부판정의 쌍방이 행해지지만, 어느 일방의 당부판정에만 근거하여, 제한통지를 행해도 된다.
또, 상술한 실시형태 및 변형예에서는, 외부용 표시장치(60) 및 외부용 음성출력장치(62)의 쌍방에 의하여 통지를 행하지만, 어느 일방으로 행해도 된다.
또, 상술한 실시형태 및 변형예에서는, 쇼벨의 주변을 향하여, 감시기능 혹은 안전기능이 제한되어 있는 것을 나타내는 통지가 행해지지만, 아울러, 표시장치(50)나 음성출력장치(52)(모두, 통지수단의 일례)를 통하여, 캐빈(10)의 내부, 즉, 오퍼레이터를 향하여, 동일한 통지가 행해져도 된다. 이로써, 오퍼레이터는, 쇼벨의 감시기능이나 안전기능이 정상으로 동작하고 있는 것을 전제로 하여, 쇼벨의 조종을 행하고 있는 경우도 많으므로, 예를 들면, 감시기능이나 안전기능의 이상 등의 인디케이터를 알아차릴 수 없던 경우나 의도치 않게 감시기능 등이 OFF로 되어 있던 경우에도, 쇼벨의 주변으로의 통지와 함께, 동일한 통지가 이루어짐으로써, 쇼벨의 감시기능이나 안전기능이 제한되어 있는 것을 확실하게 파악할 수 있다. 이로 인하여, 통상, 쇼벨의 주변의 안전성의 확보에 대해서는, 감시기능이나 안전기능에 의지하는 부분이 크므로, 이들 기능이 제한된 경우에도, 오퍼레이터 등에 대하여, 쇼벨의 주변에 있어서의 안전성의 확보를 고려한 쇼벨의 조종을 촉구할 수 있다. 따라서, 쇼벨의 주변의 안전성을 더 향상시킬 수 있다.
다만, 상술한 본 실시형태에 관한 주변감시 시스템의 제4 기능(안전기능제한통지기능)에 관하여, 이하를 더 개시한다.
(1)
작업기계의 주변에서 소정의 감시대상을 검지하는 감시대상검지수단과,
상기 감시대상검지수단에 의하여 상기 감시대상이 검지된 경우에, 상기 작업기계의 주변에 있어서의 안전성의 확보를 도모하는 소정의 안전기능을 갖는 안전확보수단과,
상기 감시대상검지수단 및 상기 안전확보수단 중 적어도 일방에 대하여, 동작하고 있는지 아닌지, 및 동작상태가 정상인지 아닌지 중 적어도 일방을 판정하는 판정수단과,
상기 판정수단에 의하여, 상기 감시대상검지수단 또는 상기 안전확보수단이, 동작하고 있지 않거나 또는 동작상태가 정상이 아니라고 판정된 경우, 상기 감시대상검지수단 또는 상기 안전확보수단의 동작이 제한되어 있는 것을 나타내는 통지를 행하는 통지수단을 구비하는,
작업기계용 주변감시 시스템.
(2)
상기 통지수단은, 상기 작업기계의 주변을 향하여 상기 통지를 행하는,
(1)에 기재된 작업기계용 주변감시 시스템.
(3)
상기 통지수단은, 상기 작업기계의 조종석이 마련되는 캐빈의 내부를 향하여 상기 통지를 행하는,
(2)에 기재된 작업기계용 주변감시 시스템.
(4)
상기 감시대상검지수단은, 상기 작업기계의 주변의 복수의 영역 각각에서 상기 감시대상을 검지하는 복수의 영역별 감시대상검지수단을 구비하고,
상기 판정수단은, 상기 복수의 영역별 감시대상검지수단의 각각이 동작하고 있는지 아닌지, 및 동작상태가 정상인지 아닌지 중 적어도 일방을 판정하며,
상기 통지수단은, 상기 판정수단에 의하여 상기 복수의 영역별 감시대상검지수단 중 일부의 영역 감시대상검지수단이 동작하고 있지 않거나 또는 동작상태가 정상이 아니라고 판정된 경우, 상기 복수의 영역 중, 상기 일부의 감시대상검지수단에 대응하는 영역에 있어서의 상기 안전기능이 제한되어 있는 취지의 통지를 행하는,
(1) 내지 (3) 중 어느 한 항에 기재된 작업기계용 주변감시 시스템.
(5)
작업기계의 주변을 촬상하는 촬상장치와, 상기 촬상장치의 촬상화상에 대한 화상처리에 근거하여, 상기 작업기계의 주변에서 소정의 감시대상을 검지하는 검지부를 포함하는 감시대상검지수단과,
상기 촬상화상의 평균정보량 및 화상특징량 중 적어도 일방에 근거하여, 상기 감시대상검지수단에 의한 상기 감시대상의 검지기능이 정상인지 아닌지의 당부판정을 행하는 판정수단과,
상기 판정수단에 의한 판정결과가 부정인 경우, 상기 감시대상검지수단의 동작이 제한되어 있는 것을 나타내는 통지를 행하는 통지수단을 구비하는,
작업기계용 주변감시 시스템.
(6)
상기 판정수단은, 상기 평균정보량에 근거하여, 상기 촬상화상이 상기 감시대상을 정상으로 검지할 수 있는 상태인지 아닌지를 판정하는,
(5)에 기재된 작업기계용 주변감시 시스템.
(7)
상기 판정수단은, 상기 화상특징량의 시계열에서의 변화에 근거하여, 상기 작업기계의 이동상태 또는 선회상태가, 상기 촬상화상으로부터 상기 감시대상을 정상으로 검지할 수 있을 정도인지 아닌지를 판정하는,
(5) 또는 (6)에 기재된 작업기계용 주변감시 시스템.
이상, 본 발명을 실시하기 위한 형태에 대하여 상세하게 서술했지만, 본 발명은 이러한 특정 실시형태에 한정되는 것은 아니며, 특허청구의 범위에 기재된 본 발명의 요지의 범위 내에 있어서, 다양한 변형·변경이 가능하다.
다만, 본원은, 2017년 2월 17일에 출원한 일본 특허출원 2017-027860호, 2017년 3월 27일에 출원한 일본 특허출원 2017-061958호, 2017년 3월 30일에 출원한 일본 특허출원 2017-069313호, 및 2017년 3월 31일에 출원한 일본 특허출원 2017-073017호에 근거하는 우선권을 주장하는 것이며, 이들 일본 특허출원의 전체 내용을 본원에 참조에 의하여 원용한다.
30 컨트롤러
40 촬상장치
40B 후방 카메라
40L 좌측방 카메라
40R 우측방 카메라
50 표시장치(통지부, 통지수단)
52 음성출력장치(통지부, 통지수단)
54 게이트로크 밸브
60 외부용 표시장치
62 외부용 음성출력장치
100 주변감시 시스템(작업기계용 주변감시 시스템)
110 감시대상검지수단
110B 후방용 감시대상검지수단
110L 좌측방용 감시대상검지수단
110R 우측방용 감시대상검지수단
120 안전확보수단
301A 감시대상검지부
301B 감시대상검지부
301C 물체검지부
301D 검지부
301DB 후방 검지부
301DL 좌측방 검지부
301DR 우측방 검지부
302A 감시화상표시처리부
302B 감시화상표시처리부
302C 표시제어부
302D 표시제어부
303A 표지화상표시처리부
303B 표지표시처리부
303C 음성제어부
303D 경보출력부
304D 제한제어부
305D 판정부
3011C 차량검지부
3012C 사람검지부
3031A 후보점생성부
3032A 표지화상선택부(선택부)
3033A 구성점선택부
3034A 인코드부(분해능조정부)
3035A 송신부

Claims (14)

  1. 작업기계의 주변을 촬상하는 촬상장치와,
    상기 촬상장치에 의하여 촬상되는, 상기 작업기계의 주변의 화상과, 감시대상의 위치를 나타내는 표지를 표시하는 표시장치와,
    상기 작업기계의 주변에서 상기 감시대상을 검지하는 감시대상검지부를 구비하고,
    상기 표시장치는, 상기 감시대상검지부에 의하여 현재 검지되고 있는 상기 감시대상의 검지수가 많아질수록, 상기 표지를 표시하기 위하여 필요한 사양정보의 데이터양이 작아지도록, 상기 표지의 표시양태를 변경하고, 상기 표지를 2종류 이상의 다른 표시양태로 표시하는 작업기계용 주변감시 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 촬상장치는, 서로 촬상범위가 다른 복수의 카메라를 포함하고,
    상기 표시장치는, 상기 복수의 카메라 중 일부 또는 전부에 의하여 촬상되는, 상기 작업기계의 주변의 상기 화상을 표시하고, 현재 표시하고 있는 상기 화상에 대응하는 상기 작업기계의 주변영역 내에서, 상기 감시대상검지부에 의하여 현재 검지되고 있는 상기 감시대상의 검지수에 따라, 상기 표지의 표시양태를 변경하는 작업기계용 주변감시 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 표시장치와 별도로 마련되어, 2종류 이상의 표지화상 중에서 상기 표지로서 표시시키는 하나의 표지화상을 선택하는 선택부와, 상기 선택부에 의하여 선택된 상기 하나의 표지화상을 상기 표시장치에 표시시키기 위하여 필요한 사양정보의 데이터를 상기 표시장치에 송신하는 송신부를 포함하는 제어장치를 더 구비하고,
    상기 표시장치는, 상기 제어장치로부터 수신하는 상기 하나의 표지화상을 상기 표지로서 표시하는 작업기계용 주변감시 시스템.
  7. 제1항에 있어서,
    상기 표시장치는, 상기 감시대상이 정지하고 있는 경우와 이동하고 있는 경우에서, 상기 표지의 표시를 변화시키는 작업기계용 주변감시 시스템.
  8. 제1항에 있어서,
    상기 작업기계로부터 보아 상대적으로 원방으로부터 상기 작업기계에 접근해 오는 차량이 존재하는 경우, 당해 차량의 존재를 통지하는 통지부를 구비하는 작업기계용 주변감시 시스템.
  9. 제1항에 있어서,
    상기 작업기계의 주변에서 상기 감시대상을 검지하는 감시대상검지수단과,
    상기 감시대상검지수단에 의하여 상기 감시대상이 검지된 경우에, 상기 작업기계의 주변에 있어서의 안전성의 확보를 도모하는 소정의 안전기능을 갖는 안전확보수단과,
    상기 감시대상검지수단 및 상기 안전확보수단 중 적어도 일방에 대하여, 동작하고 있는지 아닌지, 및 동작상태가 정상인지 아닌지 중 적어도 일방을 판정하는 판정수단과,
    상기 판정수단에 의하여, 상기 감시대상검지수단 또는 상기 안전확보수단이, 동작하고 있지 않거나 또는 동작상태가 정상이 아니라고 판정된 경우, 상기 감시대상검지수단 또는 상기 안전확보수단의 동작이 제한되어 있는 것을 나타내는 통지를 행하는 통지수단을 구비하는 작업기계용 주변감시 시스템.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
KR1020197017643A 2017-02-17 2018-02-16 작업기계용 주변감시 시스템 KR102449834B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2017027860 2017-02-17
JPJP-P-2017-027860 2017-02-17
JP2017061958 2017-03-27
JPJP-P-2017-061958 2017-03-27
JP2017069313 2017-03-30
JPJP-P-2017-069313 2017-03-30
JP2017073017 2017-03-31
JPJP-P-2017-073017 2017-03-31
PCT/JP2018/005591 WO2018151280A1 (ja) 2017-02-17 2018-02-16 作業機械用周辺監視システム

Publications (2)

Publication Number Publication Date
KR20190120162A KR20190120162A (ko) 2019-10-23
KR102449834B1 true KR102449834B1 (ko) 2022-09-29

Family

ID=63169471

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197017643A KR102449834B1 (ko) 2017-02-17 2018-02-16 작업기계용 주변감시 시스템

Country Status (6)

Country Link
US (1) US11939746B2 (ko)
EP (1) EP3584120B1 (ko)
JP (2) JP7092688B2 (ko)
KR (1) KR102449834B1 (ko)
CN (1) CN110114244B (ko)
WO (1) WO2018151280A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726278B2 (en) * 2016-09-30 2020-07-28 Samsung Electronics Co., Ltd. Method, device and system for providing notification information
JP6791082B2 (ja) * 2017-09-27 2020-11-25 株式会社ダイフク 監視システム
US11823548B2 (en) * 2018-06-27 2023-11-21 Husqvarna Ab Arboriculture safety system
JP7283070B2 (ja) * 2018-12-19 2023-05-30 コベルコ建機株式会社 作業機械用周辺監視装置
WO2020218454A1 (ja) * 2019-04-26 2020-10-29 住友建機株式会社 表示装置、ショベル、情報処理装置
US11615707B2 (en) 2019-05-29 2023-03-28 Deere & Company Guidance display system for work vehicles and work implements
US11204254B2 (en) 2019-05-29 2021-12-21 Deere & Company Implement guidance display system for work vehicles
JP2020197044A (ja) * 2019-05-31 2020-12-10 株式会社小松製作所 マップ生成システム及びマップ生成方法
US20220315391A1 (en) * 2019-06-20 2022-10-06 Tadano Ltd. Image system and work vehicle provided with image system
JP7308089B2 (ja) * 2019-07-18 2023-07-13 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
CN114423909B (zh) * 2019-09-18 2023-09-29 住友重机械工业株式会社 挖土机
US11222213B2 (en) * 2019-09-30 2022-01-11 Verizon Patent And Licensing Inc. Vehicle behavior detection system
JP7261721B2 (ja) * 2019-10-15 2023-04-20 日立建機株式会社 施工支援システムおよび作業機械
JP7344510B2 (ja) * 2019-11-05 2023-09-14 テンソル・コンサルティング株式会社 動作分析システム、動作分析方法、および動作分析プログラム
JP7322791B2 (ja) * 2020-03-31 2023-08-08 コベルコ建機株式会社 作業機械の周囲検知装置
DE102020206373A1 (de) 2020-05-20 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kollisionsvermeidung eines Arbeitswerkzeugs einer Arbeitsmaschine mit in einer Umgebung der Arbeitsmaschine befindlichen Hindernissen
US20210382486A1 (en) * 2020-06-03 2021-12-09 Deere & Company Work area monitoring system and method of operating a work vehicle at a work area
JP2022035746A (ja) * 2020-08-21 2022-03-04 株式会社小松製作所 作業機械の障害物報知システムおよび作業機械の障害物報知方法
JP6940906B1 (ja) * 2021-03-29 2021-09-29 株式会社レグラス 作業機械の周辺監視装置
JP6940907B1 (ja) * 2021-03-29 2021-09-29 株式会社レグラス 作業機械の周辺監視装置
JP7036329B1 (ja) 2021-05-17 2022-03-15 株式会社アラヤ 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム
US11680387B1 (en) * 2022-04-21 2023-06-20 Deere & Company Work vehicle having multi-purpose camera for selective monitoring of an area of interest
CN114942044B (zh) * 2022-05-30 2023-06-23 深圳市中深建装饰设计工程有限公司 一种室外装饰工程环境污染自动监测报警系统
CN116030428B (zh) * 2023-03-30 2023-06-30 武汉创领信服科技有限公司 工地区域危险报警监测方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008303648A (ja) * 2007-06-08 2008-12-18 Caterpillar Japan Ltd 作業機械の警報システム
JP2013042402A (ja) 2011-08-18 2013-02-28 Seiko Epson Corp 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム
US20130088953A1 (en) 2011-10-11 2013-04-11 Futurewei Technologies, Inc. Failure Detection in the Multiprotocol Label Switching Multicast Label Switched Path's End-to-End Protection Solution
EP2759999A1 (en) 2011-09-21 2014-07-30 Honda Motor Co., Ltd. Apparatus for monitoring surroundings of vehicle
JP2014183497A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2014192770A (ja) * 2013-03-28 2014-10-06 Denso Corp 車両用周辺監視制御装置
JP2014191668A (ja) 2013-03-28 2014-10-06 Denso Corp 車両用表示制御装置
US20140354813A1 (en) 2011-09-16 2014-12-04 Hitachi Construction Machinery Co., Ltd. Surroundings Monitoring Device for Work Machine
US20150326829A1 (en) 2014-04-25 2015-11-12 Komatsu Ltd. Surroundings monitoring system, work vehicle, and surroundings monitoring method
US20150343976A1 (en) 2012-12-24 2015-12-03 Doosan Infracore Co., Ltd. Sensing device and method of construction equipment
US20160236616A1 (en) 2014-04-25 2016-08-18 Komatsu Ltd. Surroundings monitoring system, work vehicle, and surroundings monitoring method

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2700710B2 (ja) * 1990-06-21 1998-01-21 新キャタピラー三菱株式会社 建設機械の警報装置
US5939986A (en) * 1996-10-18 1999-08-17 The United States Of America As Represented By The United States Department Of Energy Mobile machine hazardous working zone warning system
KR20010112433A (ko) * 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
JP3900912B2 (ja) 2001-12-05 2007-04-04 株式会社豊田自動織機 産業車両
JP2003333590A (ja) * 2002-05-16 2003-11-21 Komatsu Ltd 現場の画像生成システム
JP2005032141A (ja) * 2003-07-10 2005-02-03 Azuma Systems:Kk 作業車両用周辺監視システム
US20070010925A1 (en) * 2003-09-02 2007-01-11 Komatsu Ltd. Construction target indicator device
JP3902168B2 (ja) * 2003-09-04 2007-04-04 日立建機株式会社 建設機械の診断情報表示システム
WO2005080120A1 (en) * 2004-02-20 2005-09-01 Sharp Kabushiki Kaisha Condition detection and display system, condition detection and display method, control program for condition detection and display system, and storage medium storing the control program
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4399397B2 (ja) * 2005-06-23 2010-01-13 古野電気株式会社 他船ターゲット表示装置
JP4760272B2 (ja) * 2005-09-30 2011-08-31 アイシン精機株式会社 車両周辺監視装置及びセンサユニット
JP4915739B2 (ja) * 2007-05-31 2012-04-11 アイシン・エィ・ダブリュ株式会社 運転支援装置
US8099218B2 (en) * 2007-11-30 2012-01-17 Caterpillar Inc. Paving system and method
CA2617976A1 (en) * 2008-01-11 2009-07-11 John Dasilva Personnel safety system utilizing time variable frequencies
WO2009141846A1 (ja) * 2008-05-19 2009-11-26 パナソニック株式会社 車両周囲監視装置および車両周囲監視方法
JP2010121986A (ja) 2008-11-18 2010-06-03 Panasonic Corp 車載カメラ用のキャリブレーションターゲット及びキャリブレーションシステム
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP2010241548A (ja) 2009-04-03 2010-10-28 Kansai Electric Power Co Inc:The クレーンの安全確認装置
WO2011049079A1 (ja) * 2009-10-19 2011-04-28 日立建機株式会社 作業機械
US9280902B2 (en) * 2010-04-09 2016-03-08 DSG TAG Systems, Inc. Facilities management
WO2011155749A2 (ko) * 2010-06-07 2011-12-15 연세대학교 산학협력단 타워크레인 네비게이션 시스템
KR101797261B1 (ko) * 2010-06-18 2017-11-13 히다찌 겐끼 가부시키가이샤 작업 기계의 주위 감시 장치
CN103180522B (zh) * 2010-10-22 2016-01-13 日立建机株式会社 作业机械的周边监视装置
JP5740149B2 (ja) * 2010-12-22 2015-06-24 クラリオン株式会社 表示制御装置、表示レイヤ合成プログラム
JP5594672B2 (ja) 2011-04-14 2014-09-24 株式会社 日立産業制御ソリューションズ 物体認識装置および物体認識方法
JP2012244600A (ja) * 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
JPWO2012164712A1 (ja) * 2011-06-02 2014-07-31 日立建機株式会社 作業機械の周囲監視装置
JP5742937B2 (ja) * 2011-06-02 2015-07-01 トヨタ自動車株式会社 車両用視界支援装置
JP5722127B2 (ja) * 2011-06-07 2015-05-20 株式会社小松製作所 作業車両の周辺監視装置
JP5648746B2 (ja) * 2011-07-12 2015-01-07 日産自動車株式会社 車両用監視装置、車両用監視システム、端末装置及び車両の監視方法
WO2013024523A1 (ja) * 2011-08-12 2013-02-21 トヨタ自動車株式会社 駐車支援装置
WO2013109869A1 (en) * 2012-01-20 2013-07-25 Magna Electronics, Inc. Vehicle vision system with free positional virtual panoramic view
JP5230828B1 (ja) * 2012-02-09 2013-07-10 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6045796B2 (ja) * 2012-02-27 2016-12-14 京セラ株式会社 映像処理装置、映像処理方法、および映像表示システム
US10139985B2 (en) * 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
JP5961472B2 (ja) * 2012-07-27 2016-08-02 日立建機株式会社 作業機械の周囲監視装置
JP5456123B1 (ja) * 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5960007B2 (ja) * 2012-09-20 2016-08-02 住友建機株式会社 作業機械用周辺監視装置
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5643272B2 (ja) * 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9150147B2 (en) * 2013-03-08 2015-10-06 Caterpillar Inc. System and method for controlling features
JP6456584B2 (ja) 2013-03-19 2019-01-23 住友重機械工業株式会社 作業機械用周辺監視装置
JP6094399B2 (ja) * 2013-06-24 2017-03-15 株式会社デンソー ヘッドアップディスプレイ、及びプログラム
JP5987791B2 (ja) * 2013-06-28 2016-09-07 株式会社デンソー ヘッドアップディスプレイ及びプログラム
CN105163972B (zh) * 2013-09-13 2017-12-05 日立麦克赛尔株式会社 信息显示系统以及信息显示装置
JP6264037B2 (ja) * 2013-12-27 2018-01-24 トヨタ自動車株式会社 車両用情報表示装置及び車両用情報表示方法
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
JP6291866B2 (ja) * 2014-01-27 2018-03-14 株式会社デンソー 運転支援装置、および運転支援方法
CN106030432B (zh) * 2014-02-14 2020-04-07 山特维克矿山工程机械有限公司 用于启动远程操作模式的布置
WO2015129280A1 (ja) * 2014-02-26 2015-09-03 京セラ株式会社 画像処理装置および画像処理方法
JP6481846B2 (ja) * 2014-03-27 2019-03-13 日本精機株式会社 車両用警報装置
JP6178280B2 (ja) * 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
US10826795B2 (en) * 2014-05-05 2020-11-03 Nutanix, Inc. Architecture for implementing service level management for a virtualization environment
WO2015177648A1 (en) * 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
US10055643B2 (en) * 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction
JP6113375B2 (ja) * 2014-11-26 2017-04-12 三菱電機株式会社 運転支援装置および運転支援方法
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2016122966A (ja) * 2014-12-25 2016-07-07 富士通テン株式会社 データ再生装置、データ再生方法及びプログラム
JP6454554B2 (ja) * 2015-01-20 2019-01-16 クラリオン株式会社 車両用外界認識装置およびそれを用いた車両挙動制御装置
JP6520668B2 (ja) * 2015-02-09 2019-05-29 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット
WO2016140016A1 (ja) * 2015-03-03 2016-09-09 日立建機株式会社 車両の周囲監視装置
JP6443677B2 (ja) * 2015-03-12 2018-12-26 日本精機株式会社 ヘッドマウントディスプレイ装置
US10781572B2 (en) * 2015-03-31 2020-09-22 Komatsu Ltd. Working machine
US20160301864A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Imaging processing system for generating a surround-view image
US10391938B2 (en) * 2015-05-15 2019-08-27 Ford Global Technologies, Llc Imaging system for locating a moving object in relation to another object
JP6595219B2 (ja) * 2015-06-08 2019-10-23 株式会社デンソーテン 物体報知装置および物体報知方法
JP6522441B2 (ja) * 2015-06-29 2019-05-29 日立建機株式会社 作業機械の作業支援システム
JP2017021546A (ja) * 2015-07-10 2017-01-26 田山 修一 車輌用画像表示システム及び方法
JP6254554B2 (ja) * 2015-07-21 2017-12-27 トヨタ自動車株式会社 情報提示システム
JP6468556B2 (ja) 2015-07-24 2019-02-13 アルプス電気株式会社 入力スイッチおよび入力装置
JP2017034453A (ja) * 2015-07-31 2017-02-09 富士通テン株式会社 画像処理装置、画像表示システム及び画像処理方法
CN105934945B (zh) * 2015-07-31 2019-07-05 株式会社小松制作所 作业机械的显示系统、显示装置和显示方法
JP6406159B2 (ja) * 2015-08-04 2018-10-17 株式会社デンソー 車載表示制御装置、車載表示制御方法
DE102015010011B4 (de) * 2015-08-05 2020-03-19 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
JP6444835B2 (ja) * 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
JP6563290B2 (ja) 2015-09-24 2019-08-21 中央発條株式会社 スプリングアセンブリ
JP6236577B2 (ja) * 2015-09-25 2017-11-22 富士フイルム株式会社 投写型表示装置及び投写制御方法
JP2017069313A (ja) 2015-09-29 2017-04-06 株式会社日立国際電気 半導体装置の製造方法、基板処理装置、ガス供給システムおよびプログラム
CN106797449B (zh) * 2015-09-30 2019-12-03 株式会社小松制作所 履带式作业机械的周边监视装置
JP6925775B2 (ja) * 2015-10-05 2021-08-25 株式会社小松製作所 施工管理システム
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법
JP2017073017A (ja) 2015-10-08 2017-04-13 セイコーエプソン株式会社 電子装置、及び、表示制御方法
JP6306552B2 (ja) * 2015-10-13 2018-04-04 株式会社タダノ 遠隔操作装置、及び案内システム
MX2018004891A (es) * 2015-10-22 2018-06-20 Nissan Motor Metodo de control de presentacion visual y dispositivo de control de presentacion visual.
US10344450B2 (en) * 2015-12-01 2019-07-09 The Charles Machine Works, Inc. Object detection system and method
US9781494B1 (en) * 2015-12-28 2017-10-03 Wells Fargo Bank, N.A. Systems and methods for activity monitoring
US10225468B2 (en) * 2016-01-13 2019-03-05 Omnivision Technologies, Inc. Imaging systems and methods with image data path delay measurement
KR101765556B1 (ko) * 2016-05-11 2017-08-23 (주)캠시스 차량 속도에 따른 영상 처리 장치 및 방법
JP6723079B2 (ja) * 2016-06-08 2020-07-15 日立オートモティブシステムズ株式会社 物体距離検出装置
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
JP6727971B2 (ja) * 2016-07-19 2020-07-22 株式会社クボタ 作業車
JP2018021651A (ja) * 2016-08-05 2018-02-08 トヨタ自動車株式会社 ガス充填システム
MX2019003126A (es) * 2016-09-26 2019-06-06 Sony Corp Aparato de control de vehiculos, metodo de control de vehiculos y objeto movil.
KR101965834B1 (ko) * 2016-10-12 2019-08-13 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
DE112016007407T5 (de) * 2016-12-07 2019-07-25 Mitsubishi Electric Corporation Anzeigesteuervorrichtung, anzeigesystem und anzeigesteuerverfahren
JP6775602B2 (ja) * 2016-12-28 2020-10-28 株式会社小松製作所 作業車両および作業車両の制御システム
US10421400B2 (en) * 2017-02-09 2019-09-24 Komatsu Ltd. Surroundings monitoring system for work vehicle, work vehicle, and surroundings monitoring method for work vehicle
US10668854B2 (en) * 2017-02-09 2020-06-02 Komatsu Ltd. Work vehicle and display device
WO2018207303A1 (ja) * 2017-05-11 2018-11-15 三菱電機株式会社 車載用監視カメラ装置
BR112020005835A2 (pt) * 2017-09-26 2020-09-24 Palfinger Ag dispositivo de comando e guindaste de carregamento com dispositivo de comando
WO2019111859A1 (ja) * 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
JP6949767B2 (ja) * 2018-03-22 2021-10-13 日立建機株式会社 作業員管理システム
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
US11501619B2 (en) * 2019-11-22 2022-11-15 Deere & Company Worksite classification system and method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008303648A (ja) * 2007-06-08 2008-12-18 Caterpillar Japan Ltd 作業機械の警報システム
JP2013042402A (ja) 2011-08-18 2013-02-28 Seiko Epson Corp 車載カメラ制御装置、車載カメラ制御システム及び車載カメラシステム
US20140354813A1 (en) 2011-09-16 2014-12-04 Hitachi Construction Machinery Co., Ltd. Surroundings Monitoring Device for Work Machine
EP2759999A1 (en) 2011-09-21 2014-07-30 Honda Motor Co., Ltd. Apparatus for monitoring surroundings of vehicle
US20130088953A1 (en) 2011-10-11 2013-04-11 Futurewei Technologies, Inc. Failure Detection in the Multiprotocol Label Switching Multicast Label Switched Path's End-to-End Protection Solution
US20150343976A1 (en) 2012-12-24 2015-12-03 Doosan Infracore Co., Ltd. Sensing device and method of construction equipment
JP2014183497A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2014192770A (ja) * 2013-03-28 2014-10-06 Denso Corp 車両用周辺監視制御装置
JP2014191668A (ja) 2013-03-28 2014-10-06 Denso Corp 車両用表示制御装置
US20150326829A1 (en) 2014-04-25 2015-11-12 Komatsu Ltd. Surroundings monitoring system, work vehicle, and surroundings monitoring method
US20160236616A1 (en) 2014-04-25 2016-08-18 Komatsu Ltd. Surroundings monitoring system, work vehicle, and surroundings monitoring method

Also Published As

Publication number Publication date
EP3584120A4 (en) 2020-03-18
EP3584120B1 (en) 2021-04-14
EP3584120A1 (en) 2019-12-25
JP2022128470A (ja) 2022-09-01
CN110114244B (zh) 2023-07-04
CN110114244A (zh) 2019-08-09
US20190360177A1 (en) 2019-11-28
JP7092688B2 (ja) 2022-06-28
KR20190120162A (ko) 2019-10-23
JPWO2018151280A1 (ja) 2019-12-12
US11939746B2 (en) 2024-03-26
WO2018151280A1 (ja) 2018-08-23

Similar Documents

Publication Publication Date Title
KR102449834B1 (ko) 작업기계용 주변감시 시스템
JP7252137B2 (ja) 周辺監視装置
JP7108750B2 (ja) システムおよび方法
JP6267972B2 (ja) 作業機械の周囲監視装置
US9457718B2 (en) Obstacle detection system
US20190218754A1 (en) Surroundings monitoring system for work machine
US20180295357A1 (en) Display system of working machine and display method of working machine
JP6878025B2 (ja) 作業機械用周辺監視システム
US11781290B2 (en) Shovel and output device of shovel
JP6980391B2 (ja) 作業機械用周辺監視システム
JP2018111981A (ja) 作業機械用周辺監視システム
US20220333357A1 (en) Work machine periphery monitoring system, work machine, and work machine periphery monitoring method
WO2021149775A1 (ja) 作業機械、情報処理装置
JP2021120515A (ja) 作業機械、情報処理装置
WO2023132321A1 (ja) 周辺監視システム、作業機械
US20230150358A1 (en) Collision avoidance system and method for avoiding collision of work machine with obstacles

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant