KR20190077246A - 작업기계용 주변감시시스템 - Google Patents

작업기계용 주변감시시스템 Download PDF

Info

Publication number
KR20190077246A
KR20190077246A KR1020187035110A KR20187035110A KR20190077246A KR 20190077246 A KR20190077246 A KR 20190077246A KR 1020187035110 A KR1020187035110 A KR 1020187035110A KR 20187035110 A KR20187035110 A KR 20187035110A KR 20190077246 A KR20190077246 A KR 20190077246A
Authority
KR
South Korea
Prior art keywords
image
display
person
enlarged
detected
Prior art date
Application number
KR1020187035110A
Other languages
English (en)
Other versions
KR102256384B1 (ko
Inventor
타케야 이즈미카와
Original Assignee
스미토모 겐키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스미토모 겐키 가부시키가이샤 filed Critical 스미토모 겐키 가부시키가이샤
Publication of KR20190077246A publication Critical patent/KR20190077246A/ko
Application granted granted Critical
Publication of KR102256384B1 publication Critical patent/KR102256384B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B60K2370/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Structural Engineering (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

작업기계의 주변에서 사람이 검지된 경우에, 오퍼레이터에게 검지된 사람의 상태를 보다 빨리 파악시키는 것이 가능한 작업기계용 주변감시시스템을 제공한다. 이로 인하여, 일 실시형태에 관한 작업기계용 주변감시시스템은, 작업기계화상과, 작업기계화상의 주위에 배치되는 주위화상을 포함하는 감시용 화상을 표시장치에 표시시키는 표시제어부와, 작업기계의 주변의 소정영역 내에서 사람을 검지하는 사람검지부를 구비하고, 표시제어부는, 사람검지부에 의하여 소정영역 내에서 사람이 검지된 경우, 감시용 화상에 있어서의 주변화상의 일부영역으로서, 작업기계화상보다도 주변화상에 포함되는 사람에 가까운 위치를 중심으로 하는, 사람이 포함되는 일부영역을 확대한 확대감시용 화상을 표시장치에 표시시킨다.

Description

작업기계용 주변감시시스템
본 발명은, 작업기계용 주변감시시스템에 관한 것이다.
작업기계에 장착되는 주변을 촬상하는 촬상장치(카메라)의 촬상화상에 근거하여 생성된 감시용 화상(예를 들면, 작업기계의 바로 위에서 본 부감(俯瞰)화상)을 조종석주변의 모니터에 표시시키는 주변감시장치가 알려져 있다.(예를 들면, 특허문헌 1 참조)
특허문헌 1에서는, 작업기계의 주변의 소정영역 내에서 사람이 검지된 경우, 감시용 화상을 광역표시로부터 근방표시로 확대표시시키고 있다.
특허문헌 1: 일본 특허공보 제5395266호
그러나, 특허문헌 1에서는, 단순하게 작업기계를 모식적으로 나타낸 화상을 중심으로 하여 감시용 화상을 광역표시로부터 근방표시로 확대한다. 이로 인하여, 오퍼레이터는, 감시용 화상에 있어서의 중앙부의 작업기계를 본뜬 화상의 주변에 표시되는, 검지된 사람의 상태를 즉석에서 파악할 수 없을 가능성이 있다.
따라서, 상기 과제를 감안하여, 작업기계의 주변에서 사람이 검지된 경우에, 오퍼레이터에게 검지된 사람의 상태를 보다 빨리 파악시키는 것이 가능한 작업기계용 주변감시시스템을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시형태에서는,
작업기계의 캐빈 내에 마련되는 표시장치와,
상기 작업기계의 주변을 촬상하는 촬상장치와,
상기 촬상장치의 촬상화상에 근거하여 상기 작업기계의 주변화상을 생성하는 화상생성부와,
상기 작업기계를 모식적으로 나타내는 작업기계화상과, 상기 작업기계와 상기 촬상장치의 촬상범위와의 상대위치관계에 맞추어, 상기 작업기계화상의 주위에 배치되는 상기 주위화상을 포함하는 감시용 화상을 상기 표시장치에 표시시키는 표시제어부와,
상기 작업기계의 주변의 소정영역 내에서 사람을 검지하는 사람검지부를 구비하고,
상기 표시제어부는, 상기 사람검지부에 의하여 상기 소정영역 내에서 사람이 검지된 경우, 상기 감시용 화상에 있어서의 상기 주변화상의 일부영역으로서, 상기 작업기계화상보다도 상기 주변화상에 포함되는 상기 사람에 가까운 위치를 중심으로 하며, 상기 사람이 포함되는 일부영역을 확대한 확대감시용 화상을 상기 표시장치에 표시시키는,
작업기계용 주변감시시스템이 제공된다.
상술한 실시형태에 의하면, 작업기계의 주변에서 사람이 검지된 경우에, 오퍼레이터에게 검지된 사람의 상태를 보다 빨리 파악시키는 것이 가능한 작업기계용 주변감시시스템을 제공할 수 있다.
도 1은 본 실시형태에 관한 주변감시시스템이 탑재되는 작업기계의 일례를 나타내는 도이다.
도 2a는 본 실시형태에 관한 주변감시시스템의 구성의 일례를 나타내는 도이다.
도 2b는 본 실시형태에 관한 주변감시시스템의 구성의 다른 예를 나타내는 도이다.
도 3은 표시장치에 표시되는 감시용 화상의 일례를 나타내는 도이다.
도 4a는 표시장치에 표시되는 확대감시용 화상의 제1 예를 설명하는 도이다.
도 4b는 표시장치에 표시되는 확대감시용 화상의 제1 예를 설명하는 도이다.
도 5a는 표시장치에 표시되는 확대감시용 화상의 제2 예를 설명하는 도이다.
도 5b는 표시장치에 표시되는 확대감시용 화상의 제2 예를 설명하는 도이다.
도 6a는 표시장치에 표시되는 확대감시용 화상의 제3 예를 설명하는 도이다.
도 6b는 표시장치에 표시되는 확대감시용 화상의 제3 예를 설명하는 도이다.
도 7a는 표시장치에 표시되는 확대감시용 화상의 제4 예를 설명하는 도이다.
도 7b는 표시장치에 표시되는 확대감시용 화상의 제4 예를 설명하는 도이다.
도 8은 표시장치에 표시되는 별도시점감시용 화상의 일례를 설명하는 도이다.
도 9는 표시장치에 표시되는 부분별시점감시용 화상의 일례를 설명하는 도이다.
도 10은 주변감시시스템(표시제어부)에 의한 처리의 일례를 개략적으로 나타내는 플로차트이다.
이하, 도면을 참조하여 발명을 실시하기 위한 형태에 대하여 설명한다.
<작업기계의 구성>
먼저, 도 1을 참조하여, 본 실시형태에 관한 주변감시시스템(100)(도 2 참조)이 탑재되는 작업기계에 대하여 설명을 한다.
도 1은, 본 실시형태에 관한 주변감시시스템(100)이 탑재되는 작업기계의 일례를 나타내는 도이고, 구체적으로는 쇼벨의 측면도이다.
다만, 본 실시형태에 관한 주변감시시스템(100)은, 당연히, 쇼벨 이외의 작업기계, 예를 들면 휠로더, 아스팔트피니셔 등에 탑재되어도 된다.
본 실시형태에 관한 쇼벨은, 하부주행체(1)와, 선회기구(2)를 개재하여 선회 가능하게 하부주행체(1)에 탑재되는 상부선회체(3)와, 작업장치로서의 붐(4), 암(5), 및 버킷(6)과, 오퍼레이터가 탑승하는 캐빈(10)을 구비한다.
하부주행체(1)는, 예를 들면 좌우 1쌍의 크롤러를 포함하고, 각각의 크롤러가 주행유압모터(도시하지 않음)로 유압구동됨으로써, 쇼벨을 주행시킨다.
상부선회체(3)는, 선회유압모터, 혹은 전동기(모두 도시하지 않음) 등으로 구동됨으로써, 하부주행체(1)에 대하여 선회한다.
붐(4)은, 상부선회체(3)의 전부(前部) 중앙에 부앙(俯仰) 가능하게 피봇장착되고, 붐(4)의 선단에는, 암(5)이 상하회전운동 가능하게 피봇장착되며, 암(5)의 선단에는, 버킷(6)이 상하회전운동 가능하게 피봇장착된다. 붐(4), 암(5), 및 버킷(6)은, 각각 붐실린더(7), 암실린더(8), 및 버킷실린더(9)에 의하여 각각 유압구동된다.
캐빈(10)은, 오퍼레이터가 탑승하는 조종실이고, 상부선회체(3)의 전부 좌측에 탑재된다.
또한, 본 실시형태에 관한 쇼벨은, 컨트롤러(30)와, 촬상장치(40)와, 물체검지센서(42)와, 표시장치(50)를 구비한다.
컨트롤러(30)는, 쇼벨의 구동제어를 행하는 제어장치이다. 컨트롤러(30)는, 캐빈(10) 내에 탑재된다.
촬상장치(40)는, 상부선회체(3)의 상부에 장착되어, 쇼벨의 주변을 촬상한다. 촬상장치(40)는, 후방카메라(40B), 좌측방카메라(40L), 우측방카메라(40R)를 포함한다.
후방카메라(40B)는, 상부선회체(3)의 후단 상부에 장착되어, 상부선회체(3)의 후방을 촬상한다.
좌측방카메라(40L)는, 상부선회체(3)의 좌단 상부에 장착되어, 상부선회체(3)의 좌측방을 촬상한다.
우측방카메라(40R)는, 상부선회체(3)의 우단 상부에 장착되어, 상부선회체(3)의 우측방을 촬상한다.
물체검지센서(42)는, 상부선회체(3)의 외측면 등에 장착되어, 쇼벨의 주변, 구체적으로는 상부선회체(3)의 후방, 좌측방, 및 우측방에 있는 물체(장애물)를 검지한다. 물체검지센서(42)에 의하여 검지될 수 있는 물체에는, 사람이 포함될 수 있다. 구체적으로는, 물체검지센서(42)는, 상부선회체(3)의 후방의 물체를 검지하는 센서와, 상부선회체(3)의 좌측방의 물체를 검지하는 센서와, 상부선회체(3)의 우측방의 물체를 검지하는 센서의 3개의 센서를 포함하는 양태여도 된다. 물체검지센서(42)에는, 예를 들면 검지파나 레이저를 쇼벨(상부선회체(3))의 주변에 출력하여, 그 반사파나 반사광을 수신함으로써, 물체를 검지 가능한 초음파센서, 밀리파레이더, LIDAR(Light Detection and Ranging) 등이 포함될 수 있다. 물체검지센서(42)는, 예를 들면 반사파나 반사광의 강도에 근거하여, 검지된 물체가 사람인지 사람 이외의 물체인지를 판단하는 것이 가능하다. 또한, 물체검지센서(42)는, 예를 들면 스테레오카메라여도 된다.
표시장치(50)는, 캐빈(10) 내의 조종석의 주변에 마련되어, 컨트롤러(30)(후술하는 표시제어부(302))에 의한 제어 아래, 오퍼레이터에게 통지하는 각종 화상 정보를 표시한다.
[주변감시시스템의 구성]
다음으로, 도 2a, 도 2b를 참조하여, 주변감시시스템(100)의 구성에 대하여 설명한다.
도 2a는, 본 실시형태에 관한 주변감시시스템(100)의 구성의 일례를 나타내는 블록도이다.
본 실시형태에 관한 주변감시시스템(100)은, 컨트롤러(30), 촬상장치(40), 표시장치(50)를 포함한다.
컨트롤러(30)는, 주변감시시스템(100)에 있어서의 주된 제어처리를 행한다. 컨트롤러(30)는, 그 기능이 임의의 하드웨어, 소프트웨어, 혹은 그 조합에 의하여 실현되어도 되고, 예를 들면 CPU, RAM, ROM, I/O 등을 포함하는 마이크로컴퓨터를 중심으로 구성된다. 컨트롤러(30)는, ROM에 저장되는 각종 프로그램을 CPU상에서 실행함으로써 실현되는 기능부로서, 사람검지부(301), 표시제어부(302)를 포함한다.
촬상장치(40)는, 상술한 바와 같이, 후방카메라(40B), 좌측방카메라(40L), 우측방카메라(40R)를 포함한다. 후방카메라(40B), 좌측방카메라(40L), 우측방카메라(40R)는, 상부선회체(3)의 상부에 있어서, 광축이 경사 하방을 향하도록 장착되어, 쇼벨 근방의 지면으로부터 쇼벨의 원방(遠方)까지를 포함하는 상하방향의 촬상범위(화각(畵角))를 갖는다. 후방카메라(40B), 좌측방카메라(40L), 우측방카메라(40R)는, 쇼벨의 운전 중, 소정주기(예를 들면, 1/30초)마다, 촬상화상을 컨트롤러(30)에 출력하고, 촬상화상은, 컨트롤러(30)에 입력된다.
물체검지센서(42)는, 쇼벨의 운전 중, 소정주기마다, 상부선회체(3)의 주변(구체적으로는, 상부선회체(3)의 후방, 좌측방, 및 우측방의 검지결과를 컨트롤러(30)에 출력하고, 검지결과는 컨트롤러(30)에 입력된다.
표시장치(50)는, 촬상장치(40)의 촬상화상(스루화상)이나, 컨트롤러(30)(표시제어부(302))가 촬상장치(40)의 촬상화상에 근거하여 생성하는 주변화상(예를 들면, 후술하는 시점변환화상) 등을 표시한다.
사람검지부(301)는, 촬상장치(40)에 의하여 촬상된 촬상화상에 근거하여, 쇼벨의 주변의 소정영역 내, 예를 들면 쇼벨로부터 소정거리 D1(예를 들면, 5미터) 이내의 사람을 검지한다. 예를 들면, 사람검지부(301)는, 이미 알려진 각종 화상처리수법이나 기계학습베이스의 식별기 등을 임의로 적용함으로써, 촬상화상 내의 사람을 인식함과 함께, 인식한 사람의 실재위치(쇼벨로부터 인식한 사람까지의 거리 D 등)를 특정할 수 있다.
다만, 도 2b(본 실시형태에 관한 주변감시시스템(100)의 구성의 다른 예를 나타내는 블록도)에 나타내는 바와 같이, 사람검지부(301)는, 물체검지센서(42)의 검지결과에 근거하여, 쇼벨주변의 소정영역 내의 사람을 검지해도 된다. 이때, 사람검지부(301)는, 물체검지센서(42)의 검지결과에 포함되는 반사파나 반사광의 강도나 패턴 등의 특성에 근거하여, 검지된 물체가 사람인지 여부를 판정할 수 있다. 또한, 사람검지부(301)는, 이른바 센서퓨전에 의하여, 촬상장치(40)에 의하여 촬상된 촬상화상과, 물체검지센서(42)에 의한 검지결과의 쌍방에 근거하여, 감시대상인 사람을 검지해도 된다.
표시제어부(302)는, 표시장치(50)에 각종 정보화상을 표시시킨다. 예를 들면, 표시제어부(302)는, 촬상장치(40)의 촬상화상에 근거하여 주변화상을 생성하여, 표시장치(50)에 표시시킨다. 구체적으로는, 표시제어부(302)는, 주변화상으로서, 후방카메라(40B), 좌측방카메라(40L), 우측방카메라(40R)의 촬상화상에 근거하여, 이미 알려진 시점변환처리를 행함으로써, 시점변환화상(가상시점에서 본 화상)을 생성하여, 표시장치(50)에 표시시킨다. 또한, 표시제어부(302)는, 주변화상을 표시장치(50)에 표시시킬 때, 주변화상에 비치는 촬상장치(40)의 촬상범위의 쇼벨에 대한 상대위치관계를 명시하기 위하여, 쇼벨을 모식적으로 나타내는 쇼벨화상(작업기계화상의 일례)을 아울러 표시장치(50)에 표시시킨다. 즉, 표시제어부(302)는, 쇼벨화상과, 쇼벨과 촬상장치(40)의 촬상범위와의 상대위치관계에 맞추어, 쇼벨화상의 주위에 배치되는 주변화상을 포함하는 감시용 화상을 생성하여, 표시장치(50)에 표시시킨다. 이하, 도 3을 참조하여, 표시장치(50)의 상세와 아울러, 표시장치(50)에 표시되는 감시용 화상에 대하여 설명을 한다.
도 3은, 표시장치(50)에 표시되는 감시용 화상의 일례를 나타내는 도이다.
도 3에 나타내는 바와 같이, 표시장치(50)는, 각종 정보화상이 표시되는 표시부(50A)와, 각종 정보화상에 표시되는 조작대상(예를 들면, 조작버튼아이콘이나 커서 등)을 조작하는 하드웨어에 의한 조작부(50B)를 포함한다.
본 예에서는, 표시부(50A)에는, 감시용 화상(MP)뿐만 아니라, 쇼벨의 운전에 관련된 각종 정보를 제시하는 운전정보화상(IP)이 표시된다. 구체적으로는, 표시부(50A)의 상측절반에는, 감시용 화상(MP)이 표시되고, 하측절반에는, 운전정보화상(IP)이 표시된다.
운전정보화상(IP)은, 일시표시영역(IPa), 주행모드표시영역(IPb), 엔드어태치먼트표시영역(IPc), 엔진제어상태표시영역(IPe), 엔진작동시간표시영역(IPf), 냉각수온표시영역(IPg), 연료잔량표시영역(IPh), 회전수모드표시영역(IPi), 작동유온표시영역(IPk), 카메라화상표시영역(IPm), 알람표시영역(IPp), 및 방향표시아이콘(IPx)을 포함한다.
일시표시영역(IPa)은, 현재의 일시를 화상표시하는 영역이다. 본 예에서는, 디지털표시가 채용되어, 날짜가 2013년 2월 19일이고, 시각이 23시 59분인 것을 나타내고 있다.
주행모드표시영역(IPb)은, 현재의 주행모드를 화상표시하는 영역이다. 주행모드는, 가변용량펌프를 이용한 주행용 유압모터의 설정상태를 나타낸다. 구체적으로는, 주행모드는, 저속모드 및 고속모드를 갖는다. 저속모드는, "거북이" 모양의 마크로 표시되고, 고속모드는 "토끼" 모양의 마크로 표시된다. 본 예에서는, "거북이" 모양의 마크가 표시되어 있으며, 오퍼레이터는, 저속모드가 설정되어 있는 것을 인식할 수 있다.
엔드어태치먼트표시영역(IPc)은, 현재 장착되어 있는 엔드어태치먼트를 나타내는 화상을 화상표시하는 영역이다. 쇼벨에 장착되는 엔드어태치먼트에는, 버킷(6) 이외에, 착암기, 그래플, 리프팅마그넷 등 다양한 엔드어태치먼트가 포함된다. 엔드어태치먼트표시영역(IPc)은, 예를 들면 이들 엔드어태치먼트 모양의 마크를 표시한다. 본 예에서는, 착암기 모양의 마크가 표시되어 있어, 오퍼레이터는, 착암기가 엔드어태치먼트로서 장착되어 있는 것을 인식할 수 있다.
엔진제어상태표시영역(IPe)은, 엔진의 제어상태를 화상표시하는 영역이다. 본 예에서는, 오퍼레이터는, 엔진의 제어상태로서 "자동감속·자동정지모드"가 선택되어 있는 것을 인식할 수 있다. 다만, "자동감속·자동정지모드"는, 엔진부하가 작은 상태의 계속시간에 따라, 엔진회전수를 자동적으로 저감시키고, 나아가서는 엔진을 자동적으로 정지시키는 제어상태를 의미한다. 그 이외에, 엔진의 제어상태에는, "자동감속모드", "자동정지모드", "수동감속모드" 등이 있다.
엔진작동시간표시영역(IPf)은, 엔진의 누적작동시간을 화상표시하는 영역이다. 본 예에서는, 단위 "hr(시)"을 이용한 값이 표시된다.
냉각수온표시영역(IPg)은, 현재의 엔진냉각수의 온도상태를 화상표시하는 영역이다. 본 예에서는, 엔진냉각수의 온도상태를 나타내는 막대그래프가 표시되어 있다. 다만, 엔진냉각수의 온도는, 엔진에 장착된 수온센서가 출력하는 데이터에 근거하여 표시된다.
구체적으로는, 냉각수온표시영역(IPg)은, 이상범위표시(IPg1), 주의범위표시(IPg2), 정상범위표시(IPg3), 세그먼트표시(IPg4), 및 아이콘표시(IPg5)를 포함한다.
이상범위표시(IPg1), 주의범위표시(IPg2), 정상범위표시(IPg3)는, 각각 엔진냉각수의 온도가 이상고온상태, 주의를 요하는 상태, 정상상태에 있는 것을 오퍼레이터에게 알리기 위한 표시이다. 또한, 세그먼트표시(IPg4)는, 엔진냉각수의 온도의 높낮이를 오퍼레이터에게 알리기 위한 표시이다. 또한, 아이콘표시(IPg5)는, 이상범위표시(IPg1), 주의범위표시(IPg2), 정상범위표시(IPg3), 및 세그먼트표시(IPg4)가 엔진냉각수의 온도에 관한 표시인 것을 나타내는 심볼도형 등의 아이콘이다.
다만, 아이콘표시(IPg5)는, 엔진냉각수의 온도에 관한 표시인 것을 나타내는 문자정보여도 된다.
본 예에서는, 세그먼트표시(IPg4)는, 점등·소등상태가 개별적으로 제어되는 8개의 세그먼트로 구성되고, 냉각수온이 높아질수록 점등상태의 세그먼트의 수가 증가한다. 본 예에서는, 4개의 세그먼트가 점등상태로 되어 있다. 또한, 세그먼트표시(IPg4)는, 소정원의 일부(원호)를 구성하여, 엔진냉각수의 온도의 상하이동에 따라 그 원호의 길이가 신축하도록 표시된다. 또한, 본 예에서는, 각각의 세그먼트가 나타내는 온도의 폭은 동일하지만, 세그먼트마다 온도의 폭을 바꿔도 된다.
또한, 본 예에서는, 이상범위표시(IPg1), 주의범위표시(IPg2), 정상범위표시(IPg3)는, 각각 세그먼트표시(IPg4)의 신축방향(소정원의 원주방향)을 따르도록 나열되어 배치되는 원호형상의 도형이고, 적색, 황색, 녹색으로 표시된다. 또한, 세그먼트표시(IPg4)는, 1번째(최하위)에서 6번째의 세그먼트가 정상범위에 속하며, 7번째의 세그먼트가 주의범위에 속하고, 8번째(최상위)의 세그먼트가 이상범위에 속한다.
다만, 냉각수온표시영역(IPg)에는, 이상범위표시(IPg1), 주의범위표시(IPg2), 및 정상범위표시(IPg3)가 원호형상의 도형으로서 표시되는 대신에, 이상레벨, 주의레벨, 정상레벨을 나타내는 문자, 기호 등이 각각의 경계부분에 표시되어도 된다.
또한, 이상범위표시, 주의범위표시, 정상범위표시, 세그먼트표시, 및 아이콘표시를 포함하는 상술의 구성은, 연료잔량표시영역(IPh) 및 작동유온표시영역(IPk)에 있어서도 동일하게 채용될 수 있다. 또한, 연료잔량표시영역(IPh)에서는, 이상범위, 주의범위, 및 정상범위를 나타내는 원호형상의 도형을 표시하는 대신에, "Full(가득찬 상태)"을 나타내는 문자 "F" 또는 까만 동그라미(검게 칠해진 동그라미 표시), "Empty(빈 상태)"를 나타내는 문자 "E" 또는 하얀 동그라미(검게 칠해지지 않은 동그라미 표시) 등이 각각의 경계부분에 표시되어도 된다.
연료잔량표시영역(IPh)은, 연료탱크에 저장되어 있는 연료의 잔량상태를 화상표시하는 영역이다. 본 예에서는, 현재의 연료의 잔량상태를 나타내는 막대그래프가 표시된다. 연료잔량표시영역(IPh)의 연료의 잔량은, 연료탱크 내의 연료잔량센서에 의하여 출력되는 데이터에 근거하여 표시된다.
회전수모드표시영역(IPi)은, 현재의 회전수모드를 화상표시하는 영역이다. 회전수모드는, 예를 들면 상술의 SP모드, H모드, A모드, 및 아이들링모드의 4개를 포함한다. 본 예에서는, SP모드를 나타내는 기호 "SP"가 표시되어 있다.
작동유온표시영역(IPk)은, 작동유탱크 내의 작동유의 온도상태를 화상표시하는 영역이다. 본 예에서는, 작동유의 온도상태를 나타내는 막대그래프가 표시되어 있다. 작동유온표시영역(IPk)의 작동유의 온도는, 작동유탱크 내의 유온센서에 의하여 출력되는 데이터에 근거하여 표시된다.
다만, 냉각수온표시영역(IPg), 연료잔량표시영역(IPh), 및 작동유온표시영역(IPk)에서는, 막대그래프표시 대신에 바늘표시가 채용되어도 된다.
카메라화상표시영역(IPm)은, 후방카메라(40B), 좌측방카메라(40L), 및 우측방카메라(40R) 중 적어도 하나의 촬상화상(스루화상)을 그대로 표시하는 영역이다. 이로써, 오퍼레이터는, 감시용 화상(MP) 이외에, 촬상장치(40)에 의하여 촬상된 촬상화상(스루화상)을 그대로 운전정보화상(IP) 내에서 시인(視認)할 수 있다.
예를 들면, 카메라화상표시영역(IPm)에는, 쇼벨이 가동되고 있는 사이, 항상 후방카메라(40B)에 의하여 촬상된 촬상화상이 표시되어도 된다. 이때, 카메라화상표시영역(IPm)의 후방카메라(40B)의 촬상화상(스루화상)은, 바람직하게는 거울상으로 표시되면 된다.
또한, 본 예에서는, 카메라화상표시영역(IPm)은, 운전정보화상(IP)의 우측의 3분의 2 정도의 영역을 차지한다. 표시장치(50)가 운전석의 우측전방에 설치되는 환경에 있어서, 운전석(오퍼레이터)에 가까운 측에 연료잔량표시영역(IPh) 등이 표시되고, 운전석(오퍼레이터)에서 먼 측에 카메라화상표시영역(IPm)이 표시되도록 하여, 전체적인 시인성을 높이기 위함이다. 단, 운전정보화상(IP)에 있어서의 각 표시영역의 사이즈 및 배치는, 필요에 따라 변경되어도 된다.
또한, 카메라화상표시영역(IPm)에 표시되는 촬상화상은, 터치패널식의 표시부(50A)에 대한 터치조작 등이나 조작부(50B)에 대한 조작에 따라, 표시되는 촬상화상의 촬상원의 촬상장치(40)가 전환되거나, 촬상화상의 확대 혹은 축소가 행해져도 된다. 예를 들면, 오퍼레이터는, 조작부(50B)의 십자버튼(50Ba)에 의하여 좌우방향을 지정하는 조작을 행함으로써, 카메라화상표시영역(IPm)에 표시되는 촬상화상(스루화상)의 촬상원의 촬상장치(40)(후방카메라(40B), 좌측방카메라(40L), 우측방카메라(40R))를 전환 가능한 양태여도 된다. 또한, 오퍼레이터는, 확대축소버튼(50Bb)의 상방향을 지정하는 버튼 및 하방향을 지정하는 버튼의 각각을 압압조작함으로써, 촬상화상을 확대시키거나, 축소시키는 것이 가능한 양태여도 된다. 이때, 오퍼레이터는, 터치패널식의 표시부(50A) 상의 카메라화상표시영역(IPm)의 임의의 위치를 터치함으로써, 위치를 지정하고, 당해 지정위치를 중심으로 하여, 확대축소를 행할 수 있다. 또한, 오퍼레이터는, 십자버튼(50Ba)에 의하여, 커서를 움직이며, 커서위치를 중심으로 하여, 확대축소를 행하는 것이 가능한 양태여도 된다.
알람표시영역(IPp)은, 알람을 표시하는 영역이다. 본 예에서는, 전기계통이상이 발생한 것을 나타내는 경고메시지가 스루화상 상에 중첩표시되어 있다. 또한, 본 예에서는, 알람표시영역(IPp)에는, 후방카메라(40B)에 의하여 촬상된 촬상화상이 카메라화상표시영역(IPm)에 표시되지 않은 채 레버조작이 행해진 경우에, 그것을 경고하는 알람이 표시된다. 또한, 알람표시영역(IPp)에는, 표시해야 할 알람이 존재하지 않는 경우, 스루화상이 그대로 표시된다.
방향표시아이콘(IPx)은, 운전정보화상(IP)에 표시되는 촬상화상(스루화상)을 촬상한 촬상장치(40)의 방향과 쇼벨(상부선회체(3)의 어태치먼트)의 방향과의 상대적 관계를 나타내는 아이콘이다. 본 예에서는, 카메라화상표시영역(IPm)에 표시되는 카메라화상을 촬상하는 촬상장치(40)가 후방카메라(40B)인 것을 나타내는 방향표시아이콘(IPx)이 카메라화상표시영역(IPm)의 우하측 귀퉁이에 표시되어 있다.
다만, 방향표시아이콘(IPx)은, 카메라화상표시영역(IPm)의 하부 중앙, 좌하측 귀퉁이, 우상측 귀퉁이, 좌상측 귀퉁이 등, 우하측 귀퉁이 이외의 위치에 표시되어도 되고, 카메라화상표시영역(IPm)의 외부에 표시되어도 된다.
또한, 운전정보화상(IP)은, 상술의 표시영역(IPa~IPk)의 일부를 생략해도 되고, 상술 이외의 표시영역을 포함해도 된다. 예를 들면, 운전정보화상(IP)은, 배기가스필터(예를 들면, 디젤미립자제거장치(DPF: Diesel Particulate Filter) 등)의 막힘 정도를 표시하는 배기가스필터상태표시영역을 포함하고 있어도 된다. 구체적으로는, 배기가스필터상태표시영역은, 배기가스필터의 허용최대사용시간에 대한 현재의 사용시간의 비율을 나타내는 막대그래프를 표시해도 된다. 또한, 운전정보화상(IP)은, 작동유의 온도상태의 표시를 생략해도 되며, 작동유의 온도상태 및 냉각수의 온도상태의 표시를 생략해도 된다.
또한, 카메라화상표시영역(IPm)의 하부에는, 상부선회체(3)의 커버(3a)의 후단 상측가장자리의 화상인 차체화상으로서의 커버화상(IPq)이 포함된다. 이로써, 표시장치(50)는, 카메라화상표시영역(IPm)에 표시되는 물체와 쇼벨의 사이의 거리감을 오퍼레이터가 보다 용이하게 파악할 수 있도록 한다. 또한, 본 실시예에서는, 방향표시아이콘(IPx)은, 커버화상(IPq) 상에 중첩표시된다. 방향표시아이콘(IPx)의 배경색이 항상 동일하게 되도록 하여 그 시인성을 높이기 위함이다. 또한, 카메라화상의 보고 싶은 부분을 표시아이콘(IPx)이 가리는 것을 방지하기 위함이다. 단, 방향표시아이콘(IPx)은, 카메라화상표시영역(IPm)의 외부에 표시되어도 된다.
또한, 도 3에 나타내는 바와 같이, 표시장치(50)의 표시부(50A)의 상측절반의 가로로 긴 직사각형의 영역(예를 들면, 종횡비(aspect ratio) 4:3의 화면)에는, 상술한 바와 같이, 쇼벨화상(CG)과, 쇼벨화상(CG)의 주위에 배치되는 주변화상(EP)을 포함하는 감시용 화상(MP)이 표시되어 있다. 이로써, 오퍼레이터는, 주변화상(EP)에 비치고 있는 사람을 포함하는 물체와, 쇼벨과의 위치관계를 적절히 파악할 수 있다.
본 예에 있어서의 주변화상(EP)은, 쇼벨주변을 바로 위에서 본 노면화상과, 그 노면화상의 주위에 배치되는, 쇼벨주변을 수평방향으로 본 수평화상을 조합한 시점변환화상이다. 주변화상(시점변환화상)은, 후방카메라(40B), 좌측방카메라(40L), 및 우측방카메라(40R)의 각각의 촬상화상을 공간모델에 투영한 다음, 그 공간모델에 투영된 투영화상을 다른 이차원평면에 재투영함으로써 얻어진다. 공간모델은, 가상공간에 있어서의 촬상화상의 투영대상이고, 촬상화상이 위치하는 평면 이외의 평면, 혹은 곡면을 포함하는 하나 또는 복수의 평면, 혹은 곡면으로 구성된다. 이하, 본 실시형태에 있어서의 주변화상은, 상기 노면화상과 상기 수평화상을 조합한 시점변환화상이라는 전제에서 설명을 계속한다.
또한, 감시용 화상에는, 쇼벨로부터의 거리 D가 일정의 위치를 나타내는 선분(L)이 중첩표시되어도 된다. 선분(L)은, 예를 들면 쇼벨로부터의 거리가 소정거리 D1보다도 작은 소정거리 D2의 위치를 나타낸다. 이로써, 주변화상에 사람을 포함하는 물체가 비치고 있는 경우, 쇼벨로부터 어느 정도 멀어진 위치에 있는지를 파악할 수 있다.
또한, 감시용 화상(MP)은, 상술한 운전정보화상(IP)의 카메라화상표시영역(IPm)과 동일하게, 터치패널식의 표시부(50A)에 대한 터치조작 등이나 조작부(50B)에 대한 조작에 따라, 감시용 화상(MP)의 확대 혹은 축소가 행해져도 된다. 예를 들면, 오퍼레이터는, 확대축소버튼(50Bb)의 상방향을 지정하는 버튼 및 하방향을 지정하는 버튼의 각각을 압압조작함으로써, 감시용 화상을 확대시키거나 축소시키는 것이 가능한 양태여도 된다. 이때, 오퍼레이터는, 터치패널식의 표시부(50A) 상의 감시용 화상(MP)의 임의의 위치를 터치함으로써, 위치를 지정하고, 당해 지정위치를 중심으로 하여, 확대축소를 행할 수 있다. 또한, 오퍼레이터는, 십자버튼(50Ba)에 의하여, 커서를 움직이며, 커서위치를 중심으로 하여, 확대축소를 행하는 것이 가능한 양태여도 된다.
[감시용 화상의 표시양태의 개요]
다음으로, 표시제어부(302)의 특징적인 기능에 대하여 설명을 한다.
표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 사람이 검지된 경우, 검지된 사람이 오퍼레이터에 의하여 시인되기 쉬워지도록, 감시용 화상의 표시양태를 변경한다. 구체적으로는, 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 사람이 검지된 경우, 감시용 화상을, 상기 감시용 화상 내에 있어서의 검지된 사람의 위치가, 다른 위치보다도 중시(강조)되는 표시양태로 변경한다.
예를 들면, 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 사람이 검지된 경우, 검지된 사람이 포함되는 주변화상의 일부영역을 확대한 화상(이하, "확대감시용 화상"이라고 칭함)을 생성하여, 표시장치(50)에 표시시킨다. 이하, 확대감시용 화상과 구별하기 위하여, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 사람이 검지되어 있지 않은 경우의 감시용 화상(도 3 참조)을 "통상감시용 화상"이라고 칭한다. 예를 들면, 표시제어부(302)는, 통상감시용 화상에 있어서의 주변화상의 일부영역으로서, 쇼벨화상보다도 주변화상에 포함되는 검지된 사람에 가까운 위치를 중심으로 하는, 당해 사람이 포함되는 일부영역을 확대한 확대감시용 화상을 생성한다. 또한, 예를 들면 표시제어부(302)는, 상기 주변화상의 일부영역에 맞추어, 쇼벨화상도 확대한 확대감시용 화상을 생성한다. 이로써, 표시제어부(302)는, 감시용 화상에 있어서, 검지된 사람에 가까운 위치를 중심으로 하여 배치하고, 또한 검지된 사람의 위치를 포함하는 일부영역을 확대함으로써, 검지된 사람의 위치가 다른 위치보다도 중시되는 표시양태의 감시용 화상을 표시장치(50)에 표시시킬 수 있다.
다만, 표시제어부(302)는, 통상감시용 화상의 일부영역을 잘라내어 확대함으로써, 확대감시용 화상을 생성해도 된다. 또한, 표시제어부(302)는, 촬상장치(40)의 촬상화상에 근거하여 상기 일부영역에 대응하는 주변화상(시점변환화상)을 생성하여, 쇼벨화상과 결합함으로써, 확대감시용 화상을 생성해도 된다.
또한, 본 예에 있어서, 표시제어부(302)는, 사람검지부(301)에 의하여 검지된 사람과 쇼벨과의 거리 D에 따라, 감시용 화상의 표시양태의 변경의 사양을 변화시켜도 된다. 예를 들면, 표시제어부(302)는, 사람검지부(301)에 의하여 검지된 사람과 쇼벨의 거리 D가 작아질수록, 확대감시용 화상의 통상감시용 화상에 대한 확대율을 크게 해도 된다. 구체적으로는, 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨주변의 소정영역 내에서 검지된 사람과 쇼벨과의 거리 D가 소정거리 D2(D1>D2) 이하인 경우, 거리 D가 소정거리 D2 이하가 아닌 경우보다도 상기 확대율을 크게 해도 된다. 이로써, 검지된 사람이 쇼벨에 비교적 접근하고 있는 상황에서는, 오퍼레이터는, 검지된 사람의 상태를 보다 파악하기 쉬워져, 검지된 사람의 안전성을 확실히 확보할 수 있다. 한편, 검지된 사람이 쇼벨로부터 비교적 멀어져 있는 상황에서는, 확대감시용 화상에 주변화상의 보다 많은 영역이 포함될 수 있기 때문에, 쇼벨주변전체상태를 파악하면서, 검지된 사람의 상태를 파악하는 것이 가능해져, 향후의 안전행동을 취하기 쉬워진다.
다만, 본 예에 있어서, 표시제어부(302)는, 감시용 화상의 검지된 사람을 포함하는 일부영역을 확대하지만, 통상감시용 화상에 있어서의 검지된 사람에 가까운 위치가 화면의 중심이 되도록, 통상감시용 화상의 화면 상에 있어서의 배치를 변경하기만 해도 된다. 또한, 본 예에 있어서, 표시제어부(302)는, 표시장치(50)의 표시내용을 통상감시용 화상과 확대감시용 화상의 사이에서 전환할 때, 전환 전의 화상으로부터 전환 후의 화상으로 한번에 전환해도 되고, 모핑 등의 수법을 이용하여, 전환 전의 화상으로부터 전환 후의 화상으로 연속적으로 변화시켜도 된다.
확대감시용 화상의 상세에 대해서는, 후술한다(도 4~도 7 참조).
또한, 예를 들면 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 사람이 검지된 경우, 검지된 사람을 시인하기 쉬운 가상시점에서 본 쇼벨주변의 주변화상을 포함하는 감시용 화상을 생성하여, 표시장치(50)에 표시시킨다. 즉, 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 사람이 검지된 경우, 촬상장치(40)의 촬상화상에 근거하여, 통상감시용 화상과 다른 가상시점에서 본 시점변환화상(주변화상)을 포함하는 감시용 화상을 생성하여, 표시장치(50)에 표시시킨다. 구체적으로는, 표시제어부(302)는, 동일한 가상시점에서 본 쇼벨화상과, 쇼벨과 촬상장치(40)의 촬상범위와의 상대위치관계에 맞추어, 쇼벨화상의 주위에 배치되는 주변화상을 포함하는 감시용 화상을 생성해도 된다. 이하, 통상감시용 화상과 구별하기 위하여, 당해 감시용 화상을 "별도시점감시용 화상"이라고 칭한다.
별도시점감시용 화상의 상세에 대해서는, 후술한다(도 8 참조).
또한, 예를 들면 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 사람이 검지된 경우, 통상감시용 화상의 주변화상 중 사람이 포함되는 일부영역에 대응하는 별도시점감시용 화상(이하, "부분별시점감시용 화상"이라고 칭함)을 생성하여, 표시장치(50)에 표시시켜도 된다. 이때, 부분별시점감시용 화상에는, 검지된 사람을 포함하는 주변화상과, 당해 주변화상에 대응하는 크기 및 위치관계로 배치되는 쇼벨화상 중 적어도 일부가 포함되어도 된다.
부분별시점감시용 화상의 상세에 대해서는, 후술한다(도 9 참조).
다만, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 사람이 검지된 경우에, 감시용 화상의 표시양태가 변경되는 기능은, 오퍼레이터에 의한 조작에 의하여 ON/OFF될 수 있는 양태여도 된다. 예를 들면, 오퍼레이터는, 상술한 표시부(50A)의 터치패널식의 표시부(50A)에 표시되는 소프트웨어에 의한 조작대상(소정의 아이콘버튼 등)이나 하드웨어에 의한 조작부(50B) 등에 대한 조작에 의하여, 당해 기능을 ON/OFF 가능해도 된다.
[감시용 화상의 표시양태의 상세]
이하, 도 4~도 9를 참조하여, 표시장치(50)에 표시되는 감시용 화상의 표시양태의 변경의 상세에 대하여 설명을 한다.
먼저, 도 4는, 표시장치(50)에 표시되는 확대감시용 화상의 제1 예를 설명하는 도이다. 구체적으로는, 도 4a는, 표시장치(50)에 표시되는 통상감시용 화상이고, 도 4b는, 사람검지부(301)에 의하여 사람이 검지됨으로써 표시장치(50)에 표시되는 확대감시용 화상의 제1 예이다.
도 4a에 나타내는 바와 같이, 감시용 화상(MP)(통상감시용 화상)에 있어서의 주변화상(EP)에는, 쇼벨 후방의 선분(L)보다 쇼벨에 가까운 위치, 즉 쇼벨 후방의 쇼벨로부터 소정거리 D2 이내의 영역에, 작업자(W1)가 비치고 있다. 이와 같은 상황에 있어서, 사람검지부(301)는, 당해 작업자(W1)를 검지하면, 표시제어부(302)에 사람이 검지된 것을 통지한다. 이로써, 표시제어부(302)는, 상술한 바와 같이, 감시용 화상의 표시양태를 변화시킨다.
구체적으로는, 도 4b에 나타내는 바와 같이, 표시제어부(302)는, 도 4의 감시용 화상(MP)(통상감시용 화상)에 있어서, 쇼벨화상(CG)보다도 주변화상(EP)에 포함되는 작업자(W1)에 가까운 위치(본 예에서는, 작업자(W1)의 위치)를 중심으로 하는, 작업자(W1)를 포함하는 주변화상(EP)의 일부영역(A1)(도 4a참조)을 확대한 감시용 화상(MP)(확대감시용 화상)을 생성하여, 표시장치(50)에 표시시킨다. 또한, 본 예에서는, 표시제어부(302)는, 주변화상(EP)의 상기 일부영역(A1)에 맞추어, 쇼벨화상(CG)도 동일한 확대율로 확대한 확대감시용 화상을 생성한다. 즉, 표시제어부(302)는, 통상감시용 화상에 있어서의 작업자(W1)의 위치를 중심으로 하는, 일부영역(A1)을 확대한 확대감시용 화상을 생성하여, 표시장치(50)에 표시시킨다.
본 예에 있어서의 표시장치(50)에 표시되는 확대감시용 화상의 대략 중앙에는, 작업자(W1)가 위치한다. 이로 인하여, 오퍼레이터는, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 사람(작업자(W1))이 검지된 경우에, 표시장치(50)의 표시내용(확대감시용 화상)을 보고, 검지된 사람(작업자(W1))이 어떠한 행동을 행하고 있는지 등을 용이하게 파악할 수 있다. 따라서, 오퍼레이터에 의한 쇼벨의 조작 시에 있어서의 안전성을 높일 수 있다. 또한, 본 예에서는, 쇼벨화상 중 적어도 일부가 확대감시용 화상에 포함되기 때문에, 사람검지부(301)에 의하여 검지된 사람(작업자(W1))과 쇼벨과의 상대적인 위치관계를 용이하게 파악할 수 있다. 또한, 본 예에서는, 통상감시용 화상에 대하여, 주변화상과 동일한 확대율로 확대된 쇼벨화상이 확대감시용 화상에 포함되기 때문에, 사람검지부(301)에 의하여 검지된 사람(작업자(W1))과 쇼벨과의 상대적인 위치관계를 보다 정확하게 파악할 수 있다.
다만, 통상감시용 화상으로부터 확대감시용 화상으로의 표시양태의 변경사양은, 확대감시용 화상의 중심이 쇼벨화상보다 검지된 사람에게 가까워지는 범위에서, 표시장치(50)의 터치패널식의 표시부(50A)나 하드웨어에 의한 조작부(50B)를 이용한 오퍼레이터의 조작에 의하여, 적절히 조정 가능해도 된다. 예를 들면, 오퍼레이터는, 터치패널식의 표시부(50A)나 조작부(50B)에 대한 조작에 의하여, 확대율이나 확대감시용 화상의 중심을 쇼벨화상(CG)으로부터 시프트양(표시부(50A)에 있어서의 X축방향 및 Y축방향의 시프트양) 등의 설정값을 조정 가능해도 된다. 또한, 예를 들면 오퍼레이터는, 표시부(50A)에 통상감시용 화상이 표시되어 있는 상태에서, 터치패널식의 표시부(50A)나 조작부(50B)에 대한 조작에 의하여, 통상감시용 화상을 원하는 중심위치에서 원하는 확대율로 확대시킨 다음, 소정의 확정조작을 행함으로써, 감시용 확대화상의 중심위치 및 확대율을 설정 가능해도 되고, 사람이 검지된 에어리어(후방, 좌측방, 혹은 우측방)마다, 복수의 사양을 설정 가능해도 된다. 또한, 예를 들면 오퍼레이터는, 표시부(50A)에 확대감시용 화상이 표시되어 있는 상태에서, 터치패널식의 표시부(50A)나 조작부(50B)에 대한 조작에 의하여, 확대감시용 화상에 포함되는 주변화상(EP)의 범위를, 검지된 사람이 포함되는 범위에서 적절히 조정 가능해도 된다. 이로써, 주변감시시스템(100)은, 오퍼레이터에 의한 기호에 맞는 확대감시용 화상을 표시장치(50)에 표시시킬 수 있다. 이하, 도 5~도 7, 도 9의 경우에 대해서도 동일하다.
계속해서, 도 5는, 표시장치(50)에 표시되는 확대감시용 화상의 제2 예를 설명하는 도이다. 구체적으로는, 도 5a는, 표시장치(50)에 표시되는 통상감시용 화상이고, 도 5b는, 사람검지부(301)에 의하여 사람이 검지됨으로써 표시장치(50)에 표시되는 확대감시용 화상의 제2 예이다.
다만, 도 5(도 5a, 도 5b)에서는, 도 4에 표시되는 표시장치(50)의 표시부(50A) 및 조작부(50B) 등은 생략되어 있지만, 도 3, 도 4의 경우와 동일하게, 감시용 화상(통상감시용 화상 및 확대감시용 화상)은, 표시장치(50)의 표시부(50A)에 운전정보화상(IP)과 함께 표시되는 양태여도 된다. 이하, 도 6~도 9의 경우에 대해서도 동일하다.
도 5a에 나타내는 바와 같이, 통상감시용 화상에 있어서의 주변화상에는, 쇼벨 후방의 선분(L)보다 쇼벨에 가까운 위치, 즉 쇼벨 후방의 쇼벨로부터 소정거리 D2 이내의 영역에, 작업자(W1)가 비치고 있다. 또한, 감시용 화상에 있어서의 주변화상에는, 쇼벨 우측 후측방의 선분(L) 부근, 즉 쇼벨 후측방의 쇼벨로부터 소정거리 D2 부근의 영역에, 작업자(W2)가 비치고 있다. 이와 같은 상황에 있어서, 사람검지부(301)는, 당해 작업자(W1, W2)를 검지하면, 표시제어부(302)에 사람이 검지된 것을 통지한다. 이로써, 표시제어부(302)는, 상술한 바와 같이, 감시용 화상의 표시양태를 변화시킨다.
구체적으로는, 도 5b에 나타내는 바와 같이, 표시제어부(302)는, 통상감시용 화상에 있어서, 쇼벨화상(CG)보다도 주변화상(EP)에 포함되는 작업자(W1, W2)에 가까운 위치(본 예에서는, 작업자(W1, W2)의 위치에서 규정되는 도형의 대략 도심(圖心)위치, 즉 작업자(W1, W2)의 위치를 연결하는 선분의 대략 중점위치)를 중심으로 하는, 작업자(W1, W2)를 포함하는 주변화상(EP)의 일부영역(A2)(도 5a 참조)을 확대한 확대감시용 화상을 생성하여, 표시장치(50)에 표시시킨다. 또한, 본 예에서는, 표시제어부(302)는, 제1 예와 동일하게, 주변화상(EP)의 상기 일부영역(A2)에 맞추어, 쇼벨화상(CG)도 동일한 확대율로 확대한 확대감시용 화상을 생성한다. 즉, 표시제어부(302)는, 통상감시용 화상에 있어서의 작업자(W1, W2)의 위치를 연결하는 선분의 대략 중점위치를 중심으로 하는, 일부영역(A2)을 그대로 확대한 확대감시용 화상을 생성하여, 표시장치(50)에 표시시킨다.
사람검지부(301)에 의하여 검지된 2명 이상의 사람(작업자(W1, W2))이 쇼벨의 후방쪽에 있는 경우나 서로 가까운 위치에 있는 경우 등에 있어서, 표시장치(50)에 표시되는 확대감시용 화상에 포함되는 작업자(W1, W2)는, 쇼벨화상보다도 중앙쪽에 위치한다. 이로 인하여, 오퍼레이터는, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 2명 이상의 사람(작업자(W1, W2))이 검지된 경우에, 표시장치(50)의 표시내용(확대감시용 화상) 중에서 중앙쪽에 배치되는, 검지된 사람(작업자(W1, W2))을 용이하게 인식할 수 있다. 그리고, 오퍼레이터는, 검지된 사람(작업자(W1, W2))이 어떠한 행동을 행하고 있는지 등을 용이하게 파악할 수 있다. 또한, 본 예에서는, 검지된 2명 이상의 사람(작업자(W1, W2))이 모두 포함되도록 확대감시용 화상이 생성되기 때문에, 검지된 2명 이상의 사람의 모든 행동 등을 파악할 수 있다. 또한, 본 예에서는, 제1 예와 동일하게, 쇼벨화상 중 적어도 일부가 확대감시용 화상에 포함되기 때문에, 사람검지부(301)에 의하여 검지된 사람(작업자(W1, W2))과 쇼벨과의 상대적인 위치관계를 용이하게 파악할 수 있다. 또한, 본 예에서는, 제1 예와 동일하게, 통상감시용 화상에 대하여, 주변화상과 동일한 확대율로 확대된 쇼벨화상이 확대감시용 화상에 포함되기 때문에, 사람검지부(301)에 의하여 검지된 사람(작업자(W1, W2))과 쇼벨과의 상대적인 위치관계를 보다 정확하게 파악할 수 있다.
다만, 본 예에서는, 표시제어부(302)는, 작업자(W1, W2)의 위치에서 규정되는 도형의 대략 도심위치를 중심으로 하는, 작업자(W1, W2)를 포함하는 주변화상(EP)의 일부영역(A2)(도 5a 참조)을 확대한 확대감시용 화상을 생성하지만, 당해 양태에 한정되지 않는다. 즉, 확대감시용 화상(일부영역(A2))은, 쇼벨화상(CG)보다도 작업자(W1, W2)의 위치에서 규정되는 도형의 대략 도심위치에 가까운 위치를 중심으로 하면 된다.
계속해서, 도 6은, 표시장치(50)에 표시되는 확대감시용 화상의 제3 예를 설명하는 도이다. 구체적으로는, 도 6a는, 표시장치(50)에 표시되는 통상감시용 화상이고, 도 6b는, 사람검지부(301)에 의하여 사람이 검지됨으로써 표시장치(50)에 표시되는 확대감시용 화상의 제3 예이다.
다만, 도 6a는, 일점쇄선으로 둘러싸이는 부분(일부영역(A3))의 배치를 제외하고, 도 5a와 동일하기 때문에, 도 5a와 다른 부분을 중심으로 설명을 행한다.
도 6a에 나타내는 바와 같이, 통상감시용 화상의 쇼벨의 주변의 소정영역 내에, 도 5a와 동일하게, 작업자(W1, W2)가 비치고 있다. 이와 같은 상황에 있어서, 사람검지부(301)는, 당해 작업자(W1, W2)를 검지하면, 표시제어부(302)에 사람이 검지된 것을 통지한다. 이로써, 표시제어부(302)는, 상술한 바와 같이, 감시용 화상의 표시양태를 변화시킨다.
구체적으로는, 도 6b에 나타내는 바와 같이, 표시제어부(302)는, 통상감시용 화상에 있어서, 쇼벨화상(CG)보다도 주변화상(EP)에 포함되는 작업자(W1, W2)에 가까운 위치(본 예에서는, 작업자(W1, W2) 중, 쇼벨에 가장 가까운 위치에 있는 작업자(W1))를 중심으로 하는, 작업자(W1, W2)를 포함하는 주변화상(EP)의 일부영역(A3)(도 6a 참조)을 확대한 확대감시용 화상을 생성하여, 표시장치(50)에 표시시킨다. 또한, 본 예에서는, 표시제어부(302)는, 제1 예 등과 동일하게, 주변화상(EP)의 상기 일부영역(A3)에 맞추어, 쇼벨화상(CG)도 동일한 확대율로 확대한 확대감시용 화상을 생성한다. 즉, 표시제어부(302)는, 통상감시용 화상에 있어서의 작업자(W1)의 위치를 중심으로 하는, 일부영역(A3)을 그대로 확대한 확대감시용 화상을 생성하여, 표시장치(50)에 표시시킨다.
본 예에 있어서의 표시장치(50)에 표시되는 확대감시용 화상의 대략 중앙에는, 사람검지부(301)에 의하여 검지된 2명 이상의 사람(작업자(W1, W2)) 중 쇼벨에 가장 가까운 작업자(W1)가 위치한다. 이로 인하여, 오퍼레이터는, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 2명 이상의 사람(작업자(W1, W2))이 검지된 경우에, 표시장치(50)의 표시내용(확대감시용 화상)을 확인함으로써, 검지된 2명 이상의 사람(작업자(W1, W2)) 중 가장 쇼벨의 가까이에 있는 사람(작업자(W1))을 용이하게 인식할 수 있다. 그리고, 오퍼레이터는, 가장 쇼벨의 가까이에 있는 사람(작업자(W1))이 어떠한 행동을 행하고 있는지 등을 용이하게 파악할 수 있다. 또한, 본 예에서는, 제2 예와 동일하게, 검지된 2명 이상의 사람이 모두 포함되도록 확대감시용 화상이 생성되기 때문에, 검지된 2명 이상의 사람의 모든 행동 등을 파악할 수 있다. 또한, 본 예에서는, 제1 예 등과 동일하게, 쇼벨화상 중 적어도 일부가 확대감시용 화상에 포함되기 때문에, 사람검지부(301)에 의하여 검지된 사람(작업자(W1, W2))과 쇼벨과의 상대적인 위치관계를 용이하게 파악할 수 있다. 또한, 본 예에서는, 제1 예 등과 동일하게, 통상감시용 화상에 대하여, 주변화상과 동일한 확대율로 확대된 쇼벨화상이 확대감시용 화상에 포함되기 때문에, 사람검지부(301)에 의하여 검지된 사람(작업자(W1, W2))과 쇼벨과의 상대적인 위치관계를 보다 정확하게 파악할 수 있다.
계속해서, 도 7은, 표시장치(50)에 표시되는 확대감시용 화상의 제4 예를 설명하는 도이다. 구체적으로는, 도 7a는, 표시장치(50)에 표시되는 통상감시용 화상이고, 도 7b는, 사람검지부(301)에 의하여 사람이 검지됨으로써 표시장치(50)에 표시되는 확대감시용 화상의 제4 예이다.
다만, 본 예에서는, 도 7a, 7b에 나타내는 바와 같이, 표시장치(50)는, 세로로 긴 직사각형의 화면(예를 들면, 종횡비 9:16의 화면)을 갖는다. 또한, 도 7a는, 표시장치(50)가 세로로 긴 직사각형의 화면인 점과, 일점쇄선으로 둘러싸이는 부분(일부영역(A4))의 배치를 제외하고, 도 4a와 동일하기 때문에, 도 4a와 다른 부분을 중심으로 설명을 한다.
도 7a에 나타내는 바와 같이, 통상감시용 화상에 있어서의 주변화상에는, 도 4a와 동일하게, 쇼벨의 주변(후방)의 소정영역 내에 있는 작업자(W1)가 비치고 있다. 이와 같은 상황에 있어서, 사람검지부(301)는, 당해 작업자(W1)를 검지하면, 표시제어부(302)에 사람이 검지된 것을 통지한다. 이로써, 표시제어부(302)는, 상술한 바와 같이, 감시용 화상의 표시양태를 변화시킨다.
구체적으로는, 도 7b에 나타내는 바와 같이, 표시제어부(302)는, 통상감시용 화상에 있어서, 쇼벨화상(CG)보다도 주변화상(EP)에 포함되는 작업자(W1)에 가까운 위치(본 예에서는, 작업자(W1)의 위치)를 중심으로 하는, 작업자(W1)를 포함하는 주변화상(EP)의 일부영역(A4)을 확대한 확대감시용 화상을 생성하여, 표시장치(50)에 표시시킨다. 또한, 본 예에서는, 표시제어부(302)는, 선분(L)보다 쇼벨(쇼벨화상)에 가까운 근방영역, 즉 쇼벨로부터 소정거리 D2 이내의 근방영역 모두가 포함되는 주변화상(EP)의 일부영역(A4)(도 7a 참조)을 확대한 확대감시용 화상을 생성한다. 또한, 본 예에서는, 표시제어부(302)는, 주변화상(EP)의 상기 일부영역(A4)에 맞추어, 쇼벨화상(CG)도 동일한 확대율로 확대한 확대감시용 화상을 생성한다. 즉, 표시제어부(302)는, 통상감시용 화상에 있어서의 작업자(W1)의 위치를 중심으로 하여, 주변화상(EP)에 있어서의 쇼벨로부터 소정거리 D2 이내의 근방영역 모두가 포함되는, 일부영역(A4)을 그대로 확대한 확대감시용 화상을 생성하여, 표시장치(50)에 표시시킨다.
본 예에 있어서의 표시장치(50)에 표시되는 확대감시용 화상의 대략 중앙에는, 제1 예와 동일하게, 작업자(W1)가 위치한다. 이로 인하여, 오퍼레이터는, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 사람(작업자(W1))이 검지된 경우에, 표시장치(50)의 표시내용(확대감시용 화상)을 보고, 검지된 사람(작업자(W1))이 어떠한 행동을 행하고 있는지 등을 용이하게 파악할 수 있다. 또한, 본 예에서는, 제1 예 등과 동일하게, 쇼벨화상 중 적어도 일부가 확대감시용 화상에 포함되기 때문에, 사람검지부(301)에 의하여 검지된 사람(작업자(W1))과 쇼벨과의 상대적인 위치관계를 용이하게 파악할 수 있다. 또한, 본 예에서는, 제1 예 등과 동일하게, 통상감시용 화상에 대하여, 주변화상과 동일한 확대율로 확대된 쇼벨화상이 확대감시용 화상에 포함되기 때문에, 사람검지부(301)에 의하여 검지된 사람(작업자(W1))과 쇼벨과의 상대적인 위치관계를 보다 정확하게 파악할 수 있다. 또한, 본 예에서는, 쇼벨로부터 소정거리 D2 이내의 근방영역 모두가 확대감시용 화상에 포함되기 때문에, 오퍼레이터는, 쇼벨에 근접하는 근방영역의 상황을 확인하면서, 검지된 사람의 행동 등을 파악할 수 있다. 따라서, 오퍼레이터에 의한 쇼벨의 조작 시에 있어서의 안전성을 더 높일 수 있다.
계속해서, 도 8은, 표시장치(50)에 표시되는 별도시점감시용 화상의 일례를 나타내는 도이다. 이하, 도 8은, 도 4a의 통상감시용 화상으로부터 전환된 별도시점감시용 화상이라는 전제에서 설명을 진행한다.
도 4a에 나타내는 바와 같이, 통상감시용 화상 내의 주변화상의 쇼벨(상부선회체(3))의 후방에 작업자(W1)가 비치고 있는 상황에 있어서, 사람검지부(301)는, 당해 작업자(W1)를 검지하면, 표시제어부(302)에 사람이 검지된 것을 통지한다. 이로써, 표시제어부(302)는, 상술한 바와 같이, 감시용 화상의 표시양태를 변화시킨다.
구체적으로는, 도 8에 나타내는 바와 같이, 표시제어부(302)는, 촬상장치(40)의 촬상화상에 근거하여, 쇼벨의 후방 경사상측(본 예의 경우, 쇼벨의 후방의 수평면으로부터 45도 상방의 각도방향. 이하, 도 9에 대해서도 동일함)의 가상시점에서 본 시점변환화상으로서의 주변화상(EP)을 생성한다. 그리고, 표시제어부(302)는, 당해 주변화상과 동일한 쇼벨의 후방 경사상측의 가상시점에서 본 쇼벨화상(CG)과, 쇼벨과 촬상장치(40)의 촬상범위와의 상대위치관계와 맞추어 쇼벨화상(CG)의 주위에 배치되는 주변화상(EP)을 포함하는 별도시점감시용 화상을 표시장치(50)에 표시시킨다. 이로써, 오퍼레이터가 쇼벨의 후방 경사상측으로부터 작업자와 쇼벨을 본 상태를 가상적으로 실현할 수 있기 때문에, 오퍼레이터는, 쇼벨의 후방의 검지된 사람(작업자(W1))과 쇼벨과의 위치관계(거리감)를 파악하기 쉬워진다.
또한, 표시제어부(302)는, 쇼벨의 전방 경사상측의 가상시점에서 본 시점변환화상으로서의 주변화상을 포함하는 별도시점감시용 화상을 생성하여, 표시장치(50)에 표시시켜도 된다. 이로써, 오퍼레이터가 쇼벨의 전방 경사상측으로부터 검지된 사람(작업자(W1))과 쇼벨을 본 상태를 가상적으로 실현할 수 있기 때문에, 오퍼레이터는, 검지된 사람을 포함하는 쇼벨의 후방의 영역의 시야가 넓어져, 작업자의 상황을 파악하기 쉬워진다.
즉, 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨에서 보아 상대적으로 후방에 있는 사람이 검지된 경우, 가상시점의 수평면에 대한 각도방향을 바로 위로부터 전방 혹은 후방으로 시프트한 경사상방향에서 본 시점변환화상으로서의 주변화상을 포함하는 별도시점감시용 화상을 생성하여, 표시장치(50)에 표시시켜도 된다. 이로써, 주변감시시스템(100)은, 오퍼레이터에 대하여, 감시용 화상에 있어서의 검지된 사람(작업자(W1))의 파악을 촉구할 수 있다. 구체적으로는, 주변감시시스템(100)은, 가상시점의 수평면에 대한 각도방향을 쇼벨에서 보아 상대적으로 사람이 존재하는 측(본 예의 경우, 후방)으로 시프트함으로써, 상술한 바와 같이, 쇼벨의 후방의 작업자와 쇼벨과의 위치관계(거리감)를 오퍼레이터에게 파악시키기 쉬워진다. 또한, 주변감시시스템(100)은, 가상시점의 수평면에 대한 각도방향을 쇼벨에서 보아 상대적으로 사람이 존재하는 측(본 예의 경우, 후방)으로 시프트함으로써, 작업자를 포함하는 쇼벨의 후방의 영역의 시야가 넓어져, 오퍼레이터에게 검지된 사람의 상황을 파악시키기 쉬워진다.
또한, 동일하게 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨에서 보아 상대적으로 우방향 혹은 좌방향에 있는 사람이 검지된 경우, 가상시점의 수평면에 대한 각도방향을 바로 위로부터 우방향 혹은 좌방향으로 시프트한 경사상방향에서 본 시점변환화상으로서의 주변화상을 포함하는 별도시점감시용 화상을 생성하여, 표시장치(50)에 표시시켜도 된다. 이로써, 주변감시시스템(100)은, 쇼벨에서 보아 상대적으로 후방에 있는 사람이 검지된 경우와 동일하게, 오퍼레이터에 대하여, 감시용 화상에 있어서의 검지된 사람(작업자(W1))의 파악을 촉구할 수 있다.
다만, 촬상장치(40)는, 쇼벨(상부선회체(3))의 전방을 촬상하는 카메라(전방카메라)를 포함해도 되고, 아울러 사람검지부(301)는, 쇼벨의 전방을 포함하는 소정영역 내의 사람을 검지해도 된다. 이 경우, 표시제어부(302)는, 쇼벨의 주위의 수평방향 360°의 범위를 바로 위에서 본 부감화상과 수평화상을 조합한 주변화상을 포함하는 통상감시용 화상을 생성해도 된다. 그리고, 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨에서 보아 상대적으로 전방에 있는 사람이 검지된 경우, 후방에 있는 사람이 검지된 경우와 동일하게, 가상시점의 수평면에 대한 각도방향을 바로 위로부터 전방 혹은 후방으로 시프트한 경사상방향에서 본 시점변환화상으로서의 주변화상을 포함하는 별도시점감시용 화상을 생성하여, 표시장치(50)에 표시시켜도 된다. 이로써, 주변감시시스템(100)은, 쇼벨에서 보아 상대적으로 후방에 있는 사람이 검지된 경우와 동일하게, 오퍼레이터에 대하여, 감시용 화상에 있어서의 검지된 사람(작업자(W1))의 파악을 촉구할 수 있다. 이하, 부분별시점감시용 화상의 경우에 대해서도 동일하다.
계속해서, 도 9는, 표시장치(50)에 표시되는 부분별시점감시용 화상의 일례를 나타내는 도이다. 이하, 도 8은, 도 4a의 통상감시용 화상으로부터 전환된 별도시점감시용 화상이라는 전제에서 설명을 진행한다.
도 4a에 나타내는 바와 같이, 통상감시용 화상 내의 주변화상의 쇼벨(상부선회체(3))의 후방에 작업자(W1)가 비치고 있는 상황에 있어서, 사람검지부(301)는, 당해 작업자(W1)를 검지하면, 표시제어부(302)에 사람이 검지된 것을 통지한다. 이로써, 표시제어부(302)는, 상술한 바와 같이, 감시용 화상의 표시양태를 변화시킨다.
구체적으로는, 도 9에 나타내는 바와 같이, 표시제어부(302)는, 촬상장치(40)의 촬상화상에 근거하여, 쇼벨의 후방 경사상측의 가상시점에서 시점변환화상으로서, 통상감시용 화상의 검지된 사람이 있는 부분을 포함하는 일부영역에 대응하는 시점변환화상으로서의 주변화상을 생성한다. 그리고, 표시제어부(302)는, 당해 주변화상과 동일한 쇼벨 후방 경사상측의 가상시점에서 본 쇼벨화상(CG)의 일부와, 쇼벨과 촬상장치(40)의 촬상범위와의 상대위치관계를 맞추어 쇼벨화상(CG)(의 일부)의 주위에 배치되는 주변화상(EP)을 포함하는 부분별시점감시용 화상을 표시장치(50)에 표시시킨다. 이로써, 별도시점감시용 화상의 경우와 동일하게, 오퍼레이터가 쇼벨의 후방 경사상측에서 작업자와 쇼벨을 본 상태를 가상적으로 실현할 수 있기 때문에, 오퍼레이터는, 쇼벨의 후방의 검지된 사람(작업자(W1))과 쇼벨과의 위치관계(거리감)를 파악하기 쉬워진다. 또한, 본 예에서는, 통상감시용 화상 내의 검지된 사람이 포함되는 일부영역만이 부분별시점감시용 화상으로서 표시장치(50)에 표시되기 때문에, 오퍼레이터는, 검지된 사람의 상황을 더 파악하기 쉬워진다.
또한, 표시제어부(302)는, 통상감시용 화상의 검지된 사람을 포함하는 일부영역을 쇼벨의 전방 경사상측의 가상시점에서 본 시점변환화상으로서의 주변화상을 포함하는 부분별시점감시용 화상을 생성하여, 표시장치(50)에 표시시켜도 된다. 이로써, 별도시점감시용 화상의 경우와 동일하게, 오퍼레이터가 쇼벨의 전방 경사상측에서 검지된 사람(작업자(W1))과 쇼벨을 본 상태를 가상적으로 실현할 수 있기 때문에, 검지된 사람을 포함하는 쇼벨의 후방의 영역의 시야가 넓어져, 오퍼레이터는, 작업자의 상황을 파악하기 쉬워진다.
즉, 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨에서 보아 상대적으로 후방에 있는 사람이 검지된 경우, 가상시점의 수평면에 대한 각도방향을 바로 위로부터 전방 혹은 후방으로 시프트한 경사상방향에서 본 시점변환화상으로서, 통상감시용 화상의 검지된 사람이 있는 부분을 포함하는 일부영역에 대응하는 시점변환화상으로서의 주변화상을 포함하는 부분별시점감시용 화상을 생성하여, 표시장치(50)에 표시시켜도 된다. 이로써, 주변감시시스템(100)은, 오퍼레이터에 대하여, 감시용 화상에 있어서의 검지된 사람(작업자(W1))의 파악을 더 촉구할 수 있다.
또한, 동일하게 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨에서 보아 상대적으로 우방향 혹은 좌방향에 있는 사람이 검지된 경우, 가상시점의 수평면에 대한 각도방향을 바로 위로부터 우방향 혹은 좌방향으로 시프트한 경사상방향에서 본 시점변환화상으로서, 통상감시용 화상의 검지된 사람이 있는 부분을 포함하는 일부영역에 대응하는 시점변환화상으로서의 주변화상을 포함하는 부분별시점감시용 화상을 생성하여, 표시장치(50)에 표시시켜도 된다. 이로써, 주변감시시스템(100)은, 쇼벨에서 보아 상대적으로 후방에 있는 사람이 검지된 경우와 동일하게, 오퍼레이터에 대하여, 감시용 화상에 있어서의 검지된 사람(작업자(W1))의 파악을 더 촉구할 수 있다.
다만, 도 9에 나타내는 부분별시점감시용 화상은, 도 8의 별도시점감시용 화상의 일부영역(A2)에 대응한다. 이로 인하여, 표시제어부(302)는, 촬상장치(40)의 촬상화상에 근거하여, 별도시점감시용 화상을 생성한 후, 생성한 별도시점변환화상의 일부영역(A2)을 잘라내어 확대함으로써 부분별시점감시용 화상을 생성해도 된다.
[감시용 화상의 표시처리의 상세]
다음으로, 도 10을 참조하여, 본 실시형태에 관한 주변감시시스템(100)(표시제어부(302))에 의한 감시용 화상을 표시장치(50)에 표시시키는 처리(표시처리)의 처리플로에 대하여 설명을 한다. 이하, 확대감시용 화상, 별도시점감시용 화상, 및 부분별시점감시용 화상을 총괄적으로 "사람검지 시 감시용 화상"이라고 칭하는 경우가 있다.
도 10은, 본 실시형태에 관한 주변감시시스템(100)(표시제어부(302))에 의한 표시처리의 일례를 개략적으로 나타내는 플로차트이다. 본 플로차트에 의한 처리는, 예를 들면 오퍼레이터에 의한 소정의 개시조작이나 소정의 개시조건에 따라, 표시장치(50)로의 통상감시용 화상, 혹은 사람검지 시 감시용 화상의 표시가 개시되면, 아울러 개시되고, 소정시간간격으로 반복하여 실행된다. 또한, 본 플로차트에 의한 처리는, 예를 들면 오퍼레이터에 의한 소정의 종료조작이나 소정의 종료조건에 따라, 표시장치(50)로의 감시용 화상(통상감시용 화상 혹은 사람검지 시 감시용 화상)의 표시가 종료되면, 아울러 종료된다.
스텝 S101에서, 표시제어부(302)는, 사람검지 시에 감시용 화상의 표시양태가 변경되는 기능이 ON되어 있는지 여부를 판정한다. 표시제어부(302)는, 당해 기능이 ON되어 있는 경우, 스텝 S102로 진행하고, 그 이외의 경우, 금회의 처리를 종료한다.
스텝 S102에서, 표시제어부(302)는, 사람검지부(301)가 쇼벨의 주변의 소정영역 내에서 사람을 검지했는지 여부를 판정한다. 표시제어부(302)는, 사람검지부(301)가 사람을 검지하고 있지 않는 경우, 스텝 S104로 진행하고, 사람을 검지하고 있는 경우, 스텝 S106으로 진행한다.
스텝 S104에서, 표시제어부(302)는, 표시장치(50)에 통상감시용 화상을 표시시킨다.
한편, 스텝 S106에서, 표시제어부(302)는, 표시장치(50)에 사람검지 시 감시용 화상을 표시시킨다.
다만, 표시제어부(302)는, 본 스텝에 있어서의 처리에 의하여, 확대감시용 화상, 별도시점감시용 화상, 및 부분별시점감시용 화상 중 2개 이상의 사람검지 시 감시용 화상으로부터 오퍼레이터 등에 의한 사전의 선택조작에 따라 선택되는 1개의 사람검지 시 감시용 화상을 표시 가능해도 된다. 또한, 표시제어부(302)는, 본 스텝의 처리에 의하여, 확대감시용 화상, 별도시점감시용 화상, 및 부분별시점감시용 화상 중 어느 하나의 사람검지 시 감시용 화상만을 표시장치(50)에 표시 가능한 양태여도 된다.
스텝 S108에서, 표시제어부(302)는, 표시장치(50)에 있어서의 전회(前回)의 화상전환(통상감시용 화상으로부터 사람검지 시 감시용 화상으로의 화상전환, 혹은 사람검지 시 감시용 화상으로부터 통상감시용 화상으로의 화상전환)으로부터 소정시간 이상 경과했는지를 판정한다. 표시제어부(302)는, 표시장치(50)에 있어서의 전회의 화상전환으로부터 소정시간 이상 경과하고 있지 않는 경우, 본 스텝의 처리를 반복하고, 전회의 화면전환으로부터 소정시간 이상 경과하고 있는 경우(혹은, 본 플로차트에 의한 처리의 개시 후, 화면전환이 행해지지 않은 경우), 스텝 S102로 되돌아가, 본 플로차트에 의한 처리를 반복한다. 이로써, 예를 들면 사람이 쇼벨의 주변의 소정영역(쇼벨로부터 소정거리 D1 이내의 영역)의 경계부분에 위치하는 경우 등에 있어서, 통상감시용 화상과 확대감시용 화상 등의 사이에서, 화면의 내용이 빈번하게 전환되는 헌팅의 발생을 방지할 수 있다.
[작용]
이와 같이, 본 실시형태에서는, 표시제어부(302)는, 사람검지부(301)에 의하여 소정영역 내에서 사람이 검지된 경우, 통상감시용 화상에 있어서의 주변화상의 일부영역으로서, 쇼벨화상보다도 주변화상에 포함되는 사람에 가까운 위치를 중심으로 하는, 사람이 포함되는 일부영역을 확대한 확대감시용 화상을 표시장치(50)에 표시시킨다. 이로써, 사람검지부(301)에 의하여 쇼벨의 주변에 사람이 검지된 경우에, 검지된 사람이 포함되는 부분이 중앙쪽에 배치된 확대감시용 화상이 표시장치(50)에 표시된다. 이로 인하여, 오퍼레이터는, 표시장치(50)의 화면의 중앙쪽에 표시되는 검지된 사람을 용이하게 확인할 수 있음과 함께, 검지된 사람의 행동내용 등의 상태를 용이하게 파악할 수 있다. 따라서, 주변감시시스템(100)은, 오퍼레이터에 의한 쇼벨의 조작 시에 있어서의 안전성을 더 높일 수 있다.
또한, 본 실시형태에서는, 표시제어부(302)는, 사람검지부(301)에 의하여 소정영역 내에서 사람이 검지된 경우, 가상시점의 수평면에 대한 각도방향을 바로 위로부터 쇼벨에 대하여 검지된 사람에게 가까워지는 방향 혹은 멀어지는 방향으로 시프트한 경사상방향에서 본 시점변환화상으로서의 주변화상을 포함하는 별도시점감시용 화상을 생성하여, 표시장치(50)에 표시시킨다. 이로써, 주변감시시스템(100)은, 상술한 바와 같이, 오퍼레이터에 대하여, 감시용 화상에 의한 검지된 사람의 파악을 촉구할 수 있다. 따라서, 주변감시시스템(100)은, 오퍼레이터에 의한 쇼벨의 조작 시에 있어서의 안전성을 더 높일 수 있다.
또한, 본 실시형태에서는, 표시제어부(302)는, 사람검지부(301)에 의하여 소정영역 내에서 사람이 검지된 경우, 가상시점의 수평면에 대한 각도방향을 바로 위로부터 쇼벨에 대하여 검지된 사람에게 가까워지는 방향 혹은 멀어지는 방향으로 시프트한 경사상방향에서 본 시점변환화상으로서, 통상감시용 화상 내의 검지된 사람이 있는 부분을 포함하는 일부영역에 대응하는 시점변환화상으로서의 주변화상을 포함하는 부분별시점감시용 화상을 생성하여, 표시장치(50)에 표시시킨다. 이로써, 주변감시시스템(100)은, 상술한 바와 같이, 오퍼레이터에 대하여, 감시용 화상에 의한 검지된 사람의 파악을 더 촉구할 수 있다. 따라서, 주변감시시스템(100)은, 오퍼레이터에 의한 쇼벨의 조작 시에 있어서의 안전성을 더 높일 수 있다.
다만, 상술한, 검지된 사람과 쇼벨과의 거리 D에 따라, 감시용 화상의 표시양태의 변경의 사양을 변화시키는 다른 양태로서, 표시제어부(302)는, 확대감시용 화상으로서 확대표시시키는, 통상감시용 화상의 사람을 포함하는 일부영역의 중심을 변화시켜도 된다. 예를 들면, 표시제어부(302)는, 사람과 쇼벨과의 거리 D가 비교적 작은(예를 들면, 거리 D가 소정거리 D2 이하인) 경우, 통상감시용 화상에 있어서의 주변화상의 일부영역으로서, 쇼벨화상보다도 주변화상에 포함되는 사람에 가까운 위치를 중심으로 하는, 사람이 포함되는 일부영역을 확대한 확대감시용 화상을 표시장치(50)에 표시시킨다. 한편, 표시제어부(302)는, 사람과 쇼벨과의 거리 D가 비교적 큰(예를 들면, 거리 D가 소정거리 D2 이하가 아닌) 경우, 통상감시용 화상에 있어서의 쇼벨화상을 중심으로 하는, 사람이 포함되는 일부영역을 확대한 확대감시용 화상을 표시장치(50)에 표시시킨다. 이로써, 검지된 사람이 쇼벨과 비교적 접근하고 있는 상황에서는, 오퍼레이터는, 검지된 사람의 상태를 보다 파악하기 쉬워져, 검지된 사람의 안전성을 확실히 확보할 수 있다. 한편, 검지된 사람이 쇼벨로부터 비교적 멀어진 상황에서는, 오퍼레이터는, 쇼벨주변전체상태를 파악하면서, 검지된 사람의 상태를 파악하는 것이 가능해져, 향후의 안전행동을 취하기 쉬워진다.
또한, 본 실시형태에서는, 쇼벨화상도 주변화상의 일부영역에 맞추어 확대한 확대감시용 화상이 생성되지만, 주변화상의 일부영역만을 확대하고, 쇼벨화상을 확대하지 않는 확대감시용 화상이 생성되어도 된다.
또한, 본 실시형태에서는, 쇼벨화상 중 적어도 일부를 포함하는 확대감시화상이 생성되지만, 예를 들면 쇼벨화상을 포함하지 않는 확대감시용 화상이 생성되어도 된다.
이상으로, 본 발명을 실시하기 위한 형태에 대하여 상세하게 설명했지만, 본 발명은 이러한 특정의 실시형태에 한정되는 것은 아니고, 특허청구의 범위에 기재된 본 발명의 요지의 범위 내에 있어서, 다양한 변형·변경이 가능하다.
예를 들면, 상술한 실시형태에서는, 감시용 화상 내에 있어서의 검지된 사람의 위치가, 다른 위치보다도 중시(강조)되는 표시양태로서, 확대감시용 화상, 별도시점감시화상, 및 부분별시점감시용 화상이 예시되지만, 이들에는 한정되지 않는다. 예를 들면, 표시제어부(302)는, 사람검지부(301)에 의하여 쇼벨의 주변의 소정영역 내에서 사람이 검지된 경우, 통상감시용 화상에 있어서의 검지된 사람이 포함되지 않는 영역에, 후방카메라(40B), 좌측방카메라(40L), 및 우측방카메라(40R)의 각각의 촬상화상 중 검지된 사람이 비치고 있는 촬상화상(스루화상)을 그대로 중첩시켜 배치하는 감시용 화상을 생성하여, 표시장치(50)에 표시시켜도 된다. 이로써, 통상감시용 화상에 있어서의 사람이 포함되는 영역이 강조되기 때문에, 오퍼레이터는, 검지된 사람의 상황을 파악하기 쉬워짐과 함께, 검지된 사람이 비치는 스루화상을 함께 시인할 수 있기 때문에, 오퍼레이터는, 검지된 사람의 상황을 더 파악하기 쉬워진다.
또한, 예를 들면 상술한 실시형태에서는, 컨트롤러(30)(주변감시시스템(100))은, 감시대상으로서 사람을 검지하지만, 사람을 포함하거나 혹은 사람 이외의 물체(예를 들면, 쇼벨의 주변의 다른 작업기계, 차량, 임시로 두는 공재(工材) 등)를 검지해도 된다. 이 경우, 컨트롤러(30)(표시제어부(302))는, 감시대상의 물체의 검지의 유무에 따라, 상술과 동일하게, 감시용 화상의 표시양태를 변화시킨다.
다만, 본원은, 2016년 11월 1일에 출원한 일본 특허출원 2016-214714호에 근거하여 우선권을 주장하는 것이고, 그 일본 특허출원의 모든 내용을 본원에 참조에 의하여 원용한다.
30 컨트롤러
301 사람검지부
302 표시제어부
40 촬상장치
40B 후방카메라
40L 좌측방카메라
40R 우측방카메라
50 표시장치
100 주변감시시스템(작업기계용 주변감시시스템)

Claims (8)

  1. 작업기계의 캐빈 내에 마련되는 표시장치와,
    상기 작업기계의 주변을 촬상하는 촬상장치와,
    상기 촬상장치의 촬상화상에 근거하여 상기 작업기계의 주변화상을 생성함과 함께, 상기 작업기계를 모식적으로 나타내는 작업기계화상과, 상기 작업기계와 상기 촬상장치의 촬상범위와의 상대위치관계에 맞추어, 상기 작업기계화상의 주위에 배치되는 상기 주변화상을 포함하는 감시용 화상을 상기 표시장치에 표시시키는 표시제어부와,
    상기 작업기계의 주변의 소정영역 내에서 사람을 검지하는 사람검지부를 구비하고,
    상기 표시제어부는, 상기 사람검지부에 의하여 상기 소정영역 내에서 사람이 검지된 경우, 상기 감시용 화상에 있어서의 상기 주변화상의 일부영역으로서, 상기 작업기계화상보다도 상기 주변화상에 포함되는 상기 사람에 가까운 위치를 중심으로 하는, 상기 사람이 포함되는 일부영역을 확대한 확대감시용 화상을 상기 표시장치에 표시시키는,
    작업기계용 주변감시시스템.
  2. 제1항에 있어서,
    상기 표시제어부는, 상기 사람검지부에 의하여 상기 소정영역 내에서 사람이 검지된 경우, 상기 작업기계화상의 적어도 일부를 포함하는 상기 확대감시용 화상을 상기 표시장치에 표시시키는,
    작업기계용 주변감시시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 표시제어부는, 상기 사람검지부에 의하여 상기 소정영역 내에서 사람이 검지된 경우, 상기 주변화상에 포함되는 상기 사람의 위치를 중심으로 하는 상기 일부영역을 확대한 상기 확대감시용 화상을 상기 표시장치에 표시시키는,
    작업기계용 주변감시시스템.
  4. 제1항 또는 제2항에 있어서,
    상기 표시제어부는, 상기 사람검지부에 의하여 상기 소정영역 내에서 2명 이상의 사람이 검지된 경우, 상기 작업기계화상보다도, 상기 주변화상에 포함되는 상기 2명 이상의 사람의 위치로 규정되는 도형의 대략 도심위치에 가까운 위치를 중심으로 하는, 상기 2명 이상의 사람이 포함되는 상기 일부영역을 확대한 상기 확대감시용 화상을 상기 표시장치에 표시시키는,
    작업기계용 주변감시시스템.
  5. 제4항에 있어서,
    상기 표시제어부는, 상기 사람검지부에 의하여 상기 소정영역 내에서 2명 이상의 사람이 검지된 경우, 상기 도형의 대략 도심위치를 중심으로 하는, 상기 2명 이상의 사람이 포함되는 상기 일부영역을 확대한 상기 확대감시용 화상을 상기 표시장치에 표시시키는,
    작업기계용 주변감시시스템.
  6. 제1항 또는 제2항에 있어서,
    상기 표시제어부는, 상기 사람검지부에 의하여 상기 소정영역 내에서 2명 이상의 사람이 검지된 경우, 상기 주변화상에 포함되는 상기 2명 이상의 사람 중 상기 작업기계에 가장 가까운 사람의 위치를 중심으로 하는 상기 일부영역을 확대한 상기 확대감시용 화상을 상기 표시장치에 표시시키는,
    작업기계용 주변감시시스템.
  7. 제2항에 있어서,
    상기 표시제어부는, 상기 사람검지부에 의하여 상기 소정영역 내에서 사람이 검지된 경우, 상기 일부영역에 맞추어 상기 작업기계화상도 확대한 상기 확대감시용 화상을 상기 표시장치에 표시시키는,
    작업기계용 주변감시시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 표시제어부는, 상기 사람검지부에 의하여 상기 소정영역 내에서 사람이 검지된 경우, 상기 주변화상에 있어서의 상기 작업기계로부터 소정거리 내의 근방영역 모두가 포함되는 상기 일부영역을 확대한 상기 확대감시용 화상을 상기 표시장치에 표시시키는,
    작업기계용 주변감시시스템.
KR1020187035110A 2016-11-01 2017-10-31 작업기계용 주변감시시스템 KR102256384B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016214714 2016-11-01
JPJP-P-2016-214714 2016-11-01
PCT/JP2017/039339 WO2018084146A1 (ja) 2016-11-01 2017-10-31 作業機械用周辺監視システム

Publications (2)

Publication Number Publication Date
KR20190077246A true KR20190077246A (ko) 2019-07-03
KR102256384B1 KR102256384B1 (ko) 2021-05-25

Family

ID=62076199

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187035110A KR102256384B1 (ko) 2016-11-01 2017-10-31 작업기계용 주변감시시스템

Country Status (6)

Country Link
US (1) US11047113B2 (ko)
EP (1) EP3537713B1 (ko)
JP (1) JP7171436B2 (ko)
KR (1) KR102256384B1 (ko)
CN (1) CN109314769B (ko)
WO (1) WO2018084146A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155516B2 (ja) * 2017-12-20 2022-10-19 コベルコ建機株式会社 建設機械
JP7160702B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP2020148074A (ja) * 2019-03-15 2020-09-17 ヤンマーパワーテクノロジー株式会社 作業機械の接触防止装置
WO2020218454A1 (ja) * 2019-04-26 2020-10-29 住友建機株式会社 表示装置、ショベル、情報処理装置
JP2020183623A (ja) * 2019-04-26 2020-11-12 住友建機株式会社 ショベル
JP7463354B2 (ja) * 2019-04-26 2024-04-08 住友建機株式会社 ショベル
JP7379866B2 (ja) * 2019-05-21 2023-11-15 コベルコ建機株式会社 作業機械
JP7096216B2 (ja) * 2019-08-21 2022-07-05 株式会社竹内製作所 作業用車両
JP2021042638A (ja) * 2019-09-13 2021-03-18 株式会社小松製作所 作業機械の表示システムおよび作業機械の表示方法
CN113128742B (zh) * 2020-01-14 2024-03-22 中联重科股份有限公司 工程机械的施工方法、装置、可读存储介质和处理器
JPWO2022054345A1 (ko) 2020-09-14 2022-03-17
JP2022063383A (ja) * 2020-10-12 2022-04-22 ヤンマーホールディングス株式会社 作業車両
JP2024042407A (ja) * 2022-09-15 2024-03-28 株式会社小松製作所 作業機械の表示システム、作業機械、及び作業機械の表示方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327522B1 (en) * 1999-09-07 2001-12-04 Mazda Motor Corporation Display apparatus for vehicle
US20030160863A1 (en) * 2002-02-28 2003-08-28 Sharp Kabushiki Kaisha Omnidirectional monitoring control system, omnidirectional monitoring control method, omnidirectional monitoring control program, and computer readable recording medium
US20070206835A1 (en) * 2006-03-02 2007-09-06 Koichi Abe Method of Processing Images Photographed by Plural Cameras And Apparatus For The Same
US20110234802A1 (en) * 2010-03-25 2011-09-29 Fujitsu Ten Limited On-vehicle lighting apparatus
KR20130097913A (ko) * 2012-02-27 2013-09-04 주식회사 경우시스테크 파노라마 영상이 제공되는 안전 시스템을 구비한 굴삭기
JP5395266B2 (ja) 2010-06-18 2014-01-22 日立建機株式会社 作業機械の周囲監視装置
JP2014183497A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
WO2016159012A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030193562A1 (en) * 2002-04-15 2003-10-16 Corzillus Brian S. Natural vision-based video surveillance system
JP3982504B2 (ja) * 2004-01-23 2007-09-26 日産自動車株式会社 車両用暗視カメラ装置および表示装置
WO2007052496A1 (ja) * 2005-10-31 2007-05-10 Toyota Jidosha Kabushiki Kaisha 駐車支援装置
TW200739125A (en) * 2006-04-14 2007-10-16 Quarton Inc Target searching device and image displaying method thereof
US8170787B2 (en) * 2008-04-15 2012-05-01 Caterpillar Inc. Vehicle collision avoidance system
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
JP5066198B2 (ja) * 2010-02-09 2012-11-07 住友建機株式会社 作業機械のモニタ装置
JP5775283B2 (ja) * 2010-10-08 2015-09-09 住友建機株式会社 作業機械のモニタ装置
US9019347B2 (en) * 2011-10-13 2015-04-28 Aisin Seiki Kabushiki Kaisha Image generator
JP5888956B2 (ja) * 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
US20140375814A1 (en) * 2012-01-12 2014-12-25 Hitachi Construction Machinery Co., Ltd. Periphery Monitoring Device for Self-Propelled Industrial Machine
JP6029306B2 (ja) * 2012-03-29 2016-11-24 住友建機株式会社 作業機械用周辺監視装置
JP5988683B2 (ja) * 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置
JP5814187B2 (ja) * 2012-06-07 2015-11-17 日立建機株式会社 自走式産業機械の表示装置
JP5938292B2 (ja) * 2012-08-03 2016-06-22 日立建機株式会社 運搬車両の監視装置
JP6029941B2 (ja) * 2012-11-08 2016-11-24 住友重機械工業株式会社 舗装機械用画像生成装置
CN102938827B (zh) * 2012-11-29 2016-05-11 深圳英飞拓科技股份有限公司 一种分层监控指挥系统及跨摄像头虚拟跟踪方法
JP2014110604A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両周辺監視装置
WO2014123228A1 (ja) * 2013-02-08 2014-08-14 日立建機株式会社 旋回式作業機械の周囲監視装置
JP6545430B2 (ja) * 2013-03-19 2019-07-17 住友重機械工業株式会社 ショベル
JP6456584B2 (ja) * 2013-03-19 2019-01-23 住友重機械工業株式会社 作業機械用周辺監視装置
EP3023125B1 (en) * 2013-07-16 2021-01-27 Beijing Mechanical Equipment Institute Control method of a fire truck for high-rise and super high-rise building firefighting
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
JP2015184839A (ja) * 2014-03-21 2015-10-22 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置
US20160301863A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Image processing system for generating a surround-view image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6327522B1 (en) * 1999-09-07 2001-12-04 Mazda Motor Corporation Display apparatus for vehicle
US20030160863A1 (en) * 2002-02-28 2003-08-28 Sharp Kabushiki Kaisha Omnidirectional monitoring control system, omnidirectional monitoring control method, omnidirectional monitoring control program, and computer readable recording medium
US20070206835A1 (en) * 2006-03-02 2007-09-06 Koichi Abe Method of Processing Images Photographed by Plural Cameras And Apparatus For The Same
US20110234802A1 (en) * 2010-03-25 2011-09-29 Fujitsu Ten Limited On-vehicle lighting apparatus
JP5395266B2 (ja) 2010-06-18 2014-01-22 日立建機株式会社 作業機械の周囲監視装置
KR20130097913A (ko) * 2012-02-27 2013-09-04 주식회사 경우시스테크 파노라마 영상이 제공되는 안전 시스템을 구비한 굴삭기
JP2014183497A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
WO2016159012A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置

Also Published As

Publication number Publication date
JPWO2018084146A1 (ja) 2019-09-19
US11047113B2 (en) 2021-06-29
US20190218754A1 (en) 2019-07-18
KR102256384B1 (ko) 2021-05-25
WO2018084146A1 (ja) 2018-05-11
EP3537713A4 (en) 2019-10-16
CN109314769B (zh) 2022-06-07
EP3537713B1 (en) 2021-09-01
EP3537713A1 (en) 2019-09-11
JP7171436B2 (ja) 2022-11-15
CN109314769A (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
KR20190077246A (ko) 작업기계용 주변감시시스템
EP3722519B1 (en) Surrounding-area monitoring device
JP6427597B2 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
WO2013038874A1 (ja) 作業機の周囲監視装置
CN111051619B (zh) 作业机械
JP6216097B2 (ja) 作業機械の周辺監視装置
US9776566B2 (en) Environment monitoring device for operating machinery
JP6572156B2 (ja) 建設機械の干渉防止装置
EP3438356A1 (en) Shovel
WO2017038123A1 (ja) 車両の周囲監視装置
EP3733982B1 (en) Shovel and output device of shovel
WO2021187082A1 (ja) 作業機械および作業機械の制御方法
US20230407600A1 (en) Work Vehicle
US20240141622A1 (en) Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine
US20230392352A1 (en) Work Machine Control Method, Work Machine Control Program, Work Machine Control System, And Work Machine
JP2023019920A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant