KR20220130569A - 작업기계용 화상취득장치, 정보관리시스템, 정보단말, 작업기계용 화상취득프로그램 - Google Patents

작업기계용 화상취득장치, 정보관리시스템, 정보단말, 작업기계용 화상취득프로그램 Download PDF

Info

Publication number
KR20220130569A
KR20220130569A KR1020217034925A KR20217034925A KR20220130569A KR 20220130569 A KR20220130569 A KR 20220130569A KR 1020217034925 A KR1020217034925 A KR 1020217034925A KR 20217034925 A KR20217034925 A KR 20217034925A KR 20220130569 A KR20220130569 A KR 20220130569A
Authority
KR
South Korea
Prior art keywords
image
imaging
information
working machine
work
Prior art date
Application number
KR1020217034925A
Other languages
English (en)
Inventor
요시히사 키요타
마사히토 인도
Original Assignee
스미도모쥬기가이고교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스미도모쥬기가이고교 가부시키가이샤 filed Critical 스미도모쥬기가이고교 가부시키가이샤
Publication of KR20220130569A publication Critical patent/KR20220130569A/ko

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36Component parts
    • E02F3/42Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/23229
    • H04N5/247
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/40Special vehicles
    • B60Y2200/41Construction vehicles, e.g. graders, excavators
    • B60Y2200/412Excavators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

쇼벨(100)은, 쇼벨(100)의 주변의 화상을 촬영하는 촬상장치(40)와, 컨트롤러(30)를 구비한다. 컨트롤러(30)는, 촬상장치(40)의 촬상범위가, 쇼벨(100)의 주변에 있어서의 미리 지정된 소정의 피사체영역을 포함한 경우에, 촬상장치(40)에 의하여 화상을 촬영한다.

Description

작업기계용 화상취득장치, 정보관리시스템, 정보단말, 작업기계용 화상취득프로그램
본 발명은, 작업기계용 화상취득장치, 정보관리시스템, 정보단말, 작업기계용 화상취득프로그램에 관한 것이다.
종래, 예를 들면 쇼벨 등의 작업기계에 있어서, 카메라를 탑재하여 주변을 촬영하는 것이 알려져 있다(예를 들면, 특허문헌 1 참조).
특허문헌 1: 일본 공개특허공보 2019-015174호
작업현장의 작업효율을 향상시키는 것이 요망된다.
본 발명은, 작업기계에 구비된 촬상장치를 이용하여, 작업현장의 효율을 향상시키는 것을 목적으로 한다.
본 발명은, 작업기계에 탑재된 작업기계용 화상취득장치로서,
상기 작업기계의 주변의 화상을 촬영하는 촬상수단과,
상기 촬상수단의 촬상범위가, 상기 작업기계의 주변에 있어서의 미리 지정된 소정의 피사체영역을 포함한 경우에, 상기 촬상수단에 의하여 화상을 촬영하는 촬상제어수단을 구비한다.
또, 본 발명은, 상기의 작업기계용 화상취득장치가 각각 탑재된 복수의 작업기계를 구비하여 구성되는 정보관리시스템으로서,
상기 복수의 작업기계는,
서로 정보를 송수신 가능한 통신기기를 각각 가짐과 함께,
화상을 촬영하는 촬상조건과, 촬영된 화상을, 상기 통신기기에 의하여 서로 송수신하여 공유한다.
또, 본 발명은, 상기의 작업기계용 화상취득장치가 탑재된 적어도 하나의 작업기계와, 상기 적어도 하나의 작업기계의 사이에서 정보를 송수신 가능한 정보관리장치를 구비하여 구성되는 정보관리시스템으로서,
상기 정보관리장치는, 상기 적어도 하나의 작업기계로 촬영된 복수의 화상을 수신함과 함께, 당해 복수의 화상을 시계열로 나열하여 동영상으로 한다.
또, 본 발명은, 상기의 작업기계용 화상취득장치가 탑재된 작업기계의 사이에서 정보를 송수신 가능한 정보단말로서,
상기 작업기계로 촬영된 복수의 화상을 수신함과 함께, 당해 복수의 화상을 표시수단에 일람표시 또는 연속적으로 표시시킨다.
또, 본 발명은, 작업기계에 탑재된 작업기계용 화상취득장치가 실행하는 작업기계용 화상취득프로그램으로서,
상기 작업기계의 주변의 화상을 촬영하는 촬상수단을 구비하는 상기 작업기계용 화상취득장치를,
상기 촬상수단의 촬상범위가, 상기 작업기계의 주변에 있어서의 미리 지정된 소정의 피사체영역을 포함한 경우에, 상기 촬상수단에 의하여 화상을 촬영하는 촬상제어수단으로서 기능시킨다.
본 발명에 의하면, 작업기계에 구비된 촬상장치를 이용하여, 작업현장의 효율을 향상시킬 수 있다.
도 1은 본 발명의 실시형태에 관한 쇼벨의 측면도이다.
도 2는 도 1의 쇼벨의 시스템구성을 나타내는 블록도이다.
도 3은 화상촬영처리의 흐름을 나타내는 플로차트이다.
도 4a는 화상촬영처리에 있어서의 촬상조건을 설명하기 위한 도이다.
도 4b는 화상촬영처리에 있어서의 촬상조건을 설명하기 위한 도이다.
도 5는 화상촬영처리에 있어서의 촬상조건을 설명하기 위한 도이다.
도 6a는 화상촬영처리에 있어서 촬영된 화상예를 나타내는 도이다.
도 6b는 화상촬영처리에 있어서 촬영된 화상예를 나타내는 도이다.
도 7은 본 발명의 실시형태의 변형예에 있어서의 정보관리시스템의 시스템구성을 나타내는 블록도이다.
도 8a는 도 7의 정보관리시스템에서의 쇼벨의 동작을 설명하기 위한 도이다.
도 8b는 도 7의 정보관리시스템에서의 쇼벨의 동작을 설명하기 위한 도이다.
도 8c는 도 7의 정보관리시스템에서의 쇼벨의 동작을 설명하기 위한 도이다.
도 8d는 도 7의 정보관리시스템에서의 쇼벨의 동작을 설명하기 위한 도이다.
이하, 본 발명의 실시형태에 대하여, 도면을 참조하여 상세하게 설명한다.
[쇼벨의 구성]
먼저, 본 실시형태에 관한 쇼벨(100)의 구성에 대하여 설명한다. 쇼벨(100)은, 본 발명에 관한 작업기계의 일례이며, 본 발명에 관한 작업기계용 화상취득장치를 구비함으로써, 작업대상의 화상을 적합하게 취득하여 작업진척을 기록할 수 있도록 구성되어 있다.
도 1은, 본 실시형태에 관한 쇼벨(100)의 측면도이다.
이 도면에 나타내는 바와 같이, 쇼벨(100)은, 하부주행체(1)와, 선회기구(2)를 개재하여 선회 가능하게 하부주행체(1)에 탑재되는 상부선회체(3)와, 어태치먼트로서의 붐(4), 암(5) 및 버킷(6)과, 오퍼레이터가 탑승하는 캐빈(10)을 구비한다. 어태치먼트는, 작업요소(예를 들면, 버킷, 크러셔, 크레인장치 등)가 마련되어 있으면, 이것에 한정되지 않는다.
하부주행체(1)는, 예를 들면, 좌우 한 쌍의 크롤러를 포함하고, 각각의 크롤러가 주행유압모터(도시하지 않음)로 유압구동됨으로써, 쇼벨(100)을 주행시킨다.
상부선회체(3)는, 선회유압모터 혹은 전동기(모두 도시하지 않음) 등으로 구동됨으로써, 하부주행체(1)에 대하여 선회한다.
붐(4)은, 상부선회체(3)의 전부(前部)중앙에 부앙(俯仰) 가능하게 피봇장착되고, 붐(4)의 선단에는, 암(5)이 상하회동(回動) 가능하게 피봇장착되며, 암(5)의 선단에는, 버킷(6)이 상하회동 가능하게 피봇장착된다. 붐(4), 암(5) 및 버킷(6)은, 각각, 붐실린더(7), 암실린더(8), 및 버킷실린더(9)에 의하여 유압구동된다.
캐빈(10)은, 오퍼레이터가 탑승하는 조종실이며, 예를 들면 상부선회체(3)의 전부좌측에 탑재된다.
도 2는, 쇼벨(100)의 시스템구성을 나타내는 블록도이다.
이 도면에 나타내는 바와 같이, 쇼벨(100)은, 상기 구성 외에, 컨트롤러(30)와, 촬상장치(40)와, 동작·자세상태센서(42)와, 위치센서(43)와, 방위센서(44)와, 조작장치(45)와, 표시장치(50)와, 음성출력장치(60)와, 통신기기(80)를 구비한다. 본 발명에 관한 화상취득장치는, 컨트롤러(30), 촬상장치(40), 동작·자세상태센서(42), 위치센서(43), 방위센서(44) 및 통신기기(80)를 포함하여 구성된다.
촬상장치(40)는, 상부선회체(3)의 상부에 장착되고, 쇼벨(100)의 주변을 촬영하여 그 화상을 컨트롤러(30)에 출력한다. 촬상장치(40)는, 후방카메라(40B), 좌측방카메라(40L), 우측방카메라(40R)를 포함한다.
후방카메라(40B)는, 상부선회체(3)의 후단상부에 장착되고, 상부선회체(3)의 후방을 촬상한다.
좌측방카메라(40L)는, 상부선회체(3)의 좌단상부에 장착되고, 상부선회체(3)의 좌측방을 촬상한다.
우측방카메라(40R)는, 상부선회체(3)의 우단상부에 장착되고, 상부선회체(3)의 우측방을 촬상한다.
이들 후방카메라(40B), 좌측방카메라(40L) 및 우측방카메라(40R)의 각각은, 상부선회체(3)의 상부에 있어서, 광축이 경사하방을 향하도록 장착되고, 쇼벨(100) 근방의 지면부터 쇼벨(100)의 원방(遠方)까지를 포함하는 상하방향의 촬상범위(화각)를 갖는다.
후방카메라(40B), 좌측방카메라(40L) 및 우측방카메라(40R)는, 상부선회체(3)의 상면에 장착되어도 된다. 이들 카메라(40B, 40L, 40R)는, 상부선회체(3)의 측면단부로부터는 돌출되지 않는 양태로, 상부선회체(3)의 일부가 비치도록, 광축이 경사하방을 향하도록 장착되어도 된다.
촬상하고자 하는 대상과 상부선회체(3)의 일부가 동시에 화상으로서 취득되므로, 촬상화상은, 쇼벨(100)에 마련된 카메라를 이용하여 취득된 화상인 것을 직관적으로 판별할 수 있다. 또, 촬상하고자 하는 대상과 쇼벨(100)의 거리감도 직관적으로 이해할 수 있다.
동작·자세상태센서(42)는, 쇼벨(100)의 동작상태나 자세상태를 검출하는 센서이며, 검출결과를 컨트롤러(30)에 출력한다. 동작·자세상태센서(42)는, 붐각도센서와, 암각도센서와, 버킷각도센서와, 3축 관성센서(IMU: Inertial Measurement Unit)와, 선회각도센서와, 가속도센서를 포함한다.
이들 센서는, 붐 등의 실린더의 스트로크센서, 로터리인코더 등의 회전정보를 취득하는 센서로 구성되어도 되고, IMU로 취득되는 가속도(속도, 위치도 포함해도 된다)에 의하여 대체되어도 된다.
암각도센서는, 붐(4)을 기준으로 하는 암(5)의 회동각도(이하, "암각도"라고 칭한다)를 검출한다.
버킷각도센서는, 암(5)을 기준으로 하는 버킷(6)의 회동각도(이하, "버킷각도"라고 칭한다)를 검출한다.
IMU는, 붐(4) 및 암(5)의 각각에 장착되고, 소정의 3축을 따른 붐(4) 및 암(5)의 가속도, 및, 소정의 3축 둘레의 붐(4) 및 암(5)의 각가속도를 검출한다.
선회각도센서는, 상부선회체(3)의 소정의 각도방향을 기준으로 하는 선회각도를 검출한다. 단, 이것에 한정되지 않고, 상부선회체(3)에 마련된 GPS나 IMU센서에 근거하여 선회각도가 검출되어도 된다.
가속도센서는, 상부선회체(3)의 선회축으로부터 멀어진 위치에 장착되고, 상부선회체(3)의 당해 위치에 있어서의 가속도를 검출한다. 이로써, 가속도센서의 검출결에 근거하여, 상부선회체(3)가 선회하고 있는지, 혹은, 하부주행체(1)가 주행하고 있는지 등이 판별될 수 있다.
위치센서(43)는, 쇼벨(100)의 위치(현재위치)의 정보를 취득하는 센서이며, 본 실시형태에서는 GPS(Global Positioning System)수신기이다. 위치센서(43)는, 쇼벨(100)의 위치의 정보를 포함하는 GPS신호를 GPS위성으로부터 수신하고, 취득한 쇼벨(100)의 위치정보를 컨트롤러(30)에 출력한다. 다만, 위치센서(43)는, 쇼벨(100)의 위치의 정보를 취득할 수 있는 것이면 GPS수신기가 아니어도 되고, 예를 들면 GPS 이외의 위성측위시스템을 이용하는 것이어도 된다. 위치센서(43)는, 하부주행체(1)에 마련되어도 되고, 상부선회체(3)에 마련되어 있어도 된다.
방위센서(44)는, 쇼벨(100)을 향하고 있는 방위(방향)의 정보를 취득하는 센서이며, 예를 들면 지자기(地磁氣)센서이다. 방위센서(44)는, 쇼벨(100)의 방위의 정보를 취득하여, 컨트롤러(30)에 출력한다. 다만, 방위센서(44)는, 쇼벨(100)의 방위의 정보를 취득할 수 있으면 되고, 그 센서종별 등은 특별히 한정되지 않는다. 예를 들면 GPS를 2개 마련하여, 그 위치정보로부터 방위정보를 취득해도 된다.
조작장치(45)는, 캐빈(10)의 조종석 부근에 마련되고, 오퍼레이터가 각 동작요소(하부주행체(1), 상부선회체(3), 붐(4), 암(5) 및 버킷(6) 등)의 조작을 행하는 조작수단이다. 환언하면, 조작장치(45)는, 각 동작요소를 구동하는 각각의 유압액추에이터의 조작을 행하는 조작수단이다. 조작장치(45)는, 예를 들면 레버나 페달, 각종 버튼 등을 포함하고, 이들의 조작내용에 따른 조작신호를 컨트롤러(30)에 출력한다.
또, 조작장치(45)는, 촬상장치(40), 동작·자세상태센서(42), 위치센서(43), 방위센서(44), 표시장치(50), 음성출력장치(60), 통신기기(80) 등의 조작을 행하는, 각종 설정수단을 포함하는 조작수단이기도 하며, 이들 각부(各部)에 대한 조작지령을 컨트롤러(30)에 출력한다.
표시장치(50)는, 캐빈(10) 내의 조종석의 주변에 마련되고, 컨트롤러(30)에 의한 제어하에, 오퍼레이터에게 통지하는 각종 화상정보를 표시한다. 표시장치(50)는, 예를 들면 액정디스플레이나 유기EL(Electroluminescence)디스플레이이며, 조작장치(45)의 적어도 일부를 겸하는 터치패널식이어도 된다.
음성출력장치(60)는, 캐빈(10) 내의 조종석의 주변에 마련되고, 컨트롤러(30)에 의한 제어하에, 오퍼레이터에게 통지하는 각종 음성정보를 출력한다. 음성출력장치(60)는, 예를 들면, 스피커나 버저 등이다.
통신기기(80)는, 소정의 무선통신규격에 근거하여, 소정의 통신네트워크(예를 들면, 기지국을 말단으로 하는 휴대전화 네트워크나 인터넷망 등)를 통하여, 원격의 외부기기나 다른 쇼벨(100) 등과 각종 정보를 송수신하는 통신디바이스이다.
컨트롤러(30)는, 쇼벨(100) 각부의 동작을 제어하여 쇼벨(100)의 구동제어를 행하는 제어장치이다. 컨트롤러(30)는, 캐빈(10) 내에 탑재된다. 컨트롤러(30)는, 그 기능이 임의의 하드웨어, 소프트웨어, 혹은 그 조합에 의하여 실현되어도 되고, 예를 들면, CPU, RAM, ROM, I/O 등을 포함하는 마이크로컴퓨터를 중심으로 구성된다.
또, 컨트롤러(30)는, 각종 기능을 실행하는 기능부로서, 대상검출부(301)와, 상태검출부(302)와, 정보취득부(303)와, 화상기록부(304)와, 정보통신부(305)를 포함한다. 추가로, 컨트롤러(30)는, EEPROM(Electrically Erasable Programmable Read-Only Memory) 등의 내부메모리에 규정되는 기억영역으로서의 기억부(310)를 포함한다.
대상검출부(301)는, 촬상장치(40)에 의한 촬상화상에 근거하여, 쇼벨(100)의 주변의 검출대상을 검출한다. 구체적으로, 대상검출부(301)는, 이미 알려진 각종 화상처리수법이나 기계학습베이스의 식별기 등을 적용함으로써, 촬상화상 내의 검출대상을 인식함과 함께, 인식한 검출대상의 실재위치나 치수를 특정한다. 검출대상은, 쇼벨(100)의 작업대상이다. 단, 검출대상에는, 작업자 등의 사람, 다른 작업기계나 차량, 임시 적재 공재(工材) 등을 포함해도 된다.
상태검출부(302)는, 쇼벨(100)의 각종 상태(동작상태, 제어상태 등)에 관련되는 정보를, 쇼벨(100)에 탑재되는 각종 센서(예를 들면, 촬상장치(40), 동작·자세상태센서(42), 위치센서(43), 방위센서(44), 조작장치(45) 등), 각종 액추에이터(예를 들면, 유압제어를 행하는 전자밸브 등), 각종 제어장치(예를 들면, 컨트롤러(30)의 다른 기능부 등)로부터 취득한다. 예를 들면, 상태검출부(302)는, 위치센서(43) 및 방위센서(44)에 의하여 쇼벨(100)의 위치 및 방위를 취득할 수 있고, 버킷(6)의 동작이나 부하를 검출함으로써 쇼벨(100)의 굴삭동작을 검출할 수 있다.
정보취득부(303)는, 쇼벨(100)이 행하는 작업에 관련되는 작업관련정보를 취득하여, 기억부(310)에 저장한다. 작업관련정보란, 작업정보, 일시(日時)정보, 기후정보, 위치정보, 기체정보, 오퍼레이터정보 등이다.
작업정보에는, 작업(공사)명이나 작업장소, 작업내용, 쇼벨의 오너, 작업의 하청업자, 중간업자, 작업에 관련되는 엔드유저 등의 정보를 포함할 수 있다. 정보취득부(303)는, 예를 들면 오퍼레이터에 의한 조작장치(45)를 통한 입력조작에 근거하여, 작업정보를 취득한다.
일시정보에는, 일자, 요일, 시각이 포함된다. 정보취득부(303)는, 컨트롤러(30)내의 계시수단(예를 들면 RTC(Real Time Clock))에 의하여, 일시정보를 취득한다.
기후정보는, 쇼벨(100)이 작업하고 있는 장소 및 일시에 있어서의 기후의 정보이며, 맑음, 구름, 비, 눈 등의 날씨구분에 관한 정보를 포함한다. 정보취득부(303)는, 통신기기(80)를 통하여, 기후에 관한 서버나 웹사이트로부터 원하는 기후정보를 취득한다. 혹은, 정보취득부(303)는, 조도센서나 빗방울감지센서 등을 포함하고, 이들 센서에 의하여 출력되는 조도나 비의 유무 등에 근거하여, 기후정보를 취득해도 된다.
위치정보는, 쇼벨(100)의 위치의 정보이며, 그 경도 및 위도에 관한 정보를 포함한다. 또, 위치정보는, 더 고도의 정보를 포함해도 되며, GeoHash 등의 지오코드정보여도 된다. 정보취득부(303)는, 위치센서(43)에 의하여 위치정보를 취득한다.
기체정보는, 쇼벨(100)을 특정하기 위한 당해 쇼벨(100)의 식별정보이며, 예를 들면, 미리 규정되는 기계번호, 쇼벨ID 등이다. 정보취득부(303)는, 예를 들면, 기억부(310) 등에 미리 기록되어 있는 기계번호 등을 읽어냄으로써, 기체정보를 취득한다.
오퍼레이터정보는, 쇼벨(100)을 조종하고 있는 오퍼레이터를 특정하기 위한 당해 오퍼레이터의 식별정보이며, 미리 규정되는 오퍼레이터ID 등이다. 정보취득부(303)는, 예를 들면 오퍼레이터에 의한 조작장치(45)를 통한 입력조작에 근거하여, 오퍼레이터정보를 취득한다.
작업관련정보(작업정보, 일시정보, 기후정보, 위치정보, 기체정보, 오퍼레이터정보 등)는, 조작장치(45)를 통한 입력조작(직접 정보를 입력하거나, 미리 설정정보로부터 선택하는 것이어도 된다)이나, 통신기술이나 정보처리기술을 이용하여 자동적으로 취득되어도 된다.
작업관련정보는 서로 관련지어져 기억되어도 된다.
화상기록부(304)는, 촬상장치(40)에 의하여 취득된 검출대상(작업대상)의 화상을, 대상화상정보(3101)로서 기억부(310)에 기록한다. 이때, 화상기록부(304)는, 작업관련정보나, 작업대상까지의 거리나 치수를 알 수 있는 도형 등을, 기록하는 화상에 삽입해도 된다.
정보통신부(305)는, 미리 규정된 통지 조건이 성립하면, 통신기기(80)를 제어하여, 외부기기나 다른 쇼벨(100)과의 사이에서 소정의 정보를 송수신한다.
[쇼벨의 동작]
계속해서, 화상을 촬영하여 작업진척을 기록하는 화상촬영처리를 실행할 때의 쇼벨(100)의 동작에 대하여 설명한다. 쇼벨(100)에 마련된 촬상장치(40)를 이용하여 작업진척을 취득할 수 있으면, 별도, 촬상장치를 준비하지 않고 완료되며, 또, 작업진척을 수동으로 촬상하는 프로세스를 생략할 수 있어, 현장의 작업효율이 향상된다.
도 3은, 이 화상촬영처리의 흐름을 나타내는 플로차트이고, 도 4 및 도 5는, 화상촬영처리에 있어서의 촬상조건을 설명하기 위한 도이며, 도 6은, 촬영된 화상예를 나타내는 도이다.
화상촬영처리는, 컨트롤러(30)이 내부의 기억장치에 저장된 프로그램을 CPU상에서 실행함으로써, 실행된다.
화상촬영처리가 실행되면, 도 3에 나타내는 바와 같이, 먼저 컨트롤러(30)는, 화상을 촬영하는 촬상조건으로서, 쇼벨(100)의 위치 및 촬상장치(40)의 방향에 관한 조건을, 작업에 앞서 미리 설정한다(스텝 S1).
구체적으로, 컨트롤러(30)는, 도 4a에 나타내는 바와 같이, 오퍼레이터의 조작에 근거하여, 화상을 촬영하는 촬상장치(40)의 촬상위치(P)와 촬상방향(D)을 설정한다. 촬상위치(P)는, 경도 및 위도(혹은, 더 고도)의 정보에 의하여 설정되고, 촬상방향(D)은, 방위각(혹은, 더 부앙각)의 정보에 의하여 설정된다. 이들 촬상위치(P) 및 촬상방향(D)은, 기준의 절대위치 및 절대방위에 대한 상대위치 및 상대방위로 해도 된다. 또, 촬상위치(P) 및 촬상방향(D)에는, 각각 임의의 범위(예를 들면, 위치는 반경 5m 이내, 방향은 방위 5도 이내 등)를 설정할 수 있도록 되어 있다. 오퍼레이터는, 쇼벨(100)의 작업대상(T)이 화상 내에 포함되도록, 촬상위치(P)와 촬상방향(D)을 적절히 설정한다. 컨트롤러(30)는, 설정된 촬상위치(P) 및 촬상방향(D)을 포함하는 촬상조건을, 기억부(310)에 기록한다.
오퍼레이터는, 소정의 지도 상에서 위치와 방위를 설정할 수 있다. 이 경우, 오퍼레이터는 지도 전체를 부감(俯瞰)하면서 작업진척을 확인하고자 하는 장소를 지정할 수 있다. 또, 현장감독이나 작업현장의 관리자가 지정해도 된다. 이 경우, 지도 상에서의 지정은 쇼벨(100)의 외부(터치패널이나, 관리단말 등)에서 지정하여, 그 정보를 쇼벨(100)에 송신할 수도 있다.
다만, 스텝 S1에서 설정되는 촬상조건은, 촬상장치(40)의 촬상위치(P)와 촬상방향(D)을 포함하는 것에 한정되지 않는다. 촬상조건은, 촬상장치(40)의 촬상범위가, 쇼벨(100)의 주변에 있어서의 미리 지정된, 소정의 피사체영역을 포함한 경우에, 당해 촬상장치(40)에 의하여 화상이 촬영되는 것이면 된다. 촬상장치(40)의 촬상범위가 피사체영역을 포함한 경우란, 촬상장치(40)의 위치와 방향 중 적어도 하나가, 미리 지정된 소정의 위치 또는 소정의 방위와 일치(소정의 범위 내에 포함되는 경우를 포함한다)한 경우이다. 이 촬영조건에 의하여, 작업대상을 포함하는 원하는 피사체영역의 화상을 촬영할 수 있다.
이 촬영조건의 설정은, 상술한 촬상위치(P)나 촬상방향(D)의 설정과 동일하게 행해도 되고, 예를 들면 도 5에 나타내는 바와 같이, 표시장치(50)에 표시시킨 지도(M) 상에 있어서 원하는 피사체영역(B)을 지정함으로써 행해도 된다. 이 경우, 촬상장치(40)의 촬상위치(P)는 지정해도 되며, 지정하지 않아도 된다. 다만, 도 5의 예에서는 부채꼴의 피사체영역(B)을 도시하고 있지만, 피사체영역(B)의 형상은 특별히 한정되지 않는다. 또, 이 피사체영역(B)의 지정은 쇼벨(100)의 외부(터치패널이나, 관리단말 등)에서 행하고, 그 정보를 쇼벨(100)에 송신해도 된다.
또, 스텝 S1에서의 조건설정 시에 있어서의 쇼벨(100)의 위치나 촬상장치(40)의 방향은 특별히 한정되지 않는다. 예를 들면, 쇼벨(100)이 촬상위치(P)로부터 멀어진 위치에 있는 상태로 촬상조건을 설정해도 된다. 단, 촬상장치(40)로 인식한 영상을 표시장치(50)에 표시시켜, 촬영해야 할 작업대상(T)을 오퍼레이터가 표시장치(50)를 통하여 실제로 확인한 다음, 그때의 쇼벨(100)의 위치 및 촬상장치(40)의 방향을 위치센서(43) 및 방위센서(44)로 취득하여, 촬상위치(P) 및 촬상방향(D)로서 설정하는 것이 바람직하다.
또, 촬상조건에는, 촬상장치(40)의 촬상위치(P) 및 촬상방향(D) 이외의 조건을, 이들 촬상위치(P) 및 촬상방향(D)에 더해도 된다.
예를 들면, 전회의 화상촬영 시로부터 소정의 시간이 경과한 것을 조건으로 하여, 다시 동일한 작업대상(T)(피사체영역)의 화상을 촬영시킴과 같은, 시간의 조건을 더해도 된다. 혹은, 전회의 화상촬영 시로부터 쇼벨(100)의 소정의 동작(예를 들면, 소정 횟수의 굴삭동작)이 검출된 것을 조건으로 하여, 다시 동일한 작업대상(T)(피사체영역)의 화상을 촬영시킴과 같은, 동작의 조건을 더해도 된다. 또한, 이들 시간의 조건과 동작의 조건을 복합시켜도 된다.
다음으로, 컨트롤러(30)는, 쇼벨(100)을 구동하여 작업을 개시한다(스텝 S2). 본 실시형태에서는, 쇼벨(100)에 의하여, 작업대상(T)에 대한 굴삭작업이 행해진다.
다음으로, 컨트롤러(30)는, 작업 중의 쇼벨(100)에 있어서의 촬상장치(40)의 위치 및 방향을 취득한다(스텝 S3).
구체적으로는, 컨트롤러(30)의 상태검출부(302)가, 위치센서(43)에 의하여 촬상장치(40)의 위치를 취득함과 함께, 방위센서(44)에 의하여 촬상장치(40)의 방향을 취득한다. 촬상장치(40)의 위치란, 후방카메라(40B), 좌측방카메라(40L) 및 우측방카메라(40R)의 각각의 위치이며, 위치센서(43)에 의하여 쇼벨(100)에 있어서의 당해 위치센서(43)의 위치를 취득함으로써, 쇼벨(100)(상부선회체(3))에 대하여 이미 알려진 위치에 고정된 이들 각 카메라의 위치가 취득된다. 또, 촬상장치(40)의 방향이란, 후방카메라(40B), 좌측방카메라(40L) 및 우측방카메라(40R)의 각각의 방향이며, 방위센서(44)에 의하여 쇼벨(100)(상부선회체(3))의 방향을 취득함으로써, 상부선회체(3)에 대하여 이미 알려진 방향으로 고정된 이들 각 카메라의 방향이 취득된다.
다음으로, 컨트롤러(30)는, 스텝 S3에서 취득한 쇼벨(100)의 위치와 촬상장치(40)의 방향이, 스텝 S1에서 설정한 촬상조건을 충족시키는지 아닌지를 판정한다(스텝 S4).
구체적으로, 컨트롤러(30)는, 촬상장치(40)의 위치 및 방향이, 촬상조건인 촬상위치(P) 및 촬상방향(D)과 일치하고 있는지 아닌지를 판정한다. 즉, 어느 하나의 촬상장치(40)의 위치가 촬상위치(P)에 존재하고, 또한, 당해 어느 하나의 촬상장치(40)의 방향(본 실시형태에서는, 도 4에 파선으로 나타내는 카메라의 광축)이 촬상방향(D)을 향하고 있는지 아닌지가 판정된다. 촬상위치(P) 및 촬상방향(D)에 범위가 설정되어 있는 경우, 촬상장치(40)의 위치 및 방향이 이 범위 내일 때에는, 촬상위치(P) 및 촬상방향(D)과 일치하고 있다고 판정된다.
그리고, 취득한 촬상장치(40)의 위치 및 방향 중 적어도 일방이 촬상조건을 만족하지 않다고 판정한 경우(스텝 S4; No), 컨트롤러(30)는, 상술한 스텝 S2로 처리를 이행하여, 촬상조건이 충족될 때까지 작업을 속행한다.
다만, 상술한 스텝 S1에 있어서, 촬상조건에 촬상위치(P) 및 촬상방향(D) 이외의 조건이 설정되어 있는 경우에는, 이 스텝 S4에 있어서 그 조건에 대한 판정도 행한다.
예를 들면, 전회의 화상촬영 시로부터의 경과시간의 조건이 설정되어 있는 경우에는, 컨트롤러(30)는, 예를 들면 RTC에 의하여 전회의 화상촬영 시로부터의 경과시간을 계수(計數)하고, 이 경과시간이 소정의 시간을 경과하고 있는지 아닌지를 판정한다. 단, 초회(初回)의 화상촬영 시에는 이 판정이 불필요한 것은 물론이다.
혹은, 쇼벨(100)의 소정의 동작(예를 들면, 전회의 화상촬영 시로부터의 소정 횟수의 굴삭동작)이 검출된 경우에 화상을 촬영시킴과 같은 동작의 조건이 설정되어 있는 경우에는, 컨트롤러(30)는, 동작·자세상태센서(42)에 의하여 쇼벨(100)의 소정의 동작이 검출되는지 아닌지를 판정한다.
또, 스텝 S4에 있어서의 촬상조건의 판정(특히 촬상방향(D)의 판정)은, 어태치먼트에 의한 작업 후에 있어서의 상부선회체(3)의 선회 중에 행하는 것이 바람직하다.
또, 자기작업 후의 결과를 기록하는 경우에는, 굴삭 후의 상부선회체(3)의 선회방향과 반대측의 측면의 카메라를 이용하여 촬영하는 것이 바람직하다. 이로써, 작업 후의 작업대상(T)을 확실히 인식하여 촬영할 수 있다. 단, 어태치먼트나 상부선회체(3)에, 전방을 촬상하는 촬상장치가 구비되어 있는 경우는, 이것에 한정되지 않는다.
또, 촬영을 행하는 타이밍은 상부선회체(3)의 정지 시가 바람직하기 때문에, 이것을 쇼벨(100)의 동작조건으로 하여, 촬상조건에 도입해도 된다. 또한, 하부주행체(1) 혹은 어태치먼트가 정지되어 있는 것을 조건으로 하면, 동작에 의한 진동이 상부선회체(3)에 발생하지 않아, 선명한 화상을 취득할 수 있다.
스텝 S4에 있어서, 촬상장치(40)의 위치 및 방향이 촬상조건을 충족시킨다고 판정한 경우(스텝 S4; Yes), 컨트롤러(30)는, 도 4b에 나타내는 바와 같이, 촬상장치(40) 중 촬상조건을 충족시키는 어느 하나의 카메라(도 4b에서는 좌측방카메라(40L))에 의하여 화상을 촬영한다(스텝 S5).
그리고, 컨트롤러(30)는, 스텝 S5에서 취득한 화상을, 대상화상정보(3101)로서 기억부(310)에 기록한다(스텝 S6).
이때, 컨트롤러(30)의 화상기록부(304)는, 도 6a에 나타내는 바와 같이, 필요에 따라, 쇼벨(100)이 행하는 작업에 관련되는 작업관련정보를 화상에 삽입한 다음, 기억부(310)에 기록한다. 이 경우, 컨트롤러(30)의 화상기록부(304)는, 예를 들면 오퍼레이터의 조작에 근거하여, 화상과 함께 기록하는 작업관련정보를 정보취득부(303)에 의하여 취득하고, 이 작업관련정보를 삽입한 화상을 기억부(310)에 기록한다. 도 6a의 예에서는, 작업관련정보로서 공사명, 작업내용, 일자, 작업(쇼벨)ID 외에, 작업대상(T)까지의 거리 및 작업대상(T)의 치수를 알 수 있는 도형(R)이, 화상에 삽입되어 있다. 도형(R)을 이용하는 경우, 컨트롤러(30)는, 대상검출부(301)에 의하여 화상으로부터 작업대상(T)을 검출하여, 작업대상(T)까지의 거리나 그 치수를 취득한다.
또 이때, 컨트롤러(30)의 화상기록부(304)는, 도 6b에 나타내는 바와 같이, 촬영한 작업대상(T)의 화상(정지화면)과, 과거에 촬영한 작업대상(T)의 화상(정지화면)을 시계열로 나열한 것을, 통합하여 대상화상정보(3101)로서 기억부(310)에 기록해도 된다. 혹은, 화상(정지화면)을 시계열로 나열하여 동영상을 생성하고, 이 동영상을 대상화상정보(3101)로서 기억부(310)에 기록해도 된다.
이로써, 작업의 진척상황(작업대상(T)의 시간변화)을 알 수 있는 일련의 화상 또는 동영상을 취득할 수 있다.
다음으로, 컨트롤러(30)는, 쇼벨(100)에 의한 작업이 종료되었는지 아닌지를 판정하고(스텝 S7), 종료되어 있지 않다고 판정한 경우에는(스텝 S7; No), 상술한 스텝 S2로 처리를 이행하여, 작업을 속행한다. 이로써, 작업이 종료되었다고 판정될 때까지, 촬상장치(40)의 위치 및 방향의 취득과, 이들이 촬상조건을 충족시키는지 아닌지의 판정과, 촬상조건을 충족시킨 경우의 화상촬영 및 그 기록이, 순차 실행되어, 반복된다.
또, 예를 들면 오퍼레이터에 의하여 쇼벨(100)의 엔진 등의 동력원이 정지되는 등 하여, 적어도 어태치먼트 등의 액추에이터를 조작해도 움직이지 않는 상태가 되어 있는 등, 작업이 종료되었다고 판정한 경우에는(스텝 S7; Yes), 컨트롤러(30)는, 화상촬영처리를 종료한다. 다만, 축전수단을 구비하는 경우는, 액추에이터를 조작해도 움직이지 않는 상태에 있어서, 촬상장치(40)나 컨트롤러(30)를 기동하여, 상술한 프로세스를 실행시키는 것도 가능하다.
[본 실시형태의 기술적 효과]
이상과 같이, 본 실시형태에 의하면, 촬상장치(40)의 촬상범위가, 쇼벨(100)의 주변에 있어서의 미리 지정된 피사체영역(B)을 포함한 경우에, 당해 촬상장치(40)에 의하여 화상이 촬영된다.
이로써, 쇼벨(100)에 마련된 촬상장치(40)를 이용하여 작업진척을 취득할 수 있다. 따라서, 별도, 촬상장치를 준비하지 않아도 되고, 또, 작업진척을 수동으로 촬상하는 프로세스를 생략할 수 있으므로, 현장의 작업효율을 향상시킬 수 있다.
또, 전회화상을 촬영했을 때로부터 소정의 시간이 경과한 경우에 화상을 촬영한다는 시간의 조건을 더함으로써, 시간적인 촬영빈도를 규정할 수 있다.
이로써, 예를 들면 상부선회체(3)의 선회에 따라 고빈도로 동일한 장소의 촬영이 행해짐과 같은 사태를 회피하여, 기록되는 화상의 용량을 삭감할 수 있다.
또, 쇼벨(100)의 소정의 동작이 검출된 경우에 화상을 촬영한다는 동작의 조건을 더함으로써, 쇼벨(100)의 위치나 자세뿐만 아니라, 쇼벨(100)의 동작에도 연동시켜 화상을 취득할 수 있다.
이로써, 예를 들면 소정 횟수의 굴삭동작마다의 화상의 촬영이나, 상부선회체(3)가 확실히 정지하고 나서의 화상의 촬영 등을 행할 수 있다.
또, 작업에 관련되는 작업관련정보를 취득하고, 촬영된 화상에 이 작업관련정보를 삽입할 수 있으므로, 화상의 정보량을 늘릴 수 있다.
또한, 촬영된 복수의 화상을 시계열로 나열하여 동영상으로 함으로써, 작업의 진척(작업대상(T)의 시간변화)을 알 수 있는 동영상을 취득할 수 있다.
[변형예]
계속해서, 상기 실시형태의 변형예에 대하여 설명한다.
본 변형예는, 복수의 쇼벨(100)로 촬영된 화상이 관리서버에 축적되는 점에서, 상기 실시형태와 상이하다. 다만, 상기 실시형태와 동일한 구성요소에는 동일한 부호를 붙여, 그 설명을 생략한다.
도 7은, 본 변형예에 있어서의 정보관리시스템(200)의 시스템구성을 나타내는 블록도이다.
이 도면에 나타내는 바와 같이, 정보관리시스템(200)은, 서로 동일하게 구성된 복수의 쇼벨(100)(본 변형예에서는, 100A, 100B, 100C, 100D, …)과, 관리서버(400)와, 정보단말(500)을 구비하여 구성된다. 다만, 도 7에서는, 쇼벨(100A) 이외의 쇼벨(100(100B, 100C, 100D))의 구성의 도시를 생략하고 있다.
복수의 쇼벨(100)은, 각각이 구비하는 통신기기(80)에 의하여, 통신네트워크(150)를 통하여 서로 각종 정보를 송수신 가능함과 함께, 관리서버(400) 및 정보단말(500)의 각각과도 통신네트워크(150)를 통하여 각종 정보를 송수신 가능하게 되어 있다.
관리서버(400)는, 본 발명에 관한 정보관리장치의 일례이며, 예를 들면, 복수의 쇼벨(100)이 작업하는 작업현장 외에 마련되는 관리센터 등에 설치되는 서버장치이다. 이 관리서버(400)는, 정보관리시스템(200)을 운용하는 사업자 혹은 그 관련사업자가 운영하는 자사서버여도 되며, 이른바 클라우드서버여도 된다.
구체적으로, 관리서버(400)는, 통신기기(410)와, 제어장치(420)를 구비한다.
통신기기(410)는, 통신네트워크(150)를 통하여, 복수의 쇼벨(100)의 각각과 각종 정보를 송수신 가능하게 되어 있다.
제어장치(420)는, 관리서버(400)에 있어서의 각종 동작을 제어한다. 이 제어장치(420)는, EEPROM 등의 내부메모리에 규정되는 기억영역으로서의 기억부(421)를 포함하고, 당해 기억부(421)에 각종 정보를 기억하여 관리한다. 예를 들면, 기억부(421)에는, 각 쇼벨(100)로 촬영되어 송신되어 온 화상(대상화상정보(3101))이, 대상화상정보(4210)로서 기억(축적)된다.
정보단말(500)은, 예를 들면, 유저가 소지하는 태블릿이나 스마트폰 등의 휴대단말이다. 유저는, 정보단말(500)을 통하여 정보관리시스템(200) 내의 각종 작업기록에 액세스하여, 열람할 수 있다. 다만, 정보단말(500)은, 정치형(定置型) 혹은 휴대형의 컴퓨터단말이어도 된다.
구체적으로, 정보단말(500)은, 통신기기(510)와, 표시장치(520)와, 제어장치(530)를 구비한다.
통신기기(510)는, 통신네트워크(150)를 통하여, 복수의 쇼벨(100)의 각각 및 관리서버(400)와 각종 정보를 송수신 가능하게 되어 있다. 표시장치(520)는, 예를 들면 액정디스플레이나 유기EL(Electroluminescence)디스플레이이며, 조작수단을 겸하는 터치패널식이어도 된다. 제어장치(530)는, 정보단말(500)에 있어서의 각종 동작을 제어한다.
도 8은, 정보관리시스템(200)에 있어서의 쇼벨(100)의 동작을 설명하기 위한 도이다.
정보관리시스템(200)에서는, 복수의 쇼벨(100)이, 직접적인(또는 관리서버(400)을 개재한 간접적인) 통신에 의하여, 상기 실시형태와 동일한 촬상조건을 공유하고 있다. 그리고, 복수의 쇼벨(100)의 각각이 상기 실시형태와 대략 동일하게 동작하면서, 각 쇼벨(100)이 촬영한 화상(대상화상정보(3101))을 관리서버(400)에 송신함으로써, 모든 화상이 관리서버(400)에 축적된다.
예를 들면, 도 8에 나타내는 바와 같이, 쇼벨(100A)이, 시각 t1에 있어서 작업 전에 흙이 쌓여진 상태의 작업대상(T)을 후방카메라(40B)로 촬영한 후(도 8a), 시각 t2에 있어서 굴삭을 진행시킨 상태의 작업대상(T)을 우측방카메라(40R)로 촬영한다(도 8b). 촬영된 화상은, 통신기기(410)에 의하여 쇼벨(100A)로부터 관리서버(400)로 순차 송신된다.
그 후, 다른 쇼벨(100B)이, 시각 t3에 있어서 굴삭이 끝난 상태의 작업대상(T)을 좌측방카메라(40L)로 촬영한 후(도 8c), 시각 t4에 있어서 평평하게 평탄화한 상태의 작업대상(T)을 우측방카메라(40R)로 촬영한다(도 8d). 이들 화상도, 통신기기(410)에 의하여 쇼벨(100B)로부터 관리서버(400)로 순차 송신된다.
이렇게 하여, 상이한 복수의 쇼벨(100)에서 촬영된 화상이 관리서버(400)에 있어서 축적·관리된다. 축적된 복수의 화상은, 관리서버(400)에 의하여 시계열의 일련의 화상 또는 동영상으로 되어도 된다.
정보단말(500)을 소지하는 유저는, 통신네트워크(150)를 통하여, 관리서버(400)에 축적된 화상을 열람할 수 있다. 이 경우, 정보단말(500)의 제어장치(530)는, 통신네트워크(150)를 통하여 관리서버(400)로부터 복수의 화상을 수신하고, 예를 들면 도시하지 않은 기억부에 기억(또는 일시(一時)기억)하여, 당해 복수의 화상을 표시장치(520)에 일람표시 또는 연속적으로 표시시킨다.
다만, 각 쇼벨(100)로부터 관리서버(400)에 화상을 송신하는 타이밍은, 특별히 한정되지 않고, 예를 들면 일련의 작업이 종료된 후여도 된다.
또, 화상으로의 작업관련정보의 삽입은, 당해 화상이 촬영된 각 쇼벨(100)에서 행해도 되며, 관리서버(400)에서 행해도 된다. 관리서버(400)에서 행하는 경우에는, 작업관련정보를 쇼벨(100)로부터 관리서버(400)로 송신하는 것으로 해도 되고, 작업관련정보를 취득할 수 있는 구성(쇼벨(100)에 있어서의 정보취득부(303))을 관리서버(400)에 마련하는 것으로 해도 된다.
[그 외]
이상, 본 발명의 실시형태에 대하여 설명했지만, 본 발명은 상기 실시형태나 그 변형예에 한정되지 않는다.
예를 들면, 상기 실시형태에서는, 촬상조건을 작업 전에 설정하는 것으로 했지만, 이 조건설정은, 작업의 사이에 작업을 일시중단하는 등 하여 행해도 된다.
또, 촬상조건은 복수여도 되고, 예를 들면, 상이한 작업대상의 촬영이나, 다른 복수의 앵글(방향)로부터 동일한 작업대상의 촬영 등을 행해도 된다. 상이한 복수의 앵글로부터 동일한 작업대상을 촬영한 경우에는, 취득한 화상을 이용하여 3D화상을 생성해도 된다.
또, 상기 실시형태의 변형예에서는, 관리서버(400)에 화상을 축적하는 것으로 했지만, 관리서버(400)를 이용하지 않고, 복수의 쇼벨(100)이 촬상조건과 화상을 서로 송수신하여 공유하는 것으로 해도 된다. 혹은, 복수의 쇼벨(100)이, 촬상조건만을 공유하여, 취득한 화상은 각각이 유지하는 것으로 해도 된다.
또, 본 발명은, 촬상수단에 의하여 화상을 촬영하는 것에 한정되지 않고, 기록된 화상을 읽어내거나, 화상으로부터 특정의 정보를 추출하거나 하는 것이어도 된다.
예를 들면, 과거에 화상을 취득한 촬상위치로 이동하면(혹은, 적어도 방각(方角)이 당해 화상의 것과 일치하는 등, 과거의 화상에 대응한 위치·자세를 취하면), 이 과거의 화상을 확인할 수 있는 것이어도 된다. 확인은 작업기계의 모니터로부터여도 되고, 관리서버나 정보단말로부터여도 된다.
혹은, 수집된 화상(또는 생성된 동영상)으로부터 특정의 피사체나 이벤트를 검출하여, 그 화상, 장소, 시기 등을 검색할 수 있는 것이어도 된다. 특정의 피사체란, 예를 들면, 성토(盛土)작업에 의한 성토나, 굴삭 시에 형성하는 구멍 등이다. 이벤트에는, 예를 들면, "굴삭을 행했다", "선회했다", "배토(排土)했다" 등의 작업기계 자신의 동작 외에, 트럭이 접근했다 등의 작업기계나 작업현장의 정보가 포함된다. 이와 같은 검색을 가능하게 하기 위해서는, 취득한 화상에 다른 정보(예를 들면, 작업기계의 오너명, 렌탈주, 공사현장의 이름, 시공주의 이름, 촬영일시 등)를 대응지어 기억해 두면 된다. 이로써, 특정의 피사체나 이벤트가 비치고 있는 화상을 화상해석수단으로 특정하고 소팅하여, 다양한 분석정보에 이용할 수 있다.
또, 본 발명에 관한 작업기계는, 쇼벨 이외의 작업기계, 예를 들면, 휠로더나 아스팔트피니셔, 포크리프트, 크레인 등이어도 된다.
또, 본 발명에 관한 정보관리시스템은, 이들 상이한 작업기계를 포함하고 있어도 된다.
그 외, 실시형태로 나타낸 세부(細部)는, 발명의 취지를 벗어나지 않는 범위에서 적절히 변경 가능하다.
이상과 같이, 본 발명에 관한 작업기계용 화상취득장치, 정보관리시스템, 정보단말 및 작업기계용 화상취득프로그램은, 작업기계에 구비된 촬상장치를 이용하여 작업현장의 효율을 향상시키는 데에 유용하다.
1 하부주행체
2 선회기구
3 상부선회체
30 컨트롤러
40 촬상장치
40B 후방카메라
40L 좌측방카메라
40R 우측방카메라
42 동작·자세상태센서
43 위치센서
44 방위센서
80 통신기기
100, 100A, 100B 쇼벨
150 통신네트워크
200 정보관리시스템
310 기억부
400 관리서버
500 정보단말
3101 대상화상정보
4210 대상화상정보
B 피사체영역
D 촬상방향
P 촬상위치
T 작업대상

Claims (10)

  1. 작업기계에 탑재된 작업기계용 화상취득장치로서,
    상기 작업기계의 주변의 화상을 촬영하는 촬상수단과,
    상기 촬상수단의 촬상범위가, 상기 작업기계의 주변에 있어서의 미리 지정된 소정의 피사체영역을 포함한 경우에, 상기 촬상수단에 의하여 화상을 촬영하는 촬상제어수단을 구비하는, 작업기계용 화상취득장치.
  2. 제1항에 있어서,
    상기 촬상제어수단은,
    상기 촬상수단의 촬상범위가 상기 소정의 피사체영역을 포함한 경우로서,
    상기 촬상수단의 위치에 관련되는 정보와, 상기 촬상수단의 방향에 관한 정보 중 적어도 하나가, 미리 지정된 소정의 위치 또는 소정의 방위와 일치한 경우에, 상기 촬상수단에 의하여 화상을 촬영하는, 작업기계용 화상취득장치.
  3. 제1항 또는 제2항에 있어서,
    상기 촬상제어수단은, 상기 촬상수단이 상기 소정의 피사체영역을 전회 촬영했을 때로부터 소정의 시간이 경과한 것을 조건으로 하여, 상기 촬상수단에 의하여 다시 상기 소정의 피사체영역을 촬영하는, 작업기계용 화상취득장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 작업기계의 동작을 검출하는 동작검출수단을 구비하고,
    상기 촬상제어수단은, 상기 촬상수단이 상기 소정의 피사체영역을 전회 촬영한 후에, 상기 동작검출수단에 의하여 상기 작업기계의 소정의 동작이 검출된 것을 조건으로 하여, 상기 촬상수단에 의하여 다시 상기 소정의 피사체영역을 촬영하는, 작업기계용 화상취득장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 작업기계에 의한 작업에 관련되는 작업관련정보를 취득하는 정보취득수단과,
    상기 촬상수단에 의하여 촬영된 화상에 상기 작업관련정보를 삽입하는 화상처리수단을 구비하는, 작업기계용 화상취득장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 촬상수단에 의하여 촬영된 복수의 화상을 시계열로 나열하여 동영상으로 하는 화상처리수단을 구비하는, 작업기계용 화상취득장치.
  7. 제1항 내지 제6항 중 어느 한 항에 기재된 작업기계용 화상취득장치가 각각 탑재된 복수의 작업기계를 구비하여 구성되는 정보관리시스템으로서,
    상기 복수의 작업기계는,
    서로 정보를 송수신 가능한 통신기기를 각각 가짐과 함께,
    화상을 촬영하는 촬상조건과, 촬영된 화상을, 상기 통신기기에 의하여 서로 송수신하여 공유하는, 정보관리시스템.
  8. 제1항 내지 제6항 중 어느 한 항에 기재된 작업기계용 화상취득장치가 탑재된 적어도 하나의 작업기계와, 상기 적어도 하나의 작업기계의 사이에서 정보를 송수신 가능한 정보관리장치를 구비하여 구성되는 정보관리시스템으로서,
    상기 정보관리장치는, 상기 적어도 하나의 작업기계로 촬영된 복수의 화상을 수신함과 함께, 당해 복수의 화상을 시계열로 나열하여 동영상으로 하는, 정보관리시스템.
  9. 제1항 내지 제6항 중 어느 한 항에 기재된 작업기계용 화상취득장치가 탑재된 작업기계와의 사이에서 정보를 송수신 가능한 정보단말로서,
    상기 작업기계로 촬영된 복수의 화상을 수신함과 함께, 당해 복수의 화상을 표시수단에 일람표시 또는 연속적으로 표시시키는, 정보단말.
  10. 작업기계에 탑재된 작업기계용 화상취득장치가 실행하는 작업기계용 화상취득프로그램으로서,
    상기 작업기계의 주변의 화상을 촬영하는 촬상수단을 구비하는 상기 작업기계용 화상취득장치를,
    상기 촬상수단의 촬상범위가, 상기 작업기계의 주변에 있어서의 미리 지정된 소정의 피사체영역을 포함한 경우에, 상기 촬상수단에 의하여 화상을 촬영하는 촬상제어수단으로서 기능시키는, 작업기계용 화상취득프로그램.
KR1020217034925A 2020-03-27 2020-03-27 작업기계용 화상취득장치, 정보관리시스템, 정보단말, 작업기계용 화상취득프로그램 KR20220130569A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014008 WO2021192219A1 (ja) 2020-03-27 2020-03-27 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム

Publications (1)

Publication Number Publication Date
KR20220130569A true KR20220130569A (ko) 2022-09-27

Family

ID=77889949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217034925A KR20220130569A (ko) 2020-03-27 2020-03-27 작업기계용 화상취득장치, 정보관리시스템, 정보단말, 작업기계용 화상취득프로그램

Country Status (5)

Country Link
US (1) US11987960B2 (ko)
EP (1) EP4130395A4 (ko)
KR (1) KR20220130569A (ko)
CN (1) CN113785091B (ko)
WO (1) WO2021192219A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197044A (ja) * 2019-05-31 2020-12-10 株式会社小松製作所 マップ生成システム及びマップ生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019015174A (ja) 2018-11-01 2019-01-31 住友重機械工業株式会社 ショベル

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798926B2 (en) * 2012-11-14 2014-08-05 Navteq B.V. Automatic image capture
CN106572630B (zh) * 2014-07-30 2020-05-15 洋马株式会社 远程操作装置
JP6181621B2 (ja) * 2014-09-05 2017-08-16 株式会社 日立産業制御ソリューションズ 写真管理装置および写真管理システム
JP6662604B2 (ja) * 2015-10-28 2020-03-11 住友建機株式会社 ショベル
KR102484103B1 (ko) * 2016-02-23 2023-01-04 현대두산인프라코어(주) 표시 시스템
US10889958B2 (en) * 2017-06-06 2021-01-12 Caterpillar Inc. Display system for machine
KR102248026B1 (ko) * 2017-09-01 2021-05-03 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 계측 시스템, 작업 기계, 및 작업 기계의 계측 방법
WO2019172424A1 (ja) * 2018-03-08 2019-09-12 住友重機械工業株式会社 作業機械、情報処理装置、情報処理方法、プログラム
JP7063036B2 (ja) * 2018-03-23 2022-05-09 コベルコ建機株式会社 建設機械
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7199865B2 (ja) * 2018-07-31 2023-01-06 株式会社小松製作所 作業機械を制御するためのシステム及び方法
CN109816778B (zh) * 2019-01-25 2023-04-07 北京百度网讯科技有限公司 物料堆三维重建方法、装置、电子设备和计算机可读介质
JP7235631B2 (ja) * 2019-09-26 2023-03-08 日立建機株式会社 建設機械向け稼働記録分析システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019015174A (ja) 2018-11-01 2019-01-31 住友重機械工業株式会社 ショベル

Also Published As

Publication number Publication date
US20220064911A1 (en) 2022-03-03
EP4130395A4 (en) 2023-03-15
US11987960B2 (en) 2024-05-21
EP4130395A1 (en) 2023-02-08
CN113785091A (zh) 2021-12-10
CN113785091B (zh) 2023-10-24
WO2021192219A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
WO2017061518A1 (ja) 施工管理システム、施工管理方法、及び管理装置
JP6616423B2 (ja) 建設機械及び施工管理システム
JP6322612B2 (ja) 施工管理システム及び形状計測方法
CN109661494B (zh) 作业机械的检测处理装置及作业机械的检测处理方法
CN105518228A (zh) 位置计测系统以及位置计测方法
JP6585697B2 (ja) 施工管理システム
CN112955610A (zh) 挖土机、信息处理装置、信息处理方法、信息处理程序、终端装置、显示方法、显示程序
CN108432234B (zh) 终端装置、控制装置、数据统合装置、作业车辆、拍摄系统以及拍摄方法
US20140293047A1 (en) System for generating overhead view of machine
KR20220130569A (ko) 작업기계용 화상취득장치, 정보관리시스템, 정보단말, 작업기계용 화상취득프로그램
JP6606230B2 (ja) 形状計測システム
CN108779985B (zh) 施工管理系统
WO2021192224A1 (ja) 作業機械用情報処理装置、情報管理システム、作業機械用情報処理プログラム
JP6815462B2 (ja) 形状計測システム及び形状計測方法
JP6616149B2 (ja) 施工方法、作業機械の制御システム及び作業機械
JP7166326B2 (ja) 施工管理システム
JP2020143476A (ja) 作業機械用画像取得装置、情報管理システム、情報端末、作業機械用画像取得プログラム
KR101944817B1 (ko) 휴대단말기를 이용한 굴삭 작업 검측 자동화 시스템
JP2023034771A (ja) 建設機械の支援システム、建設機械の支援プログラム
WO2022224827A1 (ja) 情報処理装置、情報処理装置の制御プログラム
EP4368781A2 (en) Work machine and information processing device
JP7349947B2 (ja) 情報処理装置、作業機械、情報処理方法、情報処理プログラム
JP2023006459A (ja) 情報処理装置、情報処理装置の制御プログラム
JP2021157359A (ja) 情報処理装置、作業機械、情報処理装置の制御方法及び制御プログラム
JP2023006464A (ja) 情報処理装置、情報処理装置の制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal