WO2016137016A1 - 評価装置 - Google Patents

評価装置 Download PDF

Info

Publication number
WO2016137016A1
WO2016137016A1 PCT/JP2016/059978 JP2016059978W WO2016137016A1 WO 2016137016 A1 WO2016137016 A1 WO 2016137016A1 JP 2016059978 W JP2016059978 W JP 2016059978W WO 2016137016 A1 WO2016137016 A1 WO 2016137016A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
data
photographing
vehicle
bucket
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/059978
Other languages
English (en)
French (fr)
Inventor
英美 ▲高▼橋
進 幸積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to DE112016000052.9T priority Critical patent/DE112016000052T5/de
Priority to PCT/JP2016/059978 priority patent/WO2016137016A1/ja
Priority to US15/314,979 priority patent/US10750082B2/en
Priority to AU2016224353A priority patent/AU2016224353B2/en
Priority to JP2016543768A priority patent/JP6337126B2/ja
Priority to KR1020167030698A priority patent/KR20170113000A/ko
Priority to CN201680001346.0A priority patent/CN106460373B/zh
Publication of WO2016137016A1 publication Critical patent/WO2016137016A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • G09B19/167Control of land vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/40Special vehicles
    • B60Y2200/41Construction vehicles, e.g. graders, excavators
    • B60Y2200/417Articulated frame vehicles
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices

Definitions

  • the present invention relates to an evaluation apparatus.
  • Patent Document 1 discloses a work vehicle used in excavation work at a construction site.
  • the movement of the work vehicle may be photographed by a photographing device such as a camera or a video camera.
  • a photographing device such as a camera or a video camera.
  • it is required to ensure the safety of the photographer and to avoid contact between the photographing device and the work machine of the work vehicle.
  • a technique capable of performing photographing at an appropriate photographing position without changing the position of the photographer or the photographing apparatus depending on the photographing timing or the photographer. That is, when evaluating the skill of the operator who operates the work vehicle based on the image photographed by the photographing device, there is a possibility that a comparative obstacle may occur in the skill evaluation unless photographing is performed under a certain photographing condition.
  • An aspect of the present invention is to provide an evaluation device that can photograph a work vehicle at an appropriate photographing position while ensuring the safety of the photographer, and can evaluate the operator or the state of the work vehicle. To do.
  • the first display control unit displays the photographing data acquired by the photographing device on the display screen of the display device, and the working vehicle data related to the working vehicle to be photographed.
  • an evaluation apparatus including a second display control unit that displays a guide display for determining a photographing position of the apparatus on the display screen.
  • an evaluation device that can objectively evaluate the skill of the operator of the work vehicle is provided.
  • FIG. 1 is a side view showing an example of a hydraulic excavator according to the present embodiment.
  • FIG. 2 is a plan view showing an example of a hydraulic excavator according to the present embodiment.
  • FIG. 3 is a diagram schematically illustrating an example of the operation device according to the present embodiment.
  • FIG. 4 is a diagram schematically illustrating an example of a hardware configuration of the evaluation system according to the present embodiment.
  • FIG. 5 is a functional block diagram illustrating an example of a portable device according to the present embodiment.
  • FIG. 6 is a flowchart illustrating an example of the evaluation method according to the present embodiment.
  • FIG. 7 is a diagram for explaining an example of a shooting position determination method according to the present embodiment.
  • FIG. 1 is a side view showing an example of a hydraulic excavator according to the present embodiment.
  • FIG. 2 is a plan view showing an example of a hydraulic excavator according to the present embodiment.
  • FIG. 3 is a diagram schematically illustrating an example of
  • FIG. 8 is a diagram for explaining an example of a photographing method according to the present embodiment.
  • FIG. 9 is a diagram for explaining an example of a photographing method according to the present embodiment.
  • FIG. 10 is a flowchart illustrating an example of the photographing and evaluation method according to the present embodiment.
  • FIG. 11 is a diagram for explaining a method for specifying the movement end position of the work machine according to the present embodiment.
  • FIG. 12 is a diagram for explaining a method of generating target data indicating the target movement locus of the work implement according to the present embodiment.
  • FIG. 13 is a diagram for explaining a method of displaying evaluation data according to the present embodiment.
  • FIG. 1 is a side view showing an example of a work vehicle 3 according to the present embodiment.
  • FIG. 2 is a plan view showing an example of the work vehicle 3 according to the present embodiment.
  • the work vehicle 3 is a hydraulic excavator will be described. 2 shows a plan view of the excavator 3 as viewed from above in the posture of the work machine 10 as shown in FIG.
  • the hydraulic excavator 3 operates at the construction site.
  • the hydraulic excavator 3 is operated by an operator Ma on the hydraulic excavator 3.
  • the operator Ma operates the work vehicle 3 to construct a construction site.
  • the excavator 3 includes a work machine 10 that operates by hydraulic pressure, and a vehicle body 20 that supports the work machine 10.
  • the vehicle main body 20 includes an upper swing body 21 and a lower traveling body 22 that supports the upper swing body 21.
  • the upper swing body 21 includes a cab 23, a machine room 24, and a counterweight 24C.
  • the cab 23 includes a cab.
  • a driver's seat 7 on which the operator Ma sits and an operating device 8 that is operated by the operator Ma are arranged in the driver's cab.
  • the operating device 8 includes a work lever for operating the work implement 10 and the upper swing body 21 and a travel lever for operating the lower travel body 22.
  • the work machine 10 is operated by the operator Ma via the operation device 8.
  • the upper swing body 21 and the lower traveling body 22 are operated by the operator Ma via the operation device 8.
  • the operator Ma can operate the operation device 8 while sitting on the driver's seat 7.
  • the lower traveling body 21 has drive wheels 25 called sprockets, idle wheels 26 called idlers, and crawler belts 27 supported by the drive wheels 25 and idle wheels 26.
  • the drive wheel 25 is operated by power generated by a drive source such as a hydraulic motor.
  • the drive wheel 25 rotates by operating the travel lever of the operating device 8.
  • the drive wheel 25 rotates about the rotation axis DX1 as a rotation center.
  • the idler wheel 26 rotates about the rotation axis DX2.
  • the rotation axis DX1 and the rotation axis DX2 are parallel. As the driving wheel 25 rotates and the crawler belt 27 rotates, the excavator 3 travels or turns back and forth.
  • the upper turning body 21 can turn around the turning axis RX while being supported by the lower traveling body 22.
  • the work machine 10 is supported by the upper swing body 21 of the vehicle body 20 so as to be relatively movable.
  • the work machine 10 includes a boom 11 connected to the upper swing body 21, an arm 12 connected to the boom 11, and a bucket 13 connected to the arm 12.
  • the bucket 13 has, for example, a plurality of convex blades.
  • a plurality of cutting edges 13B, which are the tips of the blades, are provided.
  • the blade edge 13B of the bucket 13 may be the tip of a straight blade provided in the bucket 13.
  • the upper swing body 21 and the boom 11 are connected via a boom pin 11P.
  • the boom 11 is supported by the upper swing body 21 so as to be operable with the rotation axis AX1 as a fulcrum.
  • the boom 11 and the arm 12 are connected via an arm pin 12P.
  • the arm 12 is supported by the boom 11 so as to be operable with the rotation axis AX2 as a fulcrum.
  • the arm 12 and the bucket 13 are connected via a bucket pin 13P.
  • the bucket 13 is supported by the arm 12 so as to be operable with the rotation axis AX3 as a fulcrum.
  • the rotation axis AX1, the rotation axis AX2, and the rotation axis AX3 are parallel to the front-rear direction. The definition of the front-rear direction will be described later.
  • the direction in which the axes of the rotation axes AX1, AX2, and AX3 extend is referred to as the vehicle width direction of the upper swing body 21 as appropriate, and the direction in which the axis of the swing axis RX extends is appropriately
  • the direction orthogonal to both the rotation axes AX1, AX2, AX3 and the turning axis RX is appropriately referred to as the front-rear direction of the upper turning body 21.
  • the direction in which the work machine 10 including the bucket 13 is present is the front, and the reverse direction of the front is the rear.
  • One side in the vehicle width direction is on the right side, and the opposite direction on the right side, that is, the side with the cab 23 is on the left side.
  • the bucket 13 is disposed in front of the upper swing body 21.
  • the plurality of cutting edges 13B of the bucket 13 are arranged in the vehicle width direction.
  • the upper swing body 21 is disposed above the lower traveling body 22.
  • Work machine 10 is operated by a hydraulic cylinder.
  • the hydraulic excavator 3 has a boom cylinder 14 for operating the boom 11, an arm cylinder 15 for operating the arm 12, and a bucket cylinder 16 for operating the bucket 13.
  • the boom cylinder 14 expands and contracts, the boom 11 operates with the rotation axis AX1 as a fulcrum, and the tip of the boom 11 moves in the vertical direction.
  • the arm cylinder 15 expands and contracts, the arm 12 operates with the rotation axis AX2 as a fulcrum, and the tip of the arm 12 moves in the vertical direction or the front-rear direction.
  • the bucket 13 When the bucket cylinder 16 expands and contracts, the bucket 13 operates with the rotation axis AX3 as a fulcrum, and the blade edge 13B of the bucket 13 moves in the vertical direction or the front-rear direction.
  • the hydraulic cylinder of the work machine 10 including the boom cylinder 14, the arm cylinder 15, and the bucket cylinder 16 is operated by a work lever of the operation device 8.
  • the posture of the work implement 10 changes as the hydraulic cylinder of the work implement 10 expands and contracts.
  • FIG. 3 is a diagram schematically illustrating an example of the operation device 8 according to the present embodiment.
  • the operation lever of the operating device 8 includes a right operation lever 8WR disposed to the right of the center of the driver seat 7 in the vehicle width direction and a left operation disposed to the left of the center of the driver seat 7 in the vehicle width direction.
  • Lever 8WL The travel lever of the operating device 8 includes a right travel lever 8MR disposed to the right of the center of the driver seat 7 in the vehicle width direction and a left travel disposed to the left of the center of the driver seat 7 in the vehicle width direction.
  • Lever 8ML Lever 8ML.
  • the operation pattern regarding the operation relationship between the tilting direction of the right working lever 8WR and the left working lever 8WL and the turning direction of the work implement 10 or the upper turning pair 21 may not be the above-described relationship.
  • a worker Mb different from the operator Ma performs the work at the construction site.
  • the worker Mb performs an auxiliary work at a construction site, for example.
  • the operator Ma or the worker Mb has a portable device 6 including a computer system.
  • the portable device 6 includes a portable computer such as a smartphone or a tablet personal computer.
  • FIG. 4 is a diagram schematically illustrating an example of a hardware configuration of the mobile device 6 according to the present embodiment.
  • the portable device 6 includes a computer system.
  • the portable device 6 includes an arithmetic processing device 60, a storage device 61, a position detection device 62 that detects the position of the portable device 6, a photographing device 63, a display device 64, an input device 65, and an input / output interface device 66. And have.
  • the arithmetic processing unit 60 includes a microprocessor such as a CPU (Central Processing Unit).
  • the storage device 61 includes memory and storage such as ROM (Read Only Memory) or RAM (Random Access Memory).
  • the arithmetic processing device 60 performs arithmetic processing according to a computer program stored in the storage device 61.
  • the position detection device 62 detects an absolute position indicating the position of the mobile device 6 in the global coordinate system by a global navigation system (GNSS).
  • GNSS global navigation system
  • the photographing device 63 has a video camera function capable of acquiring moving image data of a subject and a still camera function capable of acquiring still image data of the subject.
  • the imaging device 63 acquires imaging data, and includes an optical system and an image sensor that acquires imaging data of a subject via the optical system.
  • the image sensor includes a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the photographing device 63 can photograph the excavator 3.
  • the imaging device 63 functions as a detection device that detects operation data indicating the movement of the work machine 10 of the excavator 3.
  • the imaging device 63 can acquire imaging data that is operation data of the work machine 10 and acquire movement data of the work machine 10 including at least one of a movement locus, a movement speed, and a movement time of the work machine 10.
  • the shooting data of the work machine 10 includes one or both of moving image data and still image data of the work machine 10.
  • the display device 64 includes a flat panel display such as a liquid crystal display (LCD) or an organic EL display (OELD).
  • the input device 65 generates input data when operated.
  • the input device 65 includes a touch sensor provided on the display screen of the display device 64.
  • Display device 64 includes a touch panel.
  • the input / output interface device 66 performs data communication among the arithmetic processing device 60, the storage device 61, the position detection device 62, the photographing device 63, the display device 64, and the input device 65.
  • FIG. 5 is a functional block diagram illustrating an example of the mobile device 6 according to the present embodiment.
  • the portable device 6 functions as an evaluation device 600 that performs one or both of the evaluation of the operation of the excavator 3 and the evaluation of the skill of the operator Ma who operates the excavator 3.
  • the functions of the evaluation device 600 are exhibited by the arithmetic processing device 60 and the storage device 61.
  • the evaluation device 600 includes a detection data acquisition unit 601 that acquires image data of the excavator 3 imaged by the image capturing device 63, and position data of the work machine 10 based on the image data of the excavator 3 imaged by the image capturing device 63.
  • a position data calculation unit 602 that calculates the target data
  • a target data generation unit 603 that generates target data including the target movement condition of the work machine 10
  • an evaluation data generation unit 604 that generates evaluation data based on the shooting data and the target data.
  • the first display control unit 605A for displaying the display data including the photographing data of the excavator 3 and the evaluation data on the display screen of the display device 64, and the second display for displaying the guide line 70 on the display screen of the display device 64.
  • the control unit 605B and instruction data 75 for instructing the photographing apparatus 63 to move away from the excavator 3 by a specified distance are displayed.
  • the evaluation device 600 performs data communication via the input / output unit 610.
  • the detection data acquisition unit 601 acquires imaging data of the excavator 3 having the work machine 10.
  • the operating device 8 When the operating device 8 is operated by the operator Ma, the work machine 10 operates. Photographing data is obtained by photographing the operation of the work machine 10 by the photographing device 63.
  • the position data acquisition unit 602 calculates the position data of the work machine 10 from the shooting data of the work machine 10 shot by the shooting device 63.
  • the position data acquisition unit 602 calculates the position data of the work machine 10 from the shooting data of the work machine 10 using, for example, a pattern matching method.
  • the target data generation unit 603 generates target data including the target movement locus of the work machine 10 from the shooting data of the work machine 10 taken by the shooting device 63.
  • the evaluation data generation unit 604 generates evaluation data based on the shooting data acquired by the detection data acquisition unit 601 and the target data generated by the target data generation unit 602.
  • the evaluation data includes one or both of evaluation data of the operation of the work machine 10 and evaluation data of the operator Ma who operated the work machine 10 via the operation device 8.
  • the first display control unit 605A displays the shooting data of the excavator 3 acquired by the shooting device 63 on the display screen of the display device 64. In addition, the first display control unit 605A generates display data from the detection data and the target data and causes the display device 64 to display the display data. In addition, the first display control unit 605A generates display data from the evaluation data and causes the display device 64 to display the display data.
  • the second display control unit 605B is based on the work vehicle data regarding the hydraulic excavator 3 to be photographed, and displays a guide line 70 that is a guide display for determining the photographing position of the photographing device 63 on the display screen of the display device 64. To display. When the vehicle body 30 and the guide line 70 of the hydraulic excavator 3 are positioned on the display screen of the display device 64, the second display control unit 605B operates the working machine 10 of the hydraulic excavator 3 to the limit position of the movable range. In addition, the guide line 70 is displayed in such a display form that the entire excavator 3 can be imaged by the imaging device 63.
  • the second display control unit 605B moves the photographing position of the photographing device 63 away from the hydraulic shovel 3 by a specified distance when the vehicle body 20 and the guide line 70 of the hydraulic excavator 3 are positioned on the display screen of the display device 64.
  • the guide line 70 is displayed in such a display form.
  • the second display control unit 605B causes the display line of the display device 64 to display the guide line 70 in a display form whose size (dimension) and position are fixed on the display screen of the display device 64.
  • the guide line 70 is generated based on work vehicle data including the size (dimensions) of the excavator 3 and the movable range of the work machine 10 with respect to the vehicle body 20.
  • the third display control unit 605C displays the instruction data 75 on the display screen of the display device 64.
  • the instruction data 75 is used to instruct the imaging device 63 to be separated from the hydraulic excavator 3 by a specified distance on the side of the specific part of the vehicle body 20 of the hydraulic excavator 3.
  • the fourth display control unit 605D displays the positioning state data 71 on the display screen of the display device 64.
  • the positioning state data 71 indicates that the vehicle body 20 and the guide line 70 are positioned when determined on the display screen of the display device 64.
  • the determination unit 611 performs image processing on the shooting data of the vehicle main body 20 and displays the vehicle main body 20 of the excavator 3 indicated by the shooting data of the hydraulic excavator 3 displayed on the display screen of the display device 64, and the display of the display device 64. It is determined whether or not the guide line 70 displayed on the screen has been positioned.
  • the storage unit 608 stores various data.
  • the storage unit 608 stores a computer program for executing the evaluation method according to the present embodiment.
  • the storage unit 608 stores work vehicle data.
  • Work vehicle data acquisition unit 609 acquires work vehicle data including the size (dimensions) of hydraulic excavator 3 and the movable range of work implement 10 relative to vehicle body 20 from storage unit 608.
  • the size (dimension) of the hydraulic excavator 3 is data that defines at least the size (dimension) for forming the contour of the upper swing body 21 or the contour of the lower traveling body 22.
  • data indicating the dimensions of the hydraulic excavator 3 included in the work vehicle data data for determining a size (dimension) for forming the contour of the upper swing body 21 and the contour of the lower traveling body 22 is used. Will be described.
  • the guide display is for determining a shooting position, and displaying a guide line or such a figure for guiding the shooting position.
  • a guide line 70 is used as a guide display will be described.
  • the movable range of the work machine 10 is data that defines the range of postures that the work machine 10 can take by extending and contracting the hydraulic cylinder of the work machine 10.
  • the working vehicle data indicating the movable range use is made of data (maximum turning radius, which will be described later) indicating the distance when the working machine 10 is extended most, for example, the distance between the cutting edge 13B and the turning axis RX is the longest. Can do.
  • work vehicle data is stored in the storage unit 608.
  • the work vehicle data acquisition unit 609 acquires work vehicle data from the storage unit 608.
  • the work vehicle data acquisition unit 609 may acquire work vehicle data from the input device 65.
  • the storage unit 608 stores guide display data indicating the guide line 70 generated based on the work vehicle data, and the second display control unit 605B is based on the guide display data stored in the storage unit 608. Then, the guide line 70 may be displayed on the display screen of the display device 64.
  • the guide display data is input via the input device 65, and the second table control unit 605B displays the guide line 70 on the display screen of the display device 64 based on the guide display data input via the input device 65. May be displayed.
  • FIG. 6 is a flowchart illustrating an example of the evaluation method according to the present embodiment.
  • the evaluation method includes a step of preparing the photographing of the excavator 3 by the photographing device 63 (S200), and a step of photographing the hydraulic excavator 3 using the photographing device 63 and evaluating the skill of the operator Ma ( S300).
  • Preparation for shooting Preparation for photographing the excavator 3 by the photographing device 63 is performed (step S200).
  • the preparation for photographing includes determining the photographing position of the photographing device 63 with respect to the excavator 3.
  • FIGS. 7 to 9 are diagrams for explaining an example of the photographing position determination method according to the present embodiment.
  • the computer program stored in the storage unit 608 is activated.
  • the portable device 6 transitions to the shooting preparation mode.
  • the shooting preparation mode the zoom function of the optical system of the shooting device 63 is limited.
  • the excavator 3 is photographed by a photographing device 63 having a fixed prescribed photographing magnification.
  • idle wheels 26 are arranged closer to the work implement 10 as shown in FIG.
  • the upper turning body 21 and the lower traveling body 22 are positioned so that is arranged will be described. That is, the upper swing body 21 and the lower traveling body 22 are positioned so that the rotation axes AX1, AX2, AX3 of the work machine 10 and the rotation axes DX1, DX2 of the lower traveling body 22 are parallel in space.
  • the drive wheel 25 is disposed closer to the work machine 10 and the idler wheel 26 is disposed farther from the work machine 10.
  • the upper swing body 21 and the lower traveling body 22 may be positioned. Also in this case, the upper swing body 21 and the lower traveling body 22 are positioned so that the rotation axes AX1, AX2, AX3 of the work implement 10 and the rotation axes DX1, DX2 of the lower traveling body 22 are parallel in space. Yes. In such positioning of the upper swing body 21 and the lower traveling body 22, a specific part of the vehicle main body 20 to be described later is a drive wheel 25.
  • instruction data 75 instructing the imaging device 63 to move away from the excavator 3 by a specified distance on the side of the specific part of the vehicle body 20 is displayed on the display device 64.
  • the specific part of the vehicle body 20 is an idler wheel 26 also called an idler.
  • the drive wheel 25, also referred to as a sprocket may be a specific part of the vehicle main body 20, that is, the imaging device 63 is instructed to be away from the excavator 3 by a specified distance on the side of the drive wheel 25 of the vehicle main body 20.
  • the instruction data 75 to be displayed may be displayed on the display device 64.
  • the specified distance is, for example, about 10 [m].
  • This specified distance is a distance that does not contact the photographing device 63 even if the upper swing body 21 is turned with the work machine 10 extended to the maximum.
  • the state in which the work machine 10 is extended to the maximum is a state in which the work machine 10 is positioned so that the operating device 8 is operated and the distance between the blade edge 13B and the turning axis RX is the longest.
  • the distance between the cutting edge 13B and the turning axis RX in this state is called the maximum turning radius.
  • the specified distance is larger than the maximum turning radius.
  • the third display control unit 605C displays on the display screen of the display device 64 instruction data 75 that instructs the imaging device 63 to move away from the excavator 3 by a specified distance on the left side of the idler wheel 26 of the vehicle body 20.
  • the instruction data 75 includes graphic data imitating the vehicle main body 20, character data “Stand on the idler axis”, and character data “Please leave about 10 m”.
  • a guide line 70 is displayed on the display screen of the display device 64 as shown in FIG.
  • the second display control unit 605B fixes the position and size (dimension) where the guide line 70 is displayed on the display screen of the display device 64, and displays the guide line 70 based on the work vehicle data on the display screen of the display device 64.
  • Display. That is, the guide line 70 is a line indicating the outline of the vehicle main body 20 of the excavator 3 (for example, the outline of the upper turning body 21 and the lower traveling body 22) as will be described later, and is a broken line as shown in FIG.
  • the graphic data is displayed in advance in the storage unit 608.
  • the work vehicle data includes the dimensions of the excavator 3, and the guide line 70 indicates the outline of the vehicle body 20 of the excavator 3 at a predetermined scale based on the dimensions of the excavator 3 included in the work vehicle data. is there.
  • the guide line 70 may be displayed as a solid line instead of a broken line, and may be highlighted in red, for example.
  • graphic data serving as the guide line 70 may be stored in the storage unit 608 in advance, or the work vehicle data acquisition unit 609 may use the work vehicle data acquired from the storage unit 608 or the input device 65 to store the data.
  • 2 display control part 605B may generate.
  • the operator Ma sits on the driver's seat 7 of the excavator 3.
  • the portable device 6 is carried by the worker Mb.
  • the worker Mb acquires the shooting data of the excavator 3 by the shooting device 63 of the portable device 6.
  • display data generated based on the shooting data of the excavator 3 is displayed on the display device 64 of the portable device 6. That is, as shown in FIG. 8, an image that captures the excavator 3 in front of the imaging device 63 that is a detection device is displayed on the display device 64.
  • the display screen of the display device 64 is arranged on one surface of the mobile device 6, and FIG. 8 shows a state where the mobile device 6 is viewed from the one surface.
  • the optical system of the photographing device 63 is disposed on the other surface of the portable device 6.
  • the photographing device 63 illustrated in FIG. 5 includes the display device 64 including the input device 65. May be separated and can communicate with each other by wire or wirelessly.
  • the detection data acquisition unit 601 acquires the imaging data by transmitting the imaging data captured by the imaging device 63 serving as the detection device to the detection data acquisition unit 601 at a position away from the imaging device 63.
  • the worker Mb can confirm the photographing data by the display device 64 including the input device 65 located at a location away from the excavator 3.
  • the operator Mb can photograph the hydraulic excavator 3 with the photographing device 63 while confirming the photographing data of the hydraulic excavator 3 with the display device 64.
  • the guide line 70 shows the outline of the vehicle body 20 when the excavator 3 is viewed from the left side.
  • the guide line 70 is formed by the upper swing body 21 and the lower traveling body so that the rotation axes AX1, AX2, AX3 of the work machine 10 and the rotation axes DX1, DX2 of the lower traveling body 22 are parallel in space.
  • 22 shows an outline of the vehicle body 20 viewed from the left side when the position 22 is positioned. That is, the outline of the vehicle body 20 is taken when the photographing device 63 is arranged so as to photograph the hydraulic excavator 3 from the side with the upper revolving body 21 facing forward with respect to the lower traveling body 22. It is the outline of the vehicle body 20 that can be captured by the device 63.
  • a plurality of graphic data is prepared in the storage unit 608 in accordance with the vehicle type and shape of the hydraulic excavator 3, and the guide line 70 is input in accordance with the vehicle type and shape of the hydraulic excavator 3 to be photographed. You may enable it to switch by operation of the apparatus 65.
  • FIG. 1 A plurality of graphic data is prepared in the storage unit 608 in accordance with the vehicle type and shape of the hydraulic excavator 3, and the guide line 70 is input in accordance with the vehicle type and shape of the hydraulic excavator 3 to be photographed. You may enable it to switch by operation of the apparatus 65.
  • the display control unit 605 displays a guide line 70 indicating the outline of the vehicle main body 20 when the hydraulic excavator 3 is viewed from the left side in order to make the photographing position of the photographing device 63 relative to the hydraulic excavator 3 constant in the photographing preparation mode. On the display screen. On the display screen of the display device 64, the position and size (dimension) where the guide line 70 is displayed are fixed.
  • the position and size (dimension) of the guide line 70 displayed on the display screen of the display device 64 are the contour of the actual vehicle body 20 displayed on the display screen of the display device 64 and the guide line 70 ( Hereinafter, it is set so that the photographing device 63 with respect to the excavator 3 is arranged at a specified relative position when the guide lines 70) coincide with each other.
  • the operator Mb who is a photographer, captures photographing data (display device) of the excavator 3 while holding the portable device 6 so that the outline of the vehicle body 20 photographed by the photographing device 63 and the guide line 70 coincide with each other. (64 display screen) while moving.
  • the position of the portable device 6 when the outline of the vehicle body 20 and the guide line 70 coincide with each other is determined as the photographing position.
  • Work vehicle data acquisition unit 609 acquires work vehicle data including the dimensions of hydraulic excavator 3 and the movable range of work implement 10 from storage unit 608 or input device 65.
  • the second display control unit 605B In order to arrange the photographing device 63 with respect to the hydraulic excavator 3 when the contour of the vehicle body 20 and the guide line 70 coincide with each other on the display screen of the display device 64, the second display control unit 605B.
  • the guide line 70 is displayed based on the work vehicle data acquired by the work vehicle data acquisition unit 609.
  • the contour of the vehicle body 20 and the guide line 70 are matched on the display screen of the display device 64, the relative position between the hydraulic excavator 3 and the imaging device 63 can always be constant in the imaging of the hydraulic excavator 3. Even if the photographer Mb is different or the photographing timing is different, the photographing conditions can be made constant.
  • the size (dimension) and shape of the guide line 70 are determined so that the guide line 70 coincides with the display screen of the display device 64.
  • the second display control unit 605B when the second display control unit 605B is positioned so that the contour of the vehicle main body 20 and the guide line 70 coincide on the display screen of the display device 64, the second excavator 2, that is, at least Based on the movable range of the work implement 10 included in the work vehicle data, the display on the display device 64 is displayed so that the upper swing body 21 and the work implement 10 are captured by the imaging device 63 and displayed on the display screen of the display device 64.
  • a guide line 70 is displayed on the screen.
  • the second display control unit 605B Even when operating to the limit position of the movable range, the guide line 70 is displayed in such a display form that the entire excavator 3 including the work implement 10 is photographed by the photographing device 63 and displayed on the display screen of the display device 64. In other words, even when the work implement 10 is extended so that the distance between the cutting edge 13B and the turning axis RX is maximized, the positioning is performed so that the contour of the vehicle body 20 and the guide line 70 coincide on the display screen.
  • the guide line 70 is displayed on the display device 64 so that the entire excavator 3 including the work implement 10 is photographed by the photographing device 63 and displayed on the display screen of the display device 64. That is, the worker Mb positions the photographing device 63 so that the outline of the vehicle body 20 and the guide line 70 coincide with each other while confirming the display screen of the display device 64 without being aware of the movable range of the work implement 10. Then, the entire excavator 3 including the work machine 10 can be captured by the photographing device 63 regardless of the posture of the work machine 10. Thereby, the imaging device 63 can detect the imaging data of the work implement 10 even when the operation from the state in which the work implement 10 is extended, and the operator Ma can evaluate the skill and check the work vehicle. Therefore, it is possible to reliably acquire the photographing data necessary for this.
  • the photographing device 63 is moved to the hydraulic excavator 3.
  • a guide line 70 is displayed on the display screen of the display device 64 so as to be a predetermined distance away from the display device 64.
  • the prescribed distance is larger than the maximum turning radius of the work implement 10 supported by the upper turning body 21, that is, the movable range, as described above.
  • the maximum turning radius is a distance between the cutting edge 3B and the turning axis RX in a state where the working machine 10 is extended so that the distance between the cutting edge 13B and the turning axis RX is maximized.
  • the imaging device 63 is positioned according to the guide line 70, even if the upper turning body 21 turns in a state where the working machine 10 is extended, at least the imaging device 63 does not contact the working machine 10, For example, even when the excavator 3 is photographed using the portable device 6 including the photographing device 63, the contact between the work machine 10 and the worker Mb carrying the portable device 6 is suppressed, and the safety of the worker Mb is improved. Secured. In other words, the worker Mb not only has a range in which the work machine 1 operates in accordance with the expansion and contraction of the hydraulic cylinder (a movable range of the work machine 10), but also a movable range of the work machine 10 accompanying the turning of the upper swing body 21.
  • the photographing device 63 is positioned so that the outline of the vehicle body 20 and the guide line 70 coincide with each other while confirming the display screen of the display device 64 without being conscious of it, the upper swing body 21 (work machine 10) is unexpected. Even if the vehicle is swung, the photographing device 63 can capture the entire excavator 3 including the work machine 10 while ensuring safety. Therefore, the guide line 70 is fixed in size (dimension) and position displayed on the display screen of the display device 64 based on the work vehicle data including the dimensions of the excavator 3 and the movable range of the work implement 10. It is.
  • the determination unit 611 performs image processing on the shooting data of the vehicle main body 20 and determines whether the vehicle main body 20 and the guide line 70 included in the shooting data are positioned. In this case, it may be determined whether or not at least the contour of the upper swing body 21 included in the shooting data and the contour of the upper swing body 21 indicated by the guide line 70 are positioned. When the optical system is focused, a numerical value for determination is obtained. The determination unit 611 determines whether the vehicle body 20 and the guide line 70 are positioned based on the numerical value.
  • the imaging device 63 is positioned at a predetermined distance from the excavator 3 on the left side of the idler wheel 26, which is a specific part, and positioned so that the contour of the vehicle body 20 and the guide line 70 coincide on the display screen of the display device 64.
  • the fourth display control unit 605D displays the imaging device 63 with respect to the hydraulic excavator 3 at the specified relative position.
  • Positioning state data 71 indicating that the position 20 and the guide line 70 are positioned is displayed on the display device 64.
  • a mark 71 of a first specific color (for example, red) indicating that the photographing device 63 with respect to the excavator 3 is disposed at a specified relative position and the vehicle body 20 and the guide wire 70 are positioned is displayed. It is displayed on the device 64.
  • FIG. 1D when it is determined on the display screen of the display device 64 that the contour of the vehicle body 20 and the guide line 70 do not coincide with each other and the photographing device 63 with respect to the hydraulic excavator 3 is not disposed at a specified relative position, FIG. As illustrated, the fourth display control unit 605D causes the display device 64 to display positioning state data 72 indicating that the photographing device 63 with respect to the excavator 3 is not disposed at a specified relative position. In the present embodiment, a mark 72 of the second specific color (for example, blue) indicating that the photographing device 63 with respect to the excavator 3 is not disposed at a specified relative position is displayed on the display device 64.
  • the second specific color for example, blue
  • the positioning state data 71 and 72 may be displayed by the imaging device 63 for the hydraulic excavator 3 by displaying the positioning state data by switching from blinking to lighting, for example, instead of changing the specific color or with the change of the specific color. You may make it show that it has arrange
  • the photographing device 63 While the mark 72 is displayed, the photographing device 63 is in a photographing restriction state, and the acquisition of photographing data of the excavator 3 by the detection data obtaining unit 601 is restricted.
  • the photographing device 63 When the mark 71 is displayed, the photographing device 63 is ready for photographing, and the detection data acquisition unit 601 can acquire photographing data of the excavator 3.
  • the guide line 70 is displayed in a third specific color (for example, green), and the photographing device with respect to the hydraulic excavator 3 is displayed.
  • the guide line 70 may be displayed in a fourth specific color (for example, red).
  • the guide line 70 is displayed by switching from blinking to lighting so that the photographing device 63 with respect to the excavator 3 has a specified relative position. You may make it show that it has arrange
  • the idler wheel 26 is disposed in front of the upper swing body 21, and the drive wheel 25 is disposed in the rear, and the photographing device 63 is located at a specified distance from the hydraulic excavator 3 on the left side of the idler wheel 26.
  • the position that is only a distance away is the prescribed shooting position.
  • the position where the photographing device 63 is separated from the hydraulic excavator 3 by a predetermined distance on the left side of the driving wheel 25 is defined. This is the shooting position.
  • the position data calculation unit 602 specifies the position of the upper swing body 21 using the pattern matching method. After the position of the upper swing body 21 is specified, the position data calculation unit 602 specifies the position of the work implement 10 when the work implement 10 is stationary.
  • the specification of the position of the work machine 10 includes the specification of the position of the cutting edge 13B of the bucket 13.
  • the operation of the operation device 8 is started by the operator Ma, and the operation of the work machine 10 of the excavator 3 is imaged by the imaging device 63 of the portable device 6.
  • the operation condition of the work machine 10 by the operator Ma is given to the operator Ma as an issue so that the work machine 10 operates under a specific movement condition.
  • an operating condition for operating the work machine 10 so that the blade edge 13B of the bucket 13 in an unloaded state in the air draws a linear movement trajectory along a horizontal plane Is imposed on the operator Ma.
  • the operator Ma operates the operating device 8 so that the cutting edge 13B of the bucket 13 draws a straight movement locus along the horizontal plane.
  • FIG. 10 is a flowchart showing an example of the photographing and evaluation method according to the present embodiment.
  • the shooting and evaluation method according to the present embodiment includes a step (S310) of specifying a movement start position of the work machine 10, a step (S320) of obtaining shooting data of the moving work machine 10, and an end of movement of the work machine 10.
  • the detection data acquisition unit 601 specifies the position of the blade edge 13 ⁇ / b> B of the bucket 13 of the work machine 10 in a stationary state based on the shooting data of the work machine 10 taken by the shooting device 63. When it is determined that the time during which the blade edge 13B of the bucket 13 is stationary is equal to or longer than the specified time, the detection data acquisition unit 601 determines the position of the blade edge 13B of the bucket 13 as the movement start position SP of the bucket 13.
  • the detection data acquisition unit 601 detects that the bucket 13 has started moving based on the shooting data of the work implement 10. The detection data acquisition unit 601 determines that the time when the blade edge 13B of the stationary bucket 13 starts moving is the time when the bucket 13 starts moving.
  • the detection data acquisition unit 601 acquires shooting data that is moving image data of the work machine 10 from the shooting device 63 (step S320).
  • the detection data acquisition unit 601 acquires detection data including the movement trajectory of the work implement 10 based on the imaging data of the bucket 13 from the movement start position to the movement end position.
  • the detection data includes the movement trajectory of the unloaded work machine 10 in the air from when the stationary work machine 10 starts moving at the movement start position to when the movement end position ends.
  • the detection data acquisition unit 601 acquires the movement trajectory of the bucket 13 based on the imaging data. Further, the detection data acquisition unit 601 acquires an elapsed time after the bucket 13 starts moving based on the imaging data.
  • FIG. 11 shows the display device 64 immediately after the movement of the bucket 3 is started.
  • the display control unit 605 causes the display device 64 to display display data indicating the cutting edge 13P of the bucket 13.
  • the display control unit 605 causes the display device 64 to display a plot PD that is display data indicating the cutting edge 13P.
  • the detection data acquisition unit 601 continues to calculate the position data of the bucket 13 based on the imaging data, and acquires the movement locus of the blade edge 13B of the bucket 13.
  • the detection data acquisition unit 601 acquires an elapsed time indicating the movement time of the bucket 13 from the movement start time.
  • the display control unit 605 generates display data indicating the movement locus of the bucket 13 from the detection data, and causes the display device 64 to display the display data.
  • the display control unit 605 generates a plot PD indicating the position of the blade edge 13B of the bucket 13 at regular time intervals based on the detection data.
  • the display control unit 605 causes the display device 64 to display the plot PD generated at regular time intervals. In FIG. 11, a short interval between plots PD indicates that the moving speed of the bucket 13 is low, and a long interval between plots PD indicates that the moving speed of the bucket 13 is high.
  • the display control unit 605 causes the display device 64 to display a detection line TL indicating the movement locus of the bucket 13 based on the plurality of plots PD.
  • the detection line TL is curved display data connecting a plurality of plots PD.
  • step S330 When the operation state of the bucket 13 is stopped by the operation of the operator Ma, a process of specifying the movement end position and the movement end point of the bucket 13 of the work machine 10 is performed (step S330).
  • the detection data acquisition unit 601 detects that the movement of the bucket 13 is stopped based on the shooting data.
  • the detection data acquisition unit 601 determines the position at which the cutting edge 13B of the bucket 13 in the operating state has stopped moving as the movement end position of the bucket 13. Further, the detection data acquisition unit 601 determines the time point when the movement of the bucket 13 ends when the cutting edge 13B of the bucket 13 in the operating state stops moving.
  • the detection data acquisition unit 601 determines that the operation time of the bucket 13 stops moving and the time at which the blade edge 13B of the bucket 13 is stationary is equal to or longer than the specified time, the detection data acquisition unit 601 determines the position of the blade edge 13B of the bucket 13. The movement end position of the bucket 13 is determined.
  • FIG. 12 is a diagram for explaining a method of generating target data indicating the target movement locus of the work machine 10 according to the present embodiment.
  • the target data generation unit 603 generates target data indicating the target movement locus of the bucket 13.
  • the target movement locus includes a straight line connecting the movement start position SP and the movement end position EP.
  • the display control unit 605 generates display data to be displayed on the display device 64 from the target data, and causes the display device 64 to display the display data.
  • the display control unit 605 causes the display device 64 to display a target line RL indicating a target movement locus connecting the movement start position SP and the movement end position EP.
  • the target line RL is linear display data connecting the movement start position SP and the movement end position EP.
  • the display control unit 605 displays the plot PD and the detection line TL on the display device 64 together with the target line RL. As described above, the display control unit 605 generates display data including the plot PD and the detection line TL from the detection data, generates display data including the target line RL from the target data, and causes the display device 64 to display the display data.
  • the worker Mb or the operator Ma can determine how far the actual movement locus of the bucket 13 is from the target movement locus indicated by a straight line. Can be recognized.
  • a process of generating the evaluation data of the operator Ma is performed based on the detection data and the target data (step S350). ).
  • the evaluation data generation unit 604 generates evaluation data of the operator Ma based on the difference between the movement locus and the target movement locus.
  • the larger the difference between the movement trajectory and the target movement trajectory the more it means that the bucket 13 cannot be moved along the target movement trajectory, and it is evaluated that the skill of the operator Ma is low.
  • the evaluation data generation unit generates evaluation data based on the area of the plane defined by the detection line TL indicating the movement trajectory and the target line RL indicating the target movement trajectory. That is, as indicated by the hatched portion in FIG. 12, the area of the plane defined exclusively by the detection line TL indicated by the curve and the target line RL indicated by the straight line is calculated, and evaluation data is generated based on the area. Is done. The smaller the area, the higher the skill of the operator Ma, and the larger the area, the lower the skill of the operator Ma.
  • the movement start position SP and the movement end position EP are specified based on the shooting data.
  • the detection data acquisition unit 601 acquires the distance between the movement start position SP and the movement end position EP based on the imaging data.
  • the detection data acquired by the detection data acquisition unit 601 includes the movement distance of the bucket 13 between the movement start position SP and the movement end position EP.
  • the evaluation data generation unit 604 generates evaluation data based on the distance between the movement start position SP and the movement end position EP.
  • the longer the distance between the movement start position SP and the movement end position EP the longer the bucket 13 can be moved along the target movement trajectory, and it is evaluated that the skill of the operator Ma is high. It means that the shorter the distance between the movement start position SP and the movement end position EP, the more the bucket 13 can be moved along the target movement trajectory, and the lower the skill of the operator Ma is.
  • the elapsed time after the bucket 13 starts moving and the moving time of the bucket 13 from the movement start position SP to the movement end position EP are acquired based on the imaging data.
  • the detection data acquisition unit 601 has an internal timer.
  • the detection data acquisition unit 601 acquires the time of the movement start time and the movement end time of the bucket 13 based on the measurement result of the internal timer and the shooting data of the shooting device 63.
  • the detection data acquired by the detection data acquisition unit 601 includes the movement time of the bucket 13 between the movement start point SP and the movement end point.
  • the evaluation data generation unit 604 generates evaluation data based on the movement time of the bucket 13 between the movement start time and the movement end time. As the time between the movement start time and the movement end time is shorter, it means that the bucket 13 can be moved in a shorter time along the target movement trajectory, and it is evaluated that the skill of the operator Ma is higher. The longer the time between the movement start time and the movement end time, the longer it takes to move the bucket 13 along the target movement trajectory, and it is evaluated that the skill of the operator Ma is low.
  • the detection data acquisition unit 601 calculates the actual movement distance of the bucket 13 from the movement start position SP to the movement end position EP. Therefore, the detection data acquisition unit 601 starts moving based on the actual movement distance of the bucket 13 from the movement start position SP to the movement end position EP and the movement time of the bucket 13 from the movement start time to the movement end time.
  • the moving speed (average moving speed) of the bucket 13 between the position SP and the movement end position EP can be calculated.
  • the detection data acquired by the detection data acquisition unit 601 includes the moving speed of the bucket 13 between the movement start position SP and the movement end position EP.
  • the evaluation data generation unit 604 generates evaluation data based on the moving speed of the bucket 13 between the movement start position SP and the movement end position EP.
  • FIG. 13 is a diagram for explaining a method of displaying evaluation data according to the present embodiment.
  • the display control unit 605 generates display data from the evaluation data and causes the display device 64 to display the display data.
  • the display control unit 605 displays the name of the operator Ma, which is personal data, on the display device 64.
  • the display control unit 605 uses, as evaluation data, “linearity” indicating the difference between the target movement locus and the detected movement locus, and “distance” indicating the movement distance of the bucket 13 from the movement start position SP to the movement end position EP.
  • “Time” indicating the movement time of the bucket 13 from the movement start position SP to the movement end position EP
  • “Speed” indicating the average movement speed of the bucket 13 from the movement start position SP to the movement end position EP. It is displayed on the display device 64.
  • the display control unit 605 causes the display device 64 to display numerical data of each item of “linearity”, “distance”, “time”, and “speed”.
  • the display control unit 605 causes the display device 64 to display the skill score of the operator Ma.
  • the storage unit 608 stores reference data regarding skills.
  • the reference data is, for example, evaluation data for an operator having a standard skill, and is obtained statistically or empirically.
  • the skill score of the operator Ma is calculated based on the reference data.
  • the evaluation device 600 has the first display control unit 605 ⁇ / b> A that displays the shooting data on the display screen of the display device 64 and the size (dimensions) on the display screen of the display device 64. And a second display control unit 605B that displays the guide line 70 in a display form with a fixed position on the display screen of the display device 64 based on the work vehicle data.
  • the second display control unit 605B When the vehicle body 20 and the guide line 70 are positioned on the display screen, the guide line 70 is displayed on the display screen of the display device 64 so that the entire hydraulic excavator 3 is displayed on the display screen of the display device 64.
  • the proper photographing position is set.
  • the photographing device 63 or the worker Mb who is the photographer can be guided.
  • the second display control unit 605B operates the work implement 10 to the limit position of the movable range.
  • the guide line 70 is displayed on the display screen of the display device 64 in such a display form that the entire excavator 3 is displayed on the display screen of the display device 64.
  • the second display control unit 605B is configured such that when the vehicle main body 20 and the guide line 70 are positioned on the display screen of the display device 64, the photographing device 63 is separated from the excavator 3 by a specified distance.
  • the guide line 70 is displayed on the display screen of the display device 64 in such a display form.
  • the guide line 70 is displayed on the display screen of the display device 64 so that the photographing device 63 is separated from the excavator 3 by a specified distance.
  • the specified distance is larger than the maximum turning radius of the work implement 10 supported by the upper turning body 21.
  • the guide line 70 is formed so that the rotation axes AX1, AX2, AX3 of the work implement 10 and the rotation axes DX1, DX2 of the lower traveling body 22 are parallel in space.
  • the outline of the vehicle main body 20 as seen from the left side when the lower traveling body 22 is positioned is shown.
  • the vehicle body 20 and the guide wire 70 can be positioned. That is, for example, a guide line indicating the outline of the vehicle main body 20 viewed from the right side or a guide line indicating the outline of the vehicle main body 20 viewed from the left front side is unnecessary, and the dimension data of the hydraulic excavator 3 that is already known. Based on the above, it is sufficient to prepare only a guide line indicating the outline of the vehicle body 20 viewed from the left side.
  • the guide line 70 shows the outline of the vehicle body 20 viewed from the left side.
  • the visibility of the actual vehicle body 20 displayed on the display screen of the display device 64 is ensured, so that the worker Mb who is the photographer can see the actual image displayed on the display screen of the display device 64. While looking at the vehicle body 20 and the guide line 70, it is possible to move to an appropriate photographing position.
  • the evaluation apparatus 600 is separated from the excavator 3 by a predetermined distance, for example, about 10 [m], on the left side of the idler wheel 26 that is a specific part of the vehicle body 20.
  • a third display control unit 605C for causing the display device 64 to display the instruction data 75 for instructing to do so.
  • the operator Mb who is a photographer can quickly move to an appropriate photographing position by looking at the instruction data 75 displayed on the display screen of the display device 64.
  • the evaluation device 600 performs image processing on the shooting data of the vehicle main body 20 to determine whether or not the vehicle main body 20 and the guide line 70 are positioned, and the determination unit 611. And a fourth display control unit 605D that causes the display device 64 to display positioning state data 71 indicating that the positioning has been performed.
  • the operator Mb who is a photographer can recognize whether or not the vehicle body 20 and the guide line 70 have been positioned by looking at the positioning state data 71 displayed on the display screen of the display device 64.
  • the evaluation device 600 generates a detection data acquisition unit 601 that acquires imaging data including the operating state of the work machine 10 and target data generation that generates target data including the target movement condition of the work machine 10. And an evaluation data generation unit 604 that generates evaluation data of the operator Ma based on the detection data and the target data.
  • a detection data acquisition unit 601 that acquires imaging data including the operating state of the work machine 10 and target data generation that generates target data including the target movement condition of the work machine 10.
  • an evaluation data generation unit 604 that generates evaluation data of the operator Ma based on the detection data and the target data.
  • the operating state of the work machine 10 is evaluated. Based on the imaging data of the imaging device 63, at least one of the excavation amount and excavation time of the bucket 13 may be evaluated.
  • the skill of the operator Ma is evaluated based on the shooting data of the work machine 10.
  • the operating state of the work machine 10 may be evaluated. For example, an inspection process for determining whether the operating state of the work machine 10 is normal based on the imaging data of the work machine 10 may be performed.
  • the work vehicle 3 is the hydraulic excavator 3.
  • the work vehicle 3 can also be applied to a work vehicle having a work machine that can move relative to the vehicle body, such as a bulldozer, a wheel loader, and a forklift.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

 評価装置は、撮影装置により取得される撮影データを表示装置の表示画面に表示させる第1表示制御部と、撮影される作業車両に関する作業車両データに基づくものであって、前記撮影装置の撮影位置を決定するためのガイド表示を前記表示画面に表示させる第2表示制御部と、を備える。

Description

評価装置
 本発明は、評価装置に関する。
 特許文献1に、施工現場における掘削作業において使用される作業車両が開示されている。
特開2009-287298号公報
 作業車両を操作する操作者の技量を評価したり作業車両を点検したりする場合、作業車両の動きをカメラやビデオカメラといった撮影装置で撮影する場合がある。その場合、撮影者の安全確保や、撮影装置と作業車両の作業機とが接触することを回避することが求められる。また、撮影者あるいは撮影装置の位置が、撮影のタイミングや撮影者によっても変わることなく、適正な撮影位置で撮影を実施できる技術が要望される。つまり、撮影装置で撮影した画像に基づき、作業車両を操作する操作者の技量を評価する場合、一定の撮影条件で撮影を行わなければ、技量の評価に比較障害が発生するおそれがある。また、撮影装置で撮影した画像に基づき、作業車両の点検(例えば、作業機の動作速度の点検)を行う場合、一定の撮影条件で撮影を行わなければ、作業車両の不調の有無の判断が正しく行われないおそれがある。
 本発明の態様は、撮影者の安全を確保しつつ適正な撮影位置で作業車両を撮影して、操作者の評価又は作業車両の状態についての評価を実施できる評価装置を提供することを目的とする。
 本発明の態様に従えば、撮影装置により取得される撮影データを表示装置の表示画面に表示させる第1表示制御部と、撮影される作業車両に関する作業車両データに基づくものであって、前記撮影装置の撮影位置を決定するためのガイド表示を前記表示画面に表示させる第2表示制御部と、を備える評価装置が提供される。
 本発明の態様によれば、作業車両の操作者の技量を客観的に評価できる評価装置が提供される。
図1は、本実施形態に係る油圧ショベルの一例を示す側面図である。 図2は、本実施形態に係る油圧ショベルの一例を示す平面図である。 図3は、本実施形態に係る操作装置の一例を模式的に示す図である。 図4は、本実施形態に係る評価システムのハードウエア構成の一例を模式的に示す図である。 図5は、本実施形態に係る携帯機器の一例を示す機能ブロック図である。 図6は、本実施形態に係る評価方法の一例を示すフローチャートである。 図7は、本実施形態に係る撮影位置決定方法の一例を説明するための図である。 図8は、本実施形態に係る撮影方法の一例を説明するための図である。 図9は、本実施形態に係る撮影方法の一例を説明するための図である。 図10は、本実施形態に係る撮影及び評価方法の一例を示すフローチャートである。 図11は、本実施形態に係る作業機の移動終了位置の特定方法を説明するための図である。 図12は、本実施形態に係る作業機の目標移動軌跡を示す目標データの生成方法を説明するための図である。 図13は、本実施形態に係る評価データの表示方法を説明するための図である。
 以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する各実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。
<作業車両>
 図1は、本実施形態に係る作業車両3の一例を示す側面図である。図2は、本実施形態に係る作業車両3の一例を示す平面図である。本実施形態においては、作業車両3が油圧ショベルである例について説明する。なお、図2は、図1のような作業機10の姿勢において、油圧ショベル3を上方から見たときの平面図を示している。
 油圧ショベル3は、施工現場において稼働する。油圧ショベル3は、その油圧ショベル3に搭乗した操作者Maに操作される。操作者Maは、作業車両3を操作して施工現場を施工する。
 図1及び図2に示すように、油圧ショベル3は、油圧により作動する作業機10と、作業機10を支持する車両本体20とを備える。車両本体20は、上部旋回体21と、上部旋回体21を支持する下部走行体22とを含む。
 上部旋回体21は、キャブ23と、機械室24と、カウンタウエイト24Cとを有する。キャブ23は、運転室を含む。運転室には、操作者Maが着座する運転席7と、操作者Maに操作される操作装置8とが配置される。操作装置8は、作業機10及び上部旋回体21を操作するための作業レバー、及び下部走行体22を操作するための走行レバーを含む。作業機10は、操作装置8を介して操作者Maに操作される。上部旋回体21及び下部走行体22は、操作装置8を介して操作者Maに操作される。操作者Maは、運転席7に着座した状態で操作装置8を操作可能である。
 下部走行体21は、スプロケットと呼ばれる駆動輪25と、アイドラと呼ばれる遊動輪26と、駆動輪25及び遊動輪26に支持される履帯27とを有する。駆動輪25は、例えば油圧モータのような駆動源が発生する動力により作動する。駆動輪25は、操作装置8の走行レバーを操作することで回転する。駆動輪25は、回転軸DX1を回転中心として回転する。遊動輪26は、回転軸DX2を回転中心として回転する。回転軸DX1と回転軸DX2とは平行である。駆動輪25が回転して履帯27が回転することにより油圧ショベル3が前後に走行あるいは旋回する。
 上部旋回体21は、下部走行体22に支持された状態で旋回軸RXを中心に旋回可能である。
 作業機10は、車両本体20の上部旋回体21に相対移動可能に支持される。作業機10は、上部旋回体21に連結されるブーム11と、ブーム11に連結されるアーム12と、アーム12に連結されるバケット13とを有する。バケット13は、例えば凸形状の複数の刃を有する。刃の先端部である刃先13Bは複数設けられる。なお、バケット13の刃先13Bは、バケット13に設けられたストレート形状の刃の先端部でもよい。
 上部旋回体21とブーム11とはブームピン11Pを介して連結される。ブーム11は、回転軸AX1を支点として動作可能に上部旋回体21に支持される。ブーム11とアーム12とはアームピン12Pを介して連結される。アーム12は、回転軸AX2を支点として動作可能にブーム11に支持される。アーム12とバケット13とはバケットピン13Pを介して連結される。バケット13は、回転軸AX3を支点として動作可能にアーム12に支持される。回転軸AX1と回転軸AX2と回転軸AX3とは前後方向に平行である。前後方向の定義については後述する。
 以下の説明においては、回転軸AX1,AX2,AX3の軸が延びる方向を適宜、上部旋回体21の車幅方向、と称し、旋回軸RXの軸が延びる方向を適宜、上部旋回体21の上下方向、と称し、回転軸AX1,AX2,AX3及び旋回軸RXの両方と直交する方向を適宜、上部旋回体21の前後方向、と称する。
 本実施形態においては、運転席7に着座した操作者Maを基準として、バケット13を含む作業機10が存在する方向が前方であり前方の逆方向が後方である。車幅方向の一方が右方であり右方の逆方向、すなわちキャブ23があるほうが左方である。バケット13は、上部旋回体21よりも前方に配置される。バケット13の複数の刃先13Bは、車幅方向に配置される。上部旋回体21は、下部走行体22の上方に配置される。
 作業機10は、油圧シリンダによって作動する。油圧ショベル3は、ブーム11を動作させるためのブームシリンダ14と、アーム12を動作させるためのアームシリンダ15と、バケット13を動作させるためのバケットシリンダ16とを有する。ブームシリンダ14が伸縮動作すると、ブーム11が回転軸AX1を支点に動作して、ブーム11の先端部が上下方向に移動する。アームシリンダ15が伸縮動作すると、アーム12が回転軸AX2を支点に動作して、アーム12の先端部が上下方向あるいは前後方向に移動する。バケットシリンダ16が伸縮動作すると、バケット13が回転軸AX3を支点に動作して、バケット13の刃先13Bが上下方向あるいは前後方向に移動する。ブームシリンダ14、アームシリンダ15、及びバケットシリンダ16を含む作業機10の油圧シリンダは、操作装置8の作業レバーによって操作される。作業機10の油圧シリンダが伸縮動作することにより、作業機10の姿勢が変化する。
<操作装置>
 次に、本実施形態に係る操作装置8について説明する。図3は、本実施形態に係る操作装置8の一例を模式的に示す図である。操作装置8の作業レバーは、車幅方向において運転席7の中心よりも右方に配置される右作業レバー8WRと、車幅方向において運転席7の中心よりも左方に配置される左作業レバー8WLとを含む。操作装置8の走行レバーは、車幅方向において運転席7の中心よりも右方に配置される右走行レバー8MRと、車幅方向において運転席7の中心よりも左方に配置される左走行レバー8MLとを含む。
 中立位置にある右作業レバー8WRを前方に傾倒するとブーム11が下げ動作し後方に傾倒するとブーム11が上げ動作する。中立位置にある右作業レバー8WRを右方に傾倒するとバケット13がダンプ動作し左方に傾倒するとバケット13が掻き込み動作する。
 中立位置にある左作業レバー8WLを右方に傾倒すると上部旋回体21が右旋回し左方に傾倒すると上部旋回体21が左旋回する。中立位置にある左作業レバー8WLを後方に傾倒するとアーム12が掻き込み動作し前方に傾倒するとアーム12が伸ばし動作する。
 中立位置にある右走行レバー8MRを前方に傾倒すると右方のクローラ27が前進動作し後方に傾倒すると右方のクローラ27が後進動作する。中立位置にある左走行レバー8MLを前方に傾倒すると左方のクローラ27が前進動作し後方に傾倒すると左方のクローラ27が後進動作する。
 なお、右作業レバー8WR及び左作業レバー8WLの傾倒方向と作業機10あるいは上部旋回対21の旋回方向との動作関係についての操作パターンは、上述の関係でなくてもよい。
<ハードウエア構成>
 本実施形態においては、施工現場において操作者Maとは別の作業者Mbが作業を実施する。作業者Mbは、例えば施工現場で補助作業を実施する。操作者Ma又は作業者Mbは、コンピュータシステムを含む携帯機器6を所持する。携帯機器6は、スマートフォン又はタブレット型パーソナルコンピュータのような携帯型コンピュータを含む。
 図4は、本実施形態に係る携帯機器6のハードウエア構成の一例を模式的に示す図である。携帯機器6は、コンピュータシステムを含む。携帯機器6は、演算処理装置60と、記憶装置61と、携帯機器6の位置を検出する位置検出装置62と、撮影装置63と、表示装置64と、入力装置65と、入出力インターフェース装置66とを有する。
 演算処理装置60は、CPU(Central Processing Unit)のようなマイクロプロセッサを含む。記憶装置61は、ROM(Read Only Memory)又はRAM(Random Access Memory)のようなメモリ及びストレージを含む。演算処理装置60は、記憶装置61に記憶されているコンピュータプログラムに従って演算処理を実施する。
 位置検出装置62は、全地球測位システム(Global Navigation Satellite System:GNSS)により、グローバル座標系における携帯機器6の位置を示す絶対位置を検出する。
 撮影装置63は、被写体の動画データを取得可能なビデオカメラ機能、及び被写体の静止画データを取得可能なスチルカメラ機能を有する。撮影装置63は、撮影データを取得するものであって、光学系と、光学系を介して被写体の撮影データを取得する撮像素子とを有する。撮像素子は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを含む。
 撮影装置63は、油圧ショベル3を撮影可能である。撮影装置63は、油圧ショベル3の作業機10の動きを示す動作データを検出する検出装置として機能する。撮影装置63は、作業機10の動作データである撮影データを取得して、作業機10の移動軌跡、移動速度、及び移動時間の少なくとも一つを含む作業機10の移動データを取得可能である。作業機10の撮影データは、作業機10の動画データ及び静止画データの一方又は両方を含む。
 表示装置64は、液晶ディスプレイ(Liquid Crystal Display:LCD)又は有機ELディスプレイ(Organic Electroluminescence Display:OELD)のようなフラットパネルディスプレイを含む。入力装置65は、操作されることにより入力データを生成する。本実施形態において、入力装置65は、表示装置64の表示画面に設けられたタッチセンサを含む。表示装置64は、タッチパネルを含む。
 入出力インターフェース装置66は、演算処理装置60と記憶装置61と位置検出装置62と撮影装置63と表示装置64と入力装置65との間でデータ通信する。
<携帯機器>
 次に、本実施形態に係る携帯機器6の機能について説明する。図5は、本実施形態に係る携帯機器6の一例を示す機能ブロック図である。携帯機器6は、油圧ショベル3の動作の評価、及び油圧ショベル3を操作する操作者Maの技量の評価の一方又は両方を実施する評価装置600として機能する。評価装置600の機能は、演算処理装置60及び記憶装置61によって発揮される。
 評価装置600は、撮影装置63によって撮影された油圧ショベル3の撮影データを取得する検出データ取得部601と、撮影装置63によって撮影された油圧ショベル3の撮影データに基づいて作業機10の位置データを算出する位置データ算出部602と、作業機10の目標移動条件を含む目標データを生成する目標データ生成部603と、撮影データと目標データとに基づいて評価データを生成する評価データ生成部604と、油圧ショベル3の撮影データや、評価データを含む表示データを表示装置64の表示画面に表示させる第1表示制御部605Aと、ガイド線70を表示装置64の表示画面に表示させる第2表示制御部605Bと、撮影装置63が油圧ショベル3から規定距離だけ離れるように指示する指示データ75を表示装置64の表示画面に表示させる第3表示制御部605Cと、車両本体20とガイド線70とが位置決めされたことを示す位置決め状態データ71を表示装置64の表示画面に表示させる第4表示制御部605Dと、車両本体20とガイド線70とが位置決めされたか否かを判定する判定部611と、表示装置64を制御する表示制御部605と、記憶部608と、油圧ショベル3の大きさ(寸法)及び作業機10の可動範囲を含む作業車両データを取得する作業車両データ取得部609と、入出力部610とを有する。評価装置600は、入出力部610を介してデータ通信する。
 検出データ取得部601は、作業機10を有する油圧ショベル3の撮影データを取得する。操作者Maによって操作装置8が操作されることで作業機10が動作する。撮影装置63によって、作業機10の動作が撮影されることで撮影データが得られる。
 位置データ取得部602は、撮影装置63によって撮影された作業機10の撮影データから作業機10の位置データを算出する。位置データ取得部602は、例えばパターンマッチング法を使って、作業機10の撮影データから作業機10の位置データを算出する。
 目標データ生成部603は、撮影装置63によって撮影された作業機10の撮影データから作業機10の目標移動軌跡を含む目標データを生成する。
 評価データ生成部604は、検出データ取得部601で取得された撮影データと目標データ生成部602で生成された目標データとに基づいて評価データを生成する。評価データは、作業機10の動作の評価データ及び操作装置8を介して作業機10を操作した操作者Maの評価データの一方又は両方を含む。
 第1表示制御部605Aは、撮影装置63により取得される油圧ショベル3の撮影データを表示装置64の表示画面に表示させる。また、第1表示制御部605Aは、検出データ及び目標データから表示データを生成して表示装置64に表示させる。また、第1表示制御部605Aは、評価データから表示データを生成して表示装置64に表示させる。
 第2表示制御部605Bは、撮影される油圧ショベル3に関する作業車両データに基づくものであって、撮影装置63の撮影位置を決定するためのガイド表示であるガイド線70を表示装置64の表示画面に表示させる。第2表示制御部605Bは、表示装置64の表示画面において油圧ショベル3の車両本体30とガイド線70とが位置決めされたとき、油圧ショベル3の作業機10が可動範囲の限界位置に動作しても油圧ショベル3の全体が撮影装置63で撮影できるような表示形態でガイド線70を表示させる。また、第2表示制御部605Bは、表示装置64の表示画面において油圧ショベル3の車両本体20とガイド線70とが位置決めされたとき、撮影装置63の撮影位置が油圧ショベル3から規定距離だけ離れるような表示形態でガイド線70を表示させる。
 第2表示制御部605Bは、表示装置64の表示画面において大きさ(寸法)及び位置が固定された表示形態のガイド線70を、表示装置64の表示画面に表示させる。ガイド線70は、油圧ショベル3の大きさ(寸法)及び車両本体20に対する作業機10の可動範囲を含む作業車両データに基づいて生成される。
 第3表示制御部605Cは、指示データ75を表示装置64の表示画面に表示させる。指示データ75とは、油圧ショベル3の車両本体20の特定部位の側方において、撮影装置63が油圧ショベル3から規定距離だけ離れるように指示するものである。
 第4表示制御部605Dは、位置決め状態データ71を表示装置64の表示画面に表示させる。位置決め状態データ71とは、表示装置64の表示画面において、車両本体20とガイド線70とが位置決めされたと判定されたとき、位置決めされたことを示すものである。
 判定部611は、車両本体20の撮影データを画像処理して、表示装置64の表示画面に表示された油圧ショベル3の撮影データが示す油圧ショベル3の車両本体20と、その表示装置64の表示画面に表示されたガイド線70とが位置決めされたか否かを判定する。
 記憶部608は、各種のデータを記憶する。また、記憶部608は、本実施形態に係る評価方法を実施するためのコンピュータプログラムを記憶する。本実施形態において、記憶部608は、作業車両データを記憶する。
 作業車両データ取得部609は、油圧ショベル3の大きさ(寸法)及び車両本体20に対する作業機10の可動範囲を含む作業車両データを記憶部608から取得する。油圧ショベル3の大きさ(寸法)とは、少なくとも上部旋回体21の輪郭あるいは下部走行体22の輪郭を形成するための大きさ(寸法)を定めるデータである。本実施形態では、作業車両データに含む油圧ショベル3の寸法を示すデータとして、上部旋回体21の輪郭及び下部走行体22の輪郭を形成するための大きさ(寸法)を定めるデータを用いた場合として説明する。なお、作業車両データに含む油圧ショベル3の寸法を示すデータとして、上部旋回体21の輪郭を形成するための大きさ(寸法)を定めるデータのみを用い、車両本体20の輪郭を示すガイド線70を生成し、そのガイド線70を表示装置64の表示画面に表示させるようにしてもよい。
 なお、ガイド線70に代えて、車両本体20の輪郭を含む車両本体20の形状を示した図形を表示させてもよい。ガイド表示とは、撮影位置を決定するためのものであって、ガイド線あるいはこのような図形を撮影位置を案内するために表示するものである。本実施形態では、ガイド表示としてガイド線70を用いる場合について説明する。
 作業機10の可動範囲とは、作業機10の油圧シリンダを伸縮動作させることで作業機10がとりえる姿勢の範囲を定めるデータである。可動範囲を示す作業車両データとして、作業機10を最も伸ばした状態、例えば、刃先13Bと旋回軸RXとの距離が最も長くなったときの距離を示すデータ(後述する最大旋回半径)を用いることができる。本実施形態においては、作業車両データは、記憶部608に記憶されている。作業車両データ取得部609は、記憶部608から作業車両データを取得する。
 なお、作業車両データは、入力装置65から入力されてもよい。作業車両データ取得部609は、入力装置65から作業車両データを取得してもよい。
 なお、記憶部608に、作業車両データに基づいて生成されたガイド線70を示すガイド表示データが記憶され、第2表示制御部605Bは、その記憶部608に記憶されているガイド表示データに基づいて、ガイド線70を表示装置64の表示画面に表示させてもよい。なお、入力装置65を介してガイド表示データが入力され、第2表制御部605Bは、その入力装置65を介して入力されたガイド表示データに基づいて、ガイド線70を表示装置64の表示画面に表示させてもよい。
<評価方法>
 次に、本実施形態に係る操作者Maの技量の評価方法について説明する。図6は、本実施形態に係る評価方法の一例を示すフローチャートである。
 本実施形態において、評価方法は、撮影装置63による油圧ショベル3の撮影準備を実施するステップ(S200)と、撮影装置63を使って油圧ショベル3を撮影し操作者Maの技量を評価するステップ(S300)とを含む。
(撮影準備)
 撮影装置63による油圧ショベル3の撮影準備が実施される(ステップS200)。本実施形態において、撮影準備は、油圧ショベル3に対する撮影装置63の撮影位置を決定することを含む。
 油圧ショベル3の撮影条件を一定にするために、撮影準備として、以下に説明するような、油圧ショベル3とその油圧ショベル3を撮影する撮影装置63との相対位置を決定する処理が実施される。
 図7から図9は、本実施形態に係る撮影位置決定方法の一例を説明するための図である。操作者Ma又は作業者Mbによって携帯機器6の入力装置65が操作されることにより、記憶部608に記憶されているコンピュータプログラムが起動する。コンピュータプログラムの起動により、携帯機器6は、撮影準備モードに遷移する。撮影準備モードにおいては、撮影装置63の光学系のズーム機能が制限される。油圧ショベル3は、固定された規定撮影倍率の撮影装置63によって撮影される。なお、本実施形態では、油圧ショベル3を左側方から見たときに、図1に示すように、作業機10に近い方に遊動輪26が配置され、作業機10から遠い方に駆動輪25が配置されるように上部旋回体21と下部走行体22とが位置決めされている場合について説明する。つまり、作業機10の回転軸AX1,AX2,AX3と下部走行体22の回転軸DX1,DX2とが空間上で平行となるように上部旋回体21と下部走行体22とが位置決めされている。
 しかし、油圧ショベル3を左側方から見たときに、図1とは異なり、作業機10に近い方に駆動輪25が配置され、作業機10から遠い方に遊動輪26が配置されるように上部旋回体21と下部走行体22とが位置決めされていてもよい。この場合も、作業機10の回転軸AX1,AX2,AX3と下部走行体22の回転軸DX1,DX2とが空間上で平行となるように上部旋回体21と下部走行体22とが位置決めされている。なお、このような上部旋回体21と下部走行体22との位置決めにおいては、後述する車両本体20の特定部位は、駆動輪25となる。
 撮影準備モードにおいては、図7に示すように、撮影装置63が車両本体20の特定部位の側方において油圧ショベル3から規定距離だけ離れるように指示する指示データ75が表示装置64に表示される。なお、本実施形態において、車両本体20の特定部位は、アイドラとも呼ばれる遊動輪26である。上述のように、スプロケットとも呼ばれる駆動輪25を車両本体20の特定部位としてもよい、つまり、撮影装置63が車両本体20の駆動輪25の側方において油圧ショベル3から規定距離だけ離れるように指示する指示データ75が表示装置64に表示されるようにしてもよい。規定距離は、例えば、約10[m]である。この規定距離は、作業機10を最も伸ばした状態で上部旋回体21を旋回させたとしても、撮影装置63に接触しない距離である。作業機10を最も伸ばした状態とは、操作装置8が操作されて刃先13Bと旋回軸RXとの距離が最も長くなるように作業機10の姿勢がとられた状態である。その状態での刃先13Bと旋回軸RXとの距離を最大旋回半径と呼ぶ。規定距離は、最大旋回半径よりも大きい。第3表示制御部605Cは、撮影装置63が車両本体20の遊動輪26の左側方において油圧ショベル3から規定距離だけ離れるように指示する指示データ75を表示装置64の表示画面に表示させる。本実施形態において、指示データ75は、車両本体20を模した図形データと、「アイドラ軸上に立って下さい」という文字データと、「約10m離れて下さい」という文字データとを含む。
 図7に示す表示装置64の表示画面に表示された「次へ」の部分が押下されると、図8に示すように、表示装置64の表示画面にガイド線70が表示される。第2表示制御部605Bは、表示装置64の表示画面においてガイド線70が表示される位置や大きさ(寸法)を固定して作業車両データに基づいたガイド線70を表示装置64の表示画面に表示させる。すなわち、ガイド線70は、後述するように油圧ショベル3の車両本体20の輪郭(例えば、上部旋回体21と下部走行体22の輪郭)を示した線であって、図8に示すように破線で表示されるグラフィックデータであり記憶部608に予め記憶されている。作業車両データは、油圧ショベル3の寸法を含み、ガイド線70は、作業車両データに含まれる油圧ショベル3の寸法に基づき、所定の縮尺で油圧ショベル3の車両本体20の輪郭を示したものである。ガイド線70は、破線に代えて実線で表示してもよく、さらに、例えば赤色で強調表示してもよい。
 なお、ガイド線70となるグラフィックデータは、記憶部608に予め記憶しておいてもよいし、作業車両データ取得部609が記憶部608あるいは入力装置65から取得した作業車両データを用いて、第2表示制御部605Bが生成してもよい。
 操作者Maは、油圧ショベル3の運転席7に着座する。一方、携帯機器6は、作業者Mbに所持される。作業者Mbは、携帯機器6の撮影装置63で油圧ショベル3の撮影データを取得する。図8に示すように、油圧ショベル3の撮影データに基づいて生成された表示データが携帯機器6の表示装置64に表示される。つまり、図8に示すように、検出装置である撮影装置63の前にある油圧ショベル3を捉えた画像が、表示装置64に表示される。表示装置64の表示画面は、携帯機器6の一方の面に配置され、図8は、当該一方の面から携帯機器6をみた様子を示している。撮影装置63の光学系は、携帯機器6の他方の面に配置される。なお、本実施形態では、撮影装置63と表示装置64とが一体となった携帯機器6を用いる場合について説明するが、図5に示す、撮影装置63が、入力装置65を含む表示装置64とは別体となって、それぞれが有線あるいは無線により相互通信ができるようにしてもよい。その場合、検出装置である撮影装置63によって撮影された撮影データが、撮影装置63とは離れた位置にある検出データ取得部601に送信されることで、検出データ取得部601は撮影データを取得する。そして、作業者Mbは、油圧ショベル3から離れた場所にある、入力装置65を含む表示装置64によって撮影データを確認できる。作業者Mbは、油圧ショベル3の撮影データを表示装置64で確認しながら、撮影装置63で油圧ショベル3を撮影することができる。
 ガイド線70は、油圧ショベル3を左側方から見た車両本体20の輪郭を示す。本実施形態において、ガイド線70は、作業機10の回転軸AX1,AX2,AX3と下部走行体22の回転軸DX1,DX2とが空間上で平行となるように上部旋回体21と下部走行体22とが位置決めされたときの左側方から見た車両本体20の輪郭を示す。つまり、車両本体20の輪郭とは、下部走行体22に対して、上部旋回体21が前方を向いた状態で、油圧ショベル3を真横から撮影するように撮影装置63を配置した際に、撮影装置63が捉えることができる車両本体20の輪郭である。なお、ガイド線70は、油圧ショベル3の車格や形状に応じて、記憶部608に複数のグラフィックデータを用意しておき、撮影対象となる油圧ショベル3の車格や形状に応じて、入力装置65の操作により切り替えることができるようにしてもよい。
 表示制御部605は、撮影準備モードにおいて油圧ショベル3に対する撮影装置63の撮影位置を一定にするために、油圧ショベル3を左側方から見た車両本体20の輪郭を示すガイド線70を表示装置64の表示画面に表示させる。表示装置64の表示画面において、ガイド線70が表示される位置や大きさ(寸法)は固定されている。
 表示装置64の表示画面に表示されているガイド線70の位置及び大きさ(寸法)は、表示装置64の表示画面に表示されている実際の車両本体20の輪郭とガイド線70が示す輪郭(以下、ガイド線70)とが重なるように一致したときに、油圧ショベル3に対する撮影装置63が規定の相対位置に配置されるように設定されている。撮影者である作業者Mbは、撮影装置63によって撮影されている車両本体20の輪郭とガイド線70とが一致するように、携帯機器6を所持した状態で油圧ショベル3の撮影データ(表示装置64の表示画面)を確認しながら移動する。車両本体20の輪郭とガイド線70とが一致したときの携帯機器6の位置が撮影位置に決定される。
 作業車両データ取得部609は、油圧ショベル3の寸法及び作業機10の可動範囲を含む作業車両データを記憶部608又は入力装置65から取得する。表示装置64の表示画面において車両本体20の輪郭とガイド線70とが一致したときに油圧ショベル3に対する撮影装置63が規定の相対位置に配置されるようにするために、第2表示制御部605Bは、例えば、作業車両データ取得部609によって取得された作業車両データに基づいてガイド線70を表示させる。これにより、表示装置64の表示画面において車両本体20の輪郭とガイド線70とを一致させれば、油圧ショベル3の撮影において油圧ショベル3と撮影装置63との相対位置を常に一定にすることができ、撮影する作業者Mbが異なっても、撮影するタイミングが異なっても撮影条件を一定にすることができる。
 本実施形態においては、車両本体20の特定部位である遊動輪26の左側方において油圧ショベル3から規定距離である約10[m]だけ離れた撮影装置63によって撮影された車両本体20の輪郭とガイド線70とが表示装置64の表示画面において一致するように、ガイド線70の大きさ(寸法)及び形状が定められている。撮影装置63が遊動輪26の左側方に配置され、油圧ショベル3から規定距離だけ離れたとき、表示装置64の表示画面において車両本体20の輪郭とガイド線70とが一致する。
 本実施形態においては、第2表示制御部605Bは、表示装置64の表示画面において車両本体20の輪郭とガイド線70とが一致するように位置決めされたとき、油圧ショベル2の全体、すなわち、少なくとも上部旋回体21と作業機10とが撮影装置63によって捉えられ表示装置64の表示画面に表示されるように、作業車両データに含まれる作業機10の可動範囲に基づいて、表示装置64の表示画面にガイド線70を表示させる。
 すなわち、第2表示制御部605Bは、表示装置64の表示画面において車両本体20の輪郭とガイド線70とが一致するように撮影装置63が位置決めされたとき、作業機10がその作業機10の可動範囲の限界位置に動作しても、作業機10を含む油圧ショベル3の全体が撮影装置63によって撮影され表示装置64の表示画面に表示されるような表示形態でガイド線70を表示させる。換言すれば、刃先13Bと旋回軸RXとの距離が最も大きくなるように作業機10が伸ばされた状態でも、表示画面において車両本体20の輪郭とガイド線70とが一致するように位置決めされたとき、作業機10を含む油圧ショベル3の全体が撮影装置63により撮影されて表示装置64の表示画面に表示されるように、ガイド線70が表示装置64に表示される。つまり、作業者Mbは、作業機10の可動範囲を意識せずとも、表示装置64の表示画面を確認しながら、車両本体20の輪郭とガイド線70とが一致するように撮影装置63を位置決めすれば、作業機10がどんな姿勢であっても、作業機10を含む油圧ショベル3の全体を撮影装置63により捉えることができる。これにより、撮影装置63は、作業機10が伸ばされた状態からの動作が行われても作業機10の撮影データを検出することができ、操作者Maの技量の評価や作業車両の点検のために必要な撮影データを確実に取得することができる。
 また、本実施形態においては、第2表示制御部605Bは、表示装置64の表示画面において車両本体20の輪郭とガイド線70とが一致するように位置決めされたとき、撮影装置63が油圧ショベル3から規定距離だけ離れるように、表示装置64の表示画面にガイド線70を表示させる。本実施形態において、規定距離は、上述のように、上部旋回体21に支持された作業機10の最大旋回半径、すなわち可動範囲よりも大きい。最大旋回半径とは、刃先13Bと旋回軸RXとの距離が最も大きくなるように作業機10が伸ばされた状態における刃先3Bと旋回軸RXとの距離である。これにより、ガイド線70にしたがって撮影装置63を位置決めすれば、作業機10が伸ばされた状態で上部旋回体21が旋回しても、少なくとも撮影装置63が作業機10に接触することがなく、例えば、撮影装置63を備えた携帯機器6を用いて油圧ショベル3を撮影する場合でも、作業機10と携帯機器6を所持した作業者Mbとの接触が抑制され、作業者Mbの安全性が確保される。つまり、作業者Mbは、油圧シリンダの伸縮動作にともない作業機1が稼働する範囲(作業機10の可動範囲)だけでなく、上部旋回体21の旋回に伴う、作業機10の可動範囲についても意識せずに、表示装置64の表示画面を確認しながら、車両本体20の輪郭とガイド線70とが一致するように撮影装置63を位置決めすれば、上部旋回体21(作業機10)が不意に旋回したとしても、安全性を確保しながら作業機10を含む油圧ショベル3の全体を撮影装置63により捉えることができる。したがって、ガイド線70は、油圧ショベル3の寸法及び作業機10の可動範囲を含む作業車両データに基づいて、表示装置64の表示画面に表示される大きさ(寸法)及び位置が固定されるものである。
 判定部611は、車両本体20の撮影データを画像処理して、撮影データに含まれる車両本体20とガイド線70とが位置決めされたか否かを判定する。この場合、少なくとも撮影データに含まれる上部旋回体21の輪郭とガイド線70が示す上部旋回体21の輪郭とが位置決めされたか否かを判定するようにしてもよい、画像マッピングにおいて撮影装置63の光学系のピント合わせが行われると判定用の数値が得られる。判定部611は、その数値に基づいて、車両本体20とガイド線70とが位置決めされたか否かを判定する。
 撮影装置63が特定部位である遊動輪26の左側方において油圧ショベル3から規定距離だけ離れ、表示装置64の表示画面において車両本体20の輪郭とガイド線70とが一致するように位置決めされ、油圧ショベル3と撮影装置63とが規定の相対位置に配置されたと判定部611において判定された場合、第4表示制御部605Dは、油圧ショベル3に対する撮影装置63が規定の相対位置に配置され車両本体20とガイド線70とが位置決めされたことを示す位置決め状態データ71を表示装置64に表示させる。本実施形態においては、油圧ショベル3に対する撮影装置63が規定の相対位置に配置され車両本体20とガイド線70とが位置決めされたことを示す第1の特定色(例えば赤色)のマーク71が表示装置64に表示される。
 一方、表示装置64の表示画面において車両本体20の輪郭とガイド線70とが一致せず、油圧ショベル3に対する撮影装置63が規定の相対位置に配置されていないと判定された場合、図9に示すように、第4表示制御部605Dは、油圧ショベル3に対する撮影装置63が規定の相対位置に配置されていないことを示す位置決め状態データ72を表示装置64に表示させる。本実施形態においては、油圧ショベル3に対する撮影装置63が規定の相対位置に配置されていないことを示す第2の特定色(例えば青色)のマーク72が表示装置64に表示される。なお、位置決め状態データ71,72は、特定色の変更に代えて、あるいは特定色の変更とともに、例えば、位置決め状態データを点滅から点灯に切り替えて表示させることで、油圧ショベル3に対する撮影装置63が規定の相対位置に配置されたことを示すようにしてもよい。
 マーク72が表示されている間は、撮影装置63は撮影制限状態となり、検出データ取得部601による油圧ショベル3の撮影データの取得が制限される。マーク71が表示されると、撮影装置63は撮影可能状態となり、検出データ取得部601は油圧ショベル3の撮影データを取得可能である。
 なお、油圧ショベル3に対する撮影装置63が規定の相対位置に配置されたと判定部611において判定された場合、ガイド線70が第3の特定色(例えば緑色)で表示され、油圧ショベル3に対する撮影装置63が規定の相対位置に配置されていないと判定部611において判定された場合、ガイド線70が第4の特定色(例えば赤色)で表示されてもよい。また、ガイド線70の特定色の変更に代えて、あるいは特定色の変更とともに、例えば、ガイド線70を点滅から点灯に切り替えて表示させることで、油圧ショベル3に対する撮影装置63が規定の相対位置に配置されたことを示すようにしてもよい。
 なお、図8に示す例では、上部旋回体21の前方に遊動輪26が配置され後方に駆動輪25が配置されており、撮影装置63が遊動輪26の左側方において油圧ショベル3から規定距離だけ離れた位置が規定の撮影位置である。上部旋回体21の前方に駆動輪25が配置され後方に遊動輪26が配置された状態においては、撮影装置63が駆動輪25の左側方において油圧ショベル3から規定距離だけ離れた位置が規定の撮影位置となる。
 撮影位置が決定された後、上部旋回体21の位置を特定する処理が実施される。位置データ算出部602は、パターンマッチング法を使って、上部旋回体21の位置を特定する。上部旋回体21の位置が特定された後、位置データ算出部602は、作業機10が静止した状態での作業機10の位置を特定する。作業機10の位置の特定は、バケット13の刃先13Bの位置の特定を含む。
(撮影及び評価)
 作業機10の位置が特定されると、携帯機器6は、撮影及び評価モードに遷移する。撮影及び評価モードにおいても、撮影装置63の光学系のズーム機能が制限される。油圧ショベル3は、固定された規定撮影倍率の撮影装置63によって撮影される。撮影準備モードにおける規定撮影倍率と、撮影及び評価モードにおける規定撮影倍率とは同一である。
 操作者Maによって、操作装置8の操作が開始され、携帯機器6の撮影装置63によって油圧ショベル3の作業機10の動作が撮影される。本実施形態においては、操作者Maの評価において、作業機10が特定の移動条件で動作するように、操作者Maによる作業機10の操作条件が課題として操作者Maに与えられている。
 本実施形態においては、操作者Maに与えられる課題として、例えば、空中において無負荷状態のバケット13の刃先13Bが水平面に沿って直線の移動軌跡を描くように、作業機10を操作する操作条件が操作者Maに課される。操作者Maは、バケット13の刃先13Bが水平面に沿った直線の移動軌跡を描くように操作装置8を操作する。
 図10は、本実施形態に係る撮影及び評価方法の一例を示すフローチャートである。本実施形態に係る撮影及び評価方法は、作業機10の移動開始位置を特定するステップ(S310)と、移動する作業機10の撮影データを取得するステップ(S320)と、作業機10の移動終了位置を特定するステップ(S330)と、作業機10の目標データを生成するステップ(S340)と、撮影データと目標データとに基づいて操作者Maの評価データを生成するステップ(S350)と、表示装置64に評価データを表示するステップ(S360)とを含む。
 作業機10のバケット13の移動開始位置及び移動開始時点を特定する処理が実施される(ステップS310)。検出データ取得部601は、撮影装置63で撮影された作業機10の撮影データに基づいて、静止状態の作業機10のバケット13の刃先13Bの位置を特定する。検出データ取得部601は、バケット13の刃先13Bが静止している時間が規定時間以上であると判定した場合、そのバケット13の刃先13Bの位置をバケット13の移動開始位置SPに決定する。
 静止状態のバケット13が操作者Maの操作により移動を開始した場合、検出データ取得部601は、作業機10の撮影データに基づいて、バケット13の移動が開始されたことを検出する。検出データ取得部601は、静止状態のバケット13の刃先13Bが移動を開始した時点をバケット13の移動開始時点であると判定する。
 バケット13の移動が開始されると、検出データ取得部601は、作業機10の動画データである撮影データを撮影装置63から取得する(ステップS320)。
 本実施形態において、検出データ取得部601は、移動開始位置から移動終了位置までのバケット13の撮影データに基づいて、作業機10の移動軌跡を含む検出データを取得する。本実施形態において、検出データは、移動開始位置において静止状態の作業機10が移動を開始してから移動終了位置において移動を終了するまでの空中における無負荷状態の作業機10の移動軌跡を含む。検出データ取得部601は、撮影データに基づいて、バケット13の移動軌跡を取得する。また、検出データ取得部601は、撮影データに基づいて、バケット13が移動を開始してからの経過時間を取得する。
 図11は、バケット3の移動が開始された直後の表示装置64を示す。検出データ取得部601によりバケット13の移動が開始されたと判定されると、表示制御部605は、バケット13の刃先13Pを示す表示データを表示装置64に表示させる。本実施形態においては、表示制御部605は、刃先13Pを示す表示データであるプロットPDを表示装置64に表示させる。
 検出データ取得部601は、撮影データに基づいて、バケット13の位置データを算出し続け、バケット13の刃先13Bの移動軌跡を取得する。また、検出データ取得部601は、移動開始時点からのバケット13の移動時間を示す経過時間を取得する。
 表示制御部605は、検出データからバケット13の移動軌跡を示す表示データを生成して、表示装置64に表示させる。表示制御部605は、検出データに基づいて、バケット13の刃先13Bの位置を示すプロットPDを一定時間間隔で生成する。表示制御部605は、一定時間間隔で生成されたプロットPDを表示装置64に表示させる。図11において、プロットPDの間隔が短いことは、バケット13の移動速度が低いことを示し、プロットPDの間隔が長いことは、バケット13の移動速度が高いことを示す。
 また、表示制御部605は、複数のプロットPDに基づいて、バケット13の移動軌跡を示す検出ラインTLを表示装置64に表示させる。検出ラインTLは、複数のプロットPDを結んだ曲線状の表示データである。
 動作状態のバケット13が操作者Maの操作により移動を停止した場合、作業機10のバケット13の移動終了位置及び移動終了時点を特定する処理が実施される(ステップS330)。
 動作状態のバケット13が操作者Maの操作により移動を停止した場合、検出データ取得部601は、撮影データに基づいて、バケット13の移動が停止されたことを検出する。検出データ取得部601は、動作状態のバケット13の刃先13Bが移動を停止した位置をバケット13の移動終了位置に決定する。また、検出データ取得部601は、動作状態のバケット13の刃先13Bが移動を停止した時点をバケット13の移動終了時点に決定する。検出データ取得部601は、動作状態のバケット13が移動を停止し、そのバケット13の刃先13Bが静止している時間が規定時間以上であると判定した場合、そのバケット13の刃先13Bの位置をバケット13の移動終了位置に決定する。 
 作業機10の移動が停止された後、作業機10の目標移動軌跡を示す目標データを生成する処理が実施される(ステップS340)。図12は、本実施形態に係る作業機10の目標移動軌跡を示す目標データの生成方法を説明するための図である。目標データ生成部603は、バケット13の目標移動軌跡を示す目標データを生成する。
 本実施形態において、目標移動軌跡は、移動開始位置SPと移動終了位置EPとを結ぶ直線を含む。
 図12に示すように、表示制御部605は、目標データから表示装置64に表示させる表示データを生成して、表示装置64に表示させる。本実施形態においては、表示制御部605は、移動開始位置SPと移動終了位置EPとを結ぶ目標移動軌跡を示す目標ラインRLを表示装置64に表示させる。目標ラインRLは、移動開始位置SPと移動終了位置EPとを結んだ直線状の表示データである。
 また、表示制御部605は、プロットPD及び検出ラインTLを目標ラインRLと一緒に表示装置64に表示させる。このように、表示制御部605は、検出データからプロットPD及び検出ラインTLを含む表示データを生成し、目標データから目標ラインRLを含む表示データを生成して、表示装置64に表示させる。
 検出ラインTLと目標ラインRLとが表示装置64に同時に表示されることにより、作業者Mb又は操作者Maは、バケット13の実際の移動軌跡が、直線で示される目標移動軌跡からどれくらい離れているかを認識することができる。
 移動軌跡を含む検出データが取得され、目標移動軌跡を含む目標データが生成された後、検出データと目標データとに基づいて、操作者Maの評価データを生成する処理が実施される(ステップS350)。
 評価データ生成部604は、移動軌跡と目標移動軌跡との差分に基づいて、操作者Maの評価データを生成する。検出移動軌跡と目標移動軌跡との差分が小さいほど、目標移動軌跡に沿ってバケット13を移動することができたことを意味し、操作者Maの技量は高いと評価される。一方、移動軌跡と目標移動軌跡との差分が大きいほど、目標移動軌跡に沿ってバケット13を移動することができなかったことを意味し、操作者Maの技量は低いと評価される。
 本実施形態において、評価データ生成部は、移動軌跡を示す検出ラインTLと目標移動軌跡を示す目標ラインRLとで規定される平面の面積に基づいて、評価データを生成する。すなわち、図12の斜線部分で示すように、専ら曲線で示される検出ラインTLと、直線で示される目標ラインRLとで規定される平面の面積が算出され、その面積に基づいて評価データが生成される。面積が小さいほど操作者Maの技量は高いと評価され、面積が大きいほど操作者Maの技量は低いと評価される。
 また、本実施形態においては、撮影データに基づいて、移動開始位置SPと移動終了位置EPとが特定される。検出データ取得部601は、撮影データに基づいて、移動開始位置SPと移動終了位置EPとの距離を取得する。本実施形態において、検出データ取得部601が取得する検出データは、移動開始位置SPと移動終了位置EPとの間のバケット13の移動距離を含む。
 評価データ生成部604は、移動開始位置SPと移動終了位置EPとの距離に基づいて、評価データを生成する。移動開始位置SPと移動終了位置EPとの距離が長いほど、目標移動軌跡に沿ってバケット13を長距離移動することができたことを意味し、操作者Maの技量は高いと評価される。移動開始位置SPと移動終了位置EPとの距離が短いほど、目標移動軌跡に沿ってバケット13を短距離しか移動することができなかったことを意味し、操作者Maの技量は低いと評価される。
 また、本実施形態においては、撮影データに基づいて、バケット13が移動を開始してからの経過時間、及び移動開始位置SPから移動終了位置EPまでのバケット13の移動時間が取得される。検出データ取得部601は、内部タイマを有する。検出データ取得部601は、内部タイマの計測結果と撮影装置63の撮影データとに基づいて、バケット13の移動開始時点と移動終了時点との時間を取得する。本実施形態において、検出データ取得部601が取得する検出データは、移動開始時点SPと移動終了時点との間のバケット13の移動時間を含む。
 評価データ生成部604は、移動開始時点と移動終了時点との間のバケット13の移動時間に基づいて、評価データを生成する。移動開始時点と移動終了時点との時間が短いほど、目標移動軌跡に沿ってバケット13を短時間で移動することができたことを意味し、操作者Maの技量は高いと評価される。移動開始時点と移動終了時点との時間が長いほど、目標移動軌跡に沿ってバケット13を移動するのに長時間を要したことを意味し、操作者Maの技量は低いと評価される。
 また、上述のように、検出データ取得部601は、移動開始位置SPから移動終了位置EPまでのバケット13の実際の移動距離を算出する。したがって、検出データ取得部601は、移動開始位置SPから移動終了位置EPまでのバケット13の実際の移動距離と、移動開始時点から移動終了時点までのバケット13の移動時間とに基づいて、移動開始位置SPと移動終了位置EPとの間のバケット13の移動速度(平均移動速度)を算出することができる。本実施形態において、検出データ取得部601が取得する検出データは、移動開始位置SPと移動終了位置EPとの間のバケット13の移動速度を含む。
 評価データ生成部604は、移動開始位置SPと移動終了位置EPとの間のバケット13の移動速度に基づいて、評価データを生成する。移動開始位置SPと移動終了位置EPとの間のバケット13の移動速度が高いほど、目標移動軌跡に沿ってバケット13を高速度で移動することができたことを意味し、操作者Maの技量は高いと評価される。移動開始位置SPと移動終了位置EPとの間のバケット13の移動速度が低いほど、目標移動軌跡に沿ってバケット13を低速度でしか移動することができなかったことを意味し、操作者Maの技量は低いと評価される。
 評価データが生成された後、その評価データを表示装置64に表示させる処理が実施される(ステップS360)。図13は、本実施形態に係る評価データの表示方法を説明するための図である。表示制御部605は、評価データから表示データを生成して表示装置64に表示させる。
 図13に示すように、表示制御部605は、個人データである操作者Maの氏名を表示装置64に表示させる。また、表示制御部605は、評価データとして、目標移動軌跡と検出移動軌跡との差分を示す「直線性」、移動開始位置SPから移動終了位置EPまでのバケット13の移動距離を示す「距離」、移動開始位置SPから移動終了位置EPまでのバケット13の移動時間を示す「時間」、及び移動開始位置SPから移動終了位置EPまでのバケット13の平均移動速度を示す「速度」の各項目を表示装置64に表示させる。また、表示制御部605は、「直線性」、「距離」、「時間」、及び「速度」の各項目の数値データを表示装置64に表示させる。また、表示制御部605は、操作者Maの技量の得点を表示装置64に表示させる。記憶部608には、技量についてのリファレンスデータが記憶されている。リファレンスデータは、例えば、標準的な技量を有する操作者についての評価データであり、統計的又は経験的に求められる。操作者Maの技量の得点は、そのリファレンスデータを基準に算出される。
<作用及び効果>
 以上説明したように、本実施形態によれば、評価装置600は、撮影データを表示装置64の表示画面に表示させる第1表示制御部605Aと、表示装置64の表示画面において大きさ(寸法)及び位置が固定された表示形態のガイド線70を作業車両データに基づいて表示装置64の表示画面に表示させる第2表示制御部605Bとを備え、第2表示制御部605Bは、表示装置4の表示画面において車両本体20とガイド線70とが位置決めされたとき、油圧ショベル3の全体が表示装置64の表示画面に表示されるように、表示装置64の表示画面にガイド線70を表示させる。これにより、撮影装置63で取得された油圧ショベル3の撮影データに基づいて油圧ショベル3を操作する操作者Maの技量を評価したり油圧ショベル3を点検したりする場合、適正な撮影位置に、撮影装置63あるいは撮影者である作業者Mbを導くことができる。本実施形態によれば、油圧ショベル3の作業機10の動作を撮影する際に、撮影者(作業者Mb)の安全を確保でき、撮影装置63と作業機10との接触を回避することができるとともに、撮影者あるいは撮影装置63の位置が撮影のタイミングや撮影者によっても変わることなく、適正な撮影位置で撮影を実行することができる。その結果、適正な撮影位置に配置された撮影装置63で撮影された油圧ショベル3の全体の撮影データに基づいて、操作者Maの評価又は油圧ショベル3の点検を適正に実施することができる。
 また、本実施形態よれば、第2表示制御部605Bは、表示装置64の表示画面において車両本体20とガイド線70とが位置決めされたとき、作業機10が可動範囲の限界位置に動作しても油圧ショベル3の全体が表示装置64の表示画面に表示されるような表示形態で表示装置64の表示画面にガイド線70を表示させる。これにより、車両本体20に対して相対移動可能な作業機10が可動範囲の限界位置に動作しても、撮影装置63は、作業機10が伸ばされた状態からの作業機10の撮影データ又は作業機10が伸ばされる状態までの作業機10の撮影データを取得することができる。
 また、本実施形態によれば、第2表示制御部605Bは、表示装置64の表示画面において車両本体20とガイド線70とが位置決めされたとき、撮影装置63が油圧ショベル3から規定距離だけ離れるような表示形態で表示装置64の表示画面にガイド線70を表示させる。表示装置64の表示画面において車両本体20とガイド線70とが位置決めされたとき、撮影装置63が油圧ショベル3から規定距離だけ離れるように、表示装置64の表示画面におけるガイド線70の表示形態である寸法が設定されることにより、撮影装置63と作業機10との接触は回避され、撮影装置63を撮影者が保持しながらの撮影であれば、撮影者である作業者Mbと作業機10との接触が防止されるので、撮影者である作業者Mbの安全性は確保される。
 また、本実施形態によれば、規定距離は、上部旋回体21に支持された作業機10の最大旋回半径よりも大きい。これにより、撮影中に上部旋回体21が旋回しても、撮影装置63と作業機10との接触は回避され、撮影装置63を撮影者が保持しながらの撮影であれば、撮影者である作業者Mbと作業機10との接触が防止されるので、撮影者である作業者Mbの安全性は確保される。
 また、本実施形態によれば、ガイド線70は、作業機10の回転軸AX1,AX2,AX3と下部走行体22の回転軸DX1,DX2とが空間上、平行となるように上部旋回体21と下部走行体22とが位置決めされたときの左側方から見た車両本体20の輪郭を示す。これにより、基準となる1種類のガイド線70を用意しておけば、車両本体20とガイド線70とを位置決めすることができる。すなわち、例えば右側方から見た車両本体20の輪郭を示すガイド線、又は左斜め前方から見た車両本体20の輪郭を示すガイド線などは不要であり、既知である油圧ショベル3の寸法データ等に基づいて、左側方から見た車両本体20の輪郭を示すガイド線だけを用意しておけば足りる。
 また、本実施形態によれば、ガイド線70は、左側方から見た車両本体20の輪郭を示す。これにより、表示装置64の表示画面に表示された、実際の車両本体20の視認性が確保されるので、撮影者である作業者Mbは、表示装置64の表示画面に表示された、実際の車両本体20及びガイド線70を見ながら、適正な撮影位置に移動することができる。
 また、本実施形態によれば、評価装置600は、撮影装置63が車両本体20の特定部位である遊動輪26の左側方において油圧ショベル3から規定距離である、例えば約10[m]だけ離れるように指示する指示データ75を表示装置64に表示させる第3表示制御部605Cを有する。これにより、撮影者である作業者Mbは、表示装置64の表示画面に表示された指示データ75を見て、適正な撮影位置に迅速に移動することができる。
 また、本実施形態によれば、評価装置600は、車両本体20の撮影データを画像処理して車両本体20とガイド線70とが位置決めされたか否かを判定する判定部611と、判定部611において位置決めされたと判定されたとき位置決めされたことを示す位置決め状態データ71を表示装置64に表示させる第4表示制御部605Dとを有する。撮影者である作業者Mbは、表示装置64の表示画面に表示された位置決め状態データ71を見て、車両本体20とガイド線70とが位置決めされたか否かを認識することができる。
 また、本実施形態においては、評価装置600は、作業機10の動作状態を含む撮影データを取得する検出データ取得部601と、作業機10の目標移動条件を含む目標データを生成する目標データ生成部603と、検出データと目標データとに基づいて操作者Maの評価データを生成する評価データ生成部604とを備える。これにより、油圧ショベル3の操作者Maの技量を客観的及び定量的に評価することができる。評価データが提供されることにより、技量向上のための操作者Maの意欲は向上する。また、操作者Maは、評価データに基づいて、自身の操作を改善することができる。
<その他の実施形態>
 なお、上述の実施形態において、油圧ショベル3の作業機10を使って荷物を吊り上げる吊荷作業が実施される場合がある。吊荷作業するときの作業機10の動作データを撮影装置63で撮影し、その動作データに基づいて操作者Maの技量が評価されてもよい。
 なお、上述の実施形態においては、作業機10の動作状態が評価されることとした。撮影装置63の撮影データに基づいてバケット13の掘削量及び掘削時間の少なくとも一方が評価されてもよい。
 なお、上述の実施形態においては、作業機10の撮影データに基づいて、操作者Maの技量が評価されることとした。作業機10の撮影データに基づいて、作業機10の作動状態が評価されてもよい。例えば、作業機10の撮影データに基づいて、作業機10の作動状態が正常か否かを判定する点検処理が実施されてもよい。
 なお、上述の実施形態においては、作業車両3が油圧ショベル3であることとした。作業車両3は、ブルドーザ、ホイールローダ、及びフォークリフトなど、車両本体に対して相対移動可能な作業機を有する作業車両にも適用可能である。
 1 評価システム、2 施工現場、3 油圧ショベル(作業車両)、3C 油圧ショベル(作業車両)、6 携帯機器、7 運転席、8 操作装置、8WR 右作業レバー、8WL 左作業レバー、8MR 右走行レバー、8ML 左走行レバー、10 作業機、11 ブーム、11P ブームピン、12 アーム、12P アームピン、13 バケット、13B 刃先、13K 開口端部、13P バケットピン、14 ブームシリンダ、15 アームシリンダ、16 バケットシリンダ、20車両本体、21 上部旋回体、22 下部走行体、23 キャブ、24 カウンタウエイト、25 駆動輪、26 遊動輪、27 履帯、60 演算処理装置(評価装置)、61 記憶装置、62 位置検出装置、63 撮影装置、64 表示装置、65 入力装置、66 入出力インターフェース装置、70 ガイド線、71 マーク、72 マーク、600 評価装置、601 検出データ取得部、602 位置データ算出部、603 目標データ生成部、604 評価データ生成部、605A 第1表示制御部、605B 第2表示制御部、605C 第3表示制御部、605D 第4表示制御部、608 記憶部、AX1 回転軸、AX2 回転軸、AX3 回転軸、CA アイコン、CB アイコン、DX1 回転軸、DX2 回転軸、EP 移動終了位置、Ma 操作者、Mb 作業者、MD 文字データ、PD プロット、PM プロット、RL 目標ライン、RX 旋回軸、SP 移動開始位置、TD 経過時間データ、TL 検出ライン。

Claims (6)

  1.  撮影装置により取得される撮影データを表示装置の表示画面に表示させる第1表示制御部と、
     撮影される作業車両に関する作業車両データに基づくものであって、前記撮影装置の撮影位置を決定するためのガイド表示を前記表示画面に表示させる第2表示制御部と、
    を備える評価装置。
  2.  前記第2表示制御部は、前記表示画面において前記作業車両の車両本体と前記ガイド表示とが位置決めされたとき、前記作業車両の作業機が可動範囲の限界位置に動作しても前記作業車両の全体が前記撮影装置で撮影できるような表示形態で前記ガイド表示を表示させる、
    請求項1に記載の評価装置。
  3.  前記表示画面において前記作業車両の車両本体と前記ガイド表示とが位置決めされたとき、前記撮影装置の撮影位置が前記作業車両から規定距離だけ離れるような表示形態で前記ガイド表示が表示される、
    請求項1又は請求項2に記載の評価装置。
  4.  前記車両本体は、上部旋回体と下部走行体とを含み、
     前記規定距離は、前記作業車両の作業機の最大旋回半径よりも大きい、
    請求項3に記載の評価装置。
  5.  前記ガイド表示は、前記作業車両の車両本体を側方から見た時の前記車両本体の輪郭を示す、
    請求項1から請求項4のいずれか一項に記載の評価装置。
  6.  前記表示画面に表示された前記撮影データが示す前記作業車両の車両本体と、前記表示画面に表示された前記ガイド表示とが位置決めされたか否かを判定する判定部と、
     前記判定部において前記位置決めされたと判定されたとき前記位置決めされたことを示す位置決め状態データを前記表示画面に表示させる第4表示制御部と、
    を備える請求項1から請求項5のいずれか一項に記載の評価装置。
PCT/JP2016/059978 2016-03-28 2016-03-28 評価装置 Ceased WO2016137016A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
DE112016000052.9T DE112016000052T5 (de) 2016-03-28 2016-03-28 Bewertungsvorrichtung
PCT/JP2016/059978 WO2016137016A1 (ja) 2016-03-28 2016-03-28 評価装置
US15/314,979 US10750082B2 (en) 2016-03-28 2016-03-28 Evaluation device
AU2016224353A AU2016224353B2 (en) 2016-03-28 2016-03-28 Evaluation Device
JP2016543768A JP6337126B2 (ja) 2016-03-28 2016-03-28 評価装置及びコンピュータプログラム
KR1020167030698A KR20170113000A (ko) 2016-03-28 2016-03-28 평가 장치
CN201680001346.0A CN106460373B (zh) 2016-03-28 2016-03-28 评价装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/059978 WO2016137016A1 (ja) 2016-03-28 2016-03-28 評価装置

Publications (1)

Publication Number Publication Date
WO2016137016A1 true WO2016137016A1 (ja) 2016-09-01

Family

ID=56788832

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/059978 Ceased WO2016137016A1 (ja) 2016-03-28 2016-03-28 評価装置

Country Status (7)

Country Link
US (1) US10750082B2 (ja)
JP (1) JP6337126B2 (ja)
KR (1) KR20170113000A (ja)
CN (1) CN106460373B (ja)
AU (1) AU2016224353B2 (ja)
DE (1) DE112016000052T5 (ja)
WO (1) WO2016137016A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019064581A1 (ja) * 2017-09-29 2019-04-04 日立建機株式会社 建設機械の点検支援システム、管理サーバおよび点検レポート作成システム
JP2020191119A (ja) * 2017-09-29 2020-11-26 日立建機株式会社 建設機械の点検支援システム
WO2021251066A1 (ja) * 2020-06-11 2021-12-16 日本国土開発株式会社 混合装置
US12559914B2 (en) 2019-10-31 2026-02-24 Sumitomo Construction Machinery Co., Ltd. Excavator management system, mobile terminal for excavator, and recording medium

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CL2012000933A1 (es) 2011-04-14 2014-07-25 Harnischfeger Tech Inc Un metodo y una pala de cable para la generacion de un trayecto ideal, comprende: un motor de oscilacion, un motor de izaje, un motor de avance, un cucharon para excavar y vaciar materiales y, posicionar la pala por medio de la operacion del motor de izaje, el motor de avance y el motor de oscilacion y; un controlador que incluye un modulo generador de un trayecto ideal.
EP3537403A4 (en) * 2016-11-01 2020-01-08 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. SECURITY MANAGEMENT SYSTEM FOR WORKING MACHINE, MANAGEMENT DEVICE, SECURITY MANAGEMENT METHOD
KR102248026B1 (ko) 2017-09-01 2021-05-03 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 계측 시스템, 작업 기계, 및 작업 기계의 계측 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014103683A1 (ja) * 2012-12-27 2014-07-03 日立建機株式会社 作業機械の車体周囲表示装置
WO2016013490A1 (ja) * 2014-07-25 2016-01-28 日立建機株式会社 旋回式作業機の周囲表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4058401B2 (ja) * 2003-10-20 2008-03-12 日立建機株式会社 作業機械
JP4962415B2 (ja) 2008-05-30 2012-06-27 株式会社明電舎 建設機械の刃先位置計測装置
JP4831374B2 (ja) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
WO2011158955A1 (ja) * 2010-06-18 2011-12-22 日立建機株式会社 作業機械の周囲監視装置
DE102012016868A1 (de) * 2012-08-25 2014-02-27 Audi Ag Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Fortbewegung des Fahrzeugs mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
JP5426742B1 (ja) 2012-10-05 2014-02-26 株式会社小松製作所 掘削機械の表示システム及び掘削機械
US9043098B2 (en) * 2012-10-05 2015-05-26 Komatsu Ltd. Display system of excavating machine and excavating machine
KR102003562B1 (ko) 2012-12-24 2019-07-24 두산인프라코어 주식회사 건설기계의 감지 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014103683A1 (ja) * 2012-12-27 2014-07-03 日立建機株式会社 作業機械の車体周囲表示装置
WO2016013490A1 (ja) * 2014-07-25 2016-01-28 日立建機株式会社 旋回式作業機の周囲表示装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019064581A1 (ja) * 2017-09-29 2019-04-04 日立建機株式会社 建設機械の点検支援システム、管理サーバおよび点検レポート作成システム
CN109863514A (zh) * 2017-09-29 2019-06-07 日立建机株式会社 工程机械的点检支援系统、管理服务器及点检报告创建系统
JPWO2019064581A1 (ja) * 2017-09-29 2019-11-14 日立建機株式会社 建設機械の点検支援システム、管理サーバおよび点検レポート作成システム
JP2020191119A (ja) * 2017-09-29 2020-11-26 日立建機株式会社 建設機械の点検支援システム
KR20210006018A (ko) * 2017-09-29 2021-01-15 히다찌 겐끼 가부시키가이샤 건설 기계의 점검 지원 시스템, 관리 서버 및 점검 리포트 작성 시스템
KR102237932B1 (ko) 2017-09-29 2021-04-08 히다찌 겐끼 가부시키가이샤 건설 기계의 점검 지원 시스템, 관리 서버 및 점검 리포트 작성 시스템
US11640425B2 (en) 2017-09-29 2023-05-02 Hitachi Construction Machinery Co., Ltd. Inspection support system for construction machine, management server, and inspection report creation system
CN109863514B (zh) * 2017-09-29 2024-04-02 日立建机株式会社 工程机械的点检支援系统、管理服务器及点检报告创建系统
US12559914B2 (en) 2019-10-31 2026-02-24 Sumitomo Construction Machinery Co., Ltd. Excavator management system, mobile terminal for excavator, and recording medium
WO2021251066A1 (ja) * 2020-06-11 2021-12-16 日本国土開発株式会社 混合装置
US12157640B2 (en) 2020-06-11 2024-12-03 Jdc Corporation Mixing device

Also Published As

Publication number Publication date
AU2016224353B2 (en) 2019-10-31
AU2016224353A1 (en) 2018-01-25
CN106460373A (zh) 2017-02-22
DE112016000052T5 (de) 2017-03-09
KR20170113000A (ko) 2017-10-12
US20170280048A1 (en) 2017-09-28
CN106460373B (zh) 2020-10-02
US10750082B2 (en) 2020-08-18
JP6337126B2 (ja) 2018-06-06
JPWO2016137016A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6337126B2 (ja) 評価装置及びコンピュータプログラム
JP6002873B1 (ja) 評価装置及び評価方法
AU2016216347B2 (en) Evaluation device and evaluation method
JP6909641B2 (ja) 表示システム
JP7151392B2 (ja) 建設機械の遠隔操作装置
CN111868335B (zh) 远程操作系统以及主操作装置
KR101843382B1 (ko) 크롤러식 작업 기계의 주변 감시 장치
JP5473870B2 (ja) 建設機械のモニター装置
JP4740890B2 (ja) 建設機械および建設機械の後進移動ガイダンス方法
JP5775283B2 (ja) 作業機械のモニタ装置
CN115210434B (zh) 作业辅助服务器、作业辅助方法
JPWO2013099491A1 (ja) ショベルの画像表示装置
CN111903122B (zh) 工程机械操纵装置
CN113202155B (zh) 建筑机械以及拍摄系统
WO2017150298A1 (ja) 評価装置、管理装置、評価システム、及び評価方法
US20240076855A1 (en) Method for controlling work assistance system, and program for controlling work assistance system
JP2020148005A (ja) 作業機械
CN114630942A (zh) 工程机械的周边监视装置
JP2023128708A (ja) 作業機械の領域提示装置
CN121794972A (zh) 工程机械
CN121712951A (zh) 工程机械及作业系统

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016543768

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16755759

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20167030698

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15314979

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112016000052

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 2016224353

Country of ref document: AU

Date of ref document: 20160328

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 16755759

Country of ref document: EP

Kind code of ref document: A1