WO2019187560A1 - 作業機械操縦装置 - Google Patents

作業機械操縦装置 Download PDF

Info

Publication number
WO2019187560A1
WO2019187560A1 PCT/JP2019/002234 JP2019002234W WO2019187560A1 WO 2019187560 A1 WO2019187560 A1 WO 2019187560A1 JP 2019002234 W JP2019002234 W JP 2019002234W WO 2019187560 A1 WO2019187560 A1 WO 2019187560A1
Authority
WO
WIPO (PCT)
Prior art keywords
work machine
display
target
turning angle
image
Prior art date
Application number
PCT/JP2019/002234
Other languages
English (en)
French (fr)
Inventor
上田　員弘
誠司 佐伯
英喜 吉原
Original Assignee
コベルコ建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コベルコ建機株式会社 filed Critical コベルコ建機株式会社
Priority to EP19775627.3A priority Critical patent/EP3751845B1/en
Priority to CN201980021196.3A priority patent/CN111903122B/zh
Priority to US16/981,590 priority patent/US11970837B2/en
Publication of WO2019187560A1 publication Critical patent/WO2019187560A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/08—Superstructures; Supports for superstructures
    • E02F9/10—Supports for movable superstructures mounted on travelling or walking gears or on other superstructures
    • E02F9/12—Slewing or traversing gears
    • E02F9/121—Turntables, i.e. structure rotatable about 360°
    • E02F9/123—Drives or control devices specially adapted therefor
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2004—Control mechanisms, e.g. control levers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes

Definitions

  • the present invention relates to a work machine control device capable of remotely controlling a work machine.
  • Patent Literature 1 the turning position relationship of the upper swing body with respect to the lower travel body is displayed on the display, and the operator sitting in the driver's seat when an operation for traveling the lower travel body is input is used as a reference.
  • a construction machine that displays an image indicating a traveling direction of the construction machine on a display.
  • Patent Document 1 since the traveling direction of the construction machine is only presented to the operator through the display, even if the technique of Patent Document 1 is applied to remote control, the operator can change the turning angle of the upper swing body. There is a problem that it cannot be easily adjusted to the target turning angle.
  • Patent Document 1 is a technique on the premise that an operator operates a work machine in a cab. Therefore, in Patent Document 1, since the operator can directly observe the lower traveling body, the above-mentioned problem of remote control that it is difficult to adjust the turning angle of the upper turning body to the target turning angle is the problem described above. It cannot happen.
  • an object of this invention is to provide the working machine control apparatus which can match
  • a work machine control device is a work machine control device that remotely controls a work machine including a lower traveling body and an upper swing body that rotates with respect to the lower traveling body, A display unit; A camera that is arranged on the upper swing body and that captures a captured image by capturing a specific part that is part of the lower traveling body; With a controller, The controller is A setting unit for setting a target turning angle of the upper turning body with respect to the lower traveling body; A target image indicating the target position of the specific part is superimposed on the position on the captured image where the specific part is displayed when the turning angle of the upper swing body with respect to the lower traveling body becomes the target turning angle.
  • a display control unit that displays the displayed display screen on the display unit.
  • the turning angle of the upper turning body with respect to the lower traveling body can be easily adjusted to the target turning angle.
  • FIG. 3 is a view showing a state in which an upper swing body 20 is turned with respect to the lower traveling body 10. It is a figure which shows the picked-up image image
  • the working machine 1 is constituted by a construction machine that performs construction work, for example.
  • the work machine 1 is, for example, a hydraulic excavator. Particularly in the present embodiment, the work machine 1 employs a remote excavator that can be remotely operated.
  • the work machine 1 includes a lower traveling body 10, an upper swing body 20, an attachment 31, a camera 27, and a machine-side controller 35.
  • the lower traveling body 10 is provided below the work machine 1 and causes the work machine 1 to travel. As shown in FIG. 2, the lower traveling body 10 includes a lower frame 11 and a pair of left and right crawlers 13. The crawler 13 causes the work machine 1 to travel. The crawler 13 is attached to the left and right of the lower frame 11. Each of the pair of left and right crawlers 13 extends in the front-rear direction of the lower traveling body 10. One side of the lower traveling body 10 in the front-rear direction is defined as a front side X10. The front side X10 is a direction in which the lower traveling body 10 moves forward.
  • the upper turning body 20 is provided on the lower traveling body 10 and turns with respect to the lower traveling body 10.
  • the upper swing body 20 includes a cab 21, a guard 23, a counterweight 25, and a camera 27.
  • An attachment 31 is attached to the upper swing body 20.
  • the center of turning of the upper turning body 20 with respect to the lower traveling body 10 is set as a turning center O.
  • a side from the counterweight 25 toward the attachment 31 is a front side X20 in the front-rear direction of the upper swing body 20.
  • the cab 21 is a cab for an operator to operate the work machine 1. In the present embodiment, since the operator remotely controls the work machine 1, it is not necessary to operate the work machine 1 with the cab 21.
  • the guard 23 covers equipment such as an engine and a pump.
  • the counterweight 25 is a weight that is disposed in the rear portion of the upper swing body 20.
  • the camera 27 is provided for an operator who remotely controls the work machine 1 to obtain visual information.
  • the camera 27 photographs the surroundings of the work machine 1.
  • the camera 27 images the specific part S of the lower traveling body 10. Only one camera 27 may be provided, or a plurality of cameras 27 may be provided.
  • the camera 27 includes an in-cab camera 27a, a left side camera 27b, a right side camera 27c, and a rear camera 27d.
  • the in-cab camera 27 a is disposed inside the cab 21 and photographs the front of the cab 21 and the upper swing body 20.
  • the left side camera 27b photographs the left side of the upper swing body 20.
  • the right side camera 27c photographs the right side of the upper swing body 20.
  • the left side camera 27b and the right side camera 27c are disposed, for example, at the left end and the right end of the upper swing body 20 and attached to the upper surface of the guard 23, for example.
  • the rear camera 27d images the rear of the upper swing body 20.
  • the rear camera 27d is disposed, for example, at the rear part of the upper swing body 20, and is attached to the upper surface of the counterweight 25 or the like.
  • the camera 27 may include, for example, a camera 27 that captures an oblique front of the upper swing body 20 or a camera 27 that captures an oblique rear of the upper swing body 20.
  • the attachment 31 is composed of an articulated machine. Specifically, the attachment 31 is attached to the upper revolving unit 20 so as to be rotatable, an arm attached to the boom so as to be rotatable, and a pivotable attachment to the arm. And a tip attachment.
  • the tip attachment is, for example, a bucket, a nibler, and a breaker.
  • the attachment 31 is attached to the upper swing body 20 and protrudes from the upper swing body 20 to the front side X20.
  • the machine-side controller 35 inputs and outputs various signals including various information.
  • the machine-side controller 35 is mounted on the work machine 1.
  • the machine-side controller 35 operates the work machine 1 in accordance with a command input from the work machine control device 40.
  • the work machine control device 40 is a device that is provided outside the work machine 1 and remotely controls the work machine 1.
  • the work machine control device 40 is a device that assists a turning operation by an operator.
  • the work machine control device 40 includes a seat 41, a turning operation lever 43, a controller 60, and a notification unit 70.
  • the seat 41 is seated by the operator.
  • the turning operation lever 43 is an operation lever for remotely maneuvering the work machine 1, and an operation for turning the upper turning body 20 with respect to the lower traveling body 10 is input by the operator.
  • the turning operation lever 43 is disposed beside the seat 41.
  • the notification unit 70 includes a display unit 50 and a speaker 71, and notifies the operator of the degree of coincidence between the turning angle ⁇ and the target turning angle.
  • the display unit 50 includes a display device such as a liquid crystal display that displays images and various types of information.
  • the display unit 50 is disposed in front of the seat 41. As shown in FIG. 4, the display unit 50 displays a display screen in which the target image 53 is superimposed on the captured image 51 under the control of the controller 60.
  • the speaker 71 outputs a sound corresponding to the degree of coincidence between the turning angle ⁇ and the target turning angle as described later under the control of the controller 60.
  • the notification unit 70 is configured by the display unit 50 and the speaker 71.
  • the photographed image 51 is an image obtained by the camera 27 photographing the periphery of the work machine 1 at a predetermined frame rate, for example.
  • the captured image 51 includes, for example, the crawler 13. Depending on the turning angle ⁇ , the crawler 13 may not be reflected in the captured image 51.
  • the captured image 51 captured by the in-cab camera 27 a includes an image inside the cab 21 and an image outside the cab 21 viewed from the inside of the cab 21.
  • the captured image 51 captured by the right side camera 27 c includes an image indicating the right side of the guard 23.
  • the captured image 51 captured by the rear camera 27d may include, for example, an image showing the rear of the counterweight 25.
  • the display of the captured image 51 on the display unit 50 may be switched for each of the in-cab camera 27a, the left side camera 27b, the right side camera 27c, and the rear camera 27d.
  • the target image 53 is an image showing the target position of the lower traveling body 10 as shown in FIG. Details of the target image 53 will be described later.
  • the target image 53 can be displayed on the display unit 50 and may not be displayed on the display unit 50.
  • the controller 60 is constituted by a computer including a processor such as a CPU and a nonvolatile memory, for example.
  • the controller 60 performs input / output and calculation of various signals.
  • the controller 60 controls display on the display unit 50.
  • a signal indicating the operation amount of the turning operation lever 43 is input to the controller 60.
  • the controller 60 includes a communication circuit (not shown), and transmits / receives information to / from the machine-side controller 35 by radio.
  • the controller 60 transmits a signal indicating a command for operating the work machine 1 to the machine-side controller 35.
  • the controller 60 receives a captured image 51 captured by the camera 27 at a predetermined frame rate from the machine-side controller 35 at a predetermined frame rate.
  • the controller 60 includes a setting unit 61, a display control unit 62, a determination unit 63, a notification control unit 64, and a display switching unit 65. These components may be realized by the controller 60 executing a control program, or may be configured by a dedicated electric circuit.
  • the setting unit 61 sets a target turning angle of the upper turning body 20 with respect to the lower traveling body 10 input by the operator.
  • the setting unit 61 may set a predetermined angle as the target turning angle when the operation amount of the turning operation lever 43 becomes a predetermined amount or more.
  • the setting part 61 should just set the angle which the operator input using the operation key of the omission of illustration provided in the working machine control apparatus 40 as a target turning angle.
  • the display control unit 62 sets the target image at a position on the captured image 51 where the specific part is displayed when the turning angle ⁇ of the upper turning body 20 with respect to the lower traveling body 10 becomes the target turning angle set by the setting unit 61. Is displayed on the display unit 50. Details of the determination unit 63, the notification control unit 64, and the display switching unit 65 will be described later.
  • the work machine control device 40 assists the turning operation by the operator to set the turning angle ⁇ shown in FIG. 3 to the target turning angle.
  • the turning angle ⁇ is an angle of the upper turning body 20 with respect to the lower traveling body 10.
  • the turning angle ⁇ is, for example, clockwise around the front side X20 of the upper turning body 20 when the work machine 1 is viewed from above, with the turning center O as the center and the front side X10 of the lower traveling body 10 as a reference. Is an angle.
  • the turning angle ⁇ will be described with reference to FIGS. 2 and 3.
  • the target turning angle may be set to an arbitrary angle.
  • the target turning angle is at least one of 0 °, 90 °, 180 °, and 270 °.
  • the target turning angle is input by the operator as described above. However, this is an example, and the target turning angle may be set by the controller 60. Note that when the target turning angle set by the controller 60 and the target turning angle set by the operator compete, for example, the target turning angle set by the operator may be given priority.
  • a part of the lower traveling body 10 photographed by the camera 27 is defined as a specific part S. That is, the specific part S refers to a part of the lower traveling body 10 that appears in the captured image 51, and corresponds to the crawler 13 here.
  • the specific part S in the captured image 51, only the tip portion appears on the left crawler 13, and the remaining portion does not appear. Furthermore, the crawler 13 on the right side does not appear at all. In this case, the tip portion of the left crawler 13 appearing in the captured image 51 is the specific portion S.
  • adopted this invention is not limited to this.
  • the specific part S may be, for example, the earth discharging plate 115 shown in FIG.
  • Target image 53 As shown in FIG. 4, the target image 53 is displayed superimposed on the captured image 51.
  • the target image 53 is an image indicating the target position of the specific part S.
  • the operator performs a turning operation so that the specific part S displayed in the captured image 51 matches the target image 53. Then, the turning angle ⁇ matches or substantially matches the target turning angle.
  • the target image 53 is displayed at the display position of the specific part S displayed on the captured image 51 when the turning angle ⁇ becomes the target turning angle.
  • a position calculated in advance according to the target turning angle is adopted.
  • the display position of the specific portion S according to the target turning angle is determined in advance in consideration of the position of the camera 27 in the upper turning body 20, the dimensions of the upper turning body 20, and the dimensions of the lower traveling body 10.
  • the calculated position on the captured image 51 is adopted.
  • the display position of the specific part S according to the target turning angle is determined by positioning the turning angle ⁇ of the upper turning body 20 at the target turning angle, causing the camera 27 to take a photographed image 51, and specifying from the photographed captured image 51. It may be calculated by performing an operation of specifying a position indicating the part S. This operation may be performed manually or by image processing.
  • the shape of the target image 53 for example, a shape representing the specific part S can be adopted.
  • the shape of the target image 53 may be a silhouette of the specific part S or a contour of the specific part S.
  • the shape of the target image 53 may be a shape indicating a range where the specific part S can be displayed, or may be a contour shape within this range.
  • the display control unit 62 includes a table in which a plurality of target turning angles are associated with display positions and shapes of the target images 53 corresponding to the respective turning angles, and the target image 53 is displayed by referring to this table. What is necessary is just to superimpose and display on the picked-up image 51.
  • FIG. 1 A table in which a plurality of target turning angles are associated with display positions and shapes of the target images 53 corresponding to the respective turning angles, and the target image 53 is displayed by referring to this table. What is necessary is just to superimpose and display on the picked-up image 51.
  • the controller 60 shown in FIG. 1 determines the degree of coincidence (hereinafter referred to as “degree of coincidence”) between the turning angle ⁇ and the target turning angle. For this determination, the determination unit 63 recognizes an image indicating the specific part S from the captured image 51 using image recognition processing, and on the captured image 51 of the image indicating the recognized specific part S and the target image 53. The degree of coincidence is determined based on the positional relationship. The higher the matching degree, the closer the turning angle ⁇ is to the target turning angle. As the image recognition process, for example, a process of recognizing an image indicating the specific part S by template matching using the image of the crawler 13 as a template can be employed. For example, the determination unit 63 determines the degree of coincidence as follows.
  • the determination unit 63 may recognize a characteristic part that is easy to recognize an image in the specific part S.
  • the characteristic part for example, the contour of the specific part S, the corner (vertex) of the contour of the specific part S, and one side of the contour of the specific part S can be adopted.
  • the determination unit 63 may determine that the degree of coincidence is higher as the area of the region where the image indicating the recognized specific part S and the target image 53 overlap is larger. Alternatively, the determination unit 63 may determine that the degree of coincidence is higher as the contour of the image indicating the specific part S and the contour of the target image 53 are closer to each other. In this case, for example, the determination unit 63 obtains the center of gravity of the image showing the specific part S from the contour of the image showing the specific part S, and obtains the center of gravity of the target image 53 from the outline of the target image 53. What is necessary is just to determine that a coincidence degree is so high that it is short.
  • the determination unit 63 may determine that the degree of coincidence is higher as the distance between a part of the contour of the image indicating the specific part S and the part of the contour of the target image 53 corresponding to the part is shorter. .
  • a vertex or a straight line portion of the contour can be adopted.
  • the upper left vertex of the contour of the target image 53 corresponds to this vertex.
  • the left side of the target image 53 corresponds to the left side.
  • the determination unit 63 matches the longer the direction of the straight line portion in the longitudinal direction in the contour of the image showing the specific portion S and the direction of the straight line portion in the longitudinal direction in the contour of the target image 53 corresponding to this straight line portion. It may be determined that the degree is high. Specifically, the determination unit 63 determines that the degree of coincidence is higher as the angle between the straight line portion in the longitudinal direction in the contour of the image showing the specific part S and the straight line portion in the longitudinal direction in the contour of the target image 53 is smaller. do it. For example, if the straight line in the longitudinal direction of the contour of the image showing the specific part S is the left side of the contour of the image showing the specific part S, this left side corresponds to the left side of the outline of the target image 53.
  • the notification control unit 64 illustrated in FIG. 1 changes the notification content to be notified to the notification unit 70 according to the degree of coincidence.
  • the notification control unit 64 causes the notification unit 70 to perform notification using at least one of light, sound, and vibration including video, for example.
  • the notification control unit 64 switches whether to output a notification from the notification unit 70 according to the degree of coincidence.
  • the notification control unit 64 changes the notification content as follows according to the degree of coincidence.
  • Example A is an example of notification using light including video. Specifically, it is as follows.
  • Example A1 is an example in which the notification control unit 64 causes the display unit 50 to display a notification according to the degree of coincidence.
  • the example A1 further includes the following two examples A1-1 and A1-2.
  • Example A1-1 is an example in which the display mode of the target image 53 displayed on the display unit 50 is changed according to the degree of coincidence.
  • the notification control unit 64 may change at least one of the shape, color, and brightness of the target image 53 according to the degree of coincidence. In this case, the operator can confirm the degree of coincidence without moving the line of sight from the display position of the target image 53 to another position during the turning operation.
  • an aspect for changing the shape of the target image 53 for example, an aspect in which the size of the target image 53 is increased as the degree of coincidence is higher can be employed.
  • a mode of changing the color of the target image 53 for example, a mode of increasing the saturation of the target image 53 as the matching degree is high can be employed.
  • a mode of changing the brightness of the target image 53 for example, a mode of increasing the brightness of the target image 53 as the matching level is higher can be employed.
  • Example A1-2 is an example in which the display mode of the display object displayed on the display unit 50 is changed separately from the target image 53 according to the degree of coincidence.
  • a predetermined icon may be employed as the display object.
  • the variation of the display mode of the display object may be the mode shown in the above-described Example A1-1, that is, the mode of changing at least one of the shape, color, and brightness.
  • Example A2 is a mode in which a notification is output from a display provided separately from the display unit 50.
  • the notification control unit 64 may display the display object shown in Example A1-2 from this display. Further, as the variation of the display mode change of the display object, the mode shown in the above-described example A1-1 can be adopted.
  • the notification control unit 64 may perform notification using a light emitter instead of a display provided separately from the display unit 50. In this case, for example, the notification control unit 64 may increase or decrease the intensity of light output from the light emitter as the degree of coincidence increases.
  • Example B is an example of notification by sound. Specifically, it is as follows.
  • the notification control unit 64 outputs sound from the speaker 71 according to the degree of coincidence.
  • the notification control unit 64 changes the volume or type of sound output from the speaker 71 according to the degree of coincidence.
  • the notification control unit 64 may increase the sound output from the speaker 71 as the degree of coincidence increases.
  • the notification control unit 64 may increase or decrease the frequency of the sound output from the speaker 71 as the degree of coincidence increases.
  • Example C is an example of notification using vibration. Specifically, it is as follows.
  • Example C1 is an example in which the turning operation lever 43 is vibrated according to the degree of coincidence.
  • a vibrator is disposed on the turning operation lever 43.
  • the notification control unit 64 may change the vibration intensity or vibration pattern of the vibrator of the turning operation lever 43 according to the degree of coincidence between the turning angle ⁇ and the target turning angle.
  • the notification control unit 64 may increase or decrease the vibration intensity of the vibrator as the degree of coincidence increases.
  • the notification control unit 64 may change the vibration pattern of the vibrator as the degree of coincidence increases.
  • a mode in which the frequency of vibration is increased or decreased as the degree of coincidence increases may be employed.
  • the vibration of the turning operation lever 43 may be a vibration in a direction that hardly affects the operation of the turning operation lever 43. For example, if the turning operation lever 43 is operated in the front-rear direction, vibrations in the left-right direction or the up-down direction may be applied to the turning operation lever 43.
  • Example C2 is an example in which the seat 41 is vibrated according to the degree of coincidence. In this case, a vibrator is arranged on the seat 41. And the notification control part 64 should just change the vibration intensity
  • the variation shown in the example C1 can be adopted as the vibration variation applied to the vibrator of the seat 41.
  • the notification control unit 64 is configured to notify the notification unit 64 based on the degree of coincidence between the turning angle ⁇ detected by the turning angle sensor and the target turning angle.
  • the notification content output from 70 may be changed.
  • a resolver or an encoder can be used as the turning angle sensor.
  • the notification control unit 64 may determine that the degree of coincidence is higher as the difference between the turning angle ⁇ detected by the turning angle sensor and the target turning angle is closer to zero.
  • Display switching of target image 53, display switching unit 65 For example, when it is not necessary to match the turning angle ⁇ with the target turning angle, the operator does not need to see the target image 53. In such a scene, if the target image 53 is displayed on the captured image 51, the target image 53 may be in the way and the visibility of the operator with respect to the captured image 51 may deteriorate. Therefore, the display switching unit 65 switches between displaying and not displaying the target image 53 on the display unit 50.
  • the display switching unit 65 displays the target image 53 on the display unit 50. Instruct. On the other hand, the display switching unit 65 instructs the display control unit 62 not to display the target image 53 on the display unit 50 when the operation amount of the turning operation lever 43 is less than the second threshold value.
  • a second threshold value an example of a predetermined amount
  • the first threshold value is a threshold value for determining whether or not the lower traveling body 10 actually starts to turn the upper swing body 20.
  • the target image 53 is displayed on the display unit 50 at the timing when the upper-part turning body 20 actually starts turning.
  • a value that is greater than 0 indicating the neutral position and less than the first threshold value may be employed. In this case, the target image 53 is displayed on the display unit 50 even during a period from when the operator starts operating the turning operation lever 43 to when the upper turning body 20 actually starts turning.
  • the display switching unit 65 may switch between display and non-display of the target image 53 on the display unit 50 based on a condition different from the condition where the operation amount of the turning operation lever 43 is equal to or greater than the second threshold.
  • a condition for example, a condition that an operator operates an unillustrated switch or button provided in the work machine control device 40 can be employed.
  • the controller 60 acquires the captured image 51 transmitted from the machine-side controller 35.
  • the controller 60 acquires the operation amount of the turning operation lever 43.
  • the display switching unit 65 determines whether or not the acquired operation amount is greater than or equal to the second threshold value. When the operation amount is equal to or greater than the second threshold value, the display switching unit 65 notifies the setting unit 61 that the operation amount is equal to or greater than the second threshold value.
  • the setting unit 61 sets a target turning angle.
  • the display control unit 62 generates a display screen in which the target image 53 is superimposed and displayed at a position on the captured image 51 corresponding to the target turning angle set by the setting unit 61 and causes the display unit 50 to display the display screen.
  • the determination unit 63 recognizes an image indicating the specific part S from the captured image 51 and calculates the degree of coincidence based on the positional relationship between the image indicating the recognized specific part and the target image 53.
  • the notification control unit 64 causes the notification unit 70 to output a notification corresponding to the calculated degree of coincidence. Thereby, the display mode of the target image 53 is changed according to the matching degree, or a sound according to the matching degree is output from the speaker 71.
  • the display switching unit 65 instructs the display control unit 62 to hide the target image 53 displayed on the display unit 50.
  • the display control unit 62 hides the target image 53.
  • the operator when the operator operates the work machine 1 in the cab 21 of the work machine 1, the operator can adjust the turning angle ⁇ to the target turning angle while directly viewing the surrounding situation.
  • the target turning angle ⁇ is 0 °, 90 °, 180 °, or 270 °
  • the operator can set the linear portion of the lower frame 11 of the cab 21 and the linear portion (crawler of the lower traveling body 10).
  • the turning operation is performed while confirming the parallelism or squareness with the 13 contours, shoes, etc.).
  • the operator can confirm the parallelism and perpendicularity of the cab 21 and the lower traveling body 10 from various angles.
  • the target turning angle ⁇ may not be 0 °, 90 °, 180 °, or 270 °.
  • the work machine 1 may travel in a direction different from the direction intended by the operator.
  • the target image 53 is displayed superimposed on the captured image 51, so that the operator can easily adjust the turning angle ⁇ to the target turning angle.
  • the work machine control device 40 only a part of the above-described problems may be solved.
  • the work machine control device 40 can remotely control the work machine 1.
  • the work machine 1 includes a lower traveling body 10 and an upper revolving body 20 that revolves with respect to the lower traveling body 10.
  • the work machine control device 40 includes a camera 27 that captures a specific part S that is disposed on the upper swing body 20 and is a part of the lower traveling body 10 and acquires a captured image 51, a display unit 50, and a controller 60. .
  • the controller 60 sets the target turning angle of the upper swing body 20 with respect to the lower traveling body 10, and when the turning angle of the upper swing body 20 with respect to the lower traveling body 10 becomes the target turning angle.
  • a display control unit 62 that causes the display unit 50 to display a display screen on which a target image indicating the target position of the specific part is superimposed and displayed at a position on the captured image 51 where the specific part is displayed.
  • the work machine control device 40 further includes a notification unit 70 that notifies the degree of coincidence between the turning angle ⁇ of the upper turning body 20 and the target turning angle.
  • the controller 60 further includes a notification control unit 64 that changes notification contents to be notified to the notification unit 70 according to the degree of coincidence.
  • the operator can grasp the degree of coincidence between the turning angle ⁇ and the target turning angle from the notification content output from the notification unit 70. As a result, the operator can more easily adjust the turning angle ⁇ to the target turning angle.
  • the controller 60 recognizes an image indicating the specific part S from the captured image 51 using image recognition processing, and a positional relationship between the image indicating the recognized specific part S and the target image 53 on the captured image 51.
  • the determination unit 63 determines the degree of coincidence between the turning angle ⁇ and the target turning angle based on the positional relationship between the image indicating the specific part S on the captured image 51 and the target image. . Therefore, the degree of coincidence between the turning angle ⁇ and the target turning angle can be obtained without detecting the turning angle ⁇ of the upper turning body 20 using the turning angle sensor that detects the turning angle ⁇ . The need to provide a turning angle sensor can be eliminated.
  • the controller 60 further includes a display switching unit 65 that switches between display and non-display of the target image 53 on the display unit 50.
  • the display of the target image 53 on the display unit 50 and the non-display of the target image 53 are switched by the above [Configuration 4]. Therefore, when the operator does not need to view the target image 53, the target image 53 can be hidden on the display unit 50, and the target image 53 can be prevented from becoming an obstacle in the captured image 51.
  • the work machine control device 40 includes a turning operation lever 43 that remotely controls turning of the upper turning body 20 with respect to the lower traveling body 10.
  • the display switching unit 65 displays the target image 53 on the display unit 50 when the operation amount of the turning operation lever 43 is greater than or equal to a predetermined amount, and when the operation amount of the turning operation lever 43 is less than the predetermined amount.
  • the target image 53 shown in FIG. 4 is not displayed on the display unit 50.
  • the target image 53 is not displayed on the display unit 50 when the operation amount of the turning operation lever 43 is less than the predetermined amount. Therefore, the target image 53 can be prevented from being displayed on the display unit 50 when the operator is not performing an operation for adjusting the turning angle ⁇ to the target turning angle.
  • the target turning angle is at least one of 0 °, 90 °, 180 °, and 270 ° based on a predetermined direction of the lower traveling body.
  • the operator can easily adjust the turning angle ⁇ to 90 °.
  • the operator can accurately travel the work machine 1 to the left side of the upper swing body 20.
  • the operator can accurately travel the work machine 1 to the right side of the upper swinging body 20.
  • the operator when the lower traveling body 10 is advanced when the target turning angle is, for example, 180 ° clockwise with respect to the front side X10, the operator accurately moves the work machine 1 to the rear side of the upper turning body 20. Can be run. Further, when the operator turns the lower traveling body 10 backward when the target turning angle is, for example, 180 ° clockwise with respect to the front side X10, the operator accurately travels the work machine 1 on the front side X20 of the upper turning body 20. Can be made.
  • the work machine 1 can be accurately traveled to the right side of the upper revolving body 20.
  • the target turning angle is, for example, 270 ° clockwise with respect to the front side X10
  • the work machine 1 can accurately travel to the left side of the upper turning body.
  • the lower traveling body 10 may include a soil discharge plate 115 (dozer).
  • the earth removing plate 115 is attached to the lower frame 11 so as to be movable in the vertical direction.
  • the earth removing plate 115 is not movable in the left-right direction (the left-right direction of the lower traveling body 10) with respect to the lower frame 11.
  • the earth discharging plate 115 is disposed on the front side X ⁇ b> 10 of the lower traveling body 10 with respect to the crawler 13.
  • the earth removal board 115 is a substantially plate shape long in the left-right direction of the lower traveling body 10.
  • the specific part S is the crawler 13 in the example shown in FIG. 4, but may be a soil discharge board 115 as shown in FIG. 7.
  • the specific part S is the crawler 13
  • the display position of the crawler 13 corresponding to the target turning angle in the captured image 51 is determined at one place.
  • the earth discharging plate 115 shown in FIG. 7 is movable in the vertical direction. Therefore, when the specific part S is the earth removal board 115, the display position of the earth removal board 115 according to the target turning angle in the photographed image 51 is not determined at one place but is within a predetermined range.
  • the “predetermined range” is a display range of the earth removal plate 115 in the photographed image 51 when the earth removal plate 115 is moved from the upper end to the lower end of the vertical movable range with the turning angle ⁇ as the target turning angle. .
  • the target image 153 is displayed on the captured image 51 when the earth removing plate 115 is moved from the upper end to the lower end of the movable range in the vertical direction. It is configured in the shape of the entire display range of the earth plate 115.
  • the target image 153 may be configured in a shape indicating the silhouette of the entire display range.
  • the target image 153 may be configured with the contour shape of the entire display range.
  • the target image 153 may be configured in a shape showing a part of the entire display range, such as an end portion in the left-right direction of the entire display range.
  • the display control unit 62 includes a table in which a plurality of target turning angles are associated with display positions and shapes of the target images 53 at each target turning angle.
  • the target image 153 corresponding to the target turning angle may be displayed on the captured image 51.
  • the determination unit 63 recognizes an image showing the earth discharging board 115 from the captured image 51 and determines the degree of coincidence between this image and the target image 153, as in the above embodiment. That's fine.
  • the determination of the degree of coincidence is preferably performed in consideration of the fact that the earth discharging plate 115 can move in the vertical direction.
  • the determination unit 63 does not use the closeness in the vertical direction of the contour of the target image 153 with respect to the contour of the earth removal plate 115 displayed in the captured image 51 to determine the degree of coincidence.
  • the specific portion S is the crawler 13 in the example shown in FIG. 4 and the earth discharging plate 115 in the example shown in FIG. 7, but both the crawler 13 and the earth discharging plate 115 may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

作業機械操縦装置４０は、下部走行体１０の一部である特定部位を撮影して撮影画像を取得するカメラ２７とコントローラ６０とを備え、コントローラ６０は、下部走行体１０に対する上部旋回体２０の目標旋回角度を設定する設定部６１と、下部走行体１０に対する上部旋回体２０の旋回角度が目標旋回角度になったときに特定部位が表示される撮影画像上の位置に、特定部位の目標位置を示す目標画像が重畳表示された表示画面を表示部５０に表示させる表示制御部６２とを備える。

Description

作業機械操縦装置
　本発明は、作業機械を遠隔操縦可能な作業機械操縦装置に関する。
　近年、操作者が遠隔地から作業機械を遠隔操縦する遠隔操縦システムの技術開発が進められている。作業機械を遠隔操縦する場合、操作者は、作業機械に設置されたカメラが撮影した画像を通じて作業機械の周囲の状況を視認することになる。そのため、遠隔操縦が行われる場合、キャブ内で操縦される場合に比べ、操作者が得ることができる視覚情報が制限されてしまう。その結果、操作者は、下部走行体を直接目視できず、下部走行体に対する上部旋回体の旋回角度を目標とする旋回角度に合わせることが困難になるという課題がある。
　例えば、特許文献１には、下部走行体に対する上部旋回体の旋回位置関係をディスプレイに表示すると共に、下部走行体を走行させる操作が入力されたときに運転席に座した操作者を基準にして建設機械の走行方向を示す画像をディスプレイに表示する建設機械が開示されている。
　しかし、特許文献１では、建設機械の走行方向がディスプレイを通じて操作者に提示されるに過ぎないため、特許文献１の技術を遠隔操縦に適用したとしても、操作者は上部旋回体の旋回角度を目標とする旋回角度に容易に合わせることができないという課題がある。
　また、特許文献１は、操作者がキャブ内で作業機械を操縦することを前提とする技術である。したがって、特許文献１では、操作者は下部走行体を直接目視することができるため、上部旋回体の旋回角度を目標とする旋回角度に合わせることが困難になるという上述した遠隔操縦特有の課題は生じ得ない。
特開２００７－１９８０４０号公報
　そこで、本発明は、下部走行体に対する上部旋回体の旋回角度を、目標とする旋回角度に容易に合わせることができる、作業機械操縦装置を提供することを目的とする。
　本発明の一態様に係る作業機械操縦装置は、下部走行体と、前記下部走行体に対して旋回する上部旋回体と、を備える作業機械を遠隔操縦する作業機械操縦装置であって、
　表示部と、
　前記上部旋回体に配置され、前記下部走行体の一部である特定部位を撮影して撮影画像を取得するカメラと、
　コントローラとを備え、
　前記コントローラは、
　前記下部走行体に対する前記上部旋回体の目標旋回角度を設定する設定部と、
　前記下部走行体に対する前記上部旋回体の旋回角度が前記目標旋回角度になったときに前記特定部位が表示される前記撮影画像上の位置に、前記特定部位の目標位置を示す目標画像が重畳表示された表示画面を前記表示部に表示させる表示制御部とを備える。
　上記構成により、下部走行体に対する上部旋回体の旋回角度を、目標とする旋回角度に容易に合わせることができる。
作業機械１および作業機械操縦装置４０を示すブロック図である。 図１に示す作業機械１を上から見た図である。 下部走行体１０に対して上部旋回体２０が旋回した状態を示す図である。 キャブ内カメラ２７ａに撮影された撮影画像を示す図である。 右側方カメラ２７ｃに撮影された撮影画像を示す図である。 作業機械１の変形例を示す図である。 撮影画像の変形例を示す図である。
　図１～図５を参照して、図１に示す作業機械操縦装置４０、および、作業機械操縦装置４０が用いられる作業機械１について説明する。
　作業機械１は、例えば、建設作業を行う建設機械で構成される。作業機械１は、例えば油圧ショベルなどである。特に本実施の形態では、作業機械１は、遠隔操縦可能な遠隔ショベルが採用される。作業機械１は、下部走行体１０と、上部旋回体２０と、アタッチメント３１と、カメラ２７と、機械側コントローラ３５と、を備える。
　下部走行体１０は、作業機械１の下部に設けられ、作業機械１を走行させる。図２に示すように、下部走行体１０は、下部フレーム１１と、左右一対のクローラ１３とを備える。クローラ１３は、作業機械１を走行させる。クローラ１３は、下部フレーム１１の左右に取り付けられる。左右一対のクローラ１３のそれぞれは、下部走行体１０の前後方向に延びる。下部走行体１０の前後方向の一方側を前側Ｘ１０とする。前側Ｘ１０は、下部走行体１０が前進する方向である。
　上部旋回体２０は、下部走行体１０の上に設けられ、下部走行体１０に対して旋回する。上部旋回体２０は、キャブ２１と、ガード２３と、カウンタウエイト２５と、カメラ２７とを備える。上部旋回体２０には、アタッチメント３１が取り付けられる。ここで、下部走行体１０に対する上部旋回体２０の旋回の中心を旋回中心Ｏとする。カウンタウエイト２５からアタッチメント３１に向かう側を、上部旋回体２０の前後方向の前側Ｘ２０とする。キャブ２１は、操作者が作業機械１を操縦するための運転室である。本実施形態では、操作者は、作業機械１を遠隔操縦するので、キャブ２１で作業機械１を操縦する必要はない。ガード２３は、エンジンおよびポンプなどの機器を覆う。カウンタウエイト２５は、上部旋回体２０の後側部分に配置される、おもりである。
　カメラ２７は、作業機械１を遠隔操縦する操作者が、視覚情報を得るために設けられる。カメラ２７は、作業機械１の周囲を撮影する。カメラ２７は、下部走行体１０の特定部位Ｓを撮影する。カメラ２７は、１つのみ設けられてもよく、複数設けられてもよい。例えば、カメラ２７は、キャブ内カメラ２７ａと、左側方カメラ２７ｂと、右側方カメラ２７ｃと、後方カメラ２７ｄとを含む。キャブ内カメラ２７ａは、キャブ２１の内部に配置され、キャブ２１、および上部旋回体２０の前方を撮影する。左側方カメラ２７ｂは、上部旋回体２０の左側方を撮影する。右側方カメラ２７ｃは、上部旋回体２０の右側方を撮影する。左側方カメラ２７ｂおよび右側方カメラ２７ｃは、それぞれ、例えば上部旋回体２０の左端および右端などに配置され、ガード２３の上面などに取り付けられる。後方カメラ２７ｄは、上部旋回体２０の後方を撮影する。後方カメラ２７ｄは、例えば上部旋回体２０の後部に配置され、カウンタウエイト２５の上面などに取り付けられる。なお、カメラ２７には、例えば、上部旋回体２０の斜め前方を撮影するカメラ２７があってもよく、上部旋回体２０の斜め後方を撮影するカメラ２７があってもよい。
　アタッチメント３１は、多関節の機械で構成されている。具体的には、アタッチメント３１は、上部旋回体２０に対して回動可能に取り付けられたブームと、ブームに対して回動可能に取り付けられたアームと、アームに対して回動可能に取り付けられた先端アタッチメントとを備える。先端アタッチメントは、例えば、バケット、ニブラー、及びブレーカーである。アタッチメント３１は、上部旋回体２０に取り付けられ、上部旋回体２０から前側Ｘ２０に突出する。
　図１に参照を戻す。機械側コントローラ３５は、種々の情報を含む種々の信号の入出力などを行う。機械側コントローラ３５は、作業機械１に搭載される。作業機械１が遠隔操縦される場合、機械側コントローラ３５は、作業機械操縦装置４０から入力された指令に応じて作業機械１を作動させる。
　作業機械操縦装置４０は、作業機械１の外部に設けられ、作業機械１を遠隔操縦する装置である。作業機械操縦装置４０は、操作者による旋回操作を補助する装置である。作業機械操縦装置４０は、座席４１と、旋回操作レバー４３と、コントローラ６０と、通知部７０とを備える。
　座席４１は、操作者により着座される。旋回操作レバー４３は、作業機械１を遠隔操縦するための操作レバーであり、下部走行体１０に対して上部旋回体２０を旋回させる操作が操作者により入力される。旋回操作レバー４３は、座席４１の横に配置される。旋回操作レバー４３の操作量が、所定の第１閾値よりも大きい場合に、下部走行体１０に対して上部旋回体２０が旋回し、第１閾値以下の場合に、下部走行体１０に対する上部旋回体２０の旋回が停止する。
　通知部７０は、表示部５０及びスピーカ７１を含み、操作者に対して旋回角度θと目標旋回角度との一致度を通知する。表示部５０は、画像及び各種情報を表示する液晶ディスプレイ等の表示装置で構成される。表示部５０は、座席４１の正面に配置される。図４に示すように、表示部５０は、コントローラ６０の制御の下、撮影画像５１に目標画像５３が重畳表示された表示画面を表示する。スピーカ７１は、コントローラ６０の制御の下、後述するように旋回角度θと目標旋回角度との一致度に応じた音を出力する。表示部５０及びスピーカ７１によって通知部７０が構成される。
　撮影画像５１は、例えば所定のフレームレートでカメラ２７が作業機械１の周囲を撮影することによって得られた画像である。撮影画像５１には、例えば、クローラ１３が含まれる。なお、旋回角度θによっては、撮影画像５１にクローラ１３が映らない場合があってもよい。例えば、図４に示すように、キャブ内カメラ２７ａが撮影した撮影画像５１には、キャブ２１の内部の画像、および、キャブ２１の内部から見たキャブ２１外部の画像が含まれる。例えば、図５に示すように、右側方カメラ２７ｃが撮影した撮影画像５１には、ガード２３の右側方を示す画像が含まれる。後方カメラ２７ｄが撮影した撮影画像５１には、例えば、カウンタウエイト２５の後方を示す画像が含まれてもよい。カメラ２７が複数設けられる場合、撮影画像５１は、キャブ内カメラ２７ａ、左側方カメラ２７ｂ、右側方カメラ２７ｃ、及び後方カメラ２７ｄごとに表示部５０への表示が切り換えられてもよい。
　目標画像５３は、図４に示すように、下部走行体１０の目標位置を示す画像である。目標画像５３の詳細は後述する。目標画像５３は、表示部５０に表示可能であり、表示部５０に表示されない場合があってもよい。
　図１に参照を戻す。コントローラ６０は、例えば、ＣＰＵ等のプロセッサ及び不揮発性のメモリを含むコンピュータで構成される。コントローラ６０は、各種信号の入出力及び演算を行う。コントローラ６０は、表示部５０の表示を制御する。コントローラ６０には、旋回操作レバー４３の操作量を示す信号が入力される。コントローラ６０は、通信回路（図略）を備え、機械側コントローラ３５との間で、無線により情報を送受信する。コントローラ６０は、作業機械１を作動させるための指令を示す信号を、機械側コントローラ３５に送信する。コントローラ６０は、カメラ２７が所定のフレームレートで撮影した撮影画像５１を、機械側コントローラ３５から所定のフレームレートで受信する。コントローラ６０は、設定部６１、表示制御部６２、判定部６３、通知制御部６４、及び表示切換部６５を備える。これらの構成要素は、コントローラ６０が制御プログラムを実行することで実現されてもよいし、専用の電気回路で構成されてもよい。
　設定部６１は、操作者が入力した下部走行体１０に対する上部旋回体２０の目標旋回角度を設定する。ここで、設定部６１は、旋回操作レバー４３の操作量が所定量以上になったときに予め定められた角度を目標旋回角度として設定すればよい。或いは、設定部６１は、作業機械操縦装置４０に設けられた図略の操作キーを用いて操作者が入力した角度を目標旋回角度として設定すればよい。
　表示制御部６２は、下部走行体１０に対する上部旋回体２０の旋回角度θが、設定部６１が設定した目標旋回角度になったときに特定部位が表示される撮影画像５１上の位置に目標画像が重畳表示された表示画面を表示部５０に表示させる。なお、判定部６３、通知制御部６４、及び表示切換部６５の詳細は後述する。
　（作動）
　作業機械操縦装置４０は、図３に示す旋回角度θを、目標旋回角度にするための、操作者による旋回操作を補助する。
　旋回角度θは、下部走行体１０に対する上部旋回体２０の角度である。詳しくは、旋回角度θは、作業機械１を上から見て、旋回中心Ｏを中心とし、下部走行体１０の前側Ｘ１０を基準としたときの、上部旋回体２０の前側Ｘ２０の例えば右回りの角度である。以下、旋回角度θについては図２、図３を参照して説明する。
　目標旋回角度は、任意の角度に設定されてもよい。例えば、目標旋回角度は、０°、９０°、１８０°、および２７０°の少なくとも１つである。目標旋回角度は、上述したように、操作者によって入力される。但し、これは一例であり、目標旋回角度は、コントローラ６０が設定したものであってもよい。なお、コントローラ６０が設定した目標旋回角度と操作者が設定した目標旋回角度とが競合した場合、例えば、操作者が設定した目標旋回角度が優先されればよい。
　ここで、図４に示すように、カメラ２７に撮影される下部走行体１０の一部を、特定部位Ｓとする。すなわち、特定部位Ｓとは、撮影画像５１に現れる下部走行体１０の部位のことを指し、ここでは、クローラ１３が該当する。図４の例では、撮影画像５１には、左側のクローラ１３において、先端部分のみが現れ、残りの部位は現れていない。さらに、右側のクローラ１３は全く現れていない。この場合、撮影画像５１に現れた左側のクローラ１３の先端の部分が特定部位Ｓとなる。ここでは、特定部位Ｓとして撮影画像５１に現れる下部走行体１０の部位が採用されたが、本発明はこれに限定されない。特定部位Ｓは、例えば、図７に示す排土板１１５であってもよい。
　（目標画像５３）
　図４に示すように、目標画像５３は、撮影画像５１に重畳表示される。目標画像５３は、特定部位Ｓの目標位置を示す画像である。操作者は、撮影画像５１に表示された特定部位Ｓを、目標画像５３に合わせるように、旋回操作を行う。すると、旋回角度θが、目標旋回角度に一致又は略一致する。
　撮影画像５１において、目標画像５３は、旋回角度θが目標旋回角度になったときに撮影画像５１に表示される特定部位Ｓの表示位置に表示される。特定部位Ｓの表示位置は、目標旋回角度に応じて予め算出された位置が採用される。具体的には、目標旋回角度に応じた特定部位Ｓの表示位置は、上部旋回体２０におけるカメラ２７の位置、上部旋回体２０の寸法、及び下部走行体１０の寸法を考慮に入れて、予め算出された撮影画像５１上の位置が採用される。或いは、目標旋回角度に応じた特定部位Ｓの表示位置は、上部旋回体２０の旋回角度θを目標旋回角度に位置決めし、撮影画像５１をカメラ２７に撮影させ、撮影された撮影画像５１から特定部位Ｓを示す位置を特定する作業を行うことにより算出されてもよい。この作業は人手により行われてもよいし、画像処理により行われてもよい。
　目標画像５３の形状は、例えば、特定部位Ｓを表す形状が採用できる。例えば、目標画像５３の形状は、特定部位Ｓのシルエットの形状でもよく、特定部位Ｓの輪郭の形状でもよい。目標画像５３の形状は、特定部位Ｓが表示され得る範囲を示す形状でもよく、この範囲の輪郭の形状でもよい。
　なお、表示制御部６２は、複数の目標旋回角度と、各旋回角度に応じた目標画像５３の表示位置及び形状とを対応付けたテーブルを備え、このテーブルを参照することで、目標画像５３を撮影画像５１に重畳表示させればよい。
　（旋回角度θの一致度の判定、判定部６３）
　図１に示すコントローラ６０は、旋回角度θと目標旋回角度との一致度（以下「一致度」と称する。）を判定する。この判定のために、判定部６３は、撮影画像５１から特定部位Ｓを示す画像を画像認識処理を用いて認識し、認識した特定部位Ｓを示す画像と目標画像５３との撮影画像５１上での位置関係に基づいて一致度を判定する。一致度が高いほど、旋回角度θが目標旋回角度の近くに位置することを示す。画像認識処理としては、例えば、クローラ１３の画像をテンプレートとするテンプレートマッチングにより特定部位Ｓを示す画像を認識する処理が採用できる。判定部６３は、例えば、以下のように一致度を判定する。
　図４を参照する。判定部６３は、特定部位Ｓのうち、画像認識しやすい特徴的な部位を認識すればよい。特徴的な部位としては、例えば、特定部位Ｓの輪郭、特定部位Ｓの輪郭の角（頂点）、及び特定部位Ｓの輪郭の一辺が採用できる。
　判定部６３は、認識した特定部位Ｓを示す画像と目標画像５３とが重なっている領域の面積が広いほど、一致度が高いと判定してもよい。或いは、判定部６３は、特定部位Ｓを示す画像の輪郭と、目標画像５３の輪郭とが近い位置にあるほど一致度が高いと判定してもよい。この場合、判定部６３は、例えば、特定部位Ｓを示す画像の輪郭から特定部位Ｓを示す画像の重心を求めると共に、目標画像５３の輪郭から目標画像５３の重心を求め、両重心の距離が短いほど一致度が高いと判定すればよい。
　或いは、判定部６３は、特定部位Ｓを示す画像の輪郭の一部と、この一部に対応する目標画像５３の輪郭の一部との距離が近いほど一致度が高いと判定してもよい。輪郭の一部としては、輪郭の頂点又は直線部分が採用できる。ここで、特定部位Ｓを示す画像の輪郭の一部が左上の頂点であるとすると、この頂点に対応するのは、目標画像５３の輪郭の左上の頂点になる。また、特定部位Ｓを示す画像の輪郭の一部が左辺であるとすると、この左辺に対応するのは目標画像５３の左辺になる。
　或いは、判定部６３は、特定部位Ｓを示す画像の輪郭における長手方向の直線部分の方向と、この直線部分に対応する目標画像５３の輪郭における長手方向の直線部分の方向とが近いほど、一致度が高いと判定してもよい。具体的には、判定部６３は、特定部位Ｓを示す画像の輪郭における長手方向の直線部分と、目標画像５３の輪郭における長手方向の直線部分とのなす角度が小さいほど一致度が高いと判定すればよい。例えば、特定部位Ｓを示す画像の輪郭における長手方向の直線部分が特定部位Ｓを示す画像の輪郭における左辺とすると、この左辺に対応するのは目標画像５３の輪郭における左辺になる。
　（旋回角度θの一致度に応じた通知、通知制御部６４）
　図１に示す通知制御部６４は、一致度に応じて通知部７０に通知させる通知内容を変更する。通知制御部６４は、例えば、映像を含む光、音、および振動の少なくとも１つを用いた通知を通知部７０に行わせる。通知制御部６４は、一致度に応じて通知部７０から通知を出力させるか否かを切り換える。通知制御部６４は、一致度に応じて通知内容を以下のように変化させる。
　［例Ａ］例Ａは、映像を含む光を用いた通知の例である。具体的には以下の通りである。
　［例Ａ１］例Ａ１は、一致度に応じた通知を、通知制御部６４が表示部５０に表示させる例である。例Ａ１はさらに下記の例Ａ１－１、例Ａ１－２の２つがある。
　［例Ａ１－１］例Ａ１－１は、一致度に応じて表示部５０に表示される目標画像５３の表示態様を変化させる例である。例えば、通知制御部６４は、一致度に応じて目標画像５３の形状、色彩、及び明度の少なくとも１つを変化させてもよい。この場合、操作者は、旋回操作時に、目標画像５３の表示位置から他の位置に視線を移さなくても、一致度を確認できる。
　目標画像５３の形状を変化させる態様としては、例えば、一致度が高いほど、目標画像５３のサイズを増大させる態様が採用できる。目標画像５３の色彩を変化させる態様としては、例えば、一致度が高いほど目標画像５３の彩度を増大させる態様が採用できる。目標画像５３の明度を変化させる態様としては、例えば、一致度が高いほど目標画像５３の明度を増大させる態様が採用できる。
　［例Ａ１－２］例Ａ１－２は、一致度に応じて目標画像５３とは別に表示部５０に表示させる表示オブジェクトの表示態様を変化させる例である。この表示オブジェクトは、例えば、所定のアイコンが採用されてもよい。また、この表示オブジェクトの表示態様の変化のバリエーションは上述した例Ａ１－１で示した態様、すなわち、形状、色彩、及び明度の少なくとも１つを変化させる態様が採用できる。
　［例Ａ２］例Ａ２は、表示部５０とは別に設けられたディスプレイから通知を出力させる態様である。この場合、通知制御部６４は、例Ａ１－２で示した表示オブジェクトをこのディスプレイから表示させてもよい。また、この表示オブジェクトの表示態様の変化のバリエーションは、上述した例Ａ１－１で示した態様が採用できる。また、通知制御部６４は、表示部５０とは別に設けられたディスプレイではなく、発光体を用いて通知を行ってもよい。この場合、通知制御部６４は、例えば、一致度が高いほど発光体から出力される光の強度を増大又は減少させてもよい。
　［例Ｂ］例Ｂは、音により通知を行う例である。具体的には以下の通りである。通知制御部６４は、一致度に応じてスピーカ７１から音を出力させる。例えば、通知制御部６４は、一致度に応じて、スピーカ７１に出力させる音の大きさ又は種類を変化させる。詳細には、通知制御部６４は、一致度が高くなるにつれて、スピーカ７１から出力される音を増大させればよい。或いは、通知制御部６４は、一致度が高くなるにつれて、スピーカ７１から出力される音の周波数を高く又は低くしてもよい。
　［例Ｃ］例Ｃは、振動を用いた通知の例である。具体的には以下の通りである。
　［例Ｃ１］例Ｃ１は、一致度に応じて旋回操作レバー４３を振動させる例である。この場合、旋回操作レバー４３にバイブレータを配置する。そして、通知制御部６４は、旋回角度θと目標旋回角度との一致度に応じて、旋回操作レバー４３のバイブレータの振動の強度又は振動パターンを変化させればよい。例えば、通知制御部６４は、一致度が増大するにつれてバイブレータの振動の強度を増大又は減少させてもよい。或いは、通知制御部６４は、一致度が増大するにつれてバイブレータの振動パターンを変化させてもよい。振動パターンの変化としては、例えば、一致度が増大するにつれて、振動の周波数を増大又は減少させる態様が採用されてもよい。或いは、振動パターンとしてバイブレータを間欠駆動させる態様が採用されるのであれば、バイブレータの間欠駆動の休止時間を変化させる態様が採用されてもよい。また、旋回操作レバー４３の振動は、旋回操作レバー４３の操作に影響を与えにくい方向への振動であってもよい。例えば、旋回操作レバー４３が前後方向に操作されるのであれば、旋回操作レバー４３には左右方向又は上下方向の振動が付与されてもよい。
　［例Ｃ２］例Ｃ２は、一致度に応じて座席４１を振動させる例である。この場合、座席４１にバイブレータを配置する。そして、通知制御部６４は、一致度に応じて座席４１のバイブレータの振動の強度又は振動パターンを変化させればよい。なお、例Ｃ２において座席４１のバイブレータに与える振動のバリエーションは例Ｃ１で示した例が採用できる。
　なお、旋回角度θを検出する旋回角度センサが作業機械１に設けられる場合は、通知制御部６４は、旋回角度センサが検出した旋回角度θと目標旋回角度との一致度に基づいて、通知部７０から出力される通知内容を変化させてもよい。旋回角度センサとしては、例えば、リゾルバ或いはエンコーダが採用できる。この場合、通知制御部６４は、旋回角度センサが検出した旋回角度θと目標旋回角度との差が０に近いほど一致度が高いと判定すればよい。この態様を採用した場合、画像認識処理を行う必要がなくなるため、コントローラ６０の処理の負荷が軽減される。
　（目標画像５３の表示の切り換え、表示切換部６５）
　例えば、旋回角度θを目標旋回角度に合わせる必要がない場合、操作者は目標画像５３を見る必要がない。このような場面では、撮影画像５１に目標画像５３が表示されていると、目標画像５３が邪魔になって操作者の撮影画像５１に対する視認性が悪化する可能性がある。そこで、表示切換部６５は、目標画像５３の表示部５０への表示及び非表示を切り換える。
　具体的には、表示切換部６５は、例えば、旋回操作レバー４３の操作量が第２閾値（所定量の一例）以上の場合、目標画像５３を表示部５０に表示させるように表示制御部６２に指示をする。一方、表示切換部６５は、旋回操作レバー４３の操作量が第２閾値未満の場合、目標画像５３を表示部５０に表示させないように表示制御部６２に指示をする。
　第２閾値は、第１閾値と同じ値が採用されてもよい。ここで、上述したように、第１閾値は、下部走行体１０に対して上部旋回体２０の旋回を実際に開始させるか否かを判定するための閾値である。第２閾値と第１閾値とが同じである場合、上部旋回体２０が実際に旋回を開始するタイミングで、目標画像５３が表示部５０に表示されることになる。また、第２閾値が第１閾値と同じでない場合、第２閾値は、中立位置を示す０よりも大きく、第１閾値未満の値が採用されてもよい。この場合、操作者が旋回操作レバー４３の操作を開始してから、上部旋回体２０が実際に旋回を開始するまでの期間においても、目標画像５３が表示部５０に表示されることになる。
　なお、表示切換部６５は、旋回操作レバー４３の操作量が第２閾値以上になる条件とは別の条件に基づいて、目標画像５３の表示部５０への表示及び非表示を切り換えてもよい。別の条件としては、例えば、操作者が作業機械操縦装置４０に設けられた図略のスイッチ又はボタンを操作するという条件が採用できる。
　（処理の概要）
　次に、本発明の実施の形態に係る作業機械操縦装置４０の処理の概要について説明する。まず、コントローラ６０は、機械側コントローラ３５から送信された撮影画像５１を取得する。次に、コントローラ６０は、旋回操作レバー４３の操作量を取得する。次に、表示切換部６５は、取得した操作量が第２閾値以上であるか否かを判定する。操作量が第２閾値以上の場合、表示切換部６５は、操作量が第２閾値以上になったことを設定部６１に通知する。
　次に、設定部６１は、目標旋回角度を設定する。次に、表示制御部６２は、設定部６１により設定された目標旋回角度に応じた撮影画像５１上の位置に、目標画像５３を重畳表示した表示画面を生成し、表示部５０に表示させる。次に、判定部６３は、撮影画像５１から特定部位Ｓを示す画像を認識し、認識した特定部位を示す画像と目標画像５３との位置関係に基づいて一致度を算出する。
　次に、通知制御部６４は、算出された一致度に応じた通知を通知部７０から出力させる。これにより、一致度に応じて目標画像５３の表示態様が変更されたり、スピーカ７１から一致度に応じた音が出力されたりする。
　一方、操作量が第２閾値未満の場合、表示切換部６５は、表示部５０に表示された目標画像５３を非表示にするよう表示制御部６２に指示する。次に、表示制御部６２は、目標画像５３を非表示にする。以上の処理が所定の演算周期で繰り返されることで、目標画像５３の表示及び非表示が制御される。
　（遠隔操縦時の課題の例）
　図２に示すように、作業機械１を直進させる場合は、通常、特に制約がなければ、上部旋回体２０の前側Ｘ２０を作業機械１は走行する。この場合、旋回角度θを０°として、下部走行体１０を前側Ｘ１０に直進させる。また、旋回角度θを１８０°として、下部走行体１０は後側（前側Ｘ１０とは反対側）に直進してもよい。また、図３に示すように、上部旋回体２０の左右方向に作業機械１を走行させながら作業が行われる場合は、旋回角度θを９０°または２７０°として、下部走行体１０は前側Ｘ１０または後側に直進する場合もある。
　ここで、作業機械１のキャブ２１内で操作者が作業機械１を操縦する場合、操作者は、周囲の状況を直接的に目視しながら、旋回角度θを目標旋回角度に合わせることができる。例えば、目標とする旋回角度θが０°、９０°、１８０°、または２７０°の場合、操作者は、キャブ２１の下部フレーム１１の直線状部分と、下部走行体１０の直線状部分（クローラ１３の輪郭、シューなど）との平行度又は直角度を確認しながら、旋回操作を行う。このとき、操作者は、様々な角度からキャブ２１および下部走行体１０の平行度や直角度を確認し得る。なお、目標とする旋回角度θは、０°、９０°、１８０°、２７０°でなくてもよい。
　一方、操作者が作業機械１を遠隔操縦する場合は、キャブ２１内の操作者が作業機械１を操縦する場合に比べ、操作者が得られる視覚情報が制限される。そのため、例えば、操作者は、上記の平行度や直角度を精度よく把握するのが困難となる。例えば、キャブ内カメラ２７ａがキャブ２１内に固定されていれば、上記の平行度や直角度を様々な角度から確認することはできない。このように、操作者が得られる視覚情報が制限されるため、実際の旋回角度θを、目標とする旋回角度θに合わせるのに、時間及び手間がかかるという課題がある（課題の例１）。また、操作者が得られる視覚情報が制限されるため、操作者は、目標とする旋回角度θに対して実際の旋回角度θがわずかにずれていても、このずれに気づきにくいという課題がある（課題の例２）。そのため、操作者の意図した方向とは異なる方向に、作業機械１が走行するおそれがある。
　一方、本実施形態の作業機械操縦装置４０では、目標画像５３が撮影画像５１に重畳表示されるため、操作者は、旋回角度θを目標旋回角度に容易に合わせることができる。なお、作業機械操縦装置４０では、上記の課題の一部のみが解決されてもよい。
　（効果）
　図１に示す作業機械操縦装置４０による効果は次の通りである。
　（第１の発明の効果）
　作業機械操縦装置４０は、作業機械１を遠隔操縦可能である。作業機械１は、下部走行体１０と、下部走行体１０に対して旋回する上部旋回体２０とを備える。作業機械操縦装置４０は、上部旋回体２０に配置され下部走行体１０の一部である特定部位Ｓを撮影して撮影画像５１を取得するカメラ２７と、表示部５０と、コントローラ６０とを備える。
　［構成１］コントローラ６０は、下部走行体１０に対する上部旋回体２０の目標旋回角度を設定する設定部６１と、下部走行体１０に対する上部旋回体２０の旋回角度が目標旋回角度になったときに特定部位が表示される撮影画像５１上の位置に、特定部位の目標位置を示す目標画像が重畳表示された表示画面を表示部５０に表示させる表示制御部６２とを備える。
　上記［構成１］では、目標画像５３が表示されている位置に、特定部位Ｓが表示されるように、操作者が旋回操作すると、旋回角度θが目標旋回角度に合う。よって、操作者は、作業機械１を遠隔操縦するにもかかわらず、旋回角度θを目標旋回角度に容易に合わせることができる。
　（第２の発明の効果）
　［構成２］作業機械操縦装置４０は、上部旋回体２０の旋回角度θと目標旋回角度との一致度を通知する通知部７０をさらに備える。コントローラ６０は、一致度に応じて通知部７０に通知させる通知内容を変更する通知制御部６４をさらに備える。
　上記［構成２］により、通知部７０から出力される通知内容から、操作者は、旋回角度θと目標旋回角度との一致度を把握できる。その結果、操作者は、旋回角度θを目標旋回角度に、より容易に合わせることができる。
　（第３の発明の効果）
　［構成３］コントローラ６０は、画像認識処理を用いて特定部位Ｓを示す画像を撮影画像５１から認識し、認識した特定部位Ｓを示す画像と目標画像５３との撮影画像５１上での位置関係に基づいて一致度を判定する判定部６３をさらに備える、
　上記［構成３］により、判定部６３により、旋回角度θと目標旋回角度との一致度が、撮影画像５１上での特定部位Ｓを示す画像と目標画像との位置関係に基づいて判定される。よって、旋回角度θを検出する旋回角度センサを用いて上部旋回体２０の旋回角度θを検出しなくても、旋回角度θと目標旋回角度との一致度を求めることができ、作業機械１に旋回角度センサを設ける必要をなくすことができる。
　（第４の発明の効果）
　［構成４］コントローラ６０は、目標画像５３の表示部５０への表示と非表示とを切り換える表示切換部６５をさらに備える。
　上記［構成４］により、目標画像５３の表示部５０への表示と非表示とが切り換えられる。よって、操作者が目標画像５３を見る必要がない場合に、表示部５０に目標画像５３を非表示にすることができ、撮影画像５１において目標画像５３が邪魔になることを防止できる。
　（第５の発明の効果）
　図１に示すように、作業機械操縦装置４０は、下部走行体１０に対する上部旋回体２０の旋回を遠隔操縦する旋回操作レバー４３を備える。
　［構成５］表示切換部６５は、旋回操作レバー４３の操作量が所定量以上のときに、目標画像５３を表示部５０に表示させ、旋回操作レバー４３の操作量が所定量未満のときに、図４に示す目標画像５３を表示部５０に表示させない。
　上記［構成５］により、操作者が旋回角度θを目標旋回角度に合わせようとする操作をしているか否かによって、目標画像５３の表示部５０への表示と非表示とを切り換えることができる。さらに詳しくは、操作者が旋回角度θを目標旋回角度に合わせようとするときには、旋回操作レバー４３が操作される。そこで、上記［構成５］では、旋回操作レバー４３の操作量が所定量以上のときに、目標画像５３を表示部５０に表示させる。よって、操作者が旋回角度θを目標旋回角度に合わせようとするときに、目標画像５３を表示部５０に表示させることができる。また、操作者が旋回角度θを目標旋回角度に合わせようとする操作をしていないときには、旋回操作レバー４３は中立位置にある。そこで、上記［構成５］では、旋回操作レバー４３の操作量が所定量未満のときに、目標画像５３を表示部５０に表示させない。よって、操作者が旋回角度θを目標旋回角度に合わせようとする操作を行っていないときに、表示部５０に目標画像５３を表示させないようにできる。
　（第６の発明の効果）
　［構成６］目標旋回角度は、前記下部走行体の所定方向を基準に０°、９０°、１８０°、および２７０°の少なくとも１つである。
　上記［構成６］により、次の効果が得られる。目標旋回角度が前側Ｘ１０を基準に０°である場合、操作者は、旋回角度θを０°に容易に合わせることができる。その結果、操作者は、下部走行体１０を前進させた場合は、作業機械１を上部旋回体２０の前側Ｘ１０に正確に走行させることができる。また、下部走行体１０を後進させた場合は、作業機械１を上部旋回体２０の後側に正確に走行させることができる。
　また、目標旋回角度が例えば前側Ｘ１０を基準に時計回りに９０°である場合、操作者は、旋回角度θを９０°に容易に合わせることができる。その結果、操作者は、下部走行体１０を前進させた場合は、作業機械１を上部旋回体２０の左側に正確に走行させることができる。また、操作者は、下部走行体１０を後進させた場合は、作業機械１を上部旋回体２０の右側に正確に走行させることができる。
　同様に、目標旋回角度が例えば前側Ｘ１０を基準に時計回りに１８０°である場合において下部走行体１０を前進させた場合、操作者は、作業機械１を、上部旋回体２０の後側に正確に走行させることができる。また、操作者は、目標旋回角度が例えば前側Ｘ１０を基準に時計回りに１８０°である場合において下部走行体１０を後進させた場合、上部旋回体２０の前側Ｘ２０に作業機械１を正確に走行させることができる。
　また、目標旋回角度が例えば前側Ｘ１０を基準に時計回りに２７０°である場合において下部走行体１０を前進させた場合、作業機械１を、上部旋回体２０の右側に正確に走行させることができる。また、目標旋回角度が例えば前側Ｘ１０を基準に時計回りに２７０°である場合において下部走行体１０を後進させた場合、作業機械１を上部旋回体の左側に正確に走行させることができる。
　（変形例）
　図６および図７を参照して、作業機械操縦装置４０（図１参照）の変形例について説明する。図６に示すように、下部走行体１０は、排土板１１５（ドーザ）を備えてもよい。排土板１１５は、下部フレーム１１に上下方向に移動可能に取り付けられる。排土板１１５は、下部フレーム１１に対して左右方向（下部走行体１０の左右方向）には移動不可能である。例えば、排土板１１５は、クローラ１３よりも、下部走行体１０の前側Ｘ１０に配置される。排土板１１５は、下部走行体１０の左右方向に長い略板状である。
　特定部位Ｓは、図４に示す例ではクローラ１３であったが、図７に示すように排土板１１５でもよい。特定部位Ｓがクローラ１３の場合、撮影画像５１において目標旋回角度に応じたクローラ１３の表示位置は、１箇所に定まる。一方、図７に示す排土板１１５は、上下方向に移動可能である。そのため、特定部位Ｓが排土板１１５の場合、撮影画像５１において、目標旋回角度に応じた排土板１１５の表示位置は、１箇所には定まらず、所定の範囲内の位置となる。上記「所定の範囲」は、旋回角度θを目標旋回角度として排土板１１５を上下方向の可動範囲の上端から下端まで移動させた場合の、撮影画像５１における排土板１１５の表示範囲となる。
　この場合、目標画像１５３は、旋回角度θが目標旋回角度に設定された場合において、排土板１１５を上下方向の可動範囲の上端から下端まで移動させたときに撮影画像５１に表示される排土板１１５の全表示範囲の形状で構成される。目標画像１５３は、例えばこの全表示範囲のシルエットを示す形状で構成されてもよい。或いは、目標画像１５３は、この全表示範囲の輪郭の形状で構成されてもよい。或いは、目標画像１５３は、この全表示範囲のうちの例えば左右方向の端部というように、全表示範囲の一部分を示す形状で構成されてもよい。
　この変形例を採用する場合、表示制御部６２は、複数の目標旋回角度と、各目標旋回角度における目標画像５３の表示位置及び形状とを対応付けたテーブルを備え、このテーブルを参照して、目標旋回角度に応じた目標画像１５３を撮影画像５１に表示すればよい。
　また、この変形例を採用する場合、判定部６３は、上記実施形態と同様に、撮影画像５１から排土板１１５を示す画像を認識し、この画像と目標画像１５３との一致度を判定すればよい。ただし、この一致度の判定は、排土板１１５が上下方向に移動可能であることが考慮されて行われることが好ましい。例えば、判定部６３は、撮影画像５１中に表示された排土板１１５の輪郭に対する、目標画像１５３の輪郭の、上下方向の近さは一致度の判定に用いられないことが好ましい。
　（他の変形例）
　上記実施形態および変形例は様々に変形されてもよい。上記実施形態の構成要素の少なくとも一部と、上記変形例の構成要素の少なくとも一部と、が組み合わされてもよい。例えば、各構成要素の配置や形状が変更されてもよい。
　例えば、特定部位Ｓは、図４に示す例ではクローラ１３であり、図７に示す例では排土板１１５であったが、クローラ１３および排土板１１５の両方でもよい。

Claims (6)

  1. 　下部走行体と、前記下部走行体に対して旋回する上部旋回体と、を備える作業機械を遠隔操縦する作業機械操縦装置であって、
    　表示部と、
    　前記上部旋回体に配置され、前記下部走行体の一部である特定部位を撮影して撮影画像を取得するカメラと、
    　コントローラとを備え、
    　前記コントローラは、
    　前記下部走行体に対する前記上部旋回体の目標旋回角度を設定する設定部と、
    　前記下部走行体に対する前記上部旋回体の旋回角度が前記目標旋回角度になったときに前記特定部位が表示される前記撮影画像上の位置に、前記特定部位の目標位置を示す目標画像が重畳表示された表示画面を前記表示部に表示させる表示制御部とを備える、
    　作業機械操縦装置。
  2. 　請求項１に記載の作業機械操縦装置であって、
    　前記旋回角度と前記目標旋回角度との一致度を通知する通知部をさらに備え、
    　前記コントローラは、前記一致度に応じて前記通知部に通知させる通知内容を変更する通知制御部をさらに備える、
    　作業機械操縦装置。
  3. 　請求項２に記載の作業機械操縦装置であって、
    　前記コントローラは、画像認識処理を用いて前記特定部位を示す画像を前記撮影画像から認識し、認識した前記特定部位を示す画像と前記目標画像との前記撮影画像上での位置関係に基づいて前記一致度を判定する判定部をさらに備える、
    　作業機械操縦装置。
  4. 　請求項１～３のいずれか１項に記載の作業機械操縦装置であって、
    　前記コントローラは、前記目標画像の前記表示部への表示と非表示とを切り換える表示切換部をさらに備える、
    　作業機械操縦装置。
  5. 　請求項４に記載の作業機械操縦装置であって、
    　前記上部旋回体を旋回させるための操作が入力される旋回操作レバーをさらに備え、
    　前記表示切換部は、前記旋回操作レバーの操作量が所定量以上のときに前記目標画像を前記表示部に表示させ、前記旋回操作レバーの操作量が前記所定量未満のときに前記目標画像を前記表示部に表示させない、
    　作業機械操縦装置。
  6. 　請求項１～５のいずれか１項に記載の作業機械操縦装置であって、
    　前記目標旋回角度は、前記下部走行体の所定方向を基準に０°、９０°、１８０°、および２７０°の少なくとも１つである、
    　作業機械操縦装置。
PCT/JP2019/002234 2018-03-29 2019-01-24 作業機械操縦装置 WO2019187560A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19775627.3A EP3751845B1 (en) 2018-03-29 2019-01-24 Working machine control device
CN201980021196.3A CN111903122B (zh) 2018-03-29 2019-01-24 工程机械操纵装置
US16/981,590 US11970837B2 (en) 2018-03-29 2019-01-24 Working machine control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018064142A JP7000957B2 (ja) 2018-03-29 2018-03-29 作業機械操縦装置
JP2018-064142 2018-03-29

Publications (1)

Publication Number Publication Date
WO2019187560A1 true WO2019187560A1 (ja) 2019-10-03

Family

ID=68058766

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002234 WO2019187560A1 (ja) 2018-03-29 2019-01-24 作業機械操縦装置

Country Status (5)

Country Link
US (1) US11970837B2 (ja)
EP (1) EP3751845B1 (ja)
JP (1) JP7000957B2 (ja)
CN (1) CN111903122B (ja)
WO (1) WO2019187560A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023026568A1 (ja) * 2021-08-27 2023-03-02 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作複合システム
JP7528892B2 (ja) 2021-08-27 2024-08-06 コベルコ建機株式会社 作業支援システムおよび作業支援複合システム
JP7528891B2 (ja) 2021-08-27 2024-08-06 コベルコ建機株式会社 遠隔操作システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424111B (zh) * 2018-07-25 2023-05-09 株式会社多田野 通知装置、作业机、以及通知方法
JP7310637B2 (ja) * 2020-02-18 2023-07-19 コベルコ建機株式会社 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
CN113296542B (zh) * 2021-07-27 2021-10-01 成都睿铂科技有限责任公司 一种航拍拍摄点获取方法及系统
US20240018746A1 (en) * 2022-07-12 2024-01-18 Caterpillar Inc. Industrial machine remote operation systems, and associated devices and methods

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007198040A (ja) 2006-01-27 2007-08-09 Shin Caterpillar Mitsubishi Ltd 建設機械における走行方向表示装置
JP2012082608A (ja) * 2010-10-08 2012-04-26 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械のモニタ装置
WO2015155845A1 (ja) * 2014-04-09 2015-10-15 株式会社日立製作所 作業機械の遠隔操縦システム
JP2017092908A (ja) * 2015-11-17 2017-05-25 日立建機株式会社 遠隔操縦用建設機械の映像伝送システム
JP2017194381A (ja) * 2016-04-21 2017-10-26 株式会社加藤製作所 建設機械の傾斜検出装置
JP2017201114A (ja) * 2016-04-28 2017-11-09 コベルコ建機株式会社 建設機械

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451049B2 (en) * 2010-12-13 2016-09-20 Google Technology Holdings LLC Sharing media among remote access clients in a universal plug and play environment
JP5941663B2 (ja) * 2011-11-30 2016-06-29 住友建機株式会社 建設機械用モニタシステム
WO2013099491A1 (ja) * 2011-12-26 2013-07-04 住友重機械工業株式会社 ショベルの画像表示装置
JP6071786B2 (ja) 2013-07-17 2017-02-01 日立建機株式会社 作業機械の周囲監視装置
CN107111928B (zh) * 2014-11-17 2020-07-31 洋马动力科技有限公司 远程控制作业机用显示系统
CN107406035B (zh) * 2015-03-31 2020-09-25 株式会社小松制作所 工程作业机械
CN105934945B (zh) 2015-07-31 2019-07-05 株式会社小松制作所 作业机械的显示系统、显示装置和显示方法
KR101843382B1 (ko) * 2015-09-30 2018-03-29 가부시키가이샤 고마쓰 세이사쿠쇼 크롤러식 작업 기계의 주변 감시 장치
EP3680400B1 (en) * 2015-12-28 2021-09-22 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
KR101989332B1 (ko) * 2016-09-30 2019-06-14 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 표시 시스템 및 작업 기계
CN106787449B (zh) 2017-03-24 2024-04-19 东莞市伺鑫机械科技有限公司 一种高效散热伺服马达主轴及其制造方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007198040A (ja) 2006-01-27 2007-08-09 Shin Caterpillar Mitsubishi Ltd 建設機械における走行方向表示装置
JP2012082608A (ja) * 2010-10-08 2012-04-26 Sumitomo (Shi) Construction Machinery Co Ltd 作業機械のモニタ装置
WO2015155845A1 (ja) * 2014-04-09 2015-10-15 株式会社日立製作所 作業機械の遠隔操縦システム
JP2017092908A (ja) * 2015-11-17 2017-05-25 日立建機株式会社 遠隔操縦用建設機械の映像伝送システム
JP2017194381A (ja) * 2016-04-21 2017-10-26 株式会社加藤製作所 建設機械の傾斜検出装置
JP2017201114A (ja) * 2016-04-28 2017-11-09 コベルコ建機株式会社 建設機械

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3751845A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023026568A1 (ja) * 2021-08-27 2023-03-02 コベルコ建機株式会社 遠隔操作システムおよび遠隔操作複合システム
JP7528892B2 (ja) 2021-08-27 2024-08-06 コベルコ建機株式会社 作業支援システムおよび作業支援複合システム
JP7528891B2 (ja) 2021-08-27 2024-08-06 コベルコ建機株式会社 遠隔操作システム

Also Published As

Publication number Publication date
CN111903122A (zh) 2020-11-06
JP2019173444A (ja) 2019-10-10
EP3751845A1 (en) 2020-12-16
EP3751845A4 (en) 2020-12-16
CN111903122B (zh) 2022-07-08
EP3751845B1 (en) 2022-10-26
US11970837B2 (en) 2024-04-30
US20210054597A1 (en) 2021-02-25
JP7000957B2 (ja) 2022-01-19

Similar Documents

Publication Publication Date Title
WO2019187560A1 (ja) 作業機械操縦装置
US10145087B2 (en) Surroundings display device for swing working machine
JP5775283B2 (ja) 作業機械のモニタ装置
JP5473870B2 (ja) 建設機械のモニター装置
JP5814187B2 (ja) 自走式産業機械の表示装置
EP3754120B1 (en) Remote control system and main control device
JP5066198B2 (ja) 作業機械のモニタ装置
JP2008163719A (ja) 作業機械の周囲監視装置
JPH10299032A (ja) 作業用走行車の視界改善装置および方法
JP2015226094A (ja) 作業機械用遠隔操作システム
JP6139740B2 (ja) 作業機械の周囲監視装置
CN111386369A (zh) 工程机械
KR102007535B1 (ko) 건설기계의 화면표시장치
US12031297B2 (en) Work machine
JPH0874296A (ja) 建設機械におけるカメラ自動追尾制御装置
US20220170237A1 (en) Operating mechanism for work machine and work machine equipped with same
JP2016211149A (ja) 建設機械
WO2021090678A1 (ja) 作業機械の周囲監視装置
US20230139466A1 (en) Periphery detection device for work machine
WO2024201617A1 (ja) 作業機械用情報入力システム
CN117980567A (zh) 轨迹生成系统及具备该轨迹生成系统的工程机械
JPH09270945A (ja) 遠隔操縦機械のカメラ視野角制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775627

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019775627

Country of ref document: EP

Effective date: 20200907

NENP Non-entry into the national phase

Ref country code: DE