WO2022230939A1 - 表示制御装置、表示制御方法および作業機械 - Google Patents

表示制御装置、表示制御方法および作業機械 Download PDF

Info

Publication number
WO2022230939A1
WO2022230939A1 PCT/JP2022/019100 JP2022019100W WO2022230939A1 WO 2022230939 A1 WO2022230939 A1 WO 2022230939A1 JP 2022019100 W JP2022019100 W JP 2022019100W WO 2022230939 A1 WO2022230939 A1 WO 2022230939A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
turning
lower traveling
bird
Prior art date
Application number
PCT/JP2022/019100
Other languages
English (en)
French (fr)
Inventor
太郎 江口
浩一 中沢
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to DE112022001286.2T priority Critical patent/DE112022001286T5/de
Priority to US18/288,431 priority patent/US20240141621A1/en
Priority to KR1020237037003A priority patent/KR20230159892A/ko
Priority to CN202280031314.0A priority patent/CN117280099A/zh
Publication of WO2022230939A1 publication Critical patent/WO2022230939A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/36—Component parts
    • E02F3/42—Drives for dippers, buckets, dipper-arms or bucket-arms
    • E02F3/43—Control of dipper or bucket position; Control of sequence of drive operations
    • E02F3/435—Control of dipper or bucket position; Control of sequence of drive operations for dipper-arms, backhoes or the like

Definitions

  • the present disclosure relates to a display control device, a display control method, and a working machine.
  • This application claims priority to Japanese Patent Application No. 2021-075949 filed in Japan on April 28, 2021, the content of which is incorporated herein.
  • the display image described in Patent Literature 1 is composed of an appearance image of the work machine viewed from above, a bird's-eye composite camera image of the surroundings of the machine body, and a plurality of camera images.
  • the appearance image is composed of a bitmap image preset for each model of the work machine, and includes a revolving body image representing the revolving body.
  • a traveling body image representing the traveling body is superimposed and displayed on the revolving body image representing the revolving body.
  • the external image is a fixed image, while the traveling body image rotates around the turning center as the turning body turns.
  • the visual field assisting device for the work machine described in Patent Document 1 it is possible to provide the driver with suitable visual field information, so that the driver can always recognize the situation in the direction of travel.
  • the driver can easily determine the range to be focused on when the upper rotating body of the work machine is turned and the range to be focused on when the work machine is moved forward and backward by the lower traveling body against surrounding obstacles. There was a problem that it was not possible to grasp the
  • the present disclosure has been made in view of the circumstances described above, and provides a display control device, a display control method, and a working machine that enable a driver to easily grasp a range to be focused on while driving the working machine. for the purpose.
  • one aspect of the present disclosure is to provide a work machine including a lower traveling body and an upper revolving body rotatably supported by the lower traveling body.
  • a bird's-eye view image generation unit that generates a bird's-eye view image of the surroundings of the working machine based on one or more captured images captured by an imaging device; and a display image output unit configured to output the display image.
  • FIG. 1 is a schematic diagram showing the configuration of a working machine according to an embodiment;
  • FIG. It is a top view showing typically the imaging range of a plurality of cameras with which a work machine concerning an embodiment is provided.
  • It is a figure which shows the structure inside the cab which concerns on embodiment.
  • 1 is a schematic block diagram showing the configuration of a display control system;
  • FIG. It is a figure which shows the example of the display screen which concerns on embodiment.
  • FIG. 4 is a flow chart showing the operation of the display control device according to the embodiment;
  • FIG. 10 is a diagram showing another example of the display screen according to the embodiment;
  • FIG. 10 is a diagram showing another example of the display screen according to the embodiment;
  • FIG. 1 is a schematic diagram showing the configuration of a working machine 100 according to the embodiment.
  • FIG. 2 is a plan view schematically showing imaging ranges of a plurality of cameras (imaging devices) 121A to 121D provided in work machine 100 according to the embodiment.
  • FIG. 3 is a diagram showing the internal configuration of the driver's cab 140 according to the embodiment.
  • FIG. 4 is a schematic block diagram showing a configuration example of the display control system 60. As shown in FIG. 5 to 7 are diagrams showing examples of display screens according to the embodiment.
  • FIG. 8 is a flow chart showing an operation example of the display control device 61 according to the embodiment. 9 and 10 are FIG. 10 is a diagram showing another example of the display screen according to the embodiment;
  • a local coordinate system is set in the work machine 100, and the positional relationship of each part will be described with reference to the local coordinate system.
  • the first axis extending in the left-right direction (vehicle width direction) of work machine 100 is the x-axis
  • the second axis extending in the front-rear direction of work machine 100 is the y-axis
  • the third axis extending in the vertical direction of work machine 100 is the z-axis.
  • the x-axis and the y-axis are orthogonal.
  • the y-axis and z-axis are orthogonal.
  • the z-axis and the x-axis are orthogonal.
  • the arrow direction of the x-axis is to the left and the opposite direction is to the right.
  • the arrow direction of the y-axis is forward and the opposite direction is backward.
  • the z-axis arrow direction is upward and the opposite direction is downward.
  • FIG. 1 shows a configuration example of a working machine 100 according to an embodiment.
  • the work machine 100 operates at a construction site and constructs a construction target such as earth and sand.
  • a working machine 100 according to the embodiment is a hydraulic excavator as an example.
  • Work machine 100 includes lower traveling body 110 , upper revolving body 120 , and work machine 130 .
  • the upper revolving body 120 has an operator's cab 140 and a display control device 61 mounted thereon.
  • the lower traveling body 110 supports the work machine 100 so that it can travel.
  • Undercarriage 110 includes, for example, a pair of left and right crawler belts 110a (also referred to as left crawler belt 110a) and crawler belt 110b (also referred to as right crawler belt 110b).
  • the upper revolving body 120 is supported by the lower traveling body 110 so as to be able to revolve around the revolving center c.
  • Work implement 130 is hydraulically driven.
  • Work implement 130 is supported on the front portion of upper revolving body 120 so as to be vertically drivable.
  • the operator's cab 140 is a space for an operator (driver) to operate the work machine 100 .
  • the driver's cab 140 is provided in the front left portion of the upper revolving body 120 .
  • a portion of the upper revolving body 120 to which the work implement 130 is attached is referred to as a front portion.
  • the front portion is referred to as the rear portion
  • the left portion is referred to as the left portion
  • the right portion is referred to as the right portion.
  • the left and right crawler belts 110a and 110b can drive the drive wheels independently (forward and backward).
  • the undercarriage 110 moves forward when the left crawler 110a and the right crawler 110b are moved forward at the same time, and the undercarriage 110 moves backward when the left crawler 110a and the right crawler 110b are moved backward at the same time.
  • the driving wheels of one crawler belt and the driving wheels of the other crawler belt are driven in opposite directions, for example, when the right crawler belt 110b is moved forward and the left crawler belt 110a is moved backward, the lower traveling body 110 is centered on the turning center. can be rotated to Such a turning method is called supercenter turning.
  • the turning center when the lower traveling body 110 is pivotally turned and the turning center c of the upper turning body 120 may be configured to be the same or may be different.
  • the “turning center” described in the claims may be either the turning center at the time of pivot turning or the turning center c of the upper turning body 120 .
  • the work machine 100 also includes a turning angle sensor 160 .
  • the turning angle sensor 160 measures the turning angle of the upper turning body 120 with respect to the lower traveling body 110 from a predetermined reference angle.
  • the turning angle sensor 160 is used to grasp the relative positional relationship between the upper turning body 120 and the lower traveling body 110 .
  • the turning angle sensor 160 can be configured using, for example, a rotary potentiometer, a rotary encoder, or the like.
  • Upper swing body 120 is provided with a plurality of cameras (front camera 121A, left side camera 121B, rear camera 121C, and right side camera 121D) for imaging the surroundings of work machine 100 .
  • the front camera 121A is provided in the driver's cab 140.
  • the front camera 121A, the left camera 121B, the rear camera 121C, and the right camera 121D are collectively referred to as a plurality of cameras 121A to 121D.
  • FIG. 2 schematically shows imaging ranges of a plurality of cameras 121A to 121D included in work machine 100 according to the embodiment.
  • the upper rotating body 120 includes a front camera 121A that captures an image of a front area Ra of the periphery of the upper rotating body 120, a left side camera 121B that captures an image of a left side area Rb of the periphery of the upper rotating body 120, A rear camera 121C that captures an image of a rear area Rc around the upper swing body 120 and a right side camera 121D that captures an image of a right side area Rd around the upper swing body 120 are provided.
  • Part of the imaging ranges of the plurality of cameras 121A to 121D may or may not overlap each other.
  • one omnidirectional camera or the like may be used.
  • the imaging ranges of the multiple cameras 121A to 121D are not limited to the example shown in FIG. For example, imaging of the left front region that is visible from the driver's cab 140 may be omitted.
  • the number and imaging range of the plurality of cameras 121A-121D may differ from the examples shown in FIGS.
  • Work implement 130 includes boom 131, arm 132, bucket 133, boom cylinder 131C, arm cylinder 132C, and bucket cylinder 133C.
  • the base end of the boom 131 is attached to the upper swing body 120 via a boom pin 131P.
  • Arm 132 connects boom 131 and bucket 133 .
  • the base end of the arm 132 is attached to the tip of the boom 131 via an arm pin 132P.
  • the bucket 133 includes a blade for excavating earth and sand and a container for containing the excavated earth and sand.
  • a base end of the bucket 133 is attached to a tip of the arm 132 via a bucket pin 133P.
  • the boom cylinder 131C is a hydraulic cylinder for operating the boom 131.
  • a base end of the boom cylinder 131 ⁇ /b>C is attached to the upper swing body 120 .
  • a tip portion of the boom cylinder 131 ⁇ /b>C is attached to the boom 131 .
  • the arm cylinder 132C is a hydraulic cylinder for driving the arm 132.
  • a base end portion of the arm cylinder 132C is attached to the boom 131 .
  • a tip portion of the arm cylinder 132C is attached to the arm 132 .
  • the bucket cylinder 133C is a hydraulic cylinder for driving the bucket 133.
  • a base end of the bucket cylinder 133C is attached to the arm 132 .
  • a tip of the bucket cylinder 133 ⁇ /b>C is attached to a link member connected to the bucket 133 .
  • FIG. 3 shows an example of the internal configuration of the driver's cab 140 according to the embodiment.
  • a driver's seat 141 , an operating device 142 , and a display input device 145 are provided in the driver's cab 140 .
  • the operation device 142 is a device for driving the lower traveling body 110, the upper revolving body 120, and the working machine 130 by manual operation by the operator.
  • the operating device 142 includes a left operating lever 142LO, a right operating lever 142RO, a left foot pedal 142LF, a right foot pedal 142RF, a left travel lever 142LT, and a right travel lever 142RT.
  • the left operating lever 142LO is provided on the left side of the driver's seat 141.
  • the right operating lever 142RO is provided on the right side of the driver's seat 141. As shown in FIG.
  • the left operation lever 142LO is an operation mechanism for rotating the upper rotating body 120 and excavating/dumping the arm 132. Specifically, when the operator of work machine 100 tilts left operation lever 142LO forward, arm 132 performs a dump operation. Further, when the operator of work machine 100 tilts left operation lever 142LO rearward, arm 132 excavates. Further, when the operator of work machine 100 tilts left operation lever 142LO rightward, upper swing body 120 swings rightward. Further, when the operator of work machine 100 tilts left operation lever 142LO leftward, upper swing body 120 swings leftward.
  • the upper rotating body 120 when the left operating lever 142LO is tilted in the front-rear direction, the upper rotating body 120 turns rightward or leftward, and when the left operating lever 142LO is tilted in the left-right direction, the arm 132 excavates. Alternatively, a dump operation may be performed.
  • the right operation lever 142RO is an operation mechanism for performing excavation/dumping operations of the bucket 133 and raising/lowering operations of the boom 131. Specifically, when the operator of work machine 100 tilts right operation lever 142RO forward, boom 131 is lowered. Further, when the operator of work machine 100 tilts right operation lever 142RO rearward, boom 131 is raised. When the operator of work machine 100 tilts right operation lever 142RO rightward, bucket 133 is dumped. When the operator of work machine 100 tilts right operation lever 142RO leftward, bucket 133 performs an excavation operation.
  • the bucket 133 when the right operating lever 142RO is tilted in the front-rear direction, the bucket 133 is dumped or excavated, and when the right control lever 142RO is tilted in the left-right direction, the boom 131 is raised or lifted. Lowering may be performed.
  • the left foot pedal 142LF is arranged on the left side of the floor in front of the driver's seat 141.
  • the right foot pedal 142 RF is arranged on the right side of the floor in front of the driver's seat 141 .
  • the left running lever 142LT is pivotally supported by the left foot pedal 142LF, and configured so that the tilting of the left running lever 142LT and the depression of the left foot pedal 142LF are interlocked.
  • the right running lever 142RT is pivotally supported by the right foot pedal 142RF, and configured so that the tilting of the right running lever 142RT and the depression of the right foot pedal 142RF are interlocked.
  • the left foot pedal 142LF and the left travel lever 142LT correspond to rotational driving of the left crawler belt 110a of the lower travel body 110. Specifically, when the operator of work machine 100 tilts left foot pedal 142LF or left travel lever 142LT forward, left crawler belt 110a rotates forward. When the operator of work machine 100 pushes left foot pedal 142LF or left travel lever 142LT backward, left crawler belt 110a rotates backward.
  • the right foot pedal 142RF and the right travel lever 142RT correspond to the rotational drive of the right crawler belt 110b of the lower travel body 110. Specifically, when the operator of work machine 100 tilts right foot pedal 142RF or right travel lever 142RT forward, right crawler belt 110b rotates forward. When the operator of work machine 100 pushes right foot pedal 142RF or right travel lever 142RT backward, right crawler belt 110b rotates backward.
  • the display input device 145 is a device that displays information related to multiple functions of the work machine 100 and inputs various instruction operations.
  • the display input device 145 has a display 145D.
  • the display 145D is composed of, for example, a touch panel or the like.
  • FIG. 4 shows a configuration example of a display control system 60 according to the embodiment.
  • the display control system 60 includes a display control device 61 , a plurality of cameras 121A to 121D, an operating device 142 , a turning angle sensor 160 and a display input device 145 .
  • the display input device 145 includes a display section 145A and a selection section 145B as a functional configuration composed of a combination of hardware constituting the display 145D and software such as a program for controlling the hardware.
  • the display unit 145A displays an instructed image on the display 145D according to an instruction from the display control device 61.
  • the selection unit 145B selects whether or not to display a crosshair, which will be described later, according to the operator's input operation on the display 145D, for example.
  • the display control device 61 can be configured using a computer such as a microcomputer and a CPU (Central Processing Unit), and hardware such as peripheral circuits and peripheral devices of the computer.
  • the display control device 61 includes an input/output unit 62, a bird's-eye view image generation unit 63, an upper rotating body image superimposition unit 64, and a functional configuration composed of a combination of hardware and software such as a program executed by a computer. , a reference line superimposition unit 65 , a cross line superimposition unit 66 , a traveling direction image generation unit 67 and a display image output unit 68 .
  • the display control device 61 and the display input device 145 may be configured using a custom LSI (Large Scale Integrated Circuit) such as a PLD (Programmable Logic Device).
  • PLDs include PAL (Programmable Array Logic), GAL (Generic Array Logic), CPLD (Complex Programmable Logic Device), and FPGA (Field Programmable Gate Array).
  • PLDs include PAL (Programmable Array Logic), GAL (Generic Array Logic), CPLD (Complex Programmable Logic Device), and FPGA (Field Programmable Gate Array).
  • part or all of the functions implemented by the processor may be implemented by the integrated circuit.
  • the display 145D and the operation device 142 may be configured to be provided in a remote control room provided remotely from the working machine 100.
  • the input/output unit 62 repeats at a predetermined cycle to input image transmission signals indicating images captured by the plurality of cameras 121A to 121D, to input operation information of the operation device 142, and to input the turning angle sensor 160.
  • a signal indicating the turning angle that has been set is input, and an input operation signal to the selection unit 145B of the display input device 145 is input.
  • Bird's-eye view image generation unit 63 displays a bird's-eye view image as if the surroundings of work machine 100 were viewed from above based on the images captured by cameras 121A to 121D (see bird's-eye view image G20 in FIG. 5). to generate Specifically, coordinate transformation of image data is performed using transformation information stored in a predetermined storage unit, and images captured by a plurality of cameras 121A to 121D are viewed from a virtual viewpoint located above work machine 100. An image projected onto a predetermined virtual projection plane, that is, an upper viewpoint image is converted.
  • the bird's-eye view image generation unit 63 converts each image data captured by the four cameras 121A to 121D into an upper viewpoint image, respectively, and then synthesizes each image data after conversion to create a single work machine 100. To generate a bird's-eye view image that allows a bird's-eye view of the surroundings. The bird's-eye view image generator 63 synthesizes surrounding images, for example, using the turning center c as a reference. At that time, the bird's-eye view image generation unit 63 generates the bird's-eye view image so that the front of the driver's cab 140 is always in the upward direction of the image.
  • the bird's-eye view image generation unit 63 is one or more installed on the upper revolving body 120 of the work machine 100 including the lower traveling body 110 and the upper revolving body 120 supported by the lower traveling body 110 so as to be able to revolve.
  • a bird's-eye view image of the surroundings of the work machine 100 is generated based on one or a plurality of captured images captured by the cameras (imaging devices) 121A to 121D.
  • the upper rotating body image superimposing unit 64 superimposes a prepared upper surface image IM1 of the upper rotating body 120 and the work implement 130 on the overhead image G20 generated by the overhead image generating unit 63. superimpose.
  • FIG. 5 shows a display example (display screen 1451) of the display 145D.
  • the display screen 1451 includes a display image G21 and a traveling direction image G22.
  • the top image IM1, the reference line images m1 and m2, the cross line image L1, and the turning center image c1 are superimposed on the overhead image G20.
  • the upper revolving body image superimposing unit 64 superimposes the top image IM1 of the work machine 100 on the central portion of the bird's-eye image G20 generated by the bird's-eye image generating unit 63 .
  • the operator who sees the display image G21 shown in FIG. 5 can easily grasp the positional relationship and sense of distance between the work machine 100 and the surrounding obstacles displayed in the bird's-eye view image G20.
  • Bird's-eye view image G20 includes actual captured images of crawler tracks 110a and 110b.
  • the reference line superimposing unit 65 generates reference line images m1 and m2, which are images representing the turning focus range accompanying the turning of the upper turning body 120, and superimposes them on the bird's-eye view image G20.
  • the reference line superimposing unit 65 superimposes, for example, the reference line images m1 and m2 (rectangles with rounded corners) on the bird's-eye view image G20 in a translucent state.
  • the reference line image m1 and the reference line image m2 have different colors, for example.
  • the reference line image m1 is, for example, an image corresponding to the outer edge (outermost trajectory) when the upper swing body 120 swings.
  • the reference line image m1 indicates that if there is an obstacle or the like within the range indicated by the reference line image m1 when the upper rotating body 120 turns, the possibility of contact, interference, collision, or the like occurring is higher than that outside the range. , and an image representing a range (turning focus range) that the operator should pay attention to.
  • "attention” means to look carefully, especially to pay attention to, for example, “caution”, “attention", “warning”, You can read it differently.
  • the reference line image m2 is an image representing a range separated from the upper revolving body 120 by a certain distance (for example, 2 to 3 m) from the reference line image m1.
  • the reference line image m1 indicates the range to which attention should be paid when turning
  • the reference line image m2 indicates the range to which attention should be paid when turning, although the degree of caution is lower than the range indicated by the reference line image m1.
  • the range indicated by the reference line image m1 and the range indicated by the reference line image m2 may be, for example, ranges corresponding to a stop control range by automatic control by automatic detection of an obstacle or the like and a deceleration control range outside the stop control range, or a warning A range and a caution range outside thereof may be used, or each range corresponding to a stop determination range and a deceleration determination range outside thereof may be used.
  • the crosshair superimposing unit 66 generates a crosshair image L1 and a turning center image c1, which is an image representing the turning center c, based on the turning angle measured by the turning angle sensor 160, and superimposes them on the overhead image G20.
  • the crosshair superimposing unit 66 superimposes the crosshair image L1 on the bird's-eye view image G20 in a translucent state.
  • the turning center image c1 is an image having a predetermined shape representing the turning center c, and is, for example, a translucent or non-translucent round mark of a specific color.
  • the crosshair image L1 is an image (focus range image) representing a travel focus range associated with the forward and backward movement of the lower running body 110 and a turning focus range associated with the turning of the upper swing body 120 .
  • the travel focus range associated with the forward and backward movement of the lower traveling body 110 is indicated by the crosshair image L1 when the lower traveling body 110 is moved forward or backward (or when the upper rotating body 120 is turned while being moved forward or backward).
  • the crosshair image L1 In the direction (forward direction or backward direction), when there is an obstacle or the like within the range (width and length) indicated by the crosshair image L1, there is a higher possibility that contact or the like will occur compared to outside the range, and the operator will This is an area to watch out for.
  • the crosshair image L1 includes an arrow image L11 and a line segment image L12.
  • the crosshair image L1 includes an arrow image L11, a line segment image L12, and a turning center image c1.
  • the crosshair superimposing unit 66 superimposes the crosshair image L1 or stops superimposing according to the selection operation by the selection unit 145B.
  • Arrow image L11 indicates the direction in which lower traveling body 110 travels when the operator of work machine 100 simultaneously pushes left foot pedal 142LF or left traveling lever 142LT and right foot pedal 142RF or right traveling lever 142RT forward. Indicated by the direction of the arrow.
  • the arrow image L11 also indicates the length of the travel attention range by the length of the arrow.
  • a line segment image L12 represents a line segment that intersects the arrow of the arrow image L11 at the turning center c of the work machine 100 and indicates the length corresponding to the turning target range.
  • the arrow image L11 and the line segment image L12 are orthogonal to each other at the position of the turning image c1. have a tangent length.
  • FIG. 6 shows the display image G21a in a state where the lower traveling body 110 is turned rightward by 45 degrees from the state shown in FIG. 7 shows a display image G21b in a state where the lower traveling body 110 is turned rightward by 90 degrees from the state shown in FIG.
  • the crosshair superimposed portion 66 is a crosshair image L1 (focus range image) representing a turning focus range accompanying turning of the upper swing body 120 and a traveling focus range accompanying forward and backward movement of the lower traveling body 110. ) is superimposed on the overhead image G20 to generate a display image G21. Further, the crosshair image L1 is a predetermined forward or backward instruction operation for the operation device 142 that operates the lower traveling body 110 (when the operator of the work machine 100 performs the left foot pedal 142LF or left traveling lever 142LT and the right foot pedal 142RF or right foot pedal 142RF or right foot pedal 142RF).
  • the crosshair image L1 includes an image (arrow image L11) representing an arrow indicating a length corresponding to the traveling target range and a direction corresponding to the predetermined instruction operation, and an arrow (arrow image L11) at the turning center c of the work machine 100 an arrow represented by L11) and an image (line segment image L12) representing a line segment that intersects and indicates the length corresponding to the turning target range.
  • the traveling direction image generating section 67 advances the lower traveling body 110 based on images captured by one or a plurality of cameras 121A to 121D. Generate a heading image corresponding to the direction.
  • a traveling direction image G22 shown in FIG. 5 is an image displayed when an instruction operation for instructing forward movement of work machine 100 in the state displayed in display image G21 is performed on operation device 142 .
  • the traveling direction image G22 is, for example, an image captured by the front camera 121A.
  • the traveling direction image generation unit 67 selects one of the images captured by the cameras 121A to 121D as the traveling direction image, or generates a traveling direction image from an image obtained by combining the images captured by the cameras 121A to 121D. An image corresponding to the traveling direction can be cut out and used as a traveling direction image. Note that, for example, when a predetermined instruction operation for instructing forward movement or backward movement is not performed on the operating device 142, the traveling direction image generation unit 67 generates an image of the lower traveling body based on images captured by one or a plurality of cameras 121A to 121D. A heading image corresponding to the heading of 110 may be generated.
  • the display image output unit 68 outputs the display image and the traveling direction image to the display unit 145A together with a display instruction.
  • FIG. 8 An operation example of the display control device 61 shown in FIG. 4 will be described with reference to FIGS. 8 and 5.
  • FIG. The processing shown in FIG. 8 is repeatedly executed at a predetermined cycle.
  • the bird's-eye view image generator 63 generates the bird's-eye view image G20 (S1).
  • the upper rotating body image superimposing unit 64 superimposes the top image IM1 on the overhead image G20 (S2).
  • the reference line superimposing unit 65 superimposes the reference line image m1 and the reference line image m2 on the overhead image G20 on which the top image IM1 is superimposed (S3).
  • the crosshair superimposing unit 66 superimposes the crosshair image L1 and the turning center image c1 on the overhead image G20 in which the upper surface image IM1, the reference line image m1, and the reference line image m2 are superimposed (this is the display image G21).
  • the traveling direction image generator 67 generates a traveling direction image G22 (S5).
  • the display image output unit 68 outputs the display image G21 and the traveling direction image G22 to the display unit 145A, and causes the display 145D to display the display image G21 and the traveling direction image G22 (S6).
  • the operator can easily grasp the range of interest associated with the operation (running and turning) of the work machine 100 .
  • FIG. A display image G21c shown in FIG. 9 differs from the display image G21 shown in FIG. 5 in the following points. That is, the display image G21c shown in FIG. 9 does not include the reference image m1 and the reference image m2 illustrated in FIG. 5, but includes the reference image m3.
  • the reference image m3 shows an area including all of the area in the reference image m1 (area Rm1 shaded in FIG. 9) and the arrow image L11.
  • the reference image m3 includes a turning target range associated with the turning of the upper rotating body 120 and a traveling target range associated with the forward and backward movement of the lower traveling body 110 . That is, in the display image G21c shown in FIG. 9, the cross image L1 alone is the range-of-interest image, and the reference image m3 is also the range-of-interest image alone.
  • the display image G21d shown in FIG. 10 differs from the display image G21 shown in FIG. 5 in the following points. That is, the display image G21d shown in FIG. 10 does not include the reference image m1, the reference image m2, and the cross image L11 illustrated in FIG. 5, but includes the reference image m4.
  • a reference image m4 indicates an area having the same shape as that of the reference image m3 shown in FIG. However, unlike the reference image m3, the reference image m4 represents the direction of the lower traveling body 110 by changing the display mode of the upper half reference image m4a and the lower half reference image m4b.
  • the change in the display mode includes a difference in color, a difference in cycle of blinking display, a difference in thickness of dashed lines, and the like.
  • the reference image m4 alone is the target range image, and indicates the direction corresponding to the predetermined forward or backward instruction operation on the operation device 142 that operates the lower traveling body 110 .
  • the reference line superimposed portion 65 corresponds to the “superimposed portion”, like the crosshair superimposed portion 66 .
  • the work machine 100 is a hydraulic excavator, it is not limited to this.
  • the work machine 100 according to other embodiments may be other work machines such as a dump truck, a bulldozer, and a wheel loader.
  • part or all of the programs executed by the computer in the above embodiments can be distributed via computer-readable recording media or communication lines.

Abstract

本開示の一態様は、下部走行体と前記下部走行体に旋回可能に支持された上部旋回体とを備える作業機械の前記上部旋回体に設置された１または複数の撮像装置が撮像した１または複数の撮像画像に基づき、前記作業機械の俯瞰画像を生成する俯瞰画像生成部と、前記上部旋回体の旋回に伴う旋回着目範囲と前記下部走行体の前後進に伴う走行着目範囲とを表す着目範囲画像を前記俯瞰画像に重畳した表示画像を生成する重畳部と、前記表示画像を出力する表示画像出力部とを備える表示制御装置である。

Description

表示制御装置、表示制御方法および作業機械
　本開示は、表示制御装置、表示制御方法および作業機械に関する。
　本願は、２０２１年４月２８日に日本に出願された特願２０２１－０７５９４９号について優先権を主張し、その内容をここに援用する。
　特許文献１に記載されている作業機械の視野補助装置では、運転室内に設けられた表示用モニタに次のような表示画像が表示される。すなわち、特許文献１に記載されている表示画像は、作業機械を上方から見た外観画像と、機体の周囲の俯瞰合成カメラ画像と、複数のカメラ画像とによって構成される。また、外観画像は、作業機械の機種毎に予め設定されたビットマップ画像により構成され、旋回体を表す旋回体画像を含む。また、旋回体を表す旋回体画像上に、走行体を表す走行体画像が重ねて表示される。なお、外観画像は固定画像であるのに対し、走行体画像は、旋回体の旋回に伴い旋回中心を中心に回転する。
特開２０１０－５９６５３号公報
　特許文献１に記載されている作業機械の視野補助装置によれば、運転者に対して好適な視野情報を提供することができ、進行方向の状況を常に運転者が認識することができる。しかしながら、周囲の障害物等に対して、作業機械の上部旋回体を旋回した場合に着目すべき範囲や、下部走行体によって作業機械を前後進させた場合に着目すべき範囲を運転者が容易に把握することができないという課題があった。
　本開示は、上記事情に鑑みてなされたものであり、作業機械の運転に伴って着目すべき範囲を運転者が容易に把握することができる表示制御装置、表示制御方法および作業機械を提供することを目的とする。
　上記課題を解決するため、本開示の一態様は、下部走行体と前記下部走行体に旋回可能に支持された上部旋回体とを備える作業機械の前記上部旋回体に設置された１または複数の撮像装置が撮像した１または複数の撮像画像に基づき、前記作業機械の周囲の俯瞰画像を生成する俯瞰画像生成部と、前記上部旋回体の旋回に伴う旋回着目範囲と前記下部走行体の前後進に伴う走行着目範囲とを表す着目範囲画像を前記俯瞰画像に重畳した表示画像を生成する重畳部と、前記表示画像を出力する表示画像出力部とを備える表示制御装置である。
　本開示の各態様によれば、作業機械の運転に伴って着目すべき範囲を運転者が容易に把握することができる。
実施形態に係る作業機械の構成を示す概略図である。 実施形態に係る作業機械が備える複数のカメラの撮像範囲を模式的に示す平面図である。 実施形態に係る運転室の内部の構成を示す図である。 表示制御システムの構成を示す概略ブロック図である。 実施形態に係る表示画面の例を示す図である。 実施形態に係る表示画面の例を示す図である。 実施形態に係る表示画面の例を示す図である。 実施形態に係る表示制御装置の動作を示すフローチャートである。 実施形態に係る表示画面の他の例を示す図である。 実施形態に係る表示画面の他の例を示す図である。
　以下、図面を参照して本開示の実施形態について説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。
　図１は、実施形態に係る作業機械１００の構成を示す概略図である。図２は、実施形態に係る作業機械１００が備える複数のカメラ（撮像装置）１２１Ａ～１２１Ｄの撮像範囲を模式的に示す平面図である。図３は、実施形態に係る運転室１４０の内部の構成を示す図である。図４は、表示制御システム６０の構成例を示す概略ブロック図である。図５～図７は、実施形態に係る表示画面の例を示す図である。図８は、実施形態に係る表示制御装置６１の動作例を示すフローチャートである。図９～図１０は、
　実施形態に係る表示画面の他の例を示す図である。
　図１に示すように、本実施形態においては、作業機械１００にローカル座標系を設定し、ローカル座標系を参照しながら各部の位置関係について説明する。ローカル座標系において、作業機械１００（上部旋回体１２０）の左右方向（車幅方向）に延伸する第１軸をｘ軸とし、作業機械１００の前後方向に延伸する第２軸をｙ軸とし、作業機械１００の上下方向に延伸する第３軸をｚ軸とする。ｘ軸とｙ軸とは直交する。ｙ軸とｚ軸とは直交する。ｚ軸とｘ軸とは直交する。ｘ軸の矢印方向は左方向であり、反対方向は右方向である。ｙ軸の矢印方向は前方向であり、反対方向は後方向である。ｚ軸の矢印方向は上方向であり、反対方向は下方向である。
（作業機械１００の構成例）
　図１は、実施形態に係る作業機械１００の構成例を示す。作業機械１００は、施工現場にて稼働し、土砂などの施工対象を施工する。実施形態に係る作業機械１００は、一例として油圧ショベルである。作業機械１００は、下部走行体１１０、上部旋回体１２０、および作業機１３０を備える。上部旋回体１２０は、運転室１４０と、表示制御装置６１を搭載している。
　下部走行体１１０は、作業機械１００を走行可能に支持する。下部走行体１１０は、例えば左右一対の履帯１１０ａ（左履帯１１０ａとも称する）および履帯１１０ｂ（右履帯１１０ｂとも称する）を備える。
　上部旋回体１２０は、下部走行体１１０に旋回中心ｃの回りに旋回可能に支持される。作業機１３０は、油圧により駆動する。作業機１３０は、上部旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータ（運転者）が搭乗し、作業機械１００の操作を行うためのスペースである。運転室１４０は、上部旋回体１２０の左前部に設けられる。ここで、上部旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、上部旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。
　なお、左右それぞれの履帯１１０ａおよび１１０ｂは、駆動輪を独立して駆動（前進および後進）させることができる。左履帯１１０ａと右履帯１１０ｂを同時に前進させれば下部走行体１１０は前進し、左履帯１１０ａと右履帯１１０ｂを同時に後進させれば下部走行体１１０は後進する。また、一方の履帯の駆動輪と、他方の履帯の駆動輪を互いに逆向きに駆動、例えば右履帯１１０ｂを前進させると同時に左履帯１１０ａを後進させると、下部走行体１１０は、旋回中心を中心に回転することができる。このような旋回方法は超信地旋回と呼ばれる。
　 なお、下部走行体１１０を超信地旋回させた際の旋回中心と、上部旋回体１２０の旋回中心ｃを、一致させるように構成してもよいし、異ならせてもよい。特許請求の範囲に記載された「旋回中心」は、超信地旋回させた際の旋回中心と、上部旋回体１２０の旋回中心ｃのどちらであってもよい。
　また、作業機械１００は、旋回角センサ１６０を備える。旋回角センサ１６０は、下部走行体１１０に対する上部旋回体１２０の所定の基準角度からの旋回角を計測する。旋回角センサ１６０は、上部旋回体１２０と下部走行体１１０との相対的な位置関係を把握するために用いられる。旋回角センサ１６０は、例えば、ロータリーポテンショメータ、ロータリエンコーダ等を用いて構成することができる。
（カメラの構成例）
　上部旋回体１２０には、作業機械１００の周囲を撮像する複数のカメラ（前方カメラ１２１Ａ、左側方カメラ１２１Ｂ、後方カメラ１２１Ｃおよび右側方カメラ１２１Ｄ）が設けられる。なお、図１に示す例において前方カメラ１２１Ａは、運転室１４０内に設けられている。また、前方カメラ１２１Ａ、左側方カメラ１２１Ｂ、後方カメラ１２１Ｃおよび右側方カメラ１２１Ｄを総称する場合、複数のカメラ１２１Ａ～１２１Ｄと称する。図２は、実施形態に係る作業機械１００が備える複数のカメラ１２１Ａ～１２１Ｄの撮像範囲を模式的に示す。
　具体的には、上部旋回体１２０には、上部旋回体１２０の周囲のうち前方領域Ｒａを撮像する前方カメラ１２１Ａ、上部旋回体１２０の周囲のうち左側方領域Ｒｂを撮像する左側方カメラ１２１Ｂ、上部旋回体１２０の周囲のうち後方領域Ｒｃを撮像する後方カメラ１２１Ｃ、上部旋回体１２０の周囲の右側方領域Ｒｄを撮像する右側方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１Ａ～１２１Ｄの撮像範囲の一部は、互いに重複していてもよいし、重複していなくてもよい。また、複数のカメラ１２１Ａ～１２１Ｄに代えて、あるいは、複数のカメラ１２１Ａ～１２１Ｄとともに、例えば１台の全方位カメラ等を用いてもよい。
　複数のカメラ１２１Ａ～１２１Ｄの撮像範囲は、図２に示す例に限られない。例えば、運転室１４０から視認可能な左前方領域の撮影を省略してもよい。複数のカメラ１２１Ａ～１２１Ｄの数および撮像範囲は、図１および図２に示す例と異なっていてよい。
（作業機１３０の構成例）
　作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３１Ｃ、アームシリンダ１３２Ｃ、およびバケットシリンダ１３３Ｃを備える。
　ブーム１３１の基端部は、上部旋回体１２０にブームピン１３１Ｐを介して取り付けられる。アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピン１３２Ｐを介して取り付けられる。バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピン１３３Ｐを介して取り付けられる。
　ブームシリンダ１３１Ｃは、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３１Ｃの基端部は、上部旋回体１２０に取り付けられる。ブームシリンダ１３１Ｃの先端部は、ブーム１３１に取り付けられる。
　アームシリンダ１３２Ｃは、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３２Ｃの基端部は、ブーム１３１に取り付けられる。アームシリンダ１３２Ｃの先端部は、アーム１３２に取り付けられる。
　バケットシリンダ１３３Ｃは、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３３Ｃの基端部は、アーム１３２に取り付けられる。バケットシリンダ１３３Ｃの先端部は、バケット１３３に接続されるリンク部材に取り付けられる。
（運転室１４０の構成例）
　図３は、実施形態に係る運転室１４０の内部の構成例を示す。運転室１４０内には、運転席１４１、操作装置１４２、および表示入力装置１４５が設けられる。
　操作装置１４２は、オペレータの手動操作によって下部走行体１１０、上部旋回体１２０および作業機１３０を駆動させるための装置である。操作装置１４２は、左操作レバー１４２ＬＯ、右操作レバー１４２ＲＯ、左フットペダル１４２ＬＦ、右フットペダル１４２ＲＦ、左走行レバー１４２ＬＴ、右走行レバー１４２ＲＴを備える。
　左操作レバー１４２ＬＯは、運転席１４１の左側に設けられる。右操作レバー１４２ＲＯは、運転席１４１の右側に設けられる。
　左操作レバー１４２ＬＯは、上部旋回体１２０の旋回動作、および、アーム１３２の掘削／ダンプ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが左操作レバー１４２ＬＯを前方に倒すと、アーム１３２がダンプ動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを後方に倒すと、アーム１３２が掘削動作する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを右方向に倒すと、上部旋回体１２０が右旋回する。また、作業機械１００のオペレータが左操作レバー１４２ＬＯを左方向に倒すと、上部旋回体１２０が左旋回する。なお、他の実施形態においては、左操作レバー１４２ＬＯを前後方向に倒した場合に上部旋回体１２０が右旋回または左旋回し、左操作レバー１４２ＬＯが左右方向に倒した場合にアーム１３２が掘削動作またはダンプ動作してもよい。
　右操作レバー１４２ＲＯは、バケット１３３の掘削／ダンプ動作、および、ブーム１３１の上げ／下げ動作を行うための操作機構である。具体的には、作業機械１００のオペレータが右操作レバー１４２ＲＯを前方に倒すと、ブーム１３１の下げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを後方に倒すと、ブーム１３１の上げ動作が実行される。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを右方向に倒すと、バケット１３３のダンプ動作が行われる。また、作業機械１００のオペレータが右操作レバー１４２ＲＯを左方向に倒すと、バケット１３３の掘削動作が行われる。なお、他の実施形態においては、右操作レバー１４２ＲＯを前後方向に倒した場合に、バケット１３３がダンプ動作または掘削動作し、右操作レバー１４２ＲＯを左右方向に倒した場合にブーム１３１が上げ動作または下げ動作してもよい。
　左フットペダル１４２ＬＦは、運転席１４１の前方の床面の左側に配置される。右フットペダル１４２ＲＦは、運転席１４１の前方の床面の右側に配置される。左走行レバー１４２ＬＴは、左フットペダル１４２ＬＦに軸支され、左走行レバー１４２ＬＴの傾斜と左フットペダル１４２ＬＦの押し下げが連動するように構成される。右走行レバー１４２ＲＴは、右フットペダル１４２ＲＦに軸支され、右走行レバー１４２ＲＴの傾斜と右フットペダル１４２ＲＦの押し下げが連動するように構成される。
　左フットペダル１４２ＬＦおよび左走行レバー１４２ＬＴは、下部走行体１１０の左履帯１１０ａの回転駆動に対応する。具体的には、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを前方に倒すと、左履帯１１０ａは前進方向に回転する。また、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴを後方に倒すと、左履帯１１０ａは後進方向に回転する。
　右フットペダル１４２ＲＦおよび右走行レバー１４２ＲＴは、下部走行体１１０の右履帯１１０ｂの回転駆動に対応する。具体的には、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを前方に倒すと、右履帯１１０ｂは前進方向に回転する。また、作業機械１００のオペレータが右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴを後方に倒すと、右履帯１１０ｂは後進方向に回転する。
　表示入力装置１４５は、作業機械１００が有する複数の機能に係る情報を表示したり、各種指示操作を入力したりする装置である。表示入力装置１４５は、ディスプレイ１４５Ｄを備える。ディスプレイ１４５Ｄは、例えばタッチパネル等から構成される。
（表示制御システム６０の構成例）
　図４は、実施形態に係る表示制御システム６０の構成例を示す。表示制御システム６０は、表示制御装置６１と、複数のカメラ１２１Ａ～１２１Ｄと、操作装置１４２と、旋回角センサ１６０と、表示入力装置１４５とを備える。
　表示入力装置１４５は、表示ディスプレイ１４５Ｄを構成するハードウェアとハードウェアを制御するプログラム等のソフトウェアとの組み合わせから構成される機能的構成として、表示部１４５Ａと選択部１４５Ｂとを備える。表示部１４５Ａは、表示制御装置６１からの指示に応じて表示ディスプレイ１４５Ｄに指示された画像を表示する。選択部１４５Ｂは、例えば表示ディスプレイ１４５Ｄに対するオペレータの入力操作に応じて、後述する十字線の表示ありと無しの設定を選択する。
　表示制御装置６１は、マイクロコンピュータ、ＣＰＵ（Central Processing Unit）等のコンピュータと、コンピュータの周辺回路や周辺装置等のハードウェアを用いて構成することができる。そして、表示制御装置６１は、ハードウェアと、コンピュータが実行するプログラム等のソフトウェアとの組み合わせから構成される機能的構成として、入出力部６２、俯瞰画像生成部６３、上部旋回体画像重畳部６４、目安線重畳部６５、十字線重畳部６６、進行方向画像生成部６７および表示画像出力部６８を備える。
　なお、表示制御装置６１や表示入力装置１４５は、ＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を用いて構成されていてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
　また、例えば、ディスプレイ１４５Ｄと操作装置１４２は作業機械１００と遠隔に設けられた遠隔操作室に設けられた構成としてもよい。
　入出力部６２は、所定の周期で繰り返し、複数のカメラ１２１Ａ～１２１Ｄが撮像した撮像画像を示す画送信号を入力したり、操作装置１４２の操作情報を入力したり、旋回角センサ１６０が計測した旋回角を示す信号を入力したり、表示入力装置１４５の選択部１４５Ｂに対する入力操作信号を入力したりする。
　俯瞰画像生成部６３は、複数のカメラ１２１Ａ～１２１Ｄで撮像された画像に基づいて、作業機械１００の周囲を上方から見ているかのように表示する俯瞰画像（図５の俯瞰画像Ｇ２０を参照）を生成する。具体的には、所定の記憶部に記憶された変換情報を用いて画像データの座標変換を行い、複数のカメラ１２１Ａ～１２１Ｄによって撮像された画像を、作業機械１００の上方に位置する仮想視点から所定の仮想投影面上に投影される画像、すなわち上方視点画像に変換する。俯瞰画像生成部６３は、４台のカメラ１２１Ａ～１２１Ｄで撮像された各画像データをそれぞれ上方視点画像に変換した上で、変換後の各画像データを合成することにより、一つの作業機械１００の周囲を俯瞰できる俯瞰画像を生成する。俯瞰画像生成部６３は、例えば旋回中心ｃを基準として、周囲の画像を合成する。その際、俯瞰画像生成部６３は、常に運転室１４０の前方が画像の上方向となるように俯瞰画像を生成する。本実施形態において、俯瞰画像生成部６３は、下部走行体１１０と下部走行体１１０に旋回可能に支持された上部旋回体１２０とを備える作業機械１００の上部旋回体１２０に設置された１または複数のカメラ（撮像装置）１２１Ａ～１２１Ｄが撮像した１または複数の撮像画像に基づき、作業機械１００の周囲の俯瞰画像を生成する。
　上部旋回体画像重畳部６４は、例えば、図５に示すように、俯瞰画像生成部６３が生成した俯瞰画像Ｇ２０に対して、予め用意された上部旋回体１２０および作業機１３０の上面画像ＩＭ１を重畳する。図５は、表示ディスプレイ１４５Ｄの表示例（表示画面１４５１）を示す。表示画面１４５１は、表示画像Ｇ２１と、進行方向画像Ｇ２２を含む。表示画像Ｇ２１では、俯瞰画像Ｇ２０に対して、上面画像ＩＭ１と、目安線画像ｍ１およびｍ２と、十字線画像Ｌ１と、旋回中心画像ｃ１とが重畳されている。上部旋回体画像重畳部６４は、俯瞰画像生成部６３で生成された俯瞰画像Ｇ２０の中央部に作業機械１００の上面画像ＩＭ１を重畳させる。そうすることにより、図５に示す表示画像Ｇ２１を見たオペレータは、俯瞰画像Ｇ２０中に表示された周囲の障害物等と作業機械１００との位置関係や距離感の把握が容易になる。なお、俯瞰画像Ｇ２０は、履帯１１０ａおよび１１０ｂの実際の撮像画像を含む。
　目安線重畳部６５は、上部旋回体１２０の旋回に伴う旋回着目範囲を表す画像である目安線画像ｍ１およびｍ２を生成して、俯瞰画像Ｇ２０に対して重畳する。目安線重畳部６５は、例えば、目安線画像ｍ１およびｍ２（角が丸い矩形）を半透明の状態で俯瞰画像Ｇ２０に対して重畳する。目安線画像ｍ１および目安線画像ｍ２は、例えば色が異なる。目安線画像ｍ１は、例えば、上部旋回体１２０が旋回する場合の外縁（最外部の軌跡）に対応する画像である。目安線画像ｍ１は、上部旋回体１２０が旋回した場合に目安線画像ｍ１が示す範囲内に障害物等があったとき、接触、干渉、衝突等が発生するおそれが範囲外と比較して高く、オペレータが気をつけて見るべき範囲（旋回着目範囲）を表す画像である。なお、本実施形態において「着目」とは、気をつけて見ること、特に目をつけること等を意味し、例えば、「注意」、「留意」、「警戒」、「用心」等の文言に読み替えてもよい。目安線画像ｍ２は、目安線画像ｍ１から一定の距離（例えば２～３ｍ）、上部旋回体１２０から離間した範囲を表す画像である。例えば、目安線画像ｍ１は、旋回に伴って着目すべき範囲を示し、目安線画像ｍ２は、目安線画像ｍ１が示す範囲よりは注意の程度は低いものの旋回に伴って着目すべき範囲を示す。なお、目安線画像ｍ１が示す範囲と目安線画像ｍ２が示す範囲は、例えば、障害物等の自動検知による自動制御による停止制御範囲とその外側の減速制御範囲に対応する各範囲としたり、警告範囲とその外側の注意範囲としたり、停止判定範囲とその外側の減速判定範囲に対応する各範囲としたりしてもよい。
　十字線重畳部６６は、旋回角センサ１６０が計測した旋回角に基づき、十字線画像Ｌ１と旋回中心ｃを表す画像である旋回中心画像ｃ１を生成して、俯瞰画像Ｇ２０に対して重畳する。十字線重畳部６６は、例えば、十字線画像Ｌ１を半透明の状態で俯瞰画像Ｇ２０に対して重畳する。旋回中心画像ｃ１は、旋回中心ｃを表す所定の形状を有する画像であって、例えば半透明あるいは非半透明の特定色の丸印等である。十字線画像Ｌ１は、下部走行体１１０の前後進に伴う走行着目範囲と、上部旋回体１２０の旋回に伴う旋回着目範囲とを表す画像（着目範囲画像）である。下部走行体１１０の前後進に伴う走行着目範囲は、下部走行体１１０を前進または後進させた場合（あるいは前進または後進させながら上部旋回体１２０を旋回させた場合）に、十字線画像Ｌ１が示す方向（前進方向または後進方向）で、十字線画像Ｌ１が示す範囲（幅と長さ）内に障害物等があったとき、接触等が発生するおそれが範囲外と比較して高く、オペレータが気をつけて見るべき範囲である。図５に示す例では、十字線画像Ｌ１は、矢印画像Ｌ１１と、線分画像Ｌ１２を含む。あるいは、十字線画像Ｌ１は、矢印画像Ｌ１１と、線分画像Ｌ１２と、旋回中心画像ｃ１とを含む。なお、十字線重畳部６６は、選択部１４５Ｂによる選択操作に従って、十字線画像Ｌ１を重畳したり、重畳を停止したりする。
　矢印画像Ｌ１１は、作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴと右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴとを同時に前方に倒したときに、下部走行体１１０が走行する向きを、矢印の向きで示す。矢印画像Ｌ１１は、また、矢印の長さで、走行着目範囲の長さの目安を表す。線分画像Ｌ１２は、作業機械１００の旋回中心ｃで矢印画像Ｌ１１の矢印と交差して旋回着目範囲に対応する長さを示す線分を表す。図５に示す例では、矢印画像Ｌ１１と線分画像Ｌ１２は、旋回画像ｃ１の位置で直交し、矢印画像Ｌ１１が目安画像ｍ２に接する長さを有し、線分画像Ｌ１２が目安画像ｍ１に接する長さを有する。
　なお、図６は、図５に示す状態から、下部走行体１１０を右方向に４５度旋回させた状態の表示画像Ｇ２１ａを示す。また、図７は、図５に示す状態から、下部走行体１１０を右方向に９０度旋回させた状態の表示画像Ｇ２１ｂを示す。
　本実施形態において十字線重畳部６６（重畳部）は、上部旋回体１２０の旋回に伴う旋回着目範囲と下部走行体１１０の前後進に伴う走行着目範囲とを表す十字線画像Ｌ１（着目範囲画像）を俯瞰画像Ｇ２０に重畳した表示画像Ｇ２１を生成する。また、十字線画像Ｌ１は、下部走行体１１０を操作する操作装置１４２に対する前進または後進の所定の指示操作（作業機械１００のオペレータが左フットペダル１４２ＬＦまたは左走行レバー１４２ＬＴと右フットペダル１４２ＲＦまたは右走行レバー１４２ＲＴとを同時に前方に倒す操作）に対応する向きを示す情報（十字線画像Ｌ１の矢印の向き）を表す。また、十字線画像Ｌ１は、走行着目範囲に対応する長さと上記所定の指示操作に対応する向きを示す矢印を表す画像（矢印画像Ｌ１１）と、作業機械１００の旋回中心ｃで矢印（矢印画像Ｌ１１が表す矢印）と交差して旋回着目範囲に対応する長さを示す線分を表す画像（線分画像Ｌ１２）とを含む。
　進行方向画像生成部６７は、例えば操作装置１４２に対して前進または後進を指示する所定の指示操作が行われた場合、１または複数のカメラ１２１Ａ～１２１Ｄの撮像画像に基づき下部走行体１１０の進行方向に対応する進行方向画像を生成する。図５に示す進行方向画像Ｇ２２は、表示画像Ｇ２１に表示された状態の作業機械１００において前進を指示する指示操作が操作装置１４２に対して行われたときに表示される画像である。この場合、進行方向画像Ｇ２２は、例えば、前方カメラ１２１Ａの撮像画像である。進行方向画像生成部６７は、例えば、進行方向が前後左右の場合、カメラ１２１Ａ～１２１Ｄの撮像画像の一つを選択して進行方向画像としたり、カメラ１２１Ａ～１２１Ｄの撮像画像を合成した画像から進行方向に対応する画像を切り出して進行方向画像としたりすることができる。なお、進行方向画像生成部６７は、例えば操作装置１４２に対して前進または後進を指示する所定の指示操作が行われていない場合、１または複数のカメラ１２１Ａ～１２１Ｄの撮像画像に基づき下部走行体１１０の前進方向に対応する進行方向画像を生成してもよい。
　表示画像出力部６８は、表示画像と進行方向画像を、表示部１４５Ａに対して表示の指示とともに出力する。
（表示制御装置６１の動作例）
　図８と図５を参照して、図４に示す表示制御装置６１の動作例について説明する。図８に示す処理は、所定の周期で繰り返し実行される。図８に示す処理が開始されると、まず、俯瞰画像生成部６３が俯瞰画像Ｇ２０を生成する（Ｓ１）。次に、上部旋回体画像重畳部６４が上面画像ＩＭ１を俯瞰画像Ｇ２０に重畳する（Ｓ２）。次に、目安線重畳部６５が、上面画像ＩＭ１が重畳された俯瞰画像Ｇ２０に、目安線画像ｍ１と目安線画像ｍ２を重畳する（Ｓ３）。次に、十字線重畳部６６が、上面画像ＩＭ１と目安線画像ｍ１と目安線画像ｍ２が重畳された俯瞰画像Ｇ２０に、十字線画像Ｌ１と旋回中心画像ｃ１を重畳する（これが表示画像Ｇ２１）（Ｓ４）。次に、進行方向画像生成部６７が、進行方向画像Ｇ２２を生成する（Ｓ５）。次に、表示画像出力部６８が、表示画像Ｇ２１と進行方向画像Ｇ２２を表示部１４５Ａに出力し、表示ディスプレイ１４５Ｄに表示画像Ｇ２１と進行方向画像Ｇ２２を表示させる（Ｓ６）。
（作用・効果）
　本実施形態によれば、作業機械１００の運転（走行および旋回）に伴う着目範囲をオペレータ（運転者）が容易に把握することができる。
（変形例）
　次に図９と図１０を参照して、図５に示す表示画像Ｇ２１の変形例（表示画像Ｇ２１ｃと表示画像Ｇ２１ｄ）について説明する。図９に示す表示画像Ｇ２１ｃは、図５に示す表示画像Ｇ２１に対して次の点が異なる。すなわち、図９に示す表示画像Ｇ２１ｃは、図５に示す目安画像ｍ１と目安画像ｍ２を含まず、目安画像ｍ３を含んでいる。目安画像ｍ３は、目安画像ｍ１内の領域（図９で網掛けして示す領域Ｒｍ１）のすべてと、矢印画像Ｌ１１とを含む領域を示す。この場合、目安画像ｍ３は、上部旋回体１２０の旋回に伴う旋回着目範囲と下部走行体１１０の前後進に伴う走行着目範囲とを含んでいる。すなわち、図９に示す表示画像Ｇ２１ｃで、十字画像Ｌ１が単独で着目範囲画像であるとともに、目安画像ｍ３も単独で着目範囲画像である。
　一方、図１０に示す表示画像Ｇ２１ｄは、図５に示す表示画像Ｇ２１に対して次の点が異なる。すなわち、図１０に示す表示画像Ｇ２１ｄは、図５に示す目安画像ｍ１と目安画像ｍ２と十字画像Ｌ１１を含まず、目安画像ｍ４を含んでいる。目安画像ｍ４は、図９に示す目安画像ｍ３と同一形状の領域を示す。ただし、目安画像ｍ３と異なり、目安画像ｍ４は、上半分の目安画像ｍ４ａと下半分の目安画像ｍ４ｂの表示態様を変化させることで、下部走行体１１０の方向の向きを表している。表示態様の変化は、色の違い、点滅表示の周期の違い、破線の太さの違い等である。この場合、目安画像ｍ４は単独で着目範囲画像であるとともに、下部走行体１１０を操作する操作装置１４２に対する前進または後進の所定の指示操作に対応する向きを示している。この場合、目安線重畳部６５は、十字線重畳部６６と同様、「重畳部」に対応する。
　以上、この発明の実施形態について図面を参照して説明してきたが、具体的な構成は上記実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　例えば、上述した実施形態に係る作業機械１００は、油圧ショベルであるが、これに限られない。例えば、他の実施形態に係る作業機械１００は、例えば、ダンプトラック、ブルドーザ、ホイルローダなどの他の作業機械であってもよい。
　また、上記実施形態でコンピュータが実行するプログラムの一部または全部は、コンピュータ読取可能な記録媒体や通信回線を介して頒布することができる。
　本開示の各態様によれば、作業機械の運転に伴って着目すべき範囲を運転者が容易に把握することができる。
　１００…作業機械　１１０…下部走行体　１２０…上部旋回体　１２１Ａ～１２１Ｄ…カメラ　６１…表示制御装置　６２…入出力部　６３…俯瞰画像生成部　６４…上部旋回体画像重畳部　６５…目安線重畳部　６６…十字線重畳部　６７…進行方向画像生成部　６８…表示画像出力部　Ｌ１…十字画像　ｍ１、ｍ２、ｍ３、ｍ４…目安画像　Ｇ２０…俯瞰画像　Ｇ２１…表示画像　Ｇ２２…進行方向画像

Claims (6)

  1. 　下部走行体と前記下部走行体に旋回可能に支持された上部旋回体とを備える作業機械の前記上部旋回体に設置された１または複数の撮像装置が撮像した１または複数の撮像画像に基づき、前記作業機械の周囲の俯瞰画像を生成する俯瞰画像生成部と、
    　前記上部旋回体の旋回に伴う旋回着目範囲と前記下部走行体の前後進に伴う走行着目範囲とを表す着目範囲画像を前記俯瞰画像に重畳した表示画像を生成する重畳部と、
    　前記表示画像を出力する表示画像出力部と
    　を備える表示制御装置。
  2. 　前記着目範囲画像は、前記下部走行体を操作する操作装置に対する前進または後進の所定の指示操作に対応する向きを示す情報を表す
    　請求項１に記載の表示制御装置。
  3. 　前記着目範囲画像は、前記走行着目範囲に対応する長さと前記指示操作に対応する向きを示す矢印を表す画像と、前記作業機械の旋回中心で前記矢印と交差して前記旋回着目範囲に対応する長さを示す線分を表す画像とを含む
    　請求項２に記載の表示制御装置。
  4. 　前記１または複数の撮像画像に基づき前記下部走行体の進行方向に対応する進行方向画像を生成する進行方向画像生成部をさらに備え、
    　前記表示画像出力部は、前記表示画像とともに、前記進行方向画像を出力する
    　請求項１から３のいずれか１項に記載の表示制御装置。
  5. 　下部走行体と前記下部走行体に旋回可能に支持された上部旋回体とを備える作業機械の前記上部旋回体に設置された１または複数の撮像装置が撮像した１または複数の撮像画像に基づき、前記作業機械の周囲の俯瞰画像を生成するステップと、
    　前記上部旋回体の旋回に伴う旋回着目範囲と前記下部走行体の前後進に伴う走行着目範囲とを表す着目範囲画像を前記俯瞰画像に重畳した表示画像を生成するステップと、
    　前記表示画像を出力するステップと
    　を含む表示制御方法。
  6. 　下部走行体と、
    　前記下部走行体に旋回可能に支持された上部旋回体と、
    　前記上部旋回体に設置された１または複数の撮像装置と、
    　表示制御装置と
    　を備え、
    　前記表示制御装置が、
    　前記１または複数の撮像装置が撮像した１または複数の撮像画像に基づき、前記上部旋回体と前記下部走行体の周囲の俯瞰画像を生成する俯瞰画像生成部と、
    　前記上部旋回体の旋回に伴う旋回着目範囲と前記下部走行体の前後進に伴う走行着目範囲とを表す着目範囲画像を前記俯瞰画像に重畳した表示画像を生成する重畳部と、
    　前記表示画像を出力する表示画像出力部と
    　を有する
    　作業機械。
PCT/JP2022/019100 2021-04-28 2022-04-27 表示制御装置、表示制御方法および作業機械 WO2022230939A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112022001286.2T DE112022001286T5 (de) 2021-04-28 2022-04-27 Anzeigesteuervorrichtung, Anzeigesteuerverfahren, und Arbeitsmaschine
US18/288,431 US20240141621A1 (en) 2021-04-28 2022-04-27 Display control device, display control method, and work machine
KR1020237037003A KR20230159892A (ko) 2021-04-28 2022-04-27 표시 제어 장치, 표시 제어 방법 및 작업 기계
CN202280031314.0A CN117280099A (zh) 2021-04-28 2022-04-27 显示控制装置、显示控制方法以及作业机械

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-075949 2021-04-28
JP2021075949A JP2022170068A (ja) 2021-04-28 2021-04-28 表示制御装置、表示制御方法および作業機械

Publications (1)

Publication Number Publication Date
WO2022230939A1 true WO2022230939A1 (ja) 2022-11-03

Family

ID=83848553

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/019100 WO2022230939A1 (ja) 2021-04-28 2022-04-27 表示制御装置、表示制御方法および作業機械

Country Status (6)

Country Link
US (1) US20240141621A1 (ja)
JP (1) JP2022170068A (ja)
KR (1) KR20230159892A (ja)
CN (1) CN117280099A (ja)
DE (1) DE112022001286T5 (ja)
WO (1) WO2022230939A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010059653A (ja) * 2008-09-02 2010-03-18 Hitachi Constr Mach Co Ltd 作業機械の視野補助装置
JP2013142228A (ja) * 2012-01-10 2013-07-22 Hitachi Constr Mach Co Ltd 作業機械の走行支援装置
WO2016159012A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
JP2017066860A (ja) * 2016-09-21 2017-04-06 株式会社小松製作所 クローラ式作業機械の周辺監視装置
JP2020176460A (ja) * 2019-04-19 2020-10-29 コベルコ建機株式会社 作業機械の周囲監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010059653A (ja) * 2008-09-02 2010-03-18 Hitachi Constr Mach Co Ltd 作業機械の視野補助装置
JP2013142228A (ja) * 2012-01-10 2013-07-22 Hitachi Constr Mach Co Ltd 作業機械の走行支援装置
WO2016159012A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
JP2017066860A (ja) * 2016-09-21 2017-04-06 株式会社小松製作所 クローラ式作業機械の周辺監視装置
JP2020176460A (ja) * 2019-04-19 2020-10-29 コベルコ建機株式会社 作業機械の周囲監視装置

Also Published As

Publication number Publication date
DE112022001286T5 (de) 2023-12-28
KR20230159892A (ko) 2023-11-22
US20240141621A1 (en) 2024-05-02
JP2022170068A (ja) 2022-11-10
CN117280099A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
US9845051B2 (en) Display device for self-propelled industrial machine
JP6204884B2 (ja) 旋回式作業機の周囲表示装置
US20140354813A1 (en) Surroundings Monitoring Device for Work Machine
JP5269026B2 (ja) 作業機械の周囲監視装置
US20170341581A1 (en) Display device for self-propelled industrial machine
JP6071786B2 (ja) 作業機械の周囲監視装置
US20140111648A1 (en) Device For Monitoring Area Around Working Machine
US20170072857A1 (en) Display device for self-propelled industrial machine
CN113152552A (zh) 工程机械的控制系统及方法
WO2022230939A1 (ja) 表示制御装置、表示制御方法および作業機械
WO2023002796A1 (ja) 掘削機械の稼働範囲設定システムおよびその制御方法
JP6224770B2 (ja) ダンプトラックの表示装置
JP6188858B2 (ja) 作業機械の周囲監視装置
JP7363560B2 (ja) 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法
WO2023100533A1 (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22795852

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237037003

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18288431

Country of ref document: US

Ref document number: 112022001286

Country of ref document: DE

Ref document number: 1020237037003

Country of ref document: KR

122 Ep: pct application non-entry in european phase

Ref document number: 22795852

Country of ref document: EP

Kind code of ref document: A1