WO2020153292A1 - 作業機械のシステム及び方法 - Google Patents

作業機械のシステム及び方法 Download PDF

Info

Publication number
WO2020153292A1
WO2020153292A1 PCT/JP2020/001696 JP2020001696W WO2020153292A1 WO 2020153292 A1 WO2020153292 A1 WO 2020153292A1 JP 2020001696 W JP2020001696 W JP 2020001696W WO 2020153292 A1 WO2020153292 A1 WO 2020153292A1
Authority
WO
WIPO (PCT)
Prior art keywords
work machine
panoramic video
image
viewpoint
processor
Prior art date
Application number
PCT/JP2020/001696
Other languages
English (en)
French (fr)
Inventor
浩一 中沢
修 矢津田
Original Assignee
株式会社小松製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小松製作所 filed Critical 株式会社小松製作所
Priority to CA3116828A priority Critical patent/CA3116828A1/en
Priority to AU2020212836A priority patent/AU2020212836B2/en
Priority to US17/289,766 priority patent/US20210395980A1/en
Publication of WO2020153292A1 publication Critical patent/WO2020153292A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/7604—Combinations of scraper blades with soil loosening tools working independently of scraper blades
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2221—Control of flow rate; Load sensing arrangements
    • E02F9/2225—Control of flow rate; Load sensing arrangements using pressure-compensating valves
    • E02F9/2228—Control of flow rate; Load sensing arrangements using pressure-compensating valves including an electronic controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2278—Hydraulic circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present disclosure relates to a work machine system and method.
  • the system includes a plurality of cameras attached to a work machine and a controller.
  • a plurality of cameras capture images of the work machine and its surroundings.
  • the controller synthesizes an overhead image from images captured by a plurality of cameras.
  • the controller synthesizes a plurality of images captured by the camera to generate an image showing the work machine and its surroundings. Therefore, the controller can generate images from various viewpoints.
  • the system includes a work machine, a plurality of cameras, a processor, and a display.
  • the work machine includes a work machine. Multiple cameras capture peripheral images of the work machine.
  • the processor acquires image data indicating a peripheral image.
  • the processor synthesizes the peripheral images to generate a panoramic video from a viewpoint moving around the work machine.
  • the display displays a panoramic video from a viewpoint moving around the work machine based on a signal from the processor.
  • the method according to the second aspect is a method executed by the processor to display the periphery of the work machine including the work machine on the display.
  • the method includes the following processes.
  • the first process is to acquire image data indicating a peripheral image of the work machine.
  • the second process is to combine the peripheral images to generate a panoramic video from a viewpoint moving around the work machine.
  • the third process is to display a panoramic video from the viewpoint moving around the work machine on the display.
  • the system includes a processor and a display.
  • the processor acquires image data indicating a peripheral image of the work machine.
  • the processor synthesizes the peripheral images to generate a panoramic video from a viewpoint moving around the work machine.
  • the display displays a panoramic video from a viewpoint moving around the work machine based on a signal from the processor.
  • a panoramic video from the viewpoint of moving around the work machine is displayed on the display. Therefore, the operator can easily overlook a wide range around the work machine by the display.
  • FIG. 1 is a side view showing a work machine 1 according to the embodiment.
  • the work machine 1 is a bulldozer.
  • the work machine 1 includes a vehicle body 2, a work machine 3, and a traveling device 4.
  • the vehicle body 2 includes an engine room 11.
  • a driver's cab 12 is arranged behind the engine compartment 11.
  • a ripper device 5 is attached to the rear portion of the vehicle body 2.
  • the traveling device 4 is a device for traveling the work machine 1.
  • the traveling device 4 includes a pair of crawler belts 13 arranged on the left and right sides of the vehicle body 2.
  • the work machine 1 runs by driving the crawler belt 13.
  • the work machine 3 is arranged in front of the vehicle body 2.
  • the work machine 3 is used for work such as excavation, soil transportation, or leveling.
  • the work machine 3 includes a blade 14, a lift cylinder 15, a tilt cylinder 16, and an arm 17.
  • the blade 14 is supported by the vehicle body 2 via an arm 17.
  • the blade 14 is provided so as to be vertically movable.
  • the lift cylinder 15 and the tilt cylinder 16 are driven by hydraulic oil discharged from a hydraulic pump 22 described later to change the attitude of the blade 14.
  • FIG. 2 is a block diagram showing the configuration of a system 100 for controlling the work machine 1.
  • the work machine 1 includes an engine 21, a hydraulic pump 22, a power transmission device 23, and a control valve 24.
  • the engine 21, the hydraulic pump 22, and the power transmission device 23 are arranged in the engine compartment 11.
  • the hydraulic pump 22 is driven by the engine 21 and discharges hydraulic oil.
  • the hydraulic oil discharged from the hydraulic pump 22 is supplied to the lift cylinder 15 and the tilt cylinder 16.
  • one hydraulic pump 22 is shown in FIG. 2, a plurality of hydraulic pumps may be provided.
  • the power transmission device 23 transmits the driving force of the engine 21 to the traveling device 4.
  • the power transmission device 23 may be, for example, an HST (Hydro Static Transmission).
  • the power transmission device 23 may be, for example, a torque converter or a transmission having a plurality of transmission gears.
  • the control valve 24 is a proportional control valve and is controlled according to an input command signal.
  • the control valve 24 is arranged between hydraulic actuators such as the lift cylinder 15 and the tilt cylinder 16 and the hydraulic pump 22.
  • the control valve 24 controls the flow rate of the hydraulic oil supplied from the hydraulic pump 22 to the lift cylinder 15 and the tilt cylinder 16.
  • the control valve 24 may be a pressure proportional control valve.
  • the control valve 24 may be an electromagnetic proportional control valve.
  • the system 100 includes a first controller 31, a second controller 32, an input device 33, and communication devices 34 and 35.
  • the first controller 31 and the communication device 34 are mounted on the work machine 1.
  • the second controller 32, the input device 33, and the communication device 35 are arranged outside the work machine 1.
  • the second controller 32, the input device 33, and the communication device 35 are arranged in a control center remote from the work site.
  • the work machine 1 can be remotely controlled by the input device 33.
  • the first controller 31 and the second controller 32 are programmed to control the work machine 1.
  • the first controller 31 includes a memory 311 and a processor 312.
  • the memory 311 includes, for example, a volatile memory such as a RAM and a non-volatile memory such as a ROM.
  • the memory 311 stores programs and data for controlling the work machine 1.
  • the processor 312 is, for example, a CPU (Central Processing Unit), and executes processing for controlling the work machine 1 according to a program.
  • the first controller 31 drives the work machine 1 by controlling the traveling device 4 or the power transmission device 23.
  • the first controller 31 operates the work machine 3 by controlling the control valve 24.
  • the second controller 32 includes a memory 321 and a processor 322.
  • the memory 321 includes, for example, a volatile memory such as a RAM and a non-volatile memory such as a ROM.
  • the memory 321 stores programs and data for controlling the work machine 1.
  • the processor 322 is, for example, a CPU (Central Processing Unit), and executes processing for controlling the work machine 1 according to a program.
  • the second controller 32 receives an operation signal from the input device 33.
  • the input device 33 receives an operation by the operator and outputs an operation signal according to the operation.
  • the input device 33 outputs an operation signal to the second controller 32.
  • the input device 33 includes an operator such as an operating lever, a pedal, or a switch for operating the traveling device 4 and the working machine 3.
  • the input device 33 may include a touch panel.
  • the traveling of the work machine 1 such as forward and backward, is controlled. Further, operations such as raising and lowering of the work machine 3 are controlled according to the operation of the input device 33.
  • the second controller 32 can communicate with the first controller 31 wirelessly via the communication devices 34 and 35.
  • the second controller 32 acquires the operation data D4 from the operation signal from the input device 33, and transmits the operation data D4 to the first controller 31.
  • the operation data D4 indicates the operation of the input device 33 for operating the traveling device 4 and the working machine 3.
  • the first controller 31 controls the traveling device 4 and the work machine 3 according to the operation data D4.
  • FIG. 3 is a block diagram showing a configuration of a system 100 for displaying an image of the work machine 1 and its surroundings, and a flow of processing by the system.
  • the system 100 includes a plurality of cameras C1-C4.
  • the plurality of cameras C1-C4 are attached to the vehicle body 2.
  • the plurality of cameras C1-C4 are fisheye cameras.
  • the angle of view of each of the plurality of cameras C1-C4 is 180 degrees. However, the angle of view of each of the plurality of cameras C1-C4 may be smaller than 180 degrees. Alternatively, the angle of view of each of the plurality of cameras C1-C4 may be greater than 180 degrees.
  • the plurality of cameras C1-C4 includes a front camera C1, a first side camera C2, a rear camera C3, and a second side camera C4.
  • the front camera C1 is attached to the front part of the vehicle body 2.
  • the vehicle body 2 includes a support member 18.
  • the support member 18 extends upward and forward from the front portion of the vehicle body 2.
  • the front camera C1 is attached to the support member 18.
  • the rear camera C3 is attached to the rear part of the vehicle body 2.
  • the first side camera C2 is attached to one side of the vehicle body 2.
  • the second side camera C4 is attached to the other side portion of the vehicle body 2.
  • the first side camera C2 is attached to the left side portion of the vehicle body 2, and the second side camera C4 is attached to the right side portion of the vehicle body 2.
  • the first side camera C2 may be attached to the right side portion of the vehicle body 2, and the second side camera C4 may be attached to the left side portion of the vehicle body 2.
  • the front camera C1 acquires an image in front of the vehicle body 2.
  • the rear camera C3 acquires an image behind the work machine 1.
  • the first side camera C2 acquires an image on the left side of the vehicle body 2.
  • the second side camera C4 acquires an image on the right side of the vehicle body 2.
  • the cameras C1-C4 output image data indicating the acquired image.
  • the system 100 includes a shape sensor 36, a posture sensor 37, and a position sensor 38.
  • the shape sensor 36 measures a three-dimensional shape around the work machine 1 and outputs shape data D1 indicating the three-dimensional shape.
  • the shape sensor 36 is, for example, a lidar (LIDAR: Laser Imaging and Ranging).
  • the shape sensor 36 measures the distance to the measurement point by irradiating a laser and measuring the reflected light.
  • the attitude sensor 37 detects the attitude of the work machine 1 and outputs attitude data D2 indicating the attitude.
  • the posture sensor 37 includes, for example, an IMU (Inertial Measurement Unit).
  • the posture data D2 includes an angle (pitch angle) with respect to the horizontal in the vehicle front-rear direction and an angle (roll angle) with respect to the horizontal in the vehicle lateral direction.
  • the attitude sensor outputs attitude data D2.
  • the position sensor 38 includes a GNSS (Global Navigation Satellite System) receiver such as a GPS (Global Positioning System).
  • the position sensor receives the positioning signal from the satellite, and acquires the position data D3 indicating the position coordinates of the work machine 1 from the positioning signal.
  • the position sensor outputs position data D3.
  • GNSS Global Navigation Satellite System
  • GPS Global Positioning System
  • the shape sensor 36 is attached to the support member 18, for example. Alternatively, the shape sensor 36 may be attached to another part of the vehicle body 2.
  • the attitude sensor 37 and the position sensor 38 are attached to the vehicle body 2. Alternatively, the attitude sensor 37 and the position sensor 38 may be attached to the work machine 3.
  • the system 100 includes an image controller 41 and a display 42.
  • the image controller 41 is programmed to generate an image IS showing the work machine 1 and its periphery and display the image IS on the display 42.
  • the image controller 41 includes a storage device 411 and a processor 412.
  • the storage device 411 includes, for example, a volatile memory such as a RAM and a non-volatile memory such as a ROM.
  • the storage device 411 may include an auxiliary storage device such as an HDD or SSD.
  • the storage device 411 stores a program and data for generating the image IS.
  • the processor 412 is, for example, a CPU (Central Processing Unit), and executes processing for generating an image IS and displaying it on the display 42 according to a program.
  • CPU Central Processing Unit
  • the image controller 41 is connected to the first controller 31 by wire or wirelessly so as to be communicable.
  • the image controller 41 is connected to the second controller 32 in a wired or wireless manner so that they can communicate with each other.
  • the image controller 41 may be mounted on the work machine 1.
  • the image controller 41 may be integrated with the first controller 31 or may be a separate body.
  • the image controller 41 may be arranged outside the work machine 1.
  • the image controller 41 may be arranged in the control center.
  • the image controller 41 may be integrated with the second controller 32 or may be a separate body.
  • the image controller 41 is connected to the cameras C1-C4 by wire or wirelessly so that they can communicate with each other.
  • the image controller 41 receives image data from the cameras C1-C4.
  • the image controller 41 may receive the image data via the first controller 31 and/or the second controller 32.
  • the image controller 41 is connected to the shape sensor 36, the posture sensor 37, and the position sensor 38 by wire or wirelessly so that they can communicate with each other.
  • the image controller 41 receives the shape data D1 from the shape sensor 36.
  • the image controller 41 receives the posture data D2 from the posture sensor 37.
  • the image controller 41 receives the position data D3 from the position sensor 38.
  • the image controller 41 may receive the shape data D1, the posture data D2, and the position data D3 via the first controller 31 and/or the second controller 32.
  • the image controller 41 receives the operation data D4 from the input device 33.
  • the image controller 41 may receive the operation data D4 via the first controller 31 and/or the second controller 32.
  • the display 42 is, for example, a CRT, LCD or OELD. However, the display 42 is not limited to these displays and may be another type of display.
  • the display 42 displays an image based on the signal from the image controller 41.
  • the display 42 may receive a signal from the image controller 41 via the first controller 31 and/or the second controller 32.
  • the image controller 41 generates an image IS based on the above-mentioned image data, shape data D1, posture data D2, and position data D3.
  • FIG. 4 is a diagram showing an example of the image IS.
  • the image IS includes the work machine 1 and objects around the work machine 1.
  • the target around the work machine 1 includes the terrain around the work machine 1. Objects around the work machine 1 may include other work machines, buildings, or people. The generation of the image IS will be described below.
  • the cameras C1-C4 take images of the work machine 1 and its surroundings.
  • the image controller 41 acquires the front image Im1, the left image Im2, the rear image Im3, and the right image Im4 from the cameras C1-C4.
  • the front image Im1 is an image in front of the vehicle body 2.
  • the left image Im2 is an image on the left side of the vehicle body 2.
  • the rear image Im3 is an image behind the vehicle body 2.
  • the right image Im4 is an image on the right side of the vehicle body 2.
  • the image controller 41 generates a peripheral image IS1 from the images Im1-Im4 acquired by the cameras C1-C4.
  • the peripheral image IS1 is a synthetic image that shows a bird's eye view of the periphery of the work machine 1.
  • the image controller 41 generates the peripheral image IS1 by projecting the images Im1-Im4 acquired by the cameras C1-C4 on the three-dimensional projection model M1 by texture mapping.
  • the three-dimensional projection model M1 is composed of a polygon mesh indicating the shape of the target around the work machine 1.
  • the image controller 41 may use a three-dimensional projection model M1 stored in advance. Alternatively, the image controller 41 may generate the three-dimensional projection model M1 based on the shape data D1 acquired from the shape sensor 36.
  • the image controller 41 synthesizes the machine image IS2 showing the work machine 1 and the peripheral image IS1.
  • the machine image IS2 is a three-dimensional image of the work machine 1 itself.
  • the image controller 41 determines the posture of the machine image IS2 on the image IS from the posture data D2.
  • the image controller 41 determines the orientation of the machine image IS2 on the image IS from the position data D3.
  • the image controller 41 synthesizes the mechanical image IS2 with the image IS so that the orientation and orientation of the mechanical image IS2 on the image IS match the actual orientation and orientation of the work machine 1.
  • the image controller 41 may generate the machine image IS2 from the images Im1-Im4 acquired by the cameras C1-C4.
  • the image of the work machine 1 is included in each of the images captured by the cameras C1-C4, and the image controller 41 generates the machine image IS2 by projecting each part of the image onto the machine model M2.
  • the machine model M2 may be a projection model having the shape of the work machine 1 and may be stored in the storage device 411.
  • the machine image IS2 may be a preset image captured in advance or a three-dimensional computer graphics created in advance.
  • the display 42 displays the image IS.
  • the image IS is updated in real time and displayed on the display 42 as a moving image. Therefore, when the work machine 1 is running, the posture, orientation, and orientation of the peripheral image IS1 and the machine image IS2 in the image IS are determined according to the surrounding objects, the orientation, orientation, and actual position of the work machine 1. The position is also changed and displayed in real time.
  • the three-dimensional projection model M1 and the machine model M2 are changed from the posture, orientation, and position when the work machine 1 starts traveling. It rotates according to the rotation matrix that it represents and translates according to the translation vector.
  • the rotation vector and the translation vector are acquired from the posture data D2 and the position data D3 described above.
  • the image IS is an image of the work machine 1 and its surroundings viewed from the left.
  • the image controller 41 can switch the image IS to an image of the work machine 1 and its surroundings from a perspective of forward, backward, rightward, upward, or an oblique direction in each direction.
  • the image controller 41 also generates a panoramic video from the viewpoint VP moving around the work machine 1 and displays it on the display 42.
  • FIG. 5A is a side view showing the movement of the viewpoint VP.
  • FIG. 5A is a top view showing the movement of the viewpoint VP.
  • the viewpoint VP is located diagonally above the work machine 1.
  • the image controller 41 rotates the viewpoint VP around the work machine 360 by 360 degrees.
  • the image controller 41 rotates the viewpoint VP once along a circular trajectory centered on the work machine 1 in a top view of the work machine 1.
  • the viewpoint VP is always arranged so as to face the work machine 1.
  • FIGS. 6 and 7 show a part of the frame of the panoramic video PV. As shown in FIGS. 6 and 7, in the panoramic video PV, the work machine 1 is displayed at the center of the screen.
  • the panoramic video PV shows the work machine 1 and the entire periphery of the work machine 1.
  • the work machine 1 is displayed in the horizontal center of the screen in the panoramic video PV.
  • the work machine 1 is displayed in the vertical center of the screen in the panoramic video PV.
  • the work machine 1 may be displayed eccentric from the center of the screen in the left-right direction or the vertical direction.
  • the frame F1 shown in FIG. 6 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP1 shown in FIG. 5B.
  • the viewpoint VP1 is located in front of and above the work machine 1.
  • a frame F2 shown in FIG. 6 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP2 shown in FIG. 5B.
  • the viewpoint VP2 is located diagonally to the front right of the work machine 1 and above.
  • a frame F3 shown in FIG. 6 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP3 shown in FIG. 5B.
  • the viewpoint VP3 is located to the right and above the work machine 1.
  • the frame F4 shown in FIG. 6 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP4 shown in FIG. 5B.
  • the viewpoint VP4 is located diagonally rearward and rightward of the work machine 1 and upward.
  • a frame F5 shown in FIG. 6 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP5 shown in FIG. 5B.
  • the viewpoint VP5 is located behind and above the work machine 1.
  • a frame F6 shown in FIG. 7 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP6 shown in FIG. 5B.
  • the viewpoint VP6 is located diagonally left rearward and upward of the work machine 1.
  • a frame F7 shown in FIG. 7 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP7 shown in FIG. 5B.
  • the viewpoint VP7 is located diagonally to the front left of the work machine 1 and above.
  • a frame F9 shown in FIG. 7 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP1 shown in FIG. 5B.
  • the viewpoint VP starts moving from the viewpoint VP1, passes through the viewpoints VP2-VP8, and returns to the viewpoint VP1.
  • the panoramic video PV is continuously generated while moving the viewpoints VP1 to VP9 and the positions between them.
  • the start position of movement of the viewpoint VP is not limited to the viewpoint PV1 and may be another position.
  • the image controller 41 generates the panoramic video PV and displays it on the display 42 when receiving the start signal of the work machine 1.
  • the image controller 41 also stores data indicating the panoramic video PV in the storage device 411.
  • the image controller 41 receives, for example, a start signal of the work machine 1 as the operation data D4 from the input device 33 described above.
  • the start signal of the work machine 1 is, for example, a signal for starting the engine 21.
  • the start signal of the work machine 1 may be a signal that activates the system of the work machine 1.
  • the panoramic video PV from the viewpoint VP moving around the work machine 1 is displayed on the display 42. Therefore, the operator can easily overlook a wide range around the work machine 1 by the display 42.
  • the panoramic video PV is generated when the work machine 1 is started and displayed on the display 42. Therefore, the operator can confirm the situation around the work machine 1 at the start of work by the work machine 1.
  • the panoramic video PV is stored in the storage device 411. Thereby, the panoramic video PV can be stored as a safety record at the work site.
  • the work machine is not limited to a bulldozer, but may be another type such as a wheel loader or a hydraulic excavator.
  • the work machine 1 may be operated in the cab instead of being operated remotely.
  • FIG. 8 is a figure which shows the structure of the working machine 1 which concerns on other embodiment.
  • the work machine 1 may include a controller 30 mounted on the work machine 1.
  • the input device 33 may be arranged in the cab.
  • the controller 30 may execute the above-described process of generating the image IS and the panoramic video PV.
  • the controller 30 has the same configuration as the first controller 31 and the second controller 32 described above, and thus detailed description thereof will be omitted.
  • the first controller 31 is not limited to a single unit and may be divided into a plurality of controllers.
  • the second controller 32 is not limited to be integrated, and may be divided into a plurality of controllers.
  • the controller 30 is not limited to a single unit and may be divided into a plurality of controllers.
  • the image controller 41 is not limited to a single unit and may be divided into a plurality of controllers.
  • All or part of the above-described processing for generating the image IS may be executed by another controller instead of the image controller 41.
  • All or part of the above-described processing of generating the panoramic video PV may be executed by the other controller instead of the image controller 41.
  • the number of cameras is not limited to four, but may be three or less, or five or more.
  • the camera is not limited to a fisheye camera, and may be another type of camera.
  • the arrangement of the cameras is not limited to the arrangement of the above-described embodiment, but may be different arrangement.
  • the attitude sensor 37 is not limited to the IMU and may be another sensor.
  • the position sensor 38 is not limited to the GNSS receiver and may be another sensor.
  • the shape sensor 36 is not limited to the rider, but may be another measuring device such as a radar.
  • the panoramic video PV may be generated and displayed on the display 42 not only at the time of receiving the start signal of the work machine but at another timing. For example, when the operator operates the input device 33, the panoramic video PV may be generated at any timing and displayed on the display 42.
  • the position and orientation of the viewpoint VP in the panoramic video PV are not limited to those in the above embodiment, and may be changed.
  • the viewpoint VP may be at the same height as the work machine 1.
  • the viewpoint VP may move so that the work machine 1 is displayed at a position eccentric from the center of the screen.
  • FIG. 8A is a side view showing the movement of the viewpoint VP according to the modification.
  • FIG. 8B is a side view showing the movement of the viewpoint VP according to the modification.
  • the viewpoint VP is located obliquely above the work machine 1 as in the above embodiment.
  • the controller 30 moves the viewpoint VP along an elliptical trajectory surrounding the work machine 1 in a top view of the work machine 1 to generate the panoramic video PV.
  • the viewpoint VP is arranged so that it does not pass through the work machine 1.
  • the viewpoint VP is arranged toward the work machine 1 in a direction passing through one side of the work machine 1 on the left and right sides.
  • the viewpoint VP is arranged so as to face the work machine 1 and pass through the left side of the work machine 1.
  • the viewpoint VP may be arranged so as to face the work machine 1 and pass through the right side of the work machine 1.
  • FIGS. 9 and 10 show a part of the frame of the panoramic video PV according to the modified example.
  • the work machine 1 is displayed to the right of the center of the screen.
  • the work machine 1 may be displayed to the left of the center of the screen.
  • a frame F1 shown in FIG. 10 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP1 shown in FIG. 9B.
  • a frame F2 shown in FIG. 10 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP2 shown in FIG. 9B.
  • a frame F3 shown in FIG. 10 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP3 shown in FIG. 9B.
  • a frame F4 shown in FIG. 10 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP4 shown in FIG. 9B.
  • a frame F5 shown in FIG. 10 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP5 shown in FIG. 9B.
  • a frame F6 shown in FIG. 11 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP6 shown in FIG. 9B.
  • a frame F7 shown in FIG. 11 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP7 shown in FIG. 9B.
  • a frame F9 shown in FIG. 11 is an image of the work machine 1 and its surroundings viewed from the viewpoint VP1 shown in FIG. 9B.
  • the viewpoint VP starts moving from the viewpoint VP1, passes through the viewpoints VP2-VP8, and returns to the viewpoint VP1.
  • the panoramic video PV is continuously generated while moving the viewpoints VP1 to VP9 and the positions between them.
  • the movement start position is not limited to the viewpoint PV1 and may be another position.
  • a panoramic video from the viewpoint of moving around the work machine is displayed on the display. Therefore, the operator can easily overlook a wide range around the work machine by the display.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Theoretical Computer Science (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

複数のカメラは、作業機械の周辺画像を撮影する。プロセッサは、周辺画像を示す画像データを取得する。プロセッサは、周辺画像を合成して、作業機械の周りを移動する視点からのパノラマ動画を生成する。ディスプレイは、プロセッサからの信号に基づき、作業機械の周りを移動する視点からのパノラマ動画を表示する。

Description

作業機械のシステム及び方法
　本開示は、作業機械のシステム及び方法に関する。
　従来、作業機械とその周辺を示す画像をディスプレイに表示するシステムが知られている。例えば、特許文献１では、システムは、作業機械に取り付けられる複数のカメラとコントローラとを含む。複数のカメラは、作業機械及びその周辺を撮影する。コントローラは、複数のカメラによって撮影された画像から、俯瞰画像を合成する。
国際公開ＷＯ２０１６／０３１００９号公報
　上述したように、コントローラは、カメラが撮影した複数の画像を合成することで、作業機械及びその周辺を示す画像を生成する。従って、コントローラは、様々な視点からの画像を生成することができる。
　オペレータが作業機械の周辺の広い範囲をディスプレイによって見渡すことができれば、作業機械の周辺の状況を容易に確認することができる。しかし、ディスプレイに表示できる範囲には限界がある。そのため、広い範囲を確認するためには、オペレータが視点を切り換える操作を行う必要があり、煩雑である。本開示の目的は、オペレータがディスプレイによって作業機械の周辺の広い範囲を容易に見渡すことができるシステム及び方法を提供することにある。
　第１の態様に係るシステムは、作業機械と、複数のカメラと、プロセッサと、ディスプレイとを備える。作業機械は、作業機を含む。複数のカメラは、作業機械の周辺画像を撮影する。プロセッサは、周辺画像を示す画像データを取得する。プロセッサは、周辺画像を合成して、作業機械の周りを移動する視点からのパノラマ動画を生成する。ディスプレイは、プロセッサからの信号に基づき、作業機械の周りを移動する視点からのパノラマ動画を表示する。
　第２の態様に係る方法は、作業機を含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法である。当該方法は以下の処理を含む。第１の処理は、作業機械の周辺画像を示す画像データを取得することである。第２の処理は、周辺画像を合成して、作業機械の周りを移動する視点からのパノラマ動画を生成することである。第３の処理は、作業機械の周りを移動する視点からのパノラマ動画をディスプレイに表示することである。
　第３の態様に係るシステムは、プロセッサとディスプレイとを備える。プロセッサは、作業機械の周辺画像を示す画像データを取得する。プロセッサは、周辺画像を合成して、作業機械の周りを移動する視点からのパノラマ動画を生成する。ディスプレイは、プロセッサからの信号に基づき、作業機械の周りを移動する視点からのパノラマ動画を表示する。
　本開示では、作業機械の周りを移動する視点からのパノラマ動画がディスプレイに表示される。そのため、オペレータは、ディスプレイによって作業機械の周辺の広い範囲を容易に見渡すことができる。
実施形態に係る作業機械を示す側面図である。 実施形態に係るシステムの構成を示す図である。 システムの構成、及び、システムによる処理の流れを示すブロック図である。 画像の一例を示す図である。 パノラマ動画における視点の移動を示す図である。 パノラマ動画のフレームの一部を示す図である。 パノラマ動画のフレームの一部を示す図である。 他の実施形態に係るシステムの構成を示す図である。 変形例に係るパノラマ動画における視点の移動を示す図である。 変形例に係るパノラマ動画のフレームの一部を示す図である。 変形例に係るパノラマ動画のフレームの一部を示す図である。
　以下、図面を参照して、実施形態に係る作業機械のシステムについて説明する。図1は、実施形態に係る作業機械１を示す側面図である。本実施形態において、作業機械１はブルドーザである。作業機械１は、車体２と、作業機３と、走行装置４とを含む。
　車体２は、エンジン室１１を含む。エンジン室１１の後方には、運転室１２が配置されている。車体２の後部には、リッパ装置５が取り付けられている。走行装置４は、作業機械１を走行させるための装置である。走行装置４は、車体２の左右の側方に配置される一対の履帯１３を含む。履帯１３が駆動されることにより作業機械１が走行する。
　作業機３は、車体２の前方に配置されている。作業機３は、掘削、運土、或いは整地などの作業に用いられる。作業機３は、ブレード１４と、リフトシリンダ１５と、チルトシリンダ１６と、アーム１７とを有する。ブレード１４は、アーム１７を介して車体２に支持されている。ブレード１４は、上下方向に動作可能に設けられている。リフトシリンダ１５とチルトシリンダ１６とは、後述する油圧ポンプ２２から吐出された作動油によって駆動され、ブレード１４の姿勢を変更する。
　図２は、作業機械１を制御するためのシステム１００の構成を示すブロック図である。図２に示すように、作業機械１は、エンジン２１と、油圧ポンプ２２と、動力伝達装置２３と、制御弁２４とを含む。エンジン２１と、油圧ポンプ２２と、動力伝達装置２３とは、エンジン室１１に配置されている。油圧ポンプ２２は、エンジン２１によって駆動され、作動油を吐出する。油圧ポンプ２２から吐出された作動油は、リフトシリンダ１５及びチルトシリンダ１６に供給される。なお、図２では、１つの油圧ポンプ２２が図示されているが、複数の油圧ポンプが設けられてもよい。
　動力伝達装置２３は、エンジン２１の駆動力を走行装置４に伝達する。動力伝達装置２３は、例えば、HST（Hydro Static Transmission）であってもよい。或いは、動力伝達装置２３は、例えば、トルクコンバーター、或いは複数の変速ギアを有するトランスミッションであってもよい。
　制御弁２４は、比例制御弁であり、入力される指令信号に応じて制御される。制御弁２４は、リフトシリンダ１５及びチルトシリンダ１６などの油圧アクチュエータと、油圧ポンプ２２との間に配置される。制御弁２４は、油圧ポンプ２２からリフトシリンダ１５及びチルトシリンダ１６に供給される作動油の流量を制御する。なお、制御弁２４は、圧力比例制御弁であってもよい。或いは、制御弁２４は、電磁比例制御弁であってもよい。
　システム１００は、第１コントローラ３１と、第２コントローラ３２と、入力装置３３と、通信装置３４，３５とを含む。第１コントローラ３１と通信装置３４とは、作業機械１に搭載されている。第２コントローラ３２と、入力装置３３と、通信装置３５とは、作業機械１の外部に配置されている。例えば、第２コントローラ３２と、入力装置３３と、通信装置３５とは、作業現場から離れたコントロールセンタ内に配置される。作業機械１は、入力装置３３によって遠隔操縦可能である。
　第１コントローラ３１と第２コントローラ３２とは、作業機械１を制御するようにプログラムされている。第１コントローラ３１は、メモリ３１１とプロセッサ３１２とを含む。メモリ３１１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ３１１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３１２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第１コントローラ３１は、走行装置４、或いは動力伝達装置２３を制御することで、作業機械１を走行させる。第１コントローラ３１は、制御弁２４を制御することで、作業機３を動作させる。
　第２コントローラ３２は、メモリ３２１とプロセッサ３２２とを含む。メモリ３２１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。メモリ３２１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３２２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第２コントローラ３２は、入力装置３３から操作信号を受信する。
　入力装置３３は、オペレータによる操作を受け付け、操作に応じた操作信号を出力する。入力装置３３は、第２コントローラ３２に操作信号を出力する。入力装置３３は、走行装置４と作業機３とを操作するための操作レバー、ペダル、或いはスイッチ等の操作子を含む。入力装置３３は、タッチパネルを含んでもよい。入力装置３３の操作に応じて、作業機械１の前進及び後進などの走行が制御される。また、入力装置３３の操作に応じて、作業機３の上昇及び下降などの動作が制御される。
　第２コントローラ３２は、第１コントローラ３１と、通信装置３４，３５を介して無線により通信可能である。第２コントローラ３２は、入力装置３３から操作信号から操作データＤ４を取得し、操作データＤ４を第１コントローラ３１に送信する。操作データＤ４は、走行装置４と作業機３とを操作するための入力装置３３の操作を示す。第１コントローラ３１は、操作データＤ４に応じて、走行装置４及び作業機３を制御する。
　図３は、作業機械１及びその周辺の画像を表示するためのシステム１００の構成、及び、システムによる処理の流れを示すブロック図である。図３に示すように、システム１００は、複数のカメラＣ１－Ｃ４を含む。複数のカメラＣ１－Ｃ４は、車体２に取り付けられている。複数のカメラＣ１－Ｃ４は、魚眼カメラである。複数のカメラＣ１－Ｃ４のそれぞれの画角は１８０度である。ただし、複数のカメラＣ１－Ｃ４のそれぞれの画角は１８０度より小さくてもよい。或いは、複数のカメラＣ１－Ｃ４のそれぞれの画角は１８０度より大きくてもよい。複数のカメラＣ１－Ｃ４は、前カメラＣ１と、第１サイドカメラＣ２と、後カメラＣ３と、第２サイドカメラＣ４とを有する。
　図１に示すように、前カメラＣ１は、車体２の前部に取り付けられる。詳細には、図１に示すように、車体２は支持部材１８を含む。支持部材１８は、車体２の前部から上方、且つ、前方に延びている。前カメラＣ１は、支持部材１８に取り付けられている。後カメラＣ３は、車体２の後部に取り付けられる。
　第１サイドカメラＣ２は、車体２の一方の側部に取り付けられている。第２サイドカメラＣ４は、車体２の他方の側部に取り付けられている。本実施形態では、第１サイドカメラＣ２は、車体２の左側部に取り付けられ、第２サイドカメラＣ４は、車体２の右側部に取り付けられている。ただし、第１サイドカメラＣ２が、車体２の右側部に取り付けられ、第２サイドカメラＣ４が、車体２の左側部に取り付けられてもよい。
　前カメラＣ１は、車体２の前方の画像を取得する。後カメラＣ３は、作業機械１の後方の画像を取得する。第１サイドカメラＣ２は、車体２の左方の画像を取得する。第２サイドカメラＣ４は、車体２の右方の画像を取得する。カメラＣ１－Ｃ４は、取得した画像を示す画像データを出力する。
　システム１００は、形状センサ３６と、姿勢センサ３７と、位置センサ３８とを含む。形状センサ３６は、作業機械１の周辺の３次元形状を測定し、３次元形状を示す形状データＤ１を出力する。形状センサ３６は、例えばライダー（LIDAR：Laser Imaging Detection and Ranging）である。形状センサ３６は、レーザーを照射して、その反射光を計測することで、計測点までの距離を測定する。
　姿勢センサ３７は、作業機械１の姿勢を検出し、姿勢を示す姿勢データＤ２を出力する。姿勢センサ３７は、例えばＩＭＵ（慣性計測装置：Inertial Measurement Unit）を含む。姿勢データＤ２は、車両前後方向の水平に対する角度（ピッチ角）と、車両横方向の水平に対する角度（ロール角）とを含む。姿勢センサは、姿勢データＤ２を出力する。
　位置センサ３８は、例えばＧＰＳ（Global Positioning System）などのＧＮＳＳ(Global Navigation Satellite System)レシーバを含む。位置センサは、衛星より測位信号を受信し、測位信号により作業機械１の位置座標を示す位置データＤ３を取得する。位置センサは、位置データＤ３を出力する。
　形状センサ３６は、例えば支持部材１８に取り付けられる。或いは、形状センサ３６は、車体２の他の部分に取り付けられてもよい。姿勢センサ３７と位置センサ３８とは、車体２に取り付けられる。或いは、姿勢センサ３７と位置センサ３８とは、作業機３に取り付けられてもよい。
　システム１００は、画像コントローラ４１とディスプレイ４２とを含む。画像コントローラ４１は、作業機械１及びその周辺を示す画像ＩＳを生成してディスプレイ４２に表示するようにプログラムされている。画像コントローラ４１は、記憶装置４１１とプロセッサ４１２とを含む。記憶装置４１１は、例えばＲＡＭなどの揮発性メモリと、ＲＯＭ等の不揮発性メモリとを含む。記憶装置４１１は、ＨＤＤ或いはＳＳＤなどの補助記憶装置を含んでもよい。記憶装置４１１は、画像ＩＳを生成するためのプログラム及びデータを記憶している。プロセッサ４１２は、例えばＣＰＵ（Central Processing Unit）であり、プログラムに従って、画像ＩＳを生成してディスプレイ４２に表示させるための処理を実行する。
　画像コントローラ４１は、第１コントローラ３１と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、第２コントローラ３２と、有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、作業機械１に搭載されてもよい。画像コントローラ４１は、第１コントローラ３１と一体であってもよく、別体であってもよい。
　或いは、画像コントローラ４１は、作業機械１の外部に配置されてもよい。例えば、画像コントローラ４１は、コントロールセンタ内に配置されてもよい。画像コントローラ４１は、第２コントローラ３２と一体であってもよく、別体であってもよい。
　画像コントローラ４１は、カメラＣ１－Ｃ４と有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、カメラＣ１－Ｃ４から画像データを受信する。或いは、画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、画像データを受信してもよい。
　画像コントローラ４１は、形状センサ３６、姿勢センサ３７、及び位置センサ３８と有線、或いは無線により通信可能に接続されている。画像コントローラ４１は、形状センサ３６から形状データＤ１を受信する。画像コントローラ４１は、姿勢センサ３７から姿勢データＤ２を受信する。画像コントローラ４１は、位置センサ３８から位置データＤ３を受信する。或いは、画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、形状データＤ１、姿勢データＤ２、及び位置データＤ３を受信してもよい。
　画像コントローラ４１は、入力装置３３から操作データＤ４を受信する。画像コントローラ４１は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、操作データＤ４を受信してもよい。
　ディスプレイ４２は、例えばＣＲＴ、ＬＣＤ或いはＯＥＬＤである。ただし、ディスプレイ４２はこれらのディスプレイに限らず、他の種類のディスプレイであってもよい。ディスプレイ４２は、画像コントローラ４１からの信号に基づいて画像を表示する。ディスプレイ４２は、第１コントローラ３１、及び／又は、第２コントローラ３２を介して、画像コントローラ４１からの信号を受信してもよい。
　画像コントローラ４１は、上述した画像データと、形状データＤ１と、姿勢データＤ２と、位置データＤ３とに基づいて、画像ＩＳを生成する。図４は、画像ＩＳの一例を示す図である。画像ＩＳは、作業機械１及びその周辺の対象を含む。作業機械１の周辺の対象は、作業機械１の周辺の地形を含む。作業機械１の周辺の対象は、他の作業機械、建物、或いは人を含んでもよい。以下、画像ＩＳの生成について説明する。
　まず、カメラＣ１－Ｃ４が作業機械１及びその周辺を撮影する。それにより、図３に示すように、画像コントローラ４１は、カメラＣ１－Ｃ４から、前方画像Ｉｍ１と、左方画像Ｉｍ２と、後方画像Ｉｍ３と、右方画像Ｉｍ４とを取得する。前方画像Ｉｍ１は、車体２の前方の画像である。左方画像Ｉｍ２は、車体２の左方の画像である。後方画像Ｉｍ３は、車体２の後方の画像である。右方画像Ｉｍ４は、車体２の右方の画像である。
　画像コントローラ４１は、カメラＣ１－Ｃ４が取得した画像Ｉｍ１－Ｉｍ４から周辺画像ＩＳ１を生成する。周辺画像ＩＳ１は、作業機械１の周辺を俯瞰的に示す合成画像である。図４に示すように、画像コントローラ４１は、３次元投影モデルＭ１に、カメラＣ１－Ｃ４が取得した画像Ｉｍ１－Ｉｍ４をテクスチャマッピングにより投影することで、周辺画像ＩＳ１を生成する。３次元投影モデルＭ１は、作業機械１の周辺の対象の形状を示すポリゴンメッシュで構成される。画像コントローラ４１は、予め保存された３次元投影モデルＭ１を使用してもよい。或いは、画像コントローラ４１は、形状センサ３６から取得した形状データＤ１に基づいて、３次元投影モデルＭ１を生成してもよい。
　次に、画像コントローラ４１は、作業機械１を示す機械画像ＩＳ２と周辺画像ＩＳ１とを合成する。機械画像ＩＳ２は、作業機械１自体を３次元的に示す画像である。画像コントローラ４１は、姿勢データＤ２から画像ＩＳ上の機械画像ＩＳ２の姿勢を決定する。画像コントローラ４１は、位置データＤ３から画像ＩＳ上の機械画像ＩＳ２の向きを決定する。画像コントローラ４１は、画像ＩＳ上の機械画像ＩＳ２の姿勢と向きとが、作業機械１の実際の姿勢及び向きと一致するように、画像ＩＳに機械画像ＩＳ２を合成する。
　なお、画像コントローラ４１は、カメラＣ１－Ｃ４が取得した画像Ｉｍ１－Ｉｍ４から機械画像ＩＳ２を生成してもよい。例えば、カメラＣ１－Ｃ４が取得した画像中に作業機械１の部分がそれぞれ含まれており、画像コントローラ４１は、機械モデルＭ２に、画像中の各部分を投影することで機械画像ＩＳ２を生成してもよい。或いは、機械モデルＭ２は、作業機械１の形状を有する投影モデルであり、記憶装置４１１に保存されていてもよい。機械画像ＩＳ２は、予め撮影された既定の画像、或いは予め作成された３次元のコンピュータグラフィックスであってもよい。
　ディスプレイ４２は、画像ＩＳを表示する。画像ＩＳは、リアルタイムに更新され、動画としてディスプレイ４２に表示される。従って、作業機械１が走行しているときには、周辺の対象、作業機械１の姿勢、向き、位置の実際の変化に応じて、画像ＩＳ中の周辺画像ＩＳ１、機械画像ＩＳ２の姿勢、向き、及び位置も、リアルタイムに変化して表示される。
　作業機械１の姿勢、向き、及び位置の変化を表現するためには、３次元投影モデルＭ１及び機械モデルＭ２を、作業機械１が走行を開始したときの姿勢、向き、及び位置からの変化を表す回転行列に従って回転させ、並進ベクトルに従って並進させる。回転ベクトルと並進ベクトルとは、上述した姿勢データＤ２及び位置データＤ３から取得される。
　画像ＩＳの合成のための具体的な手法については、例えば“Spatio-temporal bird’s-eye view images using multiple fish- eye cameras,”(Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, pp. 753-758, 2013.)において示されている手法が用いられてもよい。“Visualization of the surrounding environment and operational part in a 3DCG model for the teleoperation of construction machines,” （Proceedings of the 2015 IEEE/SICE International Symposium on System Integration, pp. 81-87, 2015.）において示されている手法が用いられてもよい。
　図４では、画像ＩＳは、作業機械１及びその周辺を左方から見た画像である。しかし、画像コントローラ４１は、前方、後方、右方、上方、或いは、各方向の斜め方向の視点から、作業機械１及びその周辺を見た画像に、画像ＩＳを切り換えることができる。
　また、画像コントローラ４１は、作業機械１の周りを移動する視点ＶＰからのパノラマ動画を生成して、ディスプレイ４２に表示する。図５Ａは、視点ＶＰの移動を示す側面図である。図５Ａは、視点ＶＰの移動を示す上面図である。図５Ａに示すように、視点ＶＰは、作業機械１の斜め上方に位置する。図５Ｂに示すように、画像コントローラ４１は、視点ＶＰを作業機械１の周りに３６０度回転させる。画像コントローラ４１は、作業機械１の上面視で、作業機械１を中心とする円状の軌跡に沿って、視点ＶＰを１回転させる。視点ＶＰは、常に作業機械１を向くように配置される。
　図６及び図７は、パノラマ動画ＰＶのフレームの一部を示す。図６及び図７に示すように、パノラマ動画ＰＶにおいて、作業機械１は、画面の中心に表示される。パノラマ動画ＰＶは、作業機械１、及び作業機械１の全周囲の周辺を示す。
　詳細には、作業機械１は、パノラマ動画ＰＶにおいて、画面の左右方向の中心に表示される。作業機械１は、パノラマ動画ＰＶにおいて、画面の上下方向の中心に表示される。ただし、作業機械１は、画面の左右方向又は上下方向の中心から偏心して表示されてもよい。
　図６に示すフレームＦ１は、図５Ｂに示す視点ＶＰ１から作業機械１及びその周辺を見た画像である。視点ＶＰ１は、作業機械１の前方且つ上方に位置している。図６に示すフレームＦ２は、図５Ｂに示す視点ＶＰ２から作業機械１及びその周辺を見た画像である。視点ＶＰ２は、作業機械１の前斜め右方、且つ上方に位置している。図６に示すフレームＦ３は、図５Ｂに示す視点ＶＰ３から作業機械１及びその周辺を見た画像である。視点ＶＰ３は、作業機械１の右方且つ上方に位置している。
　図６に示すフレームＦ４は、図５Ｂに示す視点ＶＰ４から作業機械１及びその周辺を見た画像である。視点ＶＰ４は、作業機械１の後斜め右方、且つ上方に位置している。図６に示すフレームＦ５は、図５Ｂに示す視点ＶＰ５から作業機械１及びその周辺を見た画像である。視点ＶＰ５は、作業機械１の後方且つ上方に位置している。
　図７に示すフレームＦ６は、図５Ｂに示す視点ＶＰ６から作業機械１及びその周辺を見た画像である。視点ＶＰ６は、作業機械１の後斜め左方、且つ、上方に位置している。図７に示すフレームＦ７は、図５Ｂに示す視点ＶＰ７から作業機械１及びその周辺を見た画像である。視点ＶＰ７は、作業機械１の前斜め左方、且つ上方に位置している。図７に示すフレームＦ９は、図５Ｂに示す視点ＶＰ１から作業機械１及びその周辺を見た画像である。
　以上のように、視点ＶＰは、視点ＶＰ１から移動を開始し、視点ＶＰ２－ＶＰ８を経て、視点ＶＰ１に戻る。パノラマ動画ＰＶは、視点ＶＰ１－ＶＰ９及びそれらの間の位置を移動しながら、連続的に生成される。なお、視点ＶＰの移動の開始位置は、視点ＰＶ１に限らず、他の位置であってもよい。
　画像コントローラ４１は、作業機械１の始動信号を受信したときに、パノラマ動画ＰＶを生成してディスプレイ４２に表示させる。また、画像コントローラ４１は、パノラマ動画ＰＶを示すデータを記憶装置４１１に保存する。画像コントローラ４１は、例えば、上述した入力装置３３から、操作データＤ４として作業機械１の始動信号を受信する。作業機械１の始動信号は、例えばエンジン２１を始動させるための信号である。或いは、作業機械１の始動信号は、作業機械１のシステムを起動する信号であってもよい。
　以上説明した本実施形態に係るシステム１００では、作業機械１の周りを移動する視点ＶＰからのパノラマ動画ＰＶがディスプレイ４２に表示される。そのため、オペレータは、ディスプレイ４２によって作業機械１の周辺の広い範囲を容易に見渡すことができる。
　パノラマ動画ＰＶは、作業機械１の始動時に生成されて、ディスプレイ４２に表示される。そのため、オペレータは、作業機械１による作業の開始時に、作業機械１の周囲の状況を確認することができる。
　パノラマ動画ＰＶは、記憶装置４１１に保存される。それにより、作業現場の安全記録として、パノラマ動画ＰＶを保存しておくことができる。
　以上、本開示の実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、作業機械は、ブルドーザに限らず、ホイールローダ、或いは油圧ショベルなどの他の種類のものであってもよい。
　作業機械１は、遠隔操作ではなく、運転室内で操作されてもよい。図８は、他の実施形態に係る作業機械１の構成を示す図である。図８に示すように、作業機械１は、作業機械１に搭載されたコントローラ３０を含んでもよい。この場合、入力装置３３は、運転室内に配置されてもよい。コントローラ３０は、上述した画像ＩＳ及びパノラマ動画ＰＶを生成する処理を実行してもよい。コントローラ３０は、上述した第１コントローラ３１及び第２コントローラ３２と同様の構成であるため、詳細な説明を省略する。
　第１コントローラ３１は、一体に限らず、複数のコントローラに分かれていてもよい。第２コントローラ３２は、一体に限らず、複数のコントローラに分かれていてもよい。コントローラ３０は、一体に限らず、複数のコントローラに分かれていてもよい。画像コントローラ４１は、一体に限らず、複数のコントローラに分かれていてもよい。
　上述した画像ＩＳを生成する処理の全部、或いは一部は、画像コントローラ４１ではなく、他のコントローラによって実行されてもよい。上述したパノラマ動画ＰＶを生成する処理の全部、或いは一部は、画像コントローラ４１ではなく、他のコントローラによって実行されてもよい。
　カメラの数は、４つに限らず、３つ以下、或いは５つ以上であってもよい。カメラは、魚眼カメラに限らず、他の種類のカメラであってもよい。カメラの配置は、上記の実施形態の配置に限らず、異なる配置であってもよい。
　姿勢センサ３７は、ＩＭＵに限らず、他のセンサであってもよい。位置センサ３８は、ＧＮＳＳレシーバに限らず、他のセンサであってもよい。形状センサ３６は、ライダーに限らず、レーダー等の他の測定装置であってもよい。
　パノラマ動画ＰＶは、作業機械の始動信号の受信時に限らず、他のタイミングで生成され、ディスプレイ４２に表示されてもよい。例えば、オペレータが入力装置３３を操作することで、任意のタイミングでパノラマ動画ＰＶが生成され、ディスプレイ４２に表示されてもよい。
　パノラマ動画ＰＶにおける視点ＶＰの位置及び向きは、上記の実施形態のものに限らず、変更されてもよい。例えば、視点ＶＰは、作業機械１と同じ高さであってもよい。或いは、作業機械１が画面の中心から偏心した位置に表示されるように、視点ＶＰが移動してもよい。
　図８Ａは、変形例に係る視点ＶＰの移動を示す側面図である。図８Ｂは、変形例に係る視点ＶＰの移動を示す側面図である。図８Ａに示すように、変形例では、上記の実施形態と同様に、視点ＶＰは、作業機械１の斜め上方に位置している。図８Ｂに示すように、変形例では、コントローラ３０は、作業機械１の上面視で、作業機械１を囲む楕円状の軌跡に沿って視点ＶＰを移動させて、パノラマ動画ＰＶを生成する。
　視点ＶＰは、作業機械１を通らない向きに配置される。視点ＶＰは、作業機械１に向かって、作業機械１の左右の一側方を通る向きに配置される。本変形例では、視点ＶＰは、作業機械１に向かって、作業機械１の左側方を通る向きに配置される。ただし、視点ＶＰは、作業機械１に向かって、作業機械１の右側方を通る向きに配置されてもよい。
　図９及び図１０は、変形例に係るパノラマ動画ＰＶのフレームの一部を示す。図９及び図１０に示すように、パノラマ動画ＰＶにおいて、作業機械１は、画面の中心よりも右方に表示される。ただし、作業機械１は、画面の中心よりも左方に表示されてもよい。
　図１０に示すフレームＦ１は、図９Ｂに示す視点ＶＰ１から作業機械１及びその周辺を見た画像である。図１０に示すフレームＦ２は、図９Ｂに示す視点ＶＰ２から作業機械１及びその周辺を見た画像である。図１０に示すフレームＦ３は、図９Ｂに示す視点ＶＰ３から作業機械１及びその周辺を見た画像である。図１０に示すフレームＦ４は、図９Ｂに示す視点ＶＰ４から作業機械１及びその周辺を見た画像である。図１０に示すフレームＦ５は、図９Ｂに示す視点ＶＰ５から作業機械１及びその周辺を見た画像である。
　図１１に示すフレームＦ６は、図９Ｂに示す視点ＶＰ６から作業機械１及びその周辺を見た画像である。図１１に示すフレームＦ７は、図９Ｂに示す視点ＶＰ７から作業機械１及びその周辺を見た画像である。図１１に示すフレームＦ９は、図９Ｂに示す視点ＶＰ１から作業機械１及びその周辺を見た画像である。
　以上のように、視点ＶＰは、視点ＶＰ１から移動を開始し、視点ＶＰ２－ＶＰ８を経て、視点ＶＰ１に戻る。パノラマ動画ＰＶは、視点ＶＰ１－ＶＰ９及びそれらの間の位置を移動しながら、連続的に生成される。なお、移動の開始位置は、視点ＰＶ１に限らず、他の位置であってもよい。
　本開示では、作業機械の周りを移動する視点からのパノラマ動画がディスプレイに表示される。そのため、オペレータは、ディスプレイによって作業機械の周辺の広い範囲を容易に見渡すことができる。
１　　　　　作業機械
３　　　　　作業機
４２　　　　ディスプレイ
４１１　　　記憶装置
４１２　　　プロセッサ
Ｃ１－Ｃ４　カメラ
 

Claims (19)

  1. 　作業機を含む作業機械と、
    　前記作業機械の周辺画像を撮影する複数のカメラと、
    　前記周辺画像を示す画像データを取得し、前記周辺画像を合成して、前記作業機械の周りを移動する視点からのパノラマ動画を生成するプロセッサと、
    　前記プロセッサからの信号に基づき、前記作業機械の周りを移動する視点からの前記パノラマ動画を表示するディスプレイと、
    を備えるシステム。
     
  2. 　前記プロセッサは、前記視点を前記作業機械の回りに少なくとも３６０度回転させて、前記パノラマ動画を生成する、
    請求項１に記載のシステム。
     
  3. 　前記プロセッサは、前記作業機械の上面視で、前記作業機械を囲む円状の軌跡に沿って前記視点を移動させて、前記パノラマ動画を生成する、
    請求項１に記載のシステム。
     
  4. 　前記プロセッサは、前記作業機械の上面視で、前記作業機械を囲む楕円状の軌跡に沿って前記視点を移動させて、前記パノラマ動画を生成する、
    請求項１に記載のシステム。
     
  5. 　前記パノラマ動画は、前記作業機械の全周囲における前記作業機械の周辺を示す、
    請求項１に記載のシステム。
     
  6. 　前記パノラマ動画において、前記作業機械は画面の中心に表示される、
    請求項１に記載のシステム。
     
  7. 　前記パノラマ動画において、前記作業機械は、画面の中心よりも右方、又は左方に表示される、
    請求項１に記載のシステム。
     
  8. 　前記プロセッサは、前記作業機械の始動信号を受信したときに、前記パノラマ動画を生成して前記ディスプレイに表示させる、
    請求項１に記載のシステム。
     
  9. 　データを記憶する記憶装置をさらに備え、
    　前記プロセッサは、前記パノラマ動画を示すデータを前記記憶装置に保存する、
    請求項１に記載のシステム。
     
  10. 　作業機を含む作業機械の周辺をディスプレイに表示するためにプロセッサによって実行される方法であって、
    　前記作業機械の周辺画像を示す画像データを取得することと、
    　前記周辺画像を合成して、前記作業機械の周りを移動する視点からのパノラマ動画を生成することと、
    　前記作業機械の周りを移動する視点からの前記パノラマ動画を前記ディスプレイに表示すること、
    を備える方法。
     
  11. 　前記パノラマ動画を生成することは、前記視点を前記作業機械の回りに少なくとも３６０度回転させることを含む、
    請求項１０に記載の方法。
     
  12. 　前記パノラマ動画を生成することは、前記作業機械の上面視で、前記作業機械を囲む円状の軌跡に沿って前記視点を移動させることを含む、
    請求項１０に記載の方法。
     
  13. 　前記パノラマ動画を生成することは、前記作業機械の上面視で、前記作業機械を囲む楕円状の軌跡に沿って前記視点を移動させることを含む、
    請求項１０に記載の方法。
     
  14. 　前記パノラマ動画は、前記作業機械の全周囲における前記作業機械の周辺を示す、
    請求項１０に記載の方法。
     
  15. 　前記パノラマ動画において、前記作業機械は画面の中心に表示される、
    請求項１０に記載の方法。
     
  16. 　前記パノラマ動画において、前記作業機械は、画面の中心よりも右方、又は左方に表示される、
    請求項１０に記載の方法。
     
  17. 　前記作業機械の始動信号を受信したときに、前記パノラマ動画が生成されて前記ディスプレイに表示される、
    請求項１０に記載の方法。
     
  18. 　前記パノラマ動画を示すデータを記憶装置に保存することをさらに備える、
    請求項１０に記載の方法。
     
  19. 　作業機械の周辺画像を示す画像データを取得し、前記周辺画像を合成して、前記作業機械の周りを移動する視点からのパノラマ動画を生成するプロセッサと、
    　前記プロセッサからの信号に基づき、前記作業機械の周りを移動する視点からの前記パノラマ動画を表示するディスプレイと、
    を備えるシステム。
PCT/JP2020/001696 2019-01-23 2020-01-20 作業機械のシステム及び方法 WO2020153292A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CA3116828A CA3116828A1 (en) 2019-01-23 2020-01-20 System and method for work machine
AU2020212836A AU2020212836B2 (en) 2019-01-23 2020-01-20 System and method for work machine
US17/289,766 US20210395980A1 (en) 2019-01-23 2020-01-20 System and method for work machine

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019008906A JP7160702B2 (ja) 2019-01-23 2019-01-23 作業機械のシステム及び方法
JP2019-008906 2019-01-23

Publications (1)

Publication Number Publication Date
WO2020153292A1 true WO2020153292A1 (ja) 2020-07-30

Family

ID=71735469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001696 WO2020153292A1 (ja) 2019-01-23 2020-01-20 作業機械のシステム及び方法

Country Status (5)

Country Link
US (1) US20210395980A1 (ja)
JP (1) JP7160702B2 (ja)
AU (1) AU2020212836B2 (ja)
CA (1) CA3116828A1 (ja)
WO (1) WO2020153292A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081729A (ja) * 2009-10-09 2011-04-21 Sumitomo Heavy Ind Ltd 画像変換装置及び操作支援システム
JP2013121056A (ja) * 2011-12-07 2013-06-17 Fujitsu Ten Ltd 画像処理装置、車両、画像処理方法、及び、プログラム
JP2014069629A (ja) * 2012-09-28 2014-04-21 Fujitsu Ten Ltd 画像処理装置、及び画像処理システム
JP2016134001A (ja) * 2015-01-20 2016-07-25 富士通テン株式会社 画像生成装置、画像生成方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP6258000B2 (ja) * 2013-10-31 2018-01-10 株式会社デンソーテン 画像表示システム、画像表示方法及びプログラム
US9961259B2 (en) * 2013-09-19 2018-05-01 Fujitsu Ten Limited Image generation device, image display system, image generation method and image display method
EP3222042B1 (en) * 2014-11-17 2022-07-27 Yanmar Power Technology Co., Ltd. Display system for remote control of working machine
WO2017110144A1 (ja) * 2015-12-22 2017-06-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6766557B2 (ja) * 2016-09-29 2020-10-14 アイシン精機株式会社 周辺監視装置
JP7171436B2 (ja) * 2016-11-01 2022-11-15 住友建機株式会社 作業機械用周辺監視システム、表示装置
JP6639379B2 (ja) * 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
JP7220734B2 (ja) * 2021-03-24 2023-02-10 本田技研工業株式会社 画像表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081729A (ja) * 2009-10-09 2011-04-21 Sumitomo Heavy Ind Ltd 画像変換装置及び操作支援システム
JP2013121056A (ja) * 2011-12-07 2013-06-17 Fujitsu Ten Ltd 画像処理装置、車両、画像処理方法、及び、プログラム
JP2014069629A (ja) * 2012-09-28 2014-04-21 Fujitsu Ten Ltd 画像処理装置、及び画像処理システム
JP2016134001A (ja) * 2015-01-20 2016-07-25 富士通テン株式会社 画像生成装置、画像生成方法及びプログラム

Also Published As

Publication number Publication date
JP2020120234A (ja) 2020-08-06
AU2020212836B2 (en) 2022-03-10
CA3116828A1 (en) 2020-07-30
US20210395980A1 (en) 2021-12-23
AU2020212836A1 (en) 2021-05-20
JP7160702B2 (ja) 2022-10-25

Similar Documents

Publication Publication Date Title
AU2018333191B2 (en) Display system, display method, and display apparatus
JP6927821B2 (ja) 表示システム、及び表示装置
US20170050566A1 (en) Display system for work vehicle, display control device, work vehicle, and display control method
AU2017318911B2 (en) Image display system of work machine, remote operation system of work machine, work machine, and method for displaying image of work machine
US10787127B2 (en) Display system for work vehicle
WO2020153292A1 (ja) 作業機械のシステム及び方法
US11549238B2 (en) System and method for work machine
US20210388580A1 (en) System and method for work machine
US20220316188A1 (en) Display system, remote operation system, and display method
JP7160701B2 (ja) 作業機械のシステム及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20744727

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3116828

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2020212836

Country of ref document: AU

Date of ref document: 20200120

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20744727

Country of ref document: EP

Kind code of ref document: A1