WO2020170747A1 - 産業車両用走行支援装置 - Google Patents
産業車両用走行支援装置 Download PDFInfo
- Publication number
- WO2020170747A1 WO2020170747A1 PCT/JP2020/003322 JP2020003322W WO2020170747A1 WO 2020170747 A1 WO2020170747 A1 WO 2020170747A1 JP 2020003322 W JP2020003322 W JP 2020003322W WO 2020170747 A1 WO2020170747 A1 WO 2020170747A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- industrial vehicle
- guide
- traveling
- travel
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/20—Means for actuating or controlling masts, platforms, or forks
- B66F9/24—Electrical devices or systems
Definitions
- the present disclosure relates to a driving support device for an industrial vehicle.
- the front angle of view including at least the tip of the fork is photographed by the camera, and the tire angle is detected.
- a monitor is located near the driver's seat. Then, the work support device calculates an expected trajectory of the tip of the fork when the vehicle advances at the detected tire angle, displays the image by the camera on the monitor, and superimposes the calculated trajectory on the monitor. indicate.
- An object of the present disclosure is to provide a driving support device for an industrial vehicle that can display a guide at a target place.
- the industrial vehicle driving support device for achieving the above-mentioned purpose is configured to support the driving of the industrial vehicle.
- a traveling support device for an industrial vehicle includes a camera mounted on the industrial vehicle and configured to image the periphery of the industrial vehicle, and a travel guide for visually guiding the travel of the industrial vehicle on a screen.
- a travel guide generation unit configured to generate the display; a display unit configured to display the travel guide generated by the travel guide generation unit on an image captured by the camera; From the relative position display in which the traveling guide is displayed on the display unit by superimposing the traveling guide on an image captured by the camera in a state where the traveling guide maintains the relative positional relationship with respect to the industrial vehicle, the traveling guide is displayed with respect to the industrial vehicle.
- a switching unit configured to switch to an absolute position display in which the traveling guide is superimposed on an image captured by the camera in a state where the relative position relationship is not fixed and the image is captured by the camera, and the display is displayed on the display unit.
- FIG. 3 is a block diagram showing an electric configuration of a part of the remote control device in the first embodiment.
- (A), (b) is explanatory drawing for demonstrating drawing from the relative position of a guide line to an absolute position.
- A) is a bird's-eye view which shows the reach type forklift and pallet in the workplace in 1st Embodiment,
- (b) is a figure which shows the display content on a display part.
- FIG. 6 is an overhead view showing a reach type forklift truck in a work place in another example.
- the figure which shows the display content on a display part. The figure which shows the display content on a display part.
- the figure which shows the display content on a display part The figure which shows the display content on a display part.
- the figure which shows the display content on a display part. The top view which shows typically the reach type
- the figure which shows the display content on a display part The schematic plan view for explaining 4th Embodiment.
- (A) is a top view which shows typically the reach type
- (b) is a figure which shows the display content on a display part.
- (A) is a top view which shows typically the reach type
- (b) is a figure which shows the display content on a display part.
- A) is a top view which shows typically the reach type
- (b) is a figure which shows the display content on a display part.
- (A) is a top view which shows typically the reach type
- (b) is a figure which shows the display content on a display part.
- (A) is a bird's-eye view which shows the reach type forklift and pallet in the workplace in a comparative example
- (b) is a figure which shows the display content on a display part.
- (A) is a bird's-eye view which shows the reach type forklift and pallet in the workplace in a comparative example
- (b) is a figure which shows the display content on a display part.
- (A) is a bird's-eye view which shows the reach type forklift and pallet in the workplace in a comparative example
- (b) is a figure which shows the display content on a display part.
- the forklift traveling support device that supports traveling of a reach type forklift as an industrial vehicle is used for a forklift remote control system.
- the remote control system 10 for a forklift includes a reach type forklift 20 and a remote control device 40 used for remotely controlling traveling of the reach type forklift 20 and cargo handling by a cargo handling device. ..
- the reach-type forklift 20 is arranged at the work place. Then, the operator can remotely control the reach type forklift 20 in the workplace from the operation room using the remote control device 40.
- the reach-type forklift 20 is located at a place apart from a pallet or other transported object in the workplace. From this state, the operator remotely operates the reach type forklift 20 to bring the reach type forklift 20 closer to a conveyed product such as a pallet and insert the fork into the pallet hole.
- the reach type forklift 20 includes a machine base 21.
- a pair of left and right reach legs 22a and 22b are arranged on the front side of the machine base 21, and the reach legs 22a and 22b extend forward.
- the reach leg 22a is provided on the right side of the machine base 21 in the traveling direction
- the reach leg 22b is provided on the left side of the machine base 21 in the traveling direction.
- Front wheels 23a and 23b are arranged at the front portions of the reach legs 22a and 22b.
- the right front wheel 23a is provided on the reach leg 22a on the right side in the traveling direction
- the left front wheel 23b is provided on the reach leg 22b on the left side in the traveling direction.
- a pair of left and right front wheels 23a and 23b are provided on the front side of the machine base 21.
- Rear wheels 24 and caster wheels (auxiliary wheels) 25 are arranged at the rear of the machine base 21.
- the rear wheel 24 is provided on the left side of the machine base 21, and the caster wheel 25 is provided on the right side of the machine base 21.
- the rear wheels 24 are drive wheels and steered wheels.
- the reach-type forklift 20 travels with three wheels, that is, two front wheels 23 a and 23 b and one rear wheel 24.
- a traveling motor 26 that serves as a drive source of the reach type forklift 20 and a battery 27 that serves as a power source of the traveling motor 26 are mounted. Then, the rear wheel 24 is rotated by the traveling motor 26.
- the reach type forklift 20 includes a cargo handling device 28 in front of the machine base 21.
- the cargo handling device 28 includes a mast 29 that is moved back and forth along the reach legs 22a and 22b by driving a reach cylinder (not shown).
- a pair of left and right forks 30 a and 30 b are provided in front of the mast 29 via a backrest 31. The forks 30a and 30b move up and down along the mast 29.
- the reach type forklift 20 of the present embodiment is configured so that a driver can sit down and operate it.
- the reach-type forklift 20 may be an unmanned reach-type forklift without a driver's seat.
- the reach type forklift 20 includes a standing seat type cab 32 at the rear of the machine base 21.
- Steering tables 33a and 33b are provided in front of and in the left of the cab 32.
- a steering table 33a located in front of the cab 32 is provided with a direction lever 34 for moving the reach-type forklift 20 and a plurality of cargo handling levers 35 for operating the cargo handling device 28.
- the direction lever 34 is operated to rotate the rear wheels 24 to drive the vehicle.
- a steering table 33b located to the left of the cab 32 is provided with a steering wheel 36 for steering the rear wheels 24.
- a brake pedal 37 is provided on the floor surface of the cab 32.
- the operator's cab 32 is surrounded by left and right pillars 38 standing on the machine base 21 and a head guard 39 fixed to the upper ends of the pillars 38.
- the reach type forklift 20 includes a controller 51 as a forklift-mounted device 50, a wireless unit 52 as a vehicle communication unit, an image processing unit 53, a wireless device 54 as a vehicle communication unit, and a camera. 71, 72, 73.
- the remote operation device 40 includes a controller 61, an operation unit 62, a display unit (monitor) 63, wireless devices 64 and 65 as operation device communication units, and an image processing unit 66.
- the remote control device 40 includes a controller 61, an operation unit 62, a display unit 63, and an image processing unit 66 as the operation room side device 60.
- the radio 64 of the remote control device 40 is placed in the work area. Further, the wireless device 65 of the remote control device 40 is arranged in the workplace.
- the controller 61 arranged in the operation room is connected to the wireless device 64 arranged in the workplace by the wire L1.
- the controller 61 is connected by a wire L2 to a wireless device 65 arranged in the workplace.
- the wireless device 64 of the remote control device 40 and the wireless unit 52 of the forklift-equipped device 50 can perform bidirectional wireless communication. Further, in the workplace, the wireless device 54 of the forklift-mounted device 50 can wirelessly communicate with the wireless device 65 of the remote control device 40.
- the reach type forklift 20 has the wireless unit 52 and the wireless device 54
- the remote control device 40 has the wireless devices 64 and 65 that perform wireless communication with the wireless unit 52 and the wireless device 54.
- the controller 61 of the remote operation device 40 is connected to the operation unit 62 and the image processing unit 66.
- the operation unit 62 is for an operator to remotely operate the reach type forklift 20, and the operation content of the reach type forklift 20 by the operator is sent to the controller 61.
- the operation contents include lift, reach, and tilt operation command values, and vehicle control signals such as speed, acceleration, and steering angle operation command values.
- the controller 61 wirelessly transmits the vehicle control signal to the wireless unit 52 of the forklift-mounted device 50 via the wireless device 64.
- the controller 51 In the forklift-mounted device 50, the controller 51, the wireless unit 52, and the image processing unit 53 are connected to each other so that they can communicate with each other (for example, CAN (Controller Area Network) communication).
- the controller 51 can drive the traveling motor 26, a traveling system actuator such as a steering motor (not shown), and a cargo handling actuator such as a lift cylinder, a reach cylinder, and a tilt cylinder (not shown) according to an instruction from the remote control device 40.
- the wireless unit 52 wirelessly transmits vehicle information such as the vehicle speed of the reach forklift 20 and abnormality information such as obstacle detection information to the controller 61 via the wireless device 64.
- the controller 61 can remotely control traveling of the reach type forklift 20 and cargo handling by the cargo handling device 28 via the radio device 64, the radio unit 52, and the controller 51. That is, the controller 61 can remotely operate the reach forklift 20 by the operation unit 62 of the remote operation device 40 instead of the operation units such as the direction lever 34, the cargo handling lever 35, the handle 36, and the brake pedal 37 in FIG. 3. ..
- the controller 61 sends the operation content to the reach forklift 20 via the wireless device 64.
- the wireless unit 52 receives the operation content from the remote control device 40, and the controller 51 drives the actuator section to execute a desired operation.
- the reach type forklift 20 has a right rear corner portion P1 and a left rear corner portion P2 in the machine base 21.
- a camera 71 is attached to the front part of the head guard 39 in the reach type forklift 20 so as to face forward and downward, and the camera 71 images the periphery of the reach type forklift 20. Specifically, the camera 71 captures an image of the floor surface in front of the reach type forklift 20 in the traveling direction.
- a camera 72 is attached to the right rear portion of the head guard 39 so as to face downward, and the camera 72 images the periphery of the reach type forklift 20. Specifically, the camera 72 images the vicinity of the right rear corner P1 of the machine base 21 from above.
- a camera 73 is attached to the left rear portion of the head guard 39 so as to face downward, and the camera 73 images the area around the reach type forklift 20. Specifically, the camera 73 images the vicinity of the left rear corner P2 of the machine base 21 from above.
- the images taken by the cameras 71, 72, 73 are sent by the controller 51 to the remote control device 40 via the image processing unit 53 and the wireless device 54.
- the wireless device 65 receives the camera image from the reach type forklift 20 and displays it on the display unit 63 via the image processing unit 66.
- the display unit 63 is, for example, a desktop display.
- the image captured by the cameras 71, 72, 73 is displayed on the display unit 63 provided in the remote control device 40.
- the operator operates the remote control device 40 while looking at the images of the cameras 71, 72, 73 on the display unit 63.
- the controller 61 gives an instruction of the operation amount to the reach type forklift 20 by an operation instruction such as a steering angle from the operation unit 62.
- Image data from the reach type forklift 20 is sent to the display unit 63 via the image processing unit 66, and the display unit 63 displays the image. Further, the controller 61 acquires the steering angle and the moving distance from the reach type forklift 20 from a steering angle sensor and a moving distance sensor (not shown).
- the controller 61 uses the vehicle width guide lines Lg1 and Lg2 and the forward distance guide line Lg3 (see FIG. 7A) corresponding to the steering angle as the origin of the world as the expected trajectory of the reach type forklift 20. Generate in coordinates.
- the vehicle width guide line Lg1 corresponds to the right side in the vehicle width
- the vehicle width guide line Lg2 corresponds to the left side in the vehicle width
- the front distance guide line Lg3 is a predetermined distance in front of the vehicle. It corresponds to the distance (for example, 5 m ahead).
- the guide lines Lg1, Lg2, Lg3 are obtained from the steering angle of the reach forklift 20 and the expected movement distance.
- the guide lines Lg1, Lg2, Lg3 generated in the world coordinate system are converted into the monitor coordinate system via the camera coordinate system.
- the display unit 63 the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 generated by the controller 61 are superimposed and displayed on the image captured by the camera 71. Since the guide lines Lg1, Lg2, Lg3 are generated in the world coordinate system having the vehicle as the origin, the relative position of the guide lines Lg1, Lg2, Lg3 with respect to the vehicle depends on the movement of the vehicle if the steering angle is constant. It does not change, and the positions (monitor coordinates) of the guide lines Lg1, Lg2, Lg3 on the screen do not change. Such a display mode is referred to as a relative position display.
- the operation unit 62 has a relative position display/absolute position display switching instruction unit 62a.
- the relative position display/absolute position display switching instruction unit 62a can include any button such as a mouse button.
- the relative position display/absolute position display switching instruction unit 62a is configured to switch from the relative position display to the absolute position display.
- the relative position display is performed by displaying the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 in the image captured by the camera 71 in a state where the relative position relationship with respect to the vehicle is maintained. Lg3 is superimposed and displayed on the display unit 63.
- the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 are fixed to the absolute position without maintaining the relative positional relationship with respect to the vehicle.
- Lg2 and the front distance guide line Lg3 are superimposed and displayed on the display unit 63.
- the relative position display/absolute position display switching instruction section 62a switches the display mode of the guide lines Lg1, Lg2, Lg3 manually (operated by the operator) from the relative position display to the absolute position display.
- a relative position display/absolute position display switching instruction unit 62a sends a switching instruction from the relative position display to the absolute position display to the controller 61.
- the controller 61 causes the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 to be kept in a relative positional relationship with respect to the vehicle. From the relative position display in which the front distance guide line Lg3 and the front distance guide line Lg3 are superimposed and displayed on the display unit 63, the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 do not maintain a relative positional relationship with respect to the vehicle, and the absolute position (vehicle Absolute position that does not change with movement) (absolute position) The vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 are superimposed on the image captured by the camera 71 and displayed on the display unit 63. The guide lines Lg1, Lg2, and Lg3 can be displayed in a state where the display is switched to the position display and fixed at the absolute position.
- a method of drawing the relative position display and the absolute position display of the vehicle width guide line Lg2 on the left side of the vehicle will be described as an example with reference to FIGS. 6(a) and 6(b).
- the vehicle width guide line Lg2 displayed in the relative position display is calculated by the following equations (1) to (4).
- the steering angle ⁇ , and the points (Bx, By) corresponding to L1 to Ln are calculated and connected and drawn as the vehicle width guide line Lg2.
- the vehicle width guide line Lg2 displayed in the absolute position display is calculated by the following equations (5) to (10).
- the controller 61 determines the movement amounts ⁇ x′, ⁇ y′ of the vehicle from the point of time of the reach type forklift. It is sequentially calculated from the steering angle ⁇ and the movement distance L input from 20.
- the controller 61 changes the world coordinate of the vehicle width guide line Lg2 so as to cancel the calculated movement amounts ⁇ x′ and ⁇ y′, and converts it into the monitor coordinate system via the camera coordinate system.
- the vehicle width guide line Lg1 and the front distance guide line Lg3 on the right side of the vehicle are also drawn in the same manner.
- the positions (monitor coordinates) of the guide lines Lg1, Lg2, Lg3 on the screen do not change due to the movement of the vehicle if the steering angle is constant, but in the absolute position display, the guide lines Lg1,
- the positions (monitor coordinates) of Lg2, Lg3 on the screen fluctuate as the vehicle moves, as if the guide lines Lg1, Lg2, Lg3 drawn on the road surface (absolute position) were photographed.
- the absolute position display of the guide line is displayed based on the sensor value S as information (see FIG. 5) from a position sensor such as GPS. You can also draw in.
- FIG. 7A is a bird's-eye view showing the reach-type forklift 20 and the pallet P in the workplace, and FIG. 7B shows the display content on the display unit 63.
- the relative position display mode is set using the relative position display/absolute position display switching instruction section 62a.
- the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 are displayed on the image captured by the camera 71 in a state where the relative position relationship with respect to the vehicle is maintained.
- the line Lg3 is superimposed and displayed on the display unit 63.
- the display portion 63 displays vehicle width guide lines Lg1 and Lg2 and a front distance guide line Lg3 according to the steering angle of the reach type forklift 20.
- the vehicle can travel so as to approach and directly face the target pallet P.
- the front distance guide line Lg3 is located immediately before the pallet P and parallel to the front surface of the pallet P.
- the relative position display/absolute position display switching instruction section 62a is operated. Then, the guide lines Lg1, Lg2, Lg3 are switched from the relative position display to the absolute position display. In the absolute position display, when switching is instructed, the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 are fixed to the absolute position without maintaining the relative positional relationship with respect to the vehicle. The vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 are superimposed and displayed on the display unit 63.
- the guide lines Lg1, Lg2, Lg3 are displayed in relative positions until the relative position display/absolute position display switching instruction section 62a is operated.
- the guide lines Lg1, Lg2, Lg3 are superimposed on the image captured by the camera 71 in a state in which the guide lines Lg1, Lg2, Lg3 maintain the relative positional relationship with respect to the vehicle, and the display unit 63 displays.
- the monitor coordinates of the guide lines Lg1, Lg2, Lg3 are constant regardless of the position and angle of the vehicle.
- the guide lines Lg1, Lg2, and Lg3 are fixed to the absolute position without maintaining the relative positional relationship with respect to the vehicle.
- the monitor coordinates of the guide lines Lg1, Lg2, and Lg3 are changed based on the position and angle of the vehicle thereafter. In this way, as shown in FIGS. 9A and 9B, the reach type forklift 20 can approach the pallet P and directly face it.
- the mast 29 is moved forward and the forks 30a and 30b are inserted into the holes of the pallet P.
- 29(a), 29(b), 30(a), 30(b), 31(a), and 31(b) are diagrams showing comparative examples.
- the reach type forklift 20 approaches the pallet P as it travels, and the vehicle width guide lines Lg 11 and Lg 12 and the forward distance guide line Lg 13 as predicted trajectories based on the steering angle are shown in FIG. It is displayed as shown in b).
- the reach type forklift 20 further approaches the pallet P by further traveling, and the guide lines Lg11, Lg12, Lg13 as the predicted locus are shown in FIG. It is displayed as shown in b).
- the positions of the guide lines Lg11, Lg12, Lg13 on the screen do not change, and the camera image changes.
- the guide display is performed at the relative position to the machine base 21 of the reach type forklift 20, the guide display also moves when the machine base 21 of the reach type forklift 20 moves, and the reach type forklift 20 is moved to the target pallet P. It's hard to understand if is going on.
- the travel information of the vehicle The guide display is fixed to the target pallet based on.
- the expected trajectory of the reach type forklift 20 is displayed as a guide based on the steering angle.
- the operator fixes the guide display using the relative position display/absolute position display switching instruction section 62a. That is, when the predicted trajectory is displayed, when the vehicle starts to move with respect to the target pallet, the trajectory moves like the vehicle, but the relative position display/absolute position display switching instruction section 62a is operated by determining the target position. When it is done, the trajectory at that time is fixed. Then, a guide to the target position is displayed. This makes it easier for the reach type forklift 20 to reach the aimed target position.
- a traveling support device for an industrial vehicle that supports traveling of the reach type forklift 20 as an industrial vehicle is mounted on the reach type forklift 20 and includes a camera 71 configured to capture an image of the area around the reach type forklift 20. ..
- the industrial vehicle travel support device includes a controller 61 as an expected trajectory generator configured to generate vehicle width guide lines Lg1 and Lg2 and a forward distance guide line Lg3 as expected trajectories of the reach-type forklift 20, and a camera 71.
- a display unit 63 configured to superimpose and display the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 generated by the controller 61 on the image captured in.
- the travel support device for an industrial vehicle uses the vehicle width guide lines Lg1 and Lg2 and the forward distance guide line Lg3, which are predicted trajectories, in an image captured by the camera 71 while maintaining a relative positional relationship with respect to the vehicle. From the relative position display in which the width guide lines Lg1 and Lg2 and the front distance guide line Lg3 are superimposed and displayed on the display unit 63, the relative width of the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 as the expected trajectory relative to the vehicle is shown.
- a relative position display/absolute position display switching instruction unit 62a is provided as a switching unit configured to switch to display.
- the traveling support device for an industrial vehicle includes vehicle width guide lines Lg1 and Lg2 and a forward distance guide line Lg3 as traveling guides for visually guiding traveling of a reach type forklift 20 as an industrial vehicle on a screen. And a vehicle width guide line Lg1, Lg2 and a front distance guide line Lg3 generated by the controller 61 are superimposed and displayed on the image captured by the camera 71.
- the display section 63, the vehicle width guide lines Lg1 and Lg2 as the travel guides, and the front distance guide line Lg3 maintain the relative positional relationship with respect to the vehicle.
- the vehicle width guide lines Lg1 and Lg2 as the traveling guide and the front distance guide line Lg3 show the relative positional relationship with respect to the vehicle.
- An absolute position display in which the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 as traveling guides are superposed on the image captured by the camera 71 in a state where the absolute position is fixed without being kept and displayed on the display unit 63.
- a relative position display/absolute position display switching instruction unit 62a as a switching unit configured to switch to.
- the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 are superimposed and displayed on the image captured by the camera 71. Then, at the target position, the relative position display/absolute position display switching instruction unit 62a as the switching unit causes the vehicle width guide lines Lg1 and Lg2 and the front distance guide line Lg3 generated by the controller 61 to be absolute from the relative position display. By switching to the position display, it is possible to display a guide at a target place.
- the relative position display/absolute position display switching instruction unit 62a as the switching unit is configured to manually switch from the relative position display to the absolute position display, the operator can display the relative position/absolute position at any timing.
- the display can be switched by operating the absolute position display switching instruction section 62a.
- the travel support device for industrial vehicles is used in the remote control system 10 for forklifts.
- the forklift remote control system 10 includes a reach type forklift 20 and a remote control device 40.
- the reach type forklift 20 includes a cargo handling device 28 on a machine base 21 and a wireless unit 52 and a wireless device 54 as a vehicle communication unit.
- the remote control device 40 has radio units 64 and 65 as operating device communication units that perform radio communication with a wireless unit 52 as a vehicle communication unit and a radio unit 54, and travels the reach-type forklift 20 and handles cargo by the cargo handling device 28. Used to remotely control the. Therefore, when performing remote control, it is possible to display a guide at a target location.
- ⁇ Switching from relative position display to absolute position display may be done manually or automatically. That is, the target may be determined in advance, and the switching may be automatically performed using, for example, the self-position by the image processing device or the GPS function. That is, the system may switch from the relative position display to the absolute position display.
- ⁇ Canceling the absolute position display that is, returning from the absolute position display to the relative position display may be performed manually or by the system.
- the camera is a front camera that captures the front of the vehicle, but the camera may be a rear camera that captures the rear of the vehicle.
- the operation unit 62 is provided with a relative position display/absolute position display switching instruction unit 62a as a switching unit, but a mouse, keyboard, etc. for instructing switching are provided separately from the operation unit 62. Good.
- the expected trajectory was the line of the vehicle width, but instead of this, the vehicle center line may be used. Alternatively, the expected trajectory may be a pallet width or a line of load width if the load is larger than the pallet.
- the direction of travel is displayed as a camera image, but an overhead view may be generated using multiple cameras and displayed on the display unit.
- At least a camera that captures images around the vehicle should be provided.
- the driving support device for industrial vehicles was used for the remote control system for forklifts, but it is not limited to this.
- the travel support device for an industrial vehicle may be used, for example, in a manned forklift. That is, the travel support device for an industrial vehicle may be applied to, for example, an unmanned forklift having a camera and a remote control device having a display unit, and may be applied to, for example, a manned forklift having a camera and a display unit.
- the forklift was a reach type forklift, but it is not limited to this, and other forklifts other than the reach type forklift may be used.
- the forklift may be, for example, a counter type forklift.
- ⁇ Industrial vehicles may be other than forklifts, for example, towing vehicles.
- the expected trajectory of the reach-type forklift 20 as an industrial vehicle is the maximum turning trajectory.
- the turning circle is superimposed on the camera image as the maximum turning locus, and the turning circle is switched from the relative position display to the absolute position display.
- the controller 61 generates maximum turning circles C1 and C2 (see FIG. 12) as maximum turning trajectories on the traveling locus L10 (see FIG. 14) according to the steering angle.
- the traveling locus L10 is an expected locus of the machine center of the reach type forklift 20 when traveling straight ahead when the steering angle is zero.
- the maximum turning circle C1 is a circle through which the rear corner portion P1 of the machine base 21 at the travel destination passes
- the maximum turning circle C2 is a circle through which the rear corner portion P2 of the machine base 21 at the travel destination passes.
- the controller 61 is configured so that the maximum turning circles C1 and C2 can be superimposed on the camera image via the image processing unit 66 and displayed on the display unit 63.
- the controller 61 also displays the maximum turning circles C1, C2 at a constant distance d1 (see FIG. 14) in the front-rear direction of the reach type forklift 20.
- the distance d1 in front of the reach type forklift 20 is, for example, about 3 m.
- the operation unit 62 has a relative position display/absolute position display switching instruction unit 62a.
- a relative position display/absolute position display switching instruction unit 62a sends a switching instruction from the relative position display to the absolute position display to the controller 61.
- the controller 61 is configured to switch the maximum turning circles C1 and C2 from the relative position display to the absolute position display and display the absolute position at an arbitrary position. That is, the controller 61 superimposes the maximum turning circles C1, C2 on the camera image at a certain distance d1 in the front-rear direction of the reach type forklift 20 if there is no instruction to display the absolute positions of the maximum turning circles C1, C2. If there is an instruction to display the absolute positions of the maximum turning circles C1 and C2, the maximum turning circles C1 and C2 are superimposed and displayed while being fixed at arbitrary positions in the camera image.
- the controller 61 determines a position of a certain distance d1 defined in the front-rear direction on the traveling locus L10 (see FIG. 14) according to the steering angle in step S101.
- step S102 the controller 61 turns the maximum turning circle through which the rear corners P1 and P2 of the machine base 21 pass, as shown in FIG. 12, when turning with the maximum steering wheel angle (when turning on the spot).
- C1 and C2 are expressed in the world coordinate system.
- the right front wheel 23a is used as a reference for the turning radius when turning right.
- the left front wheel 23b serves as a reference for the turning radius when turning left.
- the maximum turning radius is the circle drawn by the rear corners P1 and P2 which are the outermost parts of the rear part of the machine base of the reach type forklift, and these are the maximum turning circles C1 and C2.
- step S103 of FIG. 11 the controller 61 detects the maximum turning circles C1 and C2 of step S102 and the relative positions of the cameras 71, 72, and 73 in step S103 of FIG. Coordinate conversion of C2 from the world coordinate system to the camera coordinate system.
- step S104 of FIG. 11 the controller 61 performs coordinate conversion of the maximum turning circles C1 and C2 of step S103 from the camera coordinate system to the monitor coordinate system.
- step S105 of FIG. 11 the controller 61 superimposes the maximum turning circles C1 and C2 of step S104 on a predetermined position on the traveling locus L10 in the camera image, and the reach type forklift 20 is displayed on the display unit 63 as shown in FIG. Display the front floor of.
- the displayed maximum turning circles C1 and C2 can be fixed at arbitrary positions on world coordinates according to the operator's intention. Accordingly, the turning position for directly facing the target pallet can be determined in advance.
- the operator brings the reach type forklift 20 closer to the target pallet 100 while looking at the maximum turning circles C1 and C2.
- the maximum is given by the operator's instruction (operation).
- the positions of the turning circles C1 and C2 are fixed.
- the maximum turning circles C1 and C2 are displayed as large circles on the display unit 63. It is understood that when the reach type forklift 20 reaches the positions of the maximum turning circles C1 and C2, it can turn to the target direction.
- the maximum turning circles C1 and C2 are in contact with the pallet 100, it is easy to understand that the pallet 100 is right next to the pallet 100. Furthermore, the operator can determine in advance whether or not to turn.
- the expected locus of the industrial vehicle is the maximum turning locus on the running locus according to the steering angle, and by switching from the relative position display to the absolute position display, it is possible to determine whether the vehicle can turn at the destination and to determine the turning start position. It can be easily judged.
- the maximum turning locus can be considered other than the locus of the rear corners P1 and P2 of the machine base 21 at the time of turning, and may be the locus of the outermost position when turning.
- the maximum turning locus may be, for example, a locus at the time of turning of the fork tip portions P11, P12 (see FIG. 4) when the vehicle reaches out and travels.
- the maximum turning locus may be a locus at the time of turning of the front corner portion of the pallet inserted in the fork when the vehicle reaches and runs.
- the maximum turning circles C1 and C2 do not have to be the circles when the steering wheel angle is the maximum steering wheel angle.
- the maximum turning circles C1 and C2 may be maximum turning circles based on a steering wheel angle other than the maximum steering wheel angle according to an instruction from the operator.
- straight lines Lg20, Lg21, Lg22, Lg23, Lg30 as traveling guides for visually guiding the travel of the reach type forklift 20 as an industrial vehicle on the screen.
- Lg31, Lg32, Lg33 are generated.
- the travel guides are lattice-shaped straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, Lg33, which are distance indications.
- the straight lines Lg20, Lg21, Lg22, and Lg23 are lines extending in a direction orthogonal to the traveling direction of the vehicle, and extend left and right at predetermined intervals in front of the reach type forklift 20 in the traveling direction.
- the straight line Lg20 extends left and right 4 m ahead of the reach type forklift 20
- the straight line Lg21 extends left and right 5 m ahead of the reach type forklift
- the straight line Lg22 extends left and right 6 m ahead of the reach type forklift 20
- the straight line Lg23 is It extends to the left and right 7 m ahead of the reach forklift 20.
- the straight lines Lg30, Lg31, Lg32, Lg33 are lines extending in the traveling direction of the vehicle, and extend forward and backward at predetermined distances in the left-right direction in front of the reach type forklift 20 in the traveling direction.
- the straight line Lg30 extends in the front-rear direction on the leftmost side in front of the reach type forklift 20
- the straight line Lg31 extends in the front-rear direction on the right side of the straight line Lg30
- the straight line Lg32 extends in the front-rear direction on the right side of the straight line Lg31
- the straight line Lg33 Extends in the front-rear direction on the right side of the straight line Lg32.
- lattice-shaped straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33 generated by the controller 61 are superimposed and displayed on the image captured by the camera 71 on the display unit 63. To be done.
- the relative position display/absolute position display switching instruction unit 62a as the switching unit, the grid lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, Lg33 are changed from the relative position display shown in FIG. The display is switched to the absolute position display shown.
- FIG. 18 shows a state in which the reach type forklift 20 is separated from the pallet P arranged on the floor surface, and at this time, the display unit 63 displays as shown in FIG.
- the reach type forklift 20 slightly approaches the pallet P as shown in FIG. At this time, it is displayed on the display unit 63 as shown in FIG. Under the situation shown in FIG. 20, the relative position display/absolute position display switching instruction section 62a is pressed.
- the reach type forklift 20 As a result, from the situation shown in FIG. 20, as a result of the reach type forklift 20 traveling closer to the pallet P, the reach type forklift 20 further approaches the pallet P as shown in FIG. At this time, it is displayed on the display unit 63 as shown in FIG.
- the straight lines Lg20, Lg21, Lg22 are displayed on the image taken by the camera 71 in a state where the straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, Lg33 maintain the relative positional relationship with respect to the vehicle.
- Lg23, Lg30, Lg31, Lg32, Lg33 are superimposed and displayed on the display unit 63.
- the lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33 are superimposed on and displayed on the display unit 63.
- the travel guide may be a distance display instead of the expected trajectory.
- Lg32, Lg33 are displayed in a superimposed manner. Then, when the target position is set, the relative position display/absolute position display switching instruction unit 62a switches the relative position display to the absolute position display, so that the guide display can be performed at the target position.
- the relative position display is performed by the grid-shaped straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33 in a state where the relative position relationship with respect to the vehicle is maintained.
- Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33 are superimposed and displayed on the display unit 63.
- the absolute position display is an image taken by the camera 71 in a state where the grid lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33 are fixed at the absolute position without maintaining the relative positional relationship with the vehicle.
- the grid-shaped straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33 are superimposed on and displayed on the display unit 63.
- the line that is virtually drawn on the floor on the screen becomes the target, that is, the mark.
- the grid lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, Lg33 are displayed so as to move forward as the vehicle travels. It is possible to know how many meters have progressed, and the straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33 can be targets. Then, when the reach type forklift 20 approaches the pallet P, it is possible to know how far the own vehicle is with respect to the pallet P.
- the driving guide may be drawn so that distance information can be understood.
- the traveling guide may be a guide having distance information, and may be a grid, a line or a point. That is, the travel guide may have at least one guide indicating the distance to the machine base.
- the traveling guide was the grid-like straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, Lg33, but instead of this, a single straight line may be used.
- the traveling guide may be, for example, only the straight line Lg21, that is, only the straight line Lg21 extending left and right 5 m ahead of the reach type forklift 20.
- the driving guide may be only a vertical straight line. In this case, since the reach type forklift 20 does not move straight, vertical information is also useful.
- the traveling guides were the lattice-shaped straight lines Lg20, Lg21, Lg22, Lg23, Lg30, Lg31, Lg32, and Lg33, but instead of this, the intersections of the lattice-shaped straight lines (intersection points in FIG. 18). 80), that is, the intersections of the straight lines Lg30, Lg31, Lg32, Lg33 which are lines extending in the traveling direction of the vehicle and the straight lines Lg20, Lg21, Lg22, Lg23 which are lines extending in the direction orthogonal to the traveling direction.
- the travel guide may be only one of the intersections of the grid in FIG.
- the distance display as the travel guide is a line extending in at least one of the traveling direction of the vehicle and the direction orthogonal to the traveling direction
- the distance display as the travel guide is not limited to the line extending in the traveling direction of the vehicle. It may be an intersection with a line extending in a direction orthogonal to the direction.
- the controller 61 creates a boundary line Lg40 (see FIG. 28(a)) for notifying the boundary between straight traveling and turning, which allows the reach type forklift 20 to face the pallet P directly, and the reach type It is configured to generate a guide line Lg41 (see FIGS. 25A and 25B) as a traveling guide for visually guiding the traveling of the forklift 20 on the screen.
- the guide line Lg41 is displayed so as to be superimposed on the camera image in front of the boundary line Lg40 by a predetermined distance (for example, 5 m).
- L is uniquely determined by the steering angle.
- a typical steering angle is set in advance.
- W is a pallet width, and a typical value is set in advance.
- an indicator IND indicating the distance between the side surface line Lps of the target pallet P and the boundary line Lg40 is superimposed and displayed on the display unit 63.
- the scale of the indicator IND increases according to the distance between the side surface line Lps of the target pallet P and the boundary line Lg40.
- the scale becomes maximum. At maximum scale, the upper line 200 turns from green to blue.
- the reach forklift 20 is located away from the pallet P.
- the guide line Lg41 is displayed on the display unit 63 in front of the boundary line Lg40 by a predetermined distance (for example, 5 m).
- the reach type forklift 20 goes straight so as to approach the pallet P and is located at a position away from the pallet P.
- the guide line Lg41 matches the side surface line Lps of the target pallet P.
- the guide line Lg41 is superimposed on the image captured by the camera 71 while the relative position relationship of the guide line Lg41 to the vehicle is maintained, and the display unit 63 is displayed. Is displayed.
- the guide line Lg41 is superimposed on the image captured by the camera 71 in a state where the guide line Lg41 is fixed at the absolute position without maintaining the relative positional relationship with the vehicle, and the display unit is displayed. Displayed at 63.
- the reach type forklift 20 goes straight ahead from the state shown in FIG. 27(a). Then, as shown in FIG. 28B, when the size of the indicator IND becomes maximum, the upper line 200 changes from green to blue, and the boundary line Lg40 coincides with the side face line Lps of the target pallet P. I understand. Then, from the state shown in FIG. 28A, the reach-type forklift 20 is turned at a designated steering angle (for example, 80°) so that the reach-type forklift 20 takes a predetermined posture with respect to the pallet P at a predetermined position. Arranged to face the pallet P. Further, by moving the left and right forks 30a and 30b forward, the left and right forks 30a and 30b can be inserted into the left and right pallet holes.
- a designated steering angle for example 80°
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geology (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
産業車両用走行支援装置は、カメラ、走行ガイド生成部、表示部、及び切換部を備える。切換部は、走行ガイドが産業車両に対する相対位置関係を保った状態でカメラにて撮像された画像に走行ガイドを重畳して表示部で表示させる相対位置表示から、走行ガイドが産業車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラにて撮像された画像に走行ガイドを重畳して表示部で表示させる絶対位置表示に切り換えるように構成されている。
Description
本開示は、産業車両用走行支援装置に関するものである。
特許文献1に開示のフォークリフトの作業支援装置においては、カメラにより少なくともフォークの先端部を含む前方の視界が撮影され、タイヤ角が検出される。運転席の近傍にはモニタが配置されている。そして、作業支援装置は、検出されたタイヤ角で前進した際のフォークの先端部の予想軌跡を演算して、カメラによる映像をモニタに表示すると共に演算された予想軌跡をモニタ上に重畳して表示する。
ところで、産業車両が動くとガイド表示も動いてしまい目標としていたところに進めているのか分かりづらい。
本開示の目的は、目標としているところにガイド表示することができる産業車両用走行支援装置を提供することにある。
上記目的点を達成するための産業車両用走行支援装置は、産業車両の走行を支援するように構成されている。産業車両用走行支援装置は、前記産業車両に搭載され、前記産業車両の周辺を撮像するように構成されたカメラと、前記産業車両の走行を画面上で視覚的にガイドするための走行ガイドを生成するように構成された走行ガイド生成部と、前記カメラにて撮像された画像に前記走行ガイド生成部で生成された前記走行ガイドを重畳して表示するように構成された表示部と、前記走行ガイドが前記産業車両に対する相対位置関係を保った状態で前記カメラにて撮像された画像に前記走行ガイドを重畳して前記表示部で表示させる相対位置表示から、前記走行ガイドが前記産業車両に対する前記相対位置関係を保たずに絶対位置に固定した状態で前記カメラにて撮像された画像に前記走行ガイドを重畳して前記表示部で表示させる絶対位置表示に切り換えるように構成された切換部と、を備える。
(第1の実施形態)
以下、一実施形態を図面に従って説明する。
以下、一実施形態を図面に従って説明する。
本実施形態では、産業車両としてのリーチ式フォークリフトの走行を支援するフォークリフト用走行支援装置は、フォークリフト用遠隔操作システムに用いられるものである。
図1に示すように、フォークリフト用遠隔操作システム10は、リーチ式フォークリフト20と、リーチ式フォークリフト20の走行及び荷役装置による荷役を遠隔操作するのに用いられる遠隔操作装置40と、を備えている。リーチ式フォークリフト20は作業場に配置される。そして、操作者は、遠隔操作装置40を用いて操作室から作業場のリーチ式フォークリフト20を遠隔操作することができる、
作業場においてパレット等の運搬物から離れた場所にリーチ式フォークリフト20が位置している。この状態から、操作者はリーチ式フォークリフト20を遠隔操作して、リーチ式フォークリフト20をパレット等の運搬物に近づけてフォークをパレット穴に差し込む動作を行わせる。
作業場においてパレット等の運搬物から離れた場所にリーチ式フォークリフト20が位置している。この状態から、操作者はリーチ式フォークリフト20を遠隔操作して、リーチ式フォークリフト20をパレット等の運搬物に近づけてフォークをパレット穴に差し込む動作を行わせる。
図2、図3に示すように、リーチ式フォークリフト20は機台21を備える。機台21の前側には左右一対のリーチレグ22a,22bが配置され、リーチレグ22a,22bは前方に向かって延びている。詳しくは、リーチレグ22aは機台21の進行方向右側に設けられ、リーチレグ22bは機台21の進行方向左側に設けられている。リーチレグ22a,22bの前部には前輪23a,23bが配設されている。詳しくは、右前輪23aは進行方向右側のリーチレグ22aに設けられ、左前輪23bは進行方向左側のリーチレグ22bに設けられている。このように、機台21の前側に左右一対の前輪23a,23bが設けられている。
機台21の後部には、後輪24とキャスタホイール(補助輪)25が配設されている。後輪24は機台21の左方に設けられており、キャスタホイール25は機台21の右方に設けられている。後輪24は、駆動輪及び操舵輪である。
図2に示すように、リーチ式フォークリフト20は、2つの前輪23a,23b、及び、1つの後輪24の3つの車輪で走行する。機台21には、リーチ式フォークリフト20の駆動源となる走行モータ26と、走行モータ26の電力源となるバッテリ27が搭載されている。そして、後輪24が走行モータ26により回転される。
リーチ式フォークリフト20は、機台21の前方に、荷役装置28を備える。荷役装置28は、リーチシリンダ(図示せず)の駆動により、各リーチレグ22a,22bに沿って前後動作するマスト29を備える。マスト29の前方には、左右一対のフォーク30a,30bがバックレスト31を介して設けられている。フォーク30a,30bは、マスト29に沿って昇降する。
本実施形態のリーチ式フォークリフト20は、運転者が着座して操作することが可能に構成されている。なお、リーチ式フォークリフト20は、運転席の無い無人リーチ式フォークリフトであってもよい。
図3に示すように、リーチ式フォークリフト20は、立席タイプの運転室32を機台21の後部に備える。運転室32の前方及び左方には、ステアリングテーブル33a,33bが設けられている。運転室32の前方に位置するステアリングテーブル33aには、リーチ式フォークリフト20を走行動作させるディレクションレバー34、荷役装置28を動作させる複数の荷役レバー35が設けられている。ディレクションレバー34は、後輪24を回転駆動させて車両を走行させるべく操作される。運転室32の左方に位置するステアリングテーブル33bには、後輪24の操舵を行うハンドル36が設けられている。また、運転室32の床面にはブレーキペダル37が備えられている。
図2,3に示すように、運転室32は、機台21において立設された左右のピラー38と、ピラー38の上端に固定されたヘッドガード39とにより囲まれている。
図1に示すように、リーチ式フォークリフト20は、フォークリフト搭載機器50として、コントローラ51と、車両通信部としての無線ユニット52と、画像処理部53と、車両通信部としての無線機54と、カメラ71,72,73とを有する。
遠隔操作装置40は、コントローラ61と、操作部62と、表示部(モニタ)63と、操作装置通信部としての無線機64,65と、画像処理部66とを有する。遠隔操作装置40において、操作室側機器60として、コントローラ61と操作部62と表示部63と画像処理部66を備える。
遠隔操作装置40の無線機64は作業場に配置されている。また、遠隔操作装置40の無線機65は作業場に配置されている。操作室に配置されるコントローラ61は有線L1により作業場に配置した無線機64と接続されている。コントローラ61は有線L2により作業場に配置した無線機65と接続されている。
作業場において、遠隔操作装置40の無線機64とフォークリフト搭載機器50の無線ユニット52とは双方向に無線通信できる。また、作業場において、フォークリフト搭載機器50の無線機54は、遠隔操作装置40の無線機65と無線で通信できる。
このようにして、リーチ式フォークリフト20は無線ユニット52及び無線機54を有し、遠隔操作装置40は、無線ユニット52及び無線機54と無線通信を行う無線機64,65を有する。
遠隔操作装置40のコントローラ61は、操作部62及び画像処理部66と接続されている。操作部62は、操作者によりリーチ式フォークリフト20を遠隔操作するためのものであり、操作者によるリーチ式フォークリフト20の操作内容がコントローラ61に送られる。操作内容は、リフト、リーチ、及びティルトの操作指令値、並びに、速度、加速度、及び操舵角の操作指令値等の車両制御信号を含む。コントローラ61は、車両制御信号を、無線機64を介してフォークリフト搭載機器50の無線ユニット52に無線送信する。
フォークリフト搭載機器50において、コントローラ51と無線ユニット52と画像処理部53とは、それぞれ相互に通信(例えばCAN(Controller Area Network)通信)可能に接続されている。コントローラ51は遠隔操作装置40からの指示により、走行モータ26、図示しない操舵モータ等の走行系アクチュエータ及び図示しないリフトシリンダ、リーチシリンダ、ティルトシリンダ等の荷役系アクチュエータを駆動することができる。
無線ユニット52は、リーチ式フォークリフト20の車速等の車両情報、障害物検知情報等の異常情報を、無線機64を介してコントローラ61に無線送信する。
図1において、コントローラ61は、無線機64、無線ユニット52及びコントローラ51を介してリーチ式フォークリフト20の走行及び荷役装置28による荷役を遠隔操作することができるようになっている。つまり、コントローラ61は、図3でのディレクションレバー34、荷役レバー35、ハンドル36、ブレーキペダル37等の操作部に代わり遠隔操作装置40の操作部62によりリーチ式フォークリフト20を遠隔操作することができる。
そして、遠隔操作装置40において、操作部62を用いて操作者が所望の操作を行うとコントローラ61により操作内容が無線機64を介してリーチ式フォークリフト20に送られる。リーチ式フォークリフト20において、無線ユニット52で遠隔操作装置40からの操作内容が受信され、コントローラ51によりアクチュエータ部が駆動されて所望の動作が実行される。
図4に示すように、リーチ式フォークリフト20は、機台21において右の後角部P1及び左の後角部P2を有する。
図2及び図4に示すように、リーチ式フォークリフト20においてヘッドガード39の前部にカメラ71が前方下方を向くように取り付けられており、カメラ71は、リーチ式フォークリフト20の周辺を撮像する。具体的には、カメラ71は、リーチ式フォークリフト20の進行方向前方の床面を撮像する。また、リーチ式フォークリフト20においてヘッドガード39の右側後部にカメラ72が下方を向くように取り付けられており、カメラ72は、リーチ式フォークリフト20の周辺を撮像する。具体的には、カメラ72は、機台21の右の後角部P1付近を上から撮像する。リーチ式フォークリフト20においてヘッドガード39の左側後部にカメラ73が下方を向くように取り付けられており、カメラ73は、リーチ式フォークリフト20の周辺を撮像する。具体的には、カメラ73は、機台21の左の後角部P2付近を上から撮像する。
図1に示すように、リーチ式フォークリフト20において、カメラ71,72,73により撮像された画像はコントローラ51により画像処理部53及び無線機54を介して遠隔操作装置40に送られる。遠隔操作装置40において、無線機65でリーチ式フォークリフト20からのカメラ画像が受信されて画像処理部66を介して表示部63で表示される。表示部63は、例えばデスクトップ型ディスプレイである。
遠隔操作装置40に設けられる表示部63において、カメラ71,72,73にて撮像された画像が表示される。操作者は表示部63におけるカメラ71,72,73の画像を見ながら遠隔操作装置40を操作する。
図5に示すように、遠隔操作装置40において、コントローラ61は操作部62から操舵角等の操作指示によりリーチ式フォークリフト20に操作量の指示を与える。リーチ式フォークリフト20からの画像データが画像処理部66を介して表示部63に送られて表示部63で画像の表示が行われる。また、コントローラ61はリーチ式フォークリフト20から図示しない操舵角センサ及び移動距離センサから操舵角及び移動距離を取得する。
図5において、コントローラ61は、リーチ式フォークリフト20の予想軌跡として、操舵角に応じた車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3(図7(a)参照)を車両を原点とするワールド座標に生成する。図7(a)で説明すると、車幅ガイド線Lg1は、車幅における右側に対応し、車幅ガイド線Lg2は、車幅における左側に対応し、前方距離ガイド線Lg3は、車両前方の所定距離(例えば5m先)に対応する。ガイド線Lg1,Lg2,Lg3は、リーチ式フォークリフト20の操舵角と予想移動距離から得られる。ワールド座標系で生成されたガイド線Lg1,Lg2,Lg3は、カメラ座標系を介してモニタ座標系に変換される。表示部63において、カメラ71にて撮像された画像に、コントローラ61で生成された車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が重畳して表示される。ガイド線Lg1,Lg2,Lg3は、車両を原点とするワールド座標系で生成されているため、車両に対するガイド線Lg1,Lg2,Lg3の相対関係位置は操舵角が一定であれば車両の移動によっては変化せず、ガイド線Lg1,Lg2,Lg3の画面上の位置(モニタ座標)は変化しない。このような表示態様を相対位置表示と呼称する。
また、図5に示すように、操作部62は相対位置表示/絶対位置表示切換指示部62aを有する。相対位置表示/絶対位置表示切換指示部62aは、マウスのボタンなどの任意のボタンを含むことができる。相対位置表示/絶対位置表示切換指示部62aは、相対位置表示から絶対位置表示に切り換えるように構成されている。相対位置表示は、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させるものである。絶対位置表示は、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させるものである。相対位置表示/絶対位置表示切換指示部62aは、ガイド線Lg1,Lg2,Lg3の表示態様を手動(操作者の操作)により相対位置表示から絶対位置表示に切り換える。相対位置表示/絶対位置表示切換指示部62aからコントローラ61に、相対位置表示から絶対位置表示への切り換え指示が送られる。この切り換え指示の通知に従いコントローラ61は、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる相対位置表示から、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保たずに絶対位置(車両の移動につれて変化することのない絶対的な位置)に固定した状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる絶対位置表示に切り換えて絶対位置に固定した状態でガイド線Lg1,Lg2,Lg3を表示させることができるように構成されている。
図6(a)及び図6(b)を用いて、例として車両左側の車幅ガイド線Lg2の相対位置表示及び絶対位置表示の描画方法について説明する。
図6(a)に示すように、相対位置表示で表示する車幅ガイド線Lg2は次の式(1)~式(4)にて算出される。
即ち、直交2軸座標(x,y)において、Ax,Ayを始点(Ax=0,Ay=0)として、車両の移動量Δx,Δyが予想移動距離L´=L1,L2,…,Ln及び操舵角θから算出され、L1~Lnに対応する各点(Bx,By)が算出されて車幅ガイド線Lg2として繋いで描画される。
そして、相対位置表示/絶対位置表示切換指示部62aの操作により相対位置表示から絶対位置表示に切り換えられると、操舵角θが記憶されるとともに移動距離Lの算出が開始される。そして、始点(Ax,Ay)及び各点(Bx,By)の算出方法が以下のように切り換えられる。
図6(b)に示すように、絶対位置表示で表示する車幅ガイド線Lg2は次の式(5)~式(10)にて算出される。
即ち、相対位置表示/絶対位置表示切換指示部62aが操作された始点(Ax,Ay)から現在のワールド座標原点である点(Cx,Cy)までの車両の移動量Δx´,Δy´が移動距離L及び操舵角θから算出され、算出された車両の移動量Δx´,Δy´から始点(Ax,Ay)が算出される。そのようにして求められた始点(Ax,Ay)から、相対位置表示と同様に車両の移動量Δx,Δyが予想移動距離L´=L1,L2,…,Ln及び予想操舵角θ´から算出され、L1~Lnに対応する各点(Bx,By)が算出されて車幅ガイド線Lg2として繋いで描画される。
このように、相対位置表示/絶対位置表示切換指示部62aにより絶対位置表示への切り換えが指示された場合には、コントローラ61は指示時点からの車両の移動量Δx´,Δy´をリーチ式フォークリフト20から入力される操舵角θ及び移動距離Lから逐次算出する。コントローラ61は算出された移動量Δx´,Δy´を相殺するように車幅ガイド線Lg2のワールド座標を変更し、カメラ座標系を介してモニタ座標系に変換する。なお、車両右側の車幅ガイド線Lg1及び前方距離ガイド線Lg3も同様に描画される。
したがって、相対位置表示では、ガイド線Lg1,Lg2,Lg3の画面上の位置(モニタ座標)は操舵角が一定であれば車両の移動により変動することはないが、絶対位置表示ではガイド線Lg1,Lg2,Lg3の画面上の位置(モニタ座標)は、あたかも路面(絶対位置)に描かれたガイド線Lg1,Lg2,Lg3が撮影されているかのように車両の移動により変動する。
操舵角θ及び移動距離Lに基づいてガイド線の絶対位置表示での描画を行う以外にもGPS等の位置センサからの情報(図5参照)としてセンサ値Sに基づいてガイド線の絶対位置表示での描画を行うこともできる。
相対位置表示/絶対位置表示切換指示部62aの操作により相対位置表示から絶対位置表示に切り換えられると、操舵角がθ´として記憶されるとともにセンサ値S´がガイド線の始点(Ax,Ay)として記憶される。そして、センサ値S´から求められる始点(Ax,Ay)から、車両の移動量Δx,Δyを予想移動距離L´=L1,L2,…,Ln及び予想操舵角θ´から算出し、L1~Lnに対応する各点(Bx,By)が算出されてガイド線として繋いで描画される。
次に、第1の実施形態の作用について説明する。
図7(a)に示すように、リーチ式フォークリフト20に対し左前方に目標となるパレットPに接近且つ正対するようにリーチ式フォークリフト20が走行する場合について説明する。
図7(a)は作業場でのリーチ式フォークリフト20及びパレットPを示す俯瞰図であり、図7(b)は表示部63での表示内容を示す。
今、相対位置表示/絶対位置表示切換指示部62aを用いて、相対位置表示モードが設定されている。相対位置表示においては、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示される。
図7(b)に示すように、表示部63においてリーチ式フォークリフト20の操舵角に応じた車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が表示される。ここで、今の操舵角においてそのまま走行を続けると、目標となるパレットPに接近且つ正対するように走行することができることが分かる。詳しくは、前方距離ガイド線Lg3が、パレットPの直前に、かつ、パレットPの前面に平行に位置している。
この状態で相対位置表示/絶対位置表示切換指示部62aが操作される。すると、ガイド線Lg1,Lg2,Lg3が相対位置表示から絶対位置表示に切り換わる。絶対位置表示においては、切換指示時に、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示される。
図7(a)に示す状態から、図8(a)に示すように、リーチ式フォークリフト20が現状の操舵角のまま走行する。すると、図8(b)に示すように、表示部63において車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3の画面上の位置(=モニタ座標)は車両の移動に伴い変わる。
図8(a)に示す状態から、図9(a)に示すように、リーチ式フォークリフト20が現状の操舵角のままパレットPの前まで走行する。すると、図9(b)に示すように、表示部63において車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3の画面上の位置(=モニタ座標)は車両の移動に伴い変わる。
このようにして、相対位置表示/絶対位置表示切換指示部62aが操作されるまではガイド線Lg1,Lg2,Lg3は相対位置で表示される。切り換え前の相対位置表示においてはガイド線Lg1,Lg2,Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像にガイド線Lg1,Lg2,Lg3を重畳して表示部63で表示させることにより、ガイド線Lg1,Lg2,Lg3のモニタ座標は車両の位置や角度によらず一定である。相対位置表示/絶対位置表示切換指示部62aが操作されると、そのときの軌跡が絶対位置表示に切り換えられる。すると、切換指示時に絶対位置表示に切り換わることによって、ガイド線Lg1,Lg2,Lg3が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像にガイド線Lg1,Lg2,Lg3を重畳して表示部63で表示させることにより、それ以降の車両の位置と角度を元にガイド線Lg1,Lg2,Lg3のモニタ座標が変更される。このようにして、図9(a)及び図9(b)に示すように、リーチ式フォークリフト20をパレットPに接近して正対させることができる。
以後、マスト29を前方に移動させてフォーク30a,30bがパレットPの穴に挿入される。
図29(a)、図29(b)、図30(a)、図30(b)、図31(a)、図31(b)は比較例を示す図である。
図29(a)に示すように、リーチ式フォークリフト20が走行によりパレットPに近づき、操舵角をもとに予想軌跡としての車幅ガイド線Lg11,Lg12及び前方距離ガイド線Lg13が、図29(b)に示すように、表示される。さらに、図30(a)に示すように、リーチ式フォークリフト20が走行によりパレットPに近づき、操舵角をもとに予想軌跡としてのガイド線Lg11,Lg12,Lg13が、図30(b)に示すように、表示される。このとき、ガイド線Lg11,Lg12,Lg13の画面上での位置(=モニタ座標)は変わらずにカメラ画像が変わる。さらには、図31(a)に示すように、リーチ式フォークリフト20が更なる走行によりパレットPに更に近づき、操舵角をもとに予想軌跡としてのガイド線Lg11,Lg12,Lg13が、図31(b)に示すように、表示される。このとき、ガイド線Lg11,Lg12,Lg13の画面上での位置(=モニタ座標)は変わらずにカメラ画像が変わる。
ところが、リーチ式フォークリフト20の機台21との相対位置にガイド表示が行われると、リーチ式フォークリフト20の機台21が動くとガイド表示も動いてしまい、目標としていたパレットPにリーチ式フォークリフト20が進めているのか分かりづらい。
これに対し図7(a)、図7(b)、図8(a)、図8(b)、図9(a)、図9(b)に示す本実施形態においては、車両の走行情報をもとにガイド表示が目標のパレットに対して固定される。
つまり、本実施形態では、操舵角を元に、リーチ式フォークリフト20の予想軌跡がガイド表示される。ガイド表示が目標物に合ったところで、操作者は相対位置表示/絶対位置表示切換指示部62aを用いてガイド表示を固定する。即ち、予想軌跡を表示した場合、目標のパレットに対し車両が移動し始めると軌跡は車両と同様に動いてしまうが、目標位置を決めることで相対位置表示/絶対位置表示切換指示部62aが操作されるとその時の軌跡が固定される。そして、目標位置までのガイドが表示される。それにより、狙った目標位置にリーチ式フォークリフト20を到達させやすくなる。
上記実施形態によれば、以下のような効果を得ることができる。
(1)産業車両としてのリーチ式フォークリフト20の走行を支援する産業車両用走行支援装置は、リーチ式フォークリフト20に搭載され、リーチ式フォークリフト20の周辺を撮像するように構成されたカメラ71を備える。産業車両用走行支援装置は、リーチ式フォークリフト20の予想軌跡としての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を生成するように構成された予想軌跡生成部としてのコントローラ61と、カメラ71にて撮像された画像にコントローラ61で生成された車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示するように構成された表示部63と、を備える。産業車両用走行支援装置は、予想軌跡としての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に予想軌跡としての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる相対位置表示から、予想軌跡としての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に予想軌跡としての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる絶対位置表示に切り換えるように構成された切換部としての相対位置表示/絶対位置表示切換指示部62aを備える。
産業車両用走行支援装置は、広義には、産業車両としてのリーチ式フォークリフト20の走行を画面上で視覚的にガイドするための走行ガイドとしての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を生成する走行ガイド生成部としてのコントローラ61と、カメラ71にて撮像された画像にコントローラ61で生成された車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示するように構成された表示部63と、走行ガイドとしての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に走行ガイドとしての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる相対位置表示から、走行ガイドとしての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に走行ガイドとしての車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3を重畳して表示部63で表示させる絶対位置表示に切り換えるように構成された切換部としての相対位置表示/絶対位置表示切換指示部62aと、を備える。
よって、カメラ71にて撮像された画像に、車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が、重畳して表示される。そして、目標としているところで、切換部としての相対位置表示/絶対位置表示切換指示部62aにより、コントローラ61で生成された車幅ガイド線Lg1,Lg2及び前方距離ガイド線Lg3が、相対位置表示から絶対位置表示に切り換えられることにより、目標としているところにガイド表示することができる。
(2)切換部としての相対位置表示/絶対位置表示切換指示部62aは、手動により相対位置表示から絶対位置表示に切り換えるように構成されているので、操作者が任意のタイミングで相対位置表示/絶対位置表示切換指示部62aを操作して表示を切り換えることができる。
(3)産業車両用走行支援装置は、フォークリフト用遠隔操作システム10に用いられる。フォークリフト用遠隔操作システム10は、リーチ式フォークリフト20と、遠隔操作装置40とを備える。リーチ式フォークリフト20は、機台21に荷役装置28を備えるとともに車両通信部としての無線ユニット52及び無線機54を有する。遠隔操作装置40は、車両通信部としての無線ユニット52及び無線機54と無線通信を行う操作装置通信部としての無線機64,65を有し、リーチ式フォークリフト20の走行及び荷役装置28による荷役を遠隔操作するのに用いられる。よって、遠隔操作する際に、目標としているところにガイド表示することができる。
次に、別例を説明する。
○ パレットに正対させるべくガイドする場合以外にも、図10に示すように、広い通路から狭い通路に曲がって走行する場合において曲がろうとする狭い通路の入り口を目標とする場合においても、本実施形態は有用である。
○ 相対位置表示から絶対位置表示への切り換えは手動で行われても自動で行われてもよい。つまり、予め目標を決めておき、例えば画像処理装置やGPS機能による自己位置を用いて切り換えが自動で行われてもよい。即ち、相対位置表示から絶対位置表示への切り換えはシステムで行われてもよい。
○ 絶対位置表示の解除、即ち、絶対位置表示から相対位置表示への復帰は、手動で行われてもシステムによって行われてもよい。
○ フォークリフトが前方に走行する場合(前進する場合)において説明したが、フォークリフトが後方に走行する場合(後進する場合)に本実施形態が適用されてもよい。つまり、カメラは車両の前方を撮像する前方カメラであったが、カメラは車両の後方を撮像する後方カメラでもよい。
○ 図5において操作部62に切換部としての相対位置表示/絶対位置表示切換指示部62aが設けられているが、操作部62とは別に切り換えを指示するためのマウス、キーボード等が設けられてもよい。
○ 予想軌跡は車幅の線であったが、これに代わり、車両中心線でもよい。他にも、予想軌跡はパレット幅でもよいし、荷がパレットよりも大きいならば荷の幅の線でもよい。
○ カメラ画像として進行方向を表示したが、複数のカメラを用いて俯瞰図を生成して表示部で表示してもよい。
○ 産業車両に搭載するカメラの台数は問わず、少なくとも車両周辺を撮像するカメラを有していればよい。
○ 産業車両用走行支援装置はフォークリフト用遠隔操作システムに用いられるものであったが、これに限るものではない。産業車両用走行支援装置は、例えば、有人フォークリフトに用いられてもよい。つまり、産業車両用走行支援装置は、カメラを搭載した無人フォークリフトと、表示部を有する遠隔操作装置とを備えるではなく、例えば、カメラと表示部を搭載した有人フォークリフトに適用されてもよい。
○ フォークリフトはリーチ式フォークリフトであったが、これに限るものではなく、リーチ式フォークリフト以外のフォークリフトであってもよい。フォークリフトは、例えば、カウンタ式フォークリフトでもよい。
○ 産業車両はフォークリフト以外でもよく、例えば牽引車を挙げることができる。
(第2の実施形態)
次に、第2の実施形態を、第1の実施形態との相違点を中心に説明する。
次に、第2の実施形態を、第1の実施形態との相違点を中心に説明する。
本実施形態では、産業車両としてのリーチ式フォークリフト20の予想軌跡を、最大旋回軌跡としている。具体的には、最大旋回軌跡として旋回円がカメラ画像に重畳されるとともに旋回円が相対位置表示から絶対位置表示に切り換えられる。
図12において、コントローラ61は、操舵角に応じた走行軌跡L10(図14参照)上に最大旋回軌跡としての最大旋回円C1,C2(図12参照)が生成される。図14で説明すると、走行軌跡L10は操舵角がゼロの場合には前方に直進したときのリーチ式フォークリフト20の機台中心の予想軌跡である。最大旋回円C1は走行先での機台21の後角部P1が通過する円であり、最大旋回円C2は走行先での機台21の後角部P2が通過する円である。コントローラ61は画像処理部66を介してカメラ画像に対して最大旋回円C1,C2を重畳して表示部63で表示させることができるように構成されている。また、コントローラ61は、最大旋回円C1,C2をリーチ式フォークリフト20の前後方向において一定の距離d1(図14参照)に表示させる。リーチ式フォークリフト20の前方の距離d1は例えば3m程度である。
また、図5に示すように、操作部62は相対位置表示/絶対位置表示切換指示部62aを有する。相対位置表示/絶対位置表示切換指示部62aからコントローラ61に、相対位置表示から絶対位置表示への切り換え指示が送られる。この切り換え指示の通知に従いコントローラ61は、最大旋回円C1,C2を相対位置表示から絶対位置表示に切り換えて任意の位置で絶対位置表示させることができるように構成されている。つまり、コントローラ61は、最大旋回円C1,C2の絶対位置表示の指示が無ければ最大旋回円C1,C2をリーチ式フォークリフト20の前後方向において一定の距離d1にカメラ画像に重畳して表示させるが、最大旋回円C1,C2の絶対位置表示の指示が有れば最大旋回円C1,C2をカメラ画像において任意の位置に固定した状態で重畳して表示させる。
次に、第2の実施形態の作用について説明する。
図11に示すように、コントローラ61は、ステップS101で操舵角に応じた走行軌跡L10(図14参照)上の前後方向に定めた一定の距離d1の位置を決定する。
そして、コントローラ61は、ステップS102において、最大ハンドル角で旋回する際に(その場旋回する際に)、図12で示すように、機台21の後角部P1,P2が通過する最大旋回円C1,C2をワールド座標系で表現する。右旋回時の旋回半径は右前輪23aが基準となる。左旋回時の旋回半径は左前輪23bが基準となる。また、旋回半径が最大となるのはリーチ式フォークリフトの機台後方部の一番外側である後角部P1,P2が描く円であり、これが最大旋回円C1,C2となる。
コントローラ61は、図11のステップS103において、図13に示すように、ステップS102の最大旋回円C1,C2とカメラ71,72,73の相対位置とを検出し、ステップS102の最大旋回円C1,C2をワールド座標系からカメラ座標系に座標変換する。コントローラ61は、図11のステップS104において、ステップS103の最大旋回円C1,C2をカメラ座標系からモニタ座標系に座標変換する。コントローラ61は、図11のステップS105において、カメラ画像において走行軌跡L10上の所定位置にステップS104の最大旋回円C1,C2を重畳して、図14に示すように表示部63でリーチ式フォークリフト20の前方床面を表示させる。
このように、今の操舵角でそのまま走行した場合の走行軌跡L10上に最大旋回円C1,C2を重畳することにより、そのままの操舵角で走行を続けて旋回すると、リーチ式フォークリフト20がどのような軌跡で移動するか分かる。さらに、表示した最大旋回円C1,C2は、操作者の意図により任意のワールド座標上の位置に固定することができる。それにより、目標のパレットに正対させるための旋回位置を予め判断することができる。
具体的には、操作者は、図14に示すように、目標のパレット100に対して最大旋回円C1,C2を見ながらリーチ式フォークリフト20を接近させる。そして、図15に示すように、最大旋回円C1,C2がパレット100の真横に来て目標のパレット100が最大旋回円C1,C2に接する位置に来たら、操作者の指示(操作)により最大旋回円C1,C2の位置が固定される。以後、リーチ式フォークリフト20がパレット100に近づくと、表示部63において最大旋回円C1,C2は大きな円として表示される。リーチ式フォークリフト20が最大旋回円C1,C2の位置まできたら旋回で目標方向を向くことができることが分かる。特に、最大旋回円C1,C2がパレット100に接しているとパレット100の真横であることが分かりやすい。さらに、操作者は、旋回可否を予め判断できる。
図16に示すように、リーチ式フォークリフト20が、固定した最大旋回円C1,C2の所まできたら旋回を開始する。そして、図17に示すように、その場旋回すると、パレット100に正対する。さらに、フォーク30a,30bを前方に移動させることにより、フォーク30a,30bがパレット穴に差し込まれる。
上記実施形態によれば、以下のような効果を得ることができる。
(4)産業車両の予想軌跡は、操舵角に応じた走行軌跡上の最大旋回軌跡であり、相対位置表示から絶対位置表示に切り換えることにより、走行先において旋回可能か判断できるとともに旋回開始位置を容易に判断することができる。
次に、第2の実施形態の別例を説明する。
○ 最大旋回軌跡は、機台21の後角部P1,P2の旋回時の軌跡以外にも考えられ、旋回の際に最も外側に位置する箇所の軌跡であってもよい。最大旋回軌跡は、例えば、リーチアウトして走行する場合におけるフォーク先端部P11,P12(図4参照)の旋回時の軌跡でもよい。最大旋回軌跡は、他にも、リーチアウトして走行する場合におけるフォークに差し込まれたパレットの前角部の旋回時の軌跡であってもよい。
○ 2つの最大旋回円C1,C2を表示したが旋回方向が分かっている場合(例えば操作者が旋回方向を指示する場合)、一方の最大旋回円のみが表示されてもよい。例えば、図12において右旋回ならば最大旋回円C1が表示され、左旋回ならば最大旋回円C2が表示される。
○ 最大旋回円C1,C2は、ハンドル角が最大ハンドル角である場合の円でなくてもよい。最大旋回円C1,C2は、操作者の指示により最大ハンドル角以外のハンドル角に基づく最大旋回円でもよい。
(第3の実施形態)
次に、第3の実施形態を、第1の実施形態との相違点を中心に説明する。
次に、第3の実施形態を、第1の実施形態との相違点を中心に説明する。
本実施形態では、図18及び図19に示すように、産業車両としてのリーチ式フォークリフト20の走行を画面上で視覚的にガイドするための走行ガイドとしての直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が生成される。走行ガイドは、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33であり、距離表示である。
直線Lg20,Lg21,Lg22,Lg23は、車両の進行方向と直交する方向に延びる線であって、リーチ式フォークリフト20の進行方向前方において所定距離ごとに左右に延びる。例えば、直線Lg20はリーチ式フォークリフト20の4m先において左右に延び、直線Lg21はリーチ式フォークリフト20の5m先において左右に延び、直線Lg22はリーチ式フォークリフト20の6m先において左右に延び、直線Lg23はリーチ式フォークリフト20の7m先において左右に延びている。直線Lg30,Lg31,Lg32,Lg33は、車両の進行方向に延びる線であって、リーチ式フォークリフト20の進行方向前方において左右方向において所定距離ごとに前後に延びる。例えば、直線Lg30はリーチ式フォークリフト20の前方において最も左側において前後方向に延び、直線Lg31は直線Lg30の1m右側において前後方向に延び、直線Lg32は直線Lg31の1m右側において前後方向に延び、直線Lg33は直線Lg32の1m右側において前後方向に延びている。
図19に示すように、表示部63においてカメラ71にて撮像された画像にコントローラ61で生成された格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が重畳して表示される。
切換部としての相対位置表示/絶対位置表示切換指示部62aにより、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が、図21に示す相対位置表示から、図23に示す絶対位置表示に切り換えられる。
図18は、床面に配置したパレットPに対しリーチ式フォークリフト20が離れている状況を示し、この時、表示部63において図19に示すように表示される。
図18に示す状況から、リーチ式フォークリフト20がパレットPに対し接近するように走行した結果、図20に示すようにパレットPに対しリーチ式フォークリフト20が少し近づく。この時、表示部63において図21に示すように表示される。図20に示す状況下で相対位置表示/絶対位置表示切換指示部62aが押される。
その結果、図20に示す状況から、リーチ式フォークリフト20がパレットPに対し更に接近するように走行した結果、図22に示すようにパレットPに対しリーチ式フォークリフト20が更に近づく。この時、表示部63において図23に示すように表示される。
図21の相対位置表示において、直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33を重畳して表示部63で表示される。
図23の絶対位置表示において、直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33を重畳して表示部63で表示される。
このように、走行ガイドは予想軌跡に代わり、走行ガイドは距離表示であってもよい。この場合において、カメラ71にて撮像された画像に、リーチ式フォークリフト20の走行を画面上で視覚的にガイドするための走行ガイドとしての格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が重畳して表示される。そして、目標としているところで、相対位置表示/絶対位置表示切換指示部62aにより、相対位置表示から絶対位置表示に切り換えられることにより、目標としているところにガイド表示することができる。相対位置表示は、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像に格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33を重畳して表示部63で表示させるものである。絶対位置表示は、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像に格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33を重畳して表示部63で表示させるものである。
つまり、画面上で仮想的に床面に描いた線が目標、即ち、目印となる。そして、相対位置表示では格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33は走行に伴い前方に移動するように表示されるが、絶対位置に固定することにより自車が何m進んだかが分かり、直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33が目標となり得る。そして、リーチ式フォークリフト20がパレットPに対して近づいていくときにパレットPに対して自車がどれぐらいの距離にいるのか分かる。
次に、第3の実施形態の別例を説明する。
〇 走行ガイドは、距離情報が分かるような描画であればよい。走行ガイドは、距離情報を持ったガイドであればよく、格子状のものでも1本の線でも点でもよい。つまり、走行ガイドは、機台に対し距離を示す少なくとも1本のガイドを有していればよい。
具体的には、走行ガイドは、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33であったが、これに代わり、1本の直線でもよい。走行ガイドは、例えば、直線Lg21のみ、即ち、リーチ式フォークリフト20の5m先において左右に延び直線Lg21のみでもよい。
他にも、走行ガイドは、縦の直線のみでもよい。この場合には、リーチ式フォークリフト20は真っすぐ進むわけではないので縦情報も有用となる。
他にも、走行ガイドは、格子状の直線Lg20,Lg21,Lg22,Lg23、Lg30,Lg31,Lg32,Lg33であったが、これに代わり、格子状の直線が交差する交点(図18での交点80参照)、即ち、車両の進行方向に延びる線である直線Lg30,Lg31,Lg32,Lg33と進行方向に直交する方向の延びる線である直線Lg20,Lg21,Lg22,Lg23との交点でもよい。他にも、走行ガイドは、図18での格子の交点の1つのみでもよい。
要は、走行ガイドとしての距離表示は、車両の進行方向及び進行方向に直交する方向の少なくとも一方に延びる線であっても、走行ガイドとしての距離表示は、車両の進行方向に延びる線と進行方向に直交する方向の延びる線との交点であってもよい。
(第4の実施形態)
次に、第4の実施形態を、第1の実施形態との相違点を中心に説明する。
次に、第4の実施形態を、第1の実施形態との相違点を中心に説明する。
本実施形態では、コントローラ61は、リーチ式フォークリフト20をパレットPに対し正対することができる直進と旋回の境界を知らせるための境界線Lg40(図28(a)参照)を作成するとともに、リーチ式フォークリフト20の走行を画面上で視覚的にガイドするための走行ガイドとしてのガイド線Lg41(図25(a)、図25(b)参照)を生成するように構成されている。ガイド線Lg41は、カメラ画像に、境界線Lg40よりも所定距離(例えば5m)だけ前方において重畳して表示される。
カメラ画像を用いて直進と旋回の境界を知らせるための境界線Lg40について説明する。
図24に示すように、境界線Lg40は、前輪軸中心O1から前方に距離Aの地点において左右に延びる直線であり、A=L-(W/2)としている。ここで、Lは、図24において実線で示す正対位置(パレット中心O2と前輪軸中心O1とが一致)から、図24において2点鎖線で示すように操舵角一定で90°後退旋回した場合の前輪軸中心O1の直進方向移動距離(=旋回半径)である。Lは、操舵角により一義的に定まる。予め代表的な操舵角を設定しておく。Wは、パレット幅であり、予め代表的な値が設定される。
そして、図28(a)に示すように、境界線Lg40とパレットPの側面線Lpsが重なったら、即ち一致したら、指定した操舵角で旋回することにより、リーチ式フォークリフト20をパレットPに正対させることができる。
また、図26(b)に示すように、表示部63において目標であるパレットPの側面線Lpsと境界線Lg40との距離を表すインジケータINDが重畳して表示される。図27(b)に示すように、インジケータINDは、目標であるパレットPの側面線Lpsと境界線Lg40との距離に応じて目盛りが増加する。そして、図28(b)に示すように、境界線Lg40が目標であるパレットPの側面線Lpsと一致すると目盛りが最大となる。目盛りが最大となると、上部の線200が緑色から青色に変わる。
次に、第4の実施形態の作用について説明する。
今、図25(a)に示すように、リーチ式フォークリフト20がパレットPに対し離れた場所に位置している。このとき、表示部63において図25(b)に示すように、境界線Lg40よりも所定距離(例えば5m)だけ前方においてガイド線Lg41が重畳して表示される。
この状態から、図26(a)に示すように、リーチ式フォークリフト20がパレットPに接近するように直進してパレットPに対し離れた場所に位置する。このとき、表示部63において図26(b)に示すように、ガイド線Lg41が目標であるパレットPの側面線Lpsと一致する。
図26(a)に示す状況下で相対位置表示/絶対位置表示切換指示部62aが押される。その結果、図26(a)に示す状況から、リーチ式フォークリフト20が更に走行した結果、図27(a)に示すようにパレットPに対しリーチ式フォークリフト20が更に近づく。この時、表示部63において図27(b)に示すように表示される。
図25(b)及び図26(b)の相対位置表示において、ガイド線Lg41が車両に対する相対位置関係を保った状態でカメラ71にて撮像された画像にガイド線Lg41が重畳して表示部63で表示される。
図27(b)の絶対位置表示において、ガイド線Lg41が車両に対する相対位置関係を保たずに絶対位置に固定した状態でカメラ71にて撮像された画像にガイド線Lg41が重畳して表示部63で表示される。
さらに、図27(a)に示す状態から、リーチ式フォークリフト20が更に直進する。すると、図28(b)に示すように、インジケータINDの盛りが最大となると、上部の線200が緑色から青色に変わり、境界線Lg40が目標であるパレットPの側面線Lpsと一致したことが分かる。そして、図28(a)に示す状態から、リーチ式フォークリフト20を指定した操舵角(例えば80°)で旋回することにより、リーチ式フォークリフト20がパレットPに対し所定位置に所定姿勢となるように配置されてパレットPに正対する。さらに、左右のフォーク30a,30bを前方に移動させることにより左右のフォーク30a,30bを左右のパレット穴に差し込むことができる。
Claims (8)
- 産業車両の走行を支援するように構成された産業車両用走行支援装置であって、
前記産業車両に搭載され、前記産業車両の周辺を撮像するように構成されたカメラと、
前記産業車両の走行を画面上で視覚的にガイドするための走行ガイドを生成するように構成された走行ガイド生成部と、
前記カメラにて撮像された画像に前記走行ガイド生成部で生成された前記走行ガイドを重畳して表示するように構成された表示部と、
前記走行ガイドが前記産業車両に対する相対位置関係を保った状態で前記カメラにて撮像された画像に前記走行ガイドを重畳して前記表示部で表示させる相対位置表示から、前記走行ガイドが前記産業車両に対する前記相対位置関係を保たずに絶対位置に固定した状態で前記カメラにて撮像された画像に前記走行ガイドを重畳して前記表示部で表示させる絶対位置表示に切り換えるように構成された切換部と、
を備える産業車両用走行支援装置。 - 前記走行ガイドは予想軌跡である、請求項1に記載の産業車両用走行支援装置。
- 前記走行ガイドは距離表示である、請求項1に記載の産業車両用走行支援装置。
- 前記走行ガイドとしての距離表示は、前記産業車両の進行方向及び前記進行方向に直交する方向の少なくとも一方に延びる線である、請求項3に記載の産業車両用走行支援装置。
- 前記走行ガイドとしての距離表示は、前記産業車両の進行方向に延びる線と前記進行方向に直交する方向の延びる線との交点である、請求項3に記載の産業車両用走行支援装置。
- 前記産業車両はフォークリフトである、請求項1~5のいずれか1項に記載の産業車両用走行支援装置。
- 前記切換部は、手動により前記相対位置表示から前記絶対位置表示に切り換えられる、請求項1に記載の産業車両用走行支援装置。
- 前記産業車両用走行支援装置は、フォークリフト用遠隔操作システムに用いられるものであって、
前記フォークリフト用遠隔操作システムは、前記産業車両としてのフォークリフトと、遠隔操作装置とを備え、
前記フォークリフトは、機台に荷役装置を備えるとともに車両通信部を有し、
前記遠隔操作装置は、前記車両通信部と無線通信を行う操作装置通信部を有し、かつ前記フォークリフトの走行及び前記荷役装置による荷役を遠隔操作するのに用いられる、請求項1~7のいずれか1項に記載の産業車両用走行支援装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-029397 | 2019-02-21 | ||
JP2019029397 | 2019-02-21 | ||
JP2019-191006 | 2019-10-18 | ||
JP2019191006A JP7213428B2 (ja) | 2019-02-21 | 2019-10-18 | 産業車両用走行支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020170747A1 true WO2020170747A1 (ja) | 2020-08-27 |
Family
ID=72143647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/003322 WO2020170747A1 (ja) | 2019-02-21 | 2020-01-30 | 産業車両用走行支援装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2020170747A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230106964A1 (en) * | 2021-10-05 | 2023-04-06 | Mitsubishi Logisnext Co., LTD. | Remote control system |
US11650596B2 (en) * | 2019-05-31 | 2023-05-16 | Cascade Corporation | Load alignment aid |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005067566A (ja) * | 2003-08-28 | 2005-03-17 | Aisin Seiki Co Ltd | 車両後退支援装置 |
JP2006096457A (ja) * | 2004-09-28 | 2006-04-13 | Toyota Industries Corp | フォークリフトの作業支援装置 |
JP2012209882A (ja) * | 2011-03-30 | 2012-10-25 | Panasonic Corp | 車載用表示装置 |
US20160138248A1 (en) * | 2014-11-14 | 2016-05-19 | Caterpillar Inc. | System for Assisting a User of a Machine of a Kind Comprising a Body and an Implement Movable Relative to the Body |
JP2019202877A (ja) * | 2018-05-25 | 2019-11-28 | 株式会社豊田自動織機 | 産業車両用遠隔操作システム |
-
2020
- 2020-01-30 WO PCT/JP2020/003322 patent/WO2020170747A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005067566A (ja) * | 2003-08-28 | 2005-03-17 | Aisin Seiki Co Ltd | 車両後退支援装置 |
JP2006096457A (ja) * | 2004-09-28 | 2006-04-13 | Toyota Industries Corp | フォークリフトの作業支援装置 |
JP2012209882A (ja) * | 2011-03-30 | 2012-10-25 | Panasonic Corp | 車載用表示装置 |
US20160138248A1 (en) * | 2014-11-14 | 2016-05-19 | Caterpillar Inc. | System for Assisting a User of a Machine of a Kind Comprising a Body and an Implement Movable Relative to the Body |
JP2019202877A (ja) * | 2018-05-25 | 2019-11-28 | 株式会社豊田自動織機 | 産業車両用遠隔操作システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11650596B2 (en) * | 2019-05-31 | 2023-05-16 | Cascade Corporation | Load alignment aid |
US20230106964A1 (en) * | 2021-10-05 | 2023-04-06 | Mitsubishi Logisnext Co., LTD. | Remote control system |
EP4163247A1 (en) * | 2021-10-05 | 2023-04-12 | Mitsubishi Logisnext Co., Ltd. | Remote control system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7213428B2 (ja) | 産業車両用走行支援装置 | |
KR102144781B1 (ko) | 물류 취급 차량용 물체 트래킹 및 조향 조작 | |
JP6230280B2 (ja) | 作業車両の後方周辺監視装置 | |
WO2020170747A1 (ja) | 産業車両用走行支援装置 | |
JP2019202877A (ja) | 産業車両用遠隔操作システム | |
JP7247812B2 (ja) | 荷役車両の操作支援装置 | |
JP2021022802A (ja) | 産業車両の遠隔操作システム | |
WO2021075541A1 (ja) | 荷役車両の荷役作業支援装置 | |
JP7124675B2 (ja) | フォークリフト用運転支援装置 | |
WO2020049897A1 (ja) | フォークリフト用遠隔操作システム | |
WO2010044277A1 (ja) | 移動体ナビゲーション装置 | |
WO2021066138A1 (ja) | 荷役車両の操作支援装置 | |
JP6988713B2 (ja) | 産業車両用遠隔操作システム | |
JP7063283B2 (ja) | リーチ式フォークリフト用荷役作業支援装置 | |
JP7126204B2 (ja) | 搬送装置 | |
JP7371544B2 (ja) | 産業車両の作業支援装置 | |
JP2021020793A (ja) | 荷役車両の操作支援装置 | |
JP6959532B2 (ja) | 産業車両用遠隔操作システム | |
JP7135629B2 (ja) | フォークリフト用操作支援装置 | |
WO2021075542A1 (ja) | 荷役車両の操作支援方法 | |
WO2020049924A1 (ja) | 産業車両用運転支援装置 | |
JP7200682B2 (ja) | 車両用撮像装置 | |
WO2020049925A1 (ja) | フォークリフト用運転支援装置 | |
JP2019099119A (ja) | 産業車両 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20759654 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20759654 Country of ref document: EP Kind code of ref document: A1 |