WO2021075438A1 - 荷役車両の操作支援装置 - Google Patents

荷役車両の操作支援装置 Download PDF

Info

Publication number
WO2021075438A1
WO2021075438A1 PCT/JP2020/038675 JP2020038675W WO2021075438A1 WO 2021075438 A1 WO2021075438 A1 WO 2021075438A1 JP 2020038675 W JP2020038675 W JP 2020038675W WO 2021075438 A1 WO2021075438 A1 WO 2021075438A1
Authority
WO
WIPO (PCT)
Prior art keywords
cargo handling
pallet
fork
target position
handling device
Prior art date
Application number
PCT/JP2020/038675
Other languages
English (en)
French (fr)
Inventor
岡本浩伸
神谷知典
Original Assignee
株式会社豊田自動織機
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田自動織機 filed Critical 株式会社豊田自動織機
Publication of WO2021075438A1 publication Critical patent/WO2021075438A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems

Definitions

  • This disclosure relates to an operation support device for a cargo handling vehicle.
  • Patent Document 1 describes as an operation support device for a cargo handling vehicle that supports the operation of the cargo handling vehicle by the captured image displayed on the monitor.
  • the operation support device for a cargo handling vehicle described in Patent Document 1 includes a camera, a monitor on which an image captured by the camera is displayed, and an image control unit.
  • the image control unit causes the monitor to display the captured image captured by the camera.
  • the image control unit detects markers attached to the pallet or shelf from the captured image by image recognition, and recognizes the target position from the position of the marker.
  • the target position is a position to be aligned with the cargo handling device when performing at least one of the loading work and the loading work by the cargo handling device.
  • the image control unit superimposes and displays a guide for aligning the cargo handling device at the target position on the captured image.
  • the operator of the cargo handling vehicle can operate the cargo handling vehicle while looking at the captured image and the guide displayed on the monitor.
  • An object of the present disclosure is to provide an operation support device for a cargo handling vehicle that makes it easy to position the cargo handling device at a target position.
  • the operation support device for the cargo handling vehicle that solves the above problems is an operation support device for the cargo handling vehicle that transports the load loaded on the cargo handling device, the camera that images the front of the cargo handling vehicle, and the operation of the cargo handling vehicle.
  • the cargo handling device is arranged at a position visible to a person and displays an image captured by the camera, and when performing at least one of the loading and unloading operations by the cargo handling device.
  • the relative distance deriving unit that derives the relative distance between the target position to be aligned and the cargo handling device, and the cargo handling device is positioned at the target position when the relative distance is less than a predetermined threshold value.
  • a guide display unit is provided which displays a guide for matching on the captured image and hides the guide when the relative distance is equal to or greater than the threshold value.
  • the guide display unit superimposes the guide on the captured image and displays it when the relative distance between the target position and the cargo handling device is less than the threshold value. Since the guide is hidden when the relative distance between the target position and the cargo handling device is greater than or equal to the threshold value, it becomes difficult for the guide to visually recognize the captured image of the monitor until the relative distance between the target position and the cargo handling device is less than the threshold value. Is suppressed.
  • the operator of the cargo handling vehicle looks at the captured image of the monitor, and when the relative distance between the target position and the cargo handling device is less than the threshold value, the operator sees the guide of the monitor and sees the cargo handling device. Can be aligned. Therefore, even when the relative distance between the target position and the cargo handling device is equal to or larger than the threshold value, it becomes easier to align the cargo handling device with the target position as compared with the case where the guide is displayed on the monitor.
  • the guide may be an indicator indicating the difference between the current position of the cargo handling device and the target position. It is easy to grasp the difference between the current position of the cargo handling device and the target position, and it is easier to align the cargo handling device with the target position.
  • the guide display unit may display the guide along the target position shown in the captured image.
  • the operator of the cargo handling vehicle operates the cargo handling vehicle while confirming the positional relationship between the target position and the cargo handling device.
  • By displaying the guide along the target position there is little movement of the line of sight when the guide is displayed on the monitor. Therefore, it becomes easier to align the cargo handling device with the target position.
  • Schematic configuration diagram of the remote control system Schematic diagram of a forklift and a remote control device. A flowchart showing the processing performed by the remote control system.
  • the schematic diagram which shows the monitor when the relative distance between a target position and a cargo handling apparatus is equal to or more than a threshold value.
  • the schematic diagram which shows the monitor when the relative distance between a target position and a cargo handling apparatus is less than a threshold value.
  • the remote control system 10 includes a forklift 20 as a cargo handling vehicle and a remote control device 50 used to remotely control the forklift 20.
  • the forklift 20 is arranged in a work place where a load is transported or the like.
  • the remote control device 50 is a member for remotely controlling the forklift 20 by an operator in the operation room.
  • the operation room is a place where the work place cannot be directly seen, or a place where it is difficult to directly see the work place.
  • the front / rear / left / right are the front / rear / left / right of the forklift 20.
  • the left-right direction of the forklift 20 is the vehicle width direction of the forklift 20.
  • the forklift 20 of this embodiment is a reach type.
  • a counter type forklift 20 may be used.
  • the forklift 20 includes a vehicle body 21, wheels 22 provided on the vehicle body 21, a reach leg 23 extending toward the front of the vehicle body 21, and a cargo handling device 24 provided in front of the vehicle body 21.
  • a pair of reach legs 23 are provided so as to be separated from each other in the left-right direction.
  • the cargo handling device 24 includes a mast 25 that stands up against the reach leg 23, a backrest 26 that is attached to the mast 25, and a fork 27 that is attached to the backrest 26.
  • a pair of forks 27 are provided so as to be separated from each other in the left-right direction.
  • the fork 27 is a cargo handling tool that is a member on which a load is loaded.
  • the forklift 20 includes a drive mechanism 28 that causes the forklift 20 to perform a traveling operation, a cargo handling mechanism 29 that causes the forklift 20 to perform a cargo handling operation, a main controller 31, and a cargo handling operation unit 32. , Equipped with.
  • the drive mechanism 28 includes a drive source for rotating the wheels 22, a steering mechanism for steering the forklift 20, and the like.
  • the cargo handling mechanism 29 includes a cargo handling pump that supplies hydraulic oil to the hydraulic cylinder that operates the mast 25, a drive source that drives the cargo handling pump, a valve that controls the flow of hydraulic oil, and the like.
  • the cargo handling mechanism 29 can cause the cargo handling device 24 to perform a reach operation for moving the mast 25 in the front-rear direction along the reach leg 23, a tilt operation for tilting the mast 25, and a lift operation for raising and lowering the mast 25.
  • the backrest 26 and the fork 27 move, tilt, and move up and down together with the mast 25.
  • the cargo handling operation is an operation including any one of a reach operation, a tilt operation, and a lift operation.
  • the main controller 31 includes a CPU, RAM, ROM, I / O, a bus line connecting these, and the like.
  • the processing performed by the main controller 31 may be software processing by executing a program stored in advance in a physical memory device such as a ROM on the CPU, or hardware processing by a dedicated electronic circuit. Good.
  • the main controller 31 controls the drive mechanism 28 and the cargo handling mechanism 29 to cause the forklift 20 to perform a traveling operation and a cargo handling operation.
  • the cargo handling operation unit 32 is individually provided corresponding to the reach operation, tilt operation, and lift operation, and the cargo handling operation corresponding to the cargo handling operation unit 32 is performed.
  • the cargo handling operation unit 32 is operated by the passenger of the forklift 20.
  • the forklift 20 includes an operation amount detection unit that detects the operation amount of the cargo handling operation unit 32, and the detection result of the operation amount detection unit is output to the main controller 31.
  • the forklift 20 includes a traveling operation unit operated by a passenger.
  • the main controller 31 controls the drive mechanism 28 and the cargo handling mechanism 29 in response to the operations of the cargo handling operation unit 32 and the traveling operation unit. That is, the forklift 20 of the present embodiment is a forklift that can be operated by the passenger of the forklift 20 in addition to the remote control using the remote control device 50.
  • the forklift 20 includes a camera 41, an image processing unit 42, a vehicle-side radio 43, and a radio unit 44.
  • Examples of the camera 41 include a CCD image sensor and a camera using a CMOS image sensor.
  • the camera 41 is attached so that the fork 27 is included in the imaging range defined by the horizontal angle of view and the vertical angle of view when the fork 27 is not loaded with a load. Specifically, the camera 41 is attached so that the imaging range of the camera 41 includes the tips of the two forks 27 when the fork 27 is not loaded with a load.
  • the camera 41 is attached to a member that moves up and down together with the fork 27. In this embodiment, the camera 41 is attached to the backrest 26.
  • the camera 41 is provided above the fork 27 in the vertical direction.
  • the camera 41 images the front of the forklift 20.
  • the camera 41 is arranged so as to face the front of the cargo handling device 24 and to incline downward in the vertical direction. Therefore, it can be said that the camera 41 is arranged so as to take a bird's-eye view of the fork 27 from above in the vertical direction.
  • the front of the cargo handling device 24 can be said to be the direction in which the fork 27 faces.
  • the image processing unit 42 includes a CPU, RAM, ROM, I / O, a bus line connecting these, and the like.
  • the processing performed by the image processing unit 42 may be software processing by executing a program stored in advance in a physical memory device such as a ROM on the CPU, or hardware processing by a dedicated electronic circuit. May be good.
  • the image processing unit 42 acquires image data from the camera 41 at predetermined intervals.
  • the image data is, for example, RGB format data.
  • the image processing unit 42 performs image processing on the image data acquired from the camera 41.
  • the image processing unit 42 and the main controller 31 can communicate with each other using protocols such as CAN: Controller Area Network and LIN: Local Interconnect Network.
  • the vehicle-side radio 43 is a communication interface for transmitting image data to the remote control device 50.
  • the vehicle-side radio 43 modulates the image data output from the image processing unit 42 to generate a radio signal.
  • the vehicle-side radio 43 transmits a radio signal.
  • the wireless unit 44 is a communication interface for communicating with the remote control device 50.
  • the wireless unit 44 demodulates the modulation unit that modulates the data output from the main controller 31 and the image processing unit 42 to generate a wireless signal, and the wireless signal received from the remote control device 50, and demodulates the demodulated data. It includes a demodulation unit that outputs to the main controller 31.
  • the wireless unit 44 transmits information around the forklift 20 and information about the forklift 20 to the remote control device 50.
  • Information around the forklift 20 includes, for example, the relative distance between the fork 27 and the load.
  • Information on the forklift 20 includes, for example, the steering angle of the forklift 20 and the speed of the forklift 20.
  • the remote control device 50 includes an operation unit 51 for operating the forklift 20, an operation controller 52, a first radio 53, a second radio 54, a display controller 55, and a monitor. 56 and.
  • the operation unit 51, the operation controller 52, the display controller 55, and the monitor 56 are provided in the operation room.
  • the first radio 53 and the second radio 54 are provided in the workplace.
  • the operation unit 51 is operated by an operator in the operation room.
  • the operation unit 51 is, for example, a lever-type operation unit that can be tilted.
  • the operation unit 51 is used when the forklift 20 is operated by the remote control device 50.
  • the operation unit 51 includes a travel operation unit that is operated when the forklift 20 is operated to travel, and a cargo handling operation unit that is operated when the forklift 20 is operated to handle cargo.
  • the operation amount of the operation unit 51 is detected by an operation amount detection unit (not shown) and output to the operation controller 52.
  • the operation controller 52 includes a CPU, RAM, ROM, I / O, a bus line connecting these, and the like.
  • the processing performed by the operation controller 52 may be software processing by executing a program stored in advance in a physical memory device such as ROM by the CPU, or hardware processing by a dedicated electronic circuit. Good.
  • the operation controller 52 generates a command according to the operation amount of the operation unit 51.
  • the first radio 53 is a communication interface for communicating with the radio unit 44.
  • the first radio 53 has a modulation unit that modulates the data output from the operation controller 52 to generate a radio signal, demodulates the radio signal received from the radio unit 44, and transmits the demodulated data to the operation controller 52. Includes a demodulator to output.
  • the operation controller 52 outputs data including a command according to the operation amount of the operation unit 51 to the first radio 53 to give a command to the main controller 31 via the first radio 53 and the radio unit 44. Can be done.
  • the main controller 31 controls the drive mechanism 28 and the cargo handling mechanism 29 according to the command.
  • the operation controller 52 can recognize the information around the forklift 20 and the information of the forklift 20 via the first radio 53.
  • the forklift 20 is operated by an operator in the operation room.
  • the operator in the operation room becomes the operator of the cargo handling vehicle.
  • the second radio 54 is a communication interface for receiving image data from the vehicle-side radio 43.
  • the second radio 54 demodulates the radio signal received from the vehicle-side radio 43 and outputs the demodulated image data to the display controller 55.
  • the display controller 55 includes a processor such as a CPU or GPU, a RAM, a ROM, an I / O, a bus line connecting these, and the like.
  • the processing performed by the display controller 55 may be software processing by executing a program stored in advance in a physical memory device such as a ROM on the CPU, or hardware processing by a dedicated electronic circuit. Good.
  • the display controller 55 outputs the image data acquired from the second radio 54 to the monitor 56. Further, the display controller 55 can also output data for displaying information necessary for operating the forklift 20 to the monitor 56.
  • the display controller 55 and the operation controller 52 are configured so that information on each other can be acquired.
  • the monitor 56 is a display that displays the image data output from the display controller 55 as an captured image.
  • the monitor 56 is arranged at a position that can be visually recognized by an operator in the operation room. By displaying the image data output from the display controller 55 as an captured image, the monitor 56 allows the operator to visually recognize the captured image captured by the camera 41.
  • the monitor 56 also displays a guide for assisting the operation of the forklift 20. The operator in the operation room can operate the forklift 20 while looking at the monitor 56.
  • the loading operation is an operation of loading a load on the fork 27. That is, as shown in FIG. 4, the work is such that the fork 27 is supported by the fork 27 by inserting the fork 27 into the hole 72 of the pallet 71 and then raising the fork 27.
  • the load is a load loaded on the fork 27. If only the pallet 71 is loaded on the fork 27, the pallet 71 is a load, and if the pallet 71 on which the transported object is loaded is loaded on the fork 27, the transported object and the pallet 71 are loaded.
  • the pallet 71 shown in FIG. 4 is a flat pallet having a rectangular flat plate shape and having a hole 72 into which the fork 27 is inserted.
  • the pallet may be a post pallet, a mesh pallet, or the like.
  • the pallet 71 is provided with markers 73, 74 on the side surface, which is the opening surface of the two holes 72.
  • the markers 73 and 74 may be those marked on the pallet 71 itself, or may be those in which markers 73 and 74 separate from the pallet 71 are attached to the pallet 71.
  • two markers 73 and 74 are provided on the pallet 71 at intervals in the direction in which the two holes 72 that open on the same side surface are arranged.
  • the markers 73 and 74 have a pattern provided inside the square frame.
  • the patterns of the two markers 73 and 74 are different from each other.
  • the fork 27 is inserted into the hole 72 of the pallet 71, and the fork 27 is raised to support the pallet 71 with the fork 27.
  • the height of the fork 27, which is a part of the cargo handling device 24, is aligned with the height of the hole 72 which is the target position will be described.
  • the target position to be aligned with the cargo handling device 24 is the hole 72 of the pallet 71.
  • step S1 the image processing unit 42 derives the relative distance between the fork 27 and the pallet 71.
  • the image processing unit 42 derives the relative distance between the fork 27 and the hole 72 of the pallet 71 in the vertical direction, that is, the relative height between the fork 27 and the hole 72 of the pallet 71.
  • the relative height between the fork 27 and the hole 72 of the pallet 71 is, for example, the vertical separation distance between the vertical center position of the tip of the fork 27 and the vertical center position of the hole 72 of the pallet 71.
  • the image processing unit 42 determines whether or not the palette 71 exists in the image data acquired from the camera 41. The determination of whether or not the palette 71 exists in the image data is performed by determining whether or not the markers 73 and 74 exist in the image data.
  • the image processing unit 42 performs image recognition processing for image recognition of markers 73 and 74 from image data. As the image recognition process, for example, pattern matching is used in which the template image stored in advance in the ROM or the like of the image processing unit 42 is compared with the image data, and a region having a high degree of matching with the template image is searched for.
  • the template image is, for example, data showing a difference in luminance values between adjacent pixels.
  • the image processing unit 42 derives the relative distance between the fork 27 and the pallet 71 in the front-rear direction. Since the dimensions of the markers 73 and 74 are known, when the image processing unit 42 recognizes the markers 73 and 74, the image processing unit 42 derives the distance from the camera 41 to the markers 73 and 74 based on the dimensions of the markers 73 and 74 in the image data. be able to. Since the positional relationship between the camera 41 and the fork 27 is known, the image processing unit 42 can derive the relative distance between the fork 27 and the pallet 71 in the front-rear direction based on the distance from the camera 41 to the markers 73 and 74. it can.
  • the image processing unit 42 When the image processing unit 42 derives the relative distance between the fork 27 and the pallet 71 in the front-rear direction, the image processing unit 42 derives the relative height between the fork 27 and the hole 72 of the pallet 71.
  • the vertical separation distance between the fork 27 and the hole 72 of the pallet 71 in the image data changes depending on the relative distance between the fork 27 and the pallet 71 in the front-rear direction. In other words, there is a correlation between the relative distance between the fork 27 and the pallet 71 in the front-rear direction and the vertical distance between the fork 27 and the hole 72 of the pallet 71 in the image data.
  • the image processing unit 42 determines the holes of the fork 27 and the pallet 71 based on the correlation between the relative distance between the fork 27 and the pallet 71 in the front-rear direction and the vertical distance between the fork 27 and the hole 72 of the pallet 71 in the image data.
  • the relative height with 72 can be derived. For example, if the relative distance between the fork 27 and the pallet 71 in the front-rear direction can be grasped, the number of pixels between the fork 27 and the hole 72 of the pallet 71 in the image data can be changed to the hole 72 of the fork 27 and the pallet 71 in the real space. Can be converted to the relative height of. As a result, the image processing unit 42 can derive the relative height between the fork 27 and the hole 72 of the pallet 71. By performing the process of step S1, the image processing unit 42 functions as a relative distance derivation unit.
  • step S2 the image processing unit 42 wirelessly transmits data including the relative height between the fork 27 derived in step S1 and the hole 72 of the pallet 71 from the wireless unit 44.
  • the image processing unit 42 may cause the main controller 31 to perform wireless transmission by outputting the relative height between the fork 27 and the hole 72 of the pallet 71 to the main controller 31.
  • step S3 the display controller 55 determines whether or not the relative height between the fork 27 and the hole 72 of the pallet 71 is less than a predetermined threshold value.
  • the threshold value can be set by the user of the remote control system 10.
  • the display controller 55 may acquire the relative height between the fork 27 and the hole 72 of the pallet 71 from the operation controller 52 or from the first radio 53. If the determination result in step S3 is affirmative, the display controller 55 performs the process in step S4. On the other hand, if the determination result in step S3 is negative, the display controller 55 performs the process in step S5.
  • the display controller 55 superimposes the indicator I1 on the captured image I displayed on the monitor 56 and displays it.
  • the indicator I1 is a guide for aligning the cargo handling device 24 with the target position, and in the present embodiment, is a guide for aligning the height of the fork 27 with the height of the hole 72 of the pallet 71.
  • Indicator I1 indicates the difference between the hole 72 of the pallet 71, which is the target position, and the current position of the fork 27.
  • the indicator I1 includes a reference display B extending in the vertical direction of the captured image I in the captured image I, and a position display P for moving in the vertical direction of the captured image I in the reference display B.
  • the reference display B includes a hole display B1 at the center of the captured image I in the vertical direction, which is a display indicating the position of the hole 72.
  • the color and pattern of the reference display B are changed between the hole display B1 and the portion other than the hole display B1, so that the operator can distinguish between the hole display B1 and the portion other than the hole display B1.
  • the position display P is a display indicating the current position of the fork 27 in the vertical direction, that is, the current height of the fork 27.
  • the position of the position display P changes depending on the current height of the fork 27.
  • the positional relationship between the hole display B1 and the position display P is a representation of the positional relationship between the hole 72 of the pallet 71 and the fork 27 on a predetermined scale.
  • the hole display B1 and the position display P overlap, it can be said that the heights of the hole 72 of the pallet 71 and the fork 27 are the same. From the positional relationship between the hole display B1 and the position display P, the operator can recognize the difference between the height of the hole 72 of the pallet 71 and the current height of the fork 27.
  • the display controller 55 superimposes and displays the indicator I1 on the position along the hole 72 of the pallet 71 in the captured image I. It can be said that the display controller 55 displays the indicator I1 at a position where the movement of the operator's line of sight when viewing the hole 72 and the fork 27 of the pallet 71 and the indicator I1 in the captured image I is reduced. Since the display controller 55 can recognize the coordinates of the pallet 71 in the captured image I from the positions of the markers 73 and 74, the indicator I1 can be displayed along the hole 72 of the pallet 71.
  • the superimposed display of the indicator I1 is performed by the display controller 55 generating OSD: On Screen Display data indicating the indicator I1 and synthesizing the OSD data with the image data.
  • step S5 the display controller 55 hides the indicator I1. More specifically, the display controller 55 switches the indicator I1 to non-display if the indicator I1 is displayed in the previous control cycle, and hides the indicator I1 if the indicator I1 is hidden in the previous control cycle. Keep the display. As a result, the captured image I on which the indicator I1 is not displayed is displayed on the monitor 56. The indicator I1 is also hidden even when the palette 71 cannot be extracted from the image data in step S1. By performing the processes of step S3, step S4, and step S5, the display controller 55 functions as a guide display unit.
  • the indicator I1 is displayed on the monitor 56 by superimposing it on the captured image I.
  • the threshold value is a threshold value for switching between display and non-display of the indicator I1, and is set so that the indicator I1 is displayed when the fork 27 is located at a position where the position of the fork 27 is expected to be adjusted by the indicator I1. Has been done.
  • the operation support device 60 for the cargo handling vehicle used in the remote control system 10 is a member for displaying the captured image I and the indicator I1 on the monitor 56, the camera 41, the image processing unit 42, and the vehicle side. It can be said that the radio 43, the second radio 54, the display controller 55, and the monitor 56 are provided.
  • the display controller 55 superimposes and displays the indicator I1 on the captured image I when the relative height between the hole 72 of the pallet 71, which is the target position, and the fork 27 is less than the threshold value. Since the indicator I1 is hidden when the relative height between the hole 72 of the pallet 71 and the fork 27 is equal to or more than the threshold value, the indicator I1 is used until the relative height between the hole 72 of the pallet 71 and the fork 27 becomes less than the threshold value. It is suppressed that the captured image I of the monitor 56 becomes difficult to see.
  • the indicator I1 is displayed even when the relative height between the hole 72 of the pallet 71 and the fork 27 is equal to or greater than the threshold value, after roughly aligning the fork 27 while looking at the captured image I, When adjusting the position of the fork 27 by the indicator I1, it is difficult to find the indicator I1. Further, even when the relative height between the hole 72 of the pallet 71 and the fork 27 is equal to or greater than the threshold value, if the indicator I1 is displayed, the operator is likely to be overloaded with information, and the time required to select the necessary information. becomes longer.
  • the relative height between the hole 72 of the pallet 71 and the fork 27 is less than the threshold value and the indicator I1 is superimposed on the captured image I and displayed, the relative height between the hole 72 of the pallet 71 and the fork 27 is displayed.
  • Indicator I1 will be displayed at the stage when is switched from the threshold value or more to the threshold value or less. The operator can easily find the indicator I1 from the change in the display of the monitor 56, and can improve the efficiency of the operation. Further, since the indicator I1 is displayed when it is necessary to align the fork 27, the operator is less likely to fall into information overload, and the operation is facilitated.
  • the display controller 55 displays the indicator I1 when the relative height between the hole 72 of the pallet 71 and the fork 27 is less than the threshold value.
  • the operator monitors the captured image I of the monitor 56 when the relative height between the hole 72 of the pallet 71 and the fork 27 is equal to or more than the threshold value, and monitors when the relative height between the hole 72 of the pallet 71 and the fork 27 is less than the threshold value.
  • the fork 27 can be aligned by looking at the indicator I1 of the 56.
  • the cargo handling device 24 is aligned with the target position as compared with the case where the indicator I1 is superimposed and displayed on the monitor 56. It will be easier to do.
  • the display controller 55 displays the indicator I1 along the hole 72 of the pallet 71 shown in the captured image I.
  • the operator operates the forklift 20 while grasping the positional relationship between the target position and the cargo handling device 24.
  • the indicator I1 along the hole 72 of the pallet 71 which is the target position, the movement of the operator's line of sight when the indicator I1 is displayed on the monitor 56 is small. Therefore, it becomes easier to align the cargo handling device 24 with the target position.
  • Indicator I1 may be displayed at any position of the captured image I. For example, it may be displayed at a position such as any of the four corners of the captured image I displayed on the monitor 56 so as not to hinder the operator's visibility of the captured image I. In other words, the indicator I1 may not be displayed along the hole 72 of the pallet 71.
  • the guide does not have to be the indicator I1 indicating the difference between the current position and the target position of the cargo handling device 24.
  • the guide may display a line or the like at a portion of the captured image I at the position of the hole 72 of the fork 27. The operator can align the fork 27 by aligning the position of the fork 27 on the captured image I with the guide.
  • the image processing unit 42 may derive the relative distance between the fork 27 and the pallet 71 in the front-rear direction by extracting the pallet 71 by image recognition instead of extracting the markers 73 and 74 by image recognition.
  • the image processing unit 42 extracts an area similar to the front surface of the palette 71 from the image data by pattern matching. As a result, the image processing unit 42 can extract the palette 71 from the image data.
  • the image processing unit 42 derives the relative distance between the fork 27 and the pallet 71 in the front-rear direction by the same processing as in the embodiment.
  • the target position may be a target for aligning the cargo handling device 24 when performing the loading work by the cargo handling device 24.
  • the loading operation is an operation of placing the load loaded on the cargo handling device 24 at the target position.
  • the fork 27 is lowered after the load loaded on the cargo handling device 24 is positioned above the target position in the vertical direction. After the load is placed at the target position, the forklift 20 is retracted to separate the fork 27 from the load.
  • the rack has shelves supported by pillars, and a plurality of shelves are provided side by side in the vertical direction.
  • the forklift 20 transfers the pallet 71 from the fork 27 to the shelf board.
  • the shelf board is a target position to be aligned with the cargo handling device 24.
  • markers 73 and 74 similar to those in the embodiment may be provided on the shelf board.
  • the image processing unit 42 can recognize the shelf board by extracting the markers 73 and 74 from the image data by image recognition. Further, the image processing unit 42 may recognize the shelf board by extracting the shelf board by image recognition.
  • the image processing unit 42 When the image processing unit 42 recognizes the shelf board, the image processing unit 42 derives the relative distance between the fork 27 and the shelf board in the front-rear direction by the same method as in the embodiment, and derives the relative height between the pallet 71 and the shelf board. More specifically, since the dimensions of the pallet 71 are determined by the standard and are known, the image processing unit 42 determines the relative distance between the fork 27 and the shelf board in the front-rear direction, and the pallet 71 and the shelf board in the image data. The relative height between the pallet 71 and the shelf board can be derived from the vertical separation distance of the pallet 71. The relative height between the pallet 71 and the shelf board is, for example, the vertical separation distance between the lower surface of the pallet 71 and the upper surface of the shelf board. The image processing unit 42 wirelessly transmits the relative height between the pallet 71 and the shelf board from the vehicle-side radio 43.
  • the display controller 55 displays an indicator when the relative height between the pallet 71 and the shelf board is less than the threshold value.
  • the indicator represents, for example, the difference between the current position of the pallet 71 and the target position.
  • the alignment of the pallet 71 and the shelf board is regarded as aligning the cargo handling device 24 with the shelf board. Can be done.
  • the operation support device 60 of the cargo handling vehicle derives the relative distance between the target position and the cargo handling device 24 even when performing the loading operation, and switches the display / non-display of the indicator according to the relative distance. be able to.
  • the operation support device 60 of the cargo handling vehicle may derive the relative distance between the target position and the cargo handling device 24 only when the cargo picking operation is performed, and may switch the display / non-display of the indicator according to the relative distance.
  • the operation support device 60 of the cargo handling vehicle may derive the relative distance between the target position and the cargo handling device 24 only when the loading operation is performed, and may switch the display / non-display of the indicator according to the relative distance.
  • the operation support device 60 of the cargo handling vehicle derives the relative distance between the target position and the cargo handling device 24 both when performing the loading work and when performing the loading work, and displays and hides the indicator according to the relative distance. You may switch the display. That is, the operation support device 60 of the cargo handling vehicle may be used when performing at least one of the loading work and the loading work by the cargo handling device 24.
  • the left-right alignment of the cargo handling device 24 and the target position the alignment for reducing the inclination of the cargo handling device 24 with respect to the target position, and the front-rear alignment of the cargo handling device 24 and the target position are performed. What to do may be displayed.
  • the target position is the center position in the left-right direction of the pallet 71.
  • the left-right alignment of the cargo handling device 24 and the target position is performed by making the center position of the cargo handling device 24 in the left-right direction and the center position of the pallet 71 in the left-right direction overlap in the front-rear direction.
  • the image processing unit 42 can detect the center positions of the two markers 73 and 74 as the center positions in the left-right direction of the pallet 71.
  • the alignment for reducing the inclination of the cargo handling device 24 with respect to the target position is the alignment for reducing the difference in inclination of the cargo handling device 24 and the target position in the horizontal direction.
  • the alignment is for reducing the angular deviation between the cargo handling device 24 and the target position in the horizontal direction.
  • the target position is the center position in the left-right direction of the pallet 71.
  • the inclination of the cargo handling device 24 with respect to the target position is the deviation angle between the center line passing through the center position in the left-right direction of the cargo handling device 24 in the front-rear direction and the center line passing through the center position in the left-right direction of the pallet 71 in the front-rear direction. Is.
  • the alignment is performed so that the angle difference between the two center lines described above becomes small.
  • the inclination of the cargo handling device 24 with respect to the target position can be derived from the difference in dimensions between the two markers 73 and 74.
  • the difference in dimensions between the two markers 73 and 74 is small.
  • the inclination of the cargo handling device 24 with respect to the target position can be derived from the dimensional ratio of the two markers 73 and 74.
  • FIG. 6 shows an example of the indicator I2 for horizontally aligning the cargo handling device 24 and the pallet 71 and aligning the cargo handling device 24 with respect to the target position in order to reduce the inclination of the cargo handling device 24.
  • the indicator I2 includes a first reference line L1 extending in the vertical direction of the captured image I on the captured image I, and a second reference line L2 extending in the lateral direction of the captured image I on the captured image I.
  • the first reference line L1 and the second reference line L2 are orthogonal to each other.
  • the first reference line L1 indicates the center line of the pallet 71.
  • the indicator I2 includes an arrow A and a cargo handling line L3 orthogonal to the arrow A on the captured image I.
  • the direction of the arrow A indicates the direction in which the cargo handling device 24 faces
  • the intersection P2 between the arrow A and the cargo handling line L3 indicates the center position of the cargo handling device 24 in the left-right direction.
  • the difference between the inclination of the arrow A and the inclination of the first reference line L1 indicates the inclination of the cargo handling device 24 with respect to the pallet 71.
  • the lateral difference between the intersection P1 of the first reference line L1 and the second reference line L2 and the intersection P2 of the arrow A and the cargo handling line L3 indicates a lateral deviation between the cargo handling device 24 and the pallet 71. There is. As shown in FIG.
  • the indicator I2 described above may be displayed after the vertical alignment of the fork 27 and the pallet 71 is completed. In this case, it can be said that the indicator I2 is displayed when the relative height between the fork 27 and the pallet 71 is less than a predetermined threshold value.
  • the threshold value is set to a value at which it can be determined that the vertical alignment of the fork 27 and the pallet 71 is completed. Will be done. For example, when the height of the fork 27 and the height of the hole 72 of the pallet 71 match, the display controller 55 displays the indicator I2.
  • the indicator I2 described above may be displayed when the relative distance between the fork 27 and the pallet 71 in the front-rear direction becomes less than a predetermined threshold value.
  • the threshold value is set to a value at which it is preferable to perform adjustment by the indicator I1 after the rough alignment of the fork 27 and the pallet 71 in the front-rear direction is completed.
  • Indicator I1 includes left-right alignment of the cargo handling device 24 and the target position, alignment for reducing the inclination of the cargo handling device 24 with respect to the target position, alignment of the cargo handling device 24 and the target position in the front-rear direction, and It suffices to display something that guides at least one of the vertical alignments between the cargo handling device 24 and the target position.
  • the operation support device for the cargo handling vehicle may support the passengers of the forklift 20 as an operator.
  • the forklift 20 is provided with a display controller 55 so that the indicator I1 can be displayed. Since it is not necessary to transmit the image data to the remote control device 50, the remote control device 50, the vehicle-side radio 43, and the radio unit 44 may not be provided.
  • the operation support device for the cargo handling vehicle is the camera 41, the monitor 56 provided on the forklift 20, the image processing unit 42 for deriving the relative distance between the target position and the cargo handling device 24, and the captured image I on the monitor 56. It suffices to include a display controller 55 for displaying the above.
  • the relative distance between the target position and the cargo handling device 24 may be derived by the display controller 55.
  • the display controller 55 derives the relative distance between the target position and the cargo handling device 24 from the image data sent from the vehicle side radio 43. It can be said that the relative distance between the target position and the cargo handling device 24 can be derived by performing the same processing as the image processing unit 42 of the embodiment by the display controller 55. That is, the relative distance between the target position and the cargo handling device 24 may be derived on the forklift 20 side or the remote control device 50 side.
  • the forklift 20 may include one device having both the function of the main controller 31 and the function of the image processing unit 42, instead of the main controller 31 and the image processing unit 42.
  • the remote control device 50 may include one device having both the function of the operation controller 52 and the function of the display controller 55 instead of the operation controller 52 and the display controller 55.
  • the operation support device for the cargo handling vehicle may support both the operator in the operation room and the passenger of the forklift 20.
  • the monitor 56 is also provided at a position visible to the passengers of the forklift 20.
  • the captured image I and the indicator I1 captured by the camera 41 are displayed on the visible monitor 56 of the occupant of the forklift 20.
  • the image I and the indicator I1 captured by the camera 41 are displayed on the monitor 56 in the operation room.
  • the forklift 20 may be a forklift that no one can board.
  • the forklift 20 may be a forklift dedicated to operation by the remote control device 50.
  • the camera 41 may be attached to a member different from the member that moves up and down together with the fork 27, that is, a member that does not move up and down even if the fork 27 moves up and down. Even when the camera 41 is attached to a member different from the member that moves up and down together with the fork 27, the relative distance between the fork 27 and the pallet 71 in the front-rear direction can be derived as in the embodiment.
  • the upper surface of the pallet 71 shown in the captured image I becomes larger as the height difference between the camera 41 and the pallet 71 becomes smaller.
  • the difference in height between the camera 41 and the pallet 71 can be derived from the relative distance between the fork 27 and the pallet 71 in the front-rear direction and the dimension of the upper surface of the pallet 71 shown in the captured image I. Since the installation height of the camera 41, which is the height from the road surface to the camera 41, is known, the height of the pallet 71 from the road surface can be derived.
  • the forklift 20 is provided with a lift sensor, and the height of the fork 27 from the road surface can be detected by the lift sensor.
  • the main controller 31 obtains the height of the pallet 71 from the road surface from the image processing unit 42, and derives the difference from the height of the fork 27 from the road surface detected by the lift sensor to obtain the height of the fork 27 and the fork 27.
  • the relative height of the pallet 71 with respect to the hole 72 can be derived.
  • the relative distance between the fork 27 and the pallet 71 in the front-rear direction can be derived. Therefore, even when the display / non-display of the indicator is switched using the relative distance between the fork 27 and the pallet 71 in the front-rear direction as a threshold value, the camera 41 is attached to a member different from the member that moves up and down together with the fork 27. May be good.
  • the camera 41 may be arranged so that the target position can be imaged, and the arranged position may be changed as appropriate. Further, the number of cameras 41 may be changed as appropriate.
  • a cargo handling tool other than the fork 27 may be used.
  • the cargo handling tool may be an attachment such as a clamp or a ram.
  • the operation support device for the cargo handling vehicle may be a device for assisting an operator who operates a cargo handling vehicle other than the forklift 20 such as a crane vehicle.
  • I1, I2 Indicator as a guide 20 Forklift as a cargo handling vehicle 24 Cargo handling device 41 Camera 42 Image processing unit as a relative distance derivation unit 55 Display controller as a guide display unit 56 Monitor 60 Operation support device for a cargo handling vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

荷役車両（２０）の操作支援装置（６０）は、モニタ（５６）に撮像画像（Ｉ）及びインジケータ（Ｉ１，Ｉ２）を表示するための部材であるカメラ（４１）、画像処理部（４２）、車両側無線機（４３）、第２無線機（５４）、表示コントローラ（５５）、及びモニタ（５６）を備える。画像処理部（４２）は、目標位置となるパレット（７１）の孔（７２）と、フォーク（２７）との相対高さを導出する。表示コントローラ（５５）は、目標位置となるパレット（７１）の孔（７２）と、フォーク（２７）との相対高さが閾値未満の場合にインジケータ（Ｉ１，Ｉ２）を撮像画像（Ｉ）に重畳して表示する。表示コントローラ（５５）は、目標位置となるパレット（７１）の孔（７２）と、フォーク（２７）との相対高さが閾値以上の場合にインジケータ（Ｉ１，Ｉ２）を非表示にする。

Description

荷役車両の操作支援装置
　本開示は、荷役車両の操作支援装置に関する。
　荷役車両は、荷役装置に積載された荷の搬送を行う。モニタに表示された撮像画像によって荷役車両の操作を支援する荷役車両の操作支援装置としては、例えば、特許文献１に記載されている。特許文献１に記載の荷役車両の操作支援装置は、カメラと、カメラにより撮像された撮像画像が表示されるモニタと、画像制御部と、を備える。画像制御部は、モニタにカメラによって撮像された撮像画像を表示させる。画像制御部は、画像認識によって撮像画像中からパレットや棚に付されたマーカーを検出し、マーカーの位置から目標位置を認識する。目標位置とは、荷役装置による荷置き作業及び荷取り作業の少なくとも一方の作業を行う際に荷役装置の位置合わせをする対象となる位置である。画像制御部は、荷役装置を目標位置に位置合わせするためのガイドを撮像画像に重畳して表示する。荷役車両の操作者は、モニタに表示された撮像画像及びガイドを見ながら荷役車両を操作することができる。
特開２００３－１５５１９８号公報
　荷役車両の操作支援装置を用いて荷役装置を目標位置に位置合わせする場合、まず、操作者は、モニタに表示される撮像画像を見ながら大まかに荷役装置の位置合わせを行う。その後、操作者は、モニタに表示されるガイドを見ながら荷役装置の位置を調整する。これにより、効率的に荷役装置の位置合わせを行えると考えられる。特許文献１では、マーカーの検出、即ち、目標位置の検出によりガイドが表示される。従って、ガイドにより撮像画像が視認しにくくなり、荷役装置の位置合わせが行いにくくなる場合が生じ得る。
　本開示の目的は、荷役装置を目標位置に位置合わせしやすい荷役車両の操作支援装置を提供することにある。
　上記課題を解決する荷役車両の操作支援装置は、荷役装置に積載された荷の搬送を行う荷役車両の操作支援装置であって、前記荷役車両の前方を撮像するカメラと、前記荷役車両の操作者に視認可能な位置に配置されており、前記カメラにより撮像された撮像画像が表示されるモニタと、前記荷役装置による荷置き作業及び荷取り作業の少なくとも一方の作業を行う際に前記荷役装置の位置合わせをする対象となる目標位置と、前記荷役装置との相対距離を導出する相対距離導出部と、前記相対距離が予め定められた閾値未満の場合に前記荷役装置を前記目標位置に位置合わせするためのガイドを前記撮像画像に重畳して表示し、前記相対距離が前記閾値以上の場合に前記ガイドを非表示にするガイド表示部と、を備える。
　ガイド表示部は、目標位置と荷役装置との相対距離が閾値未満の場合にガイドを撮像画像に重畳して表示する。目標位置と荷役装置との相対距離が閾値以上の場合にはガイドは非表示なので、目標位置と荷役装置との相対距離が閾値未満になるまではガイドによってモニタの撮像画像が視認しにくくなることが抑制されている。荷役車両の操作者は、目標位置と荷役装置との相対距離が閾値以上の場合にはモニタの撮像画像、目標位置と荷役装置との相対距離が閾値未満になるとモニタのガイドを見て荷役装置の位置合わせを行うことができる。従って、目標位置と荷役装置との相対距離が閾値以上の場合であってもモニタにガイドが表示される場合に比べて、荷役装置を目標位置に位置合わせしやすくなる。
　上記荷役車両の操作支援装置について、前記ガイドは、前記荷役装置の現在位置と前記目標位置との差を示すインジケータであってもよい。
　荷役装置の現在位置と目標位置との差を把握しやすく、更に荷役装置を目標位置に位置合わせしやすくなる。
　上記荷役車両の操作支援装置について、前記ガイド表示部は、前記撮像画像に写る前記目標位置に沿うように前記ガイドを表示してもよい。
　荷役車両の操作者は、モニタの撮像画像を見ながら荷役車両を操作する際に、目標位置と荷役装置との位置関係を確認しながら荷役車両の操作を行う。目標位置に沿うようにガイドを表示することで、モニタにガイドを表示したときの視線移動が少ない。このため、更に、荷役装置を目標位置に位置合わせしやすくなる。
　本開示によれば、荷役装置を目標位置に位置合わせしやすい。
遠隔操作システムの概略構成図。 フォークリフト、及び遠隔操作装置の概略構成図。 遠隔操作システムで行われる処理を示すフローチャート。 目標位置と荷役装置との相対距離が閾値以上の場合のモニタを示す概略図。 目標位置と荷役装置との相対距離が閾値未満の場合のモニタを示す概略図。 変形例のインジケータが表示されたモニタを示す図。 インジケータの動きを示す図。
　以下、荷役車両の操作支援装置の一実施形態について説明する。
　図１に示すように、遠隔操作システム１０は、荷役車両としてのフォークリフト２０と、フォークリフト２０を遠隔操作するのに用いられる遠隔操作装置５０と、を備える。フォークリフト２０は荷の搬送等が行われる作業場に配置される。遠隔操作装置５０は操作室にいる操作者による操作によりフォークリフト２０を遠隔操作するための部材である。操作室は、作業場を直接視認できない場所、あるいは、作業場を直接視認しにくい場所である。なお、以下の説明において、前後左右とは、フォークリフト２０の前後左右である。フォークリフト２０の左右方向とは、フォークリフト２０の車幅方向である。
　本実施形態のフォークリフト２０はリーチ式である。なお、フォークリフト２０としては、カウンタ式のものが用いられてもよい。フォークリフト２０は、車体２１と、車体２１に設けられた車輪２２と、車体２１の前方に向けて延びたリーチレグ２３と、車体２１の前方に設けられた荷役装置２４と、を備える。リーチレグ２３は、左右方向に離間して一対設けられている。荷役装置２４は、リーチレグ２３に対して起立したマスト２５と、マスト２５に取り付けられたバックレスト２６と、バックレスト２６に取り付けられたフォーク２７と、を備える。フォーク２７は、左右方向に離間して一対設けられている。フォーク２７は、荷が積載される部材である荷役具である。
　図１及び図２に示すように、フォークリフト２０は、フォークリフト２０に走行動作を行わせる駆動機構２８と、フォークリフト２０に荷役動作を行わせる荷役機構２９と、メインコントローラ３１と、荷役操作部３２と、を備える。
　駆動機構２８は、車輪２２を回転させる駆動源、及びフォークリフト２０の操舵を行う操舵機構などを含む。荷役機構２９は、マスト２５を動作させる油圧シリンダに作動油を供給する荷役ポンプ、荷役ポンプを駆動させる駆動源、作動油の流通を制御するバルブなどを含む。荷役機構２９は、マスト２５をリーチレグ２３に沿って前後方向に移動させるリーチ動作、マスト２５を傾動させるティルト動作、マスト２５を昇降させるリフト動作を荷役装置２４に行わせることができる。バックレスト２６及びフォーク２７は、マスト２５とともに移動、傾動、昇降する。荷役動作は、リーチ動作、ティルト動作、リフト動作のいずれか１つを含む動作である。
　メインコントローラ３１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。メインコントローラ３１の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。メインコントローラ３１は、駆動機構２８及び荷役機構２９を制御することで、フォークリフト２０に走行動作及び荷役動作をさせる。
　荷役操作部３２は、リーチ動作、ティルト動作、リフト動作に対応して個別に設けられており、荷役操作部３２に対応した荷役動作が行われる。荷役操作部３２は、フォークリフト２０の搭乗者によって操作される。図示は省略するが、フォークリフト２０は、荷役操作部３２の操作量を検出する操作量検出部を備え、操作量検出部の検出結果がメインコントローラ３１に出力される。また、図示は省略するが、フォークリフト２０は、搭乗者によって操作される走行操作部を備える。メインコントローラ３１は、荷役操作部３２及び走行操作部の操作に応じて駆動機構２８及び荷役機構２９の制御を行う。即ち、本実施形態のフォークリフト２０は、遠隔操作装置５０を用いた遠隔操作に加えて、フォークリフト２０の搭乗者による操作も可能なフォークリフトである。
　フォークリフト２０は、カメラ４１と、画像処理部４２と、車両側無線機４３と、無線ユニット４４と、を備える。カメラ４１としては、例えば、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサを用いたものが挙げられる。
　カメラ４１は、フォーク２７に荷が積載されていない状態で、水平画角及び垂直画角により規定される撮像範囲にフォーク２７が含まれるように取り付けられている。詳細にいえば、フォーク２７に荷が積載されていない状態で、カメラ４１の撮像範囲には２つのフォーク２７の先端が含まれるようにカメラ４１は取り付けられている。カメラ４１は、フォーク２７とともに昇降する部材に取り付けられている。本実施形態では、カメラ４１は、バックレスト２６に取り付けられている。カメラ４１は、フォーク２７よりも鉛直方向上方に設けられている。カメラ４１は、フォークリフト２０の前方を撮像する。カメラ４１は、荷役装置２４の前方を向いており、かつ、鉛直方向下方に向けて傾斜するように配置されている。従って、カメラ４１は、鉛直方向上方からフォーク２７を鳥瞰するように配置されているといえる。なお、荷役装置２４の前方とは、フォーク２７の向く方向ともいえる。
　画像処理部４２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。画像処理部４２の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。画像処理部４２は、カメラ４１から所定の間隔で画像データを取得する。画像データは、例えば、ＲＧＢ形式のデータである。画像処理部４２は、カメラ４１から取得した画像データに対して画像処理を行う。画像処理部４２とメインコントローラ３１とは、ＣＡＮ：Controller Area NetworkやＬＩＮ：Local Interconnect Networkなどのプロトコルで互いに通信を行うことが可能である。
　車両側無線機４３は、遠隔操作装置５０に画像データを送信するための通信インターフェースである。車両側無線機４３は、画像処理部４２から出力された画像データを変調して無線信号を生成する。車両側無線機４３は、無線信号を送信する。
　無線ユニット４４は、遠隔操作装置５０と相互に通信を行うための通信インターフェースである。無線ユニット４４は、メインコントローラ３１や画像処理部４２から出力されたデータを変調して無線信号を生成する変調部と、遠隔操作装置５０から受信した無線信号を復調して、復調されたデータをメインコントローラ３１に出力する復調部と、を含む。無線ユニット４４は、フォークリフト２０の周辺の情報や、フォークリフト２０の情報を遠隔操作装置５０に送信する。フォークリフト２０の周辺の情報としては、例えば、フォーク２７と荷との相対距離が挙げられる。フォークリフト２０の情報としては、例えば、フォークリフト２０の操舵角やフォークリフト２０の速度が挙げられる。
　次に、遠隔操作装置５０について説明する。
　図２に示すように、遠隔操作装置５０は、フォークリフト２０を操作するための操作部５１と、操作コントローラ５２と、第１無線機５３と、第２無線機５４と、表示コントローラ５５と、モニタ５６と、を備える。操作部５１、操作コントローラ５２、表示コントローラ５５、及びモニタ５６は、操作室に設けられている。第１無線機５３及び第２無線機５４は、作業場に設けられている。
　操作部５１は、操作室にいる操作者によって操作される。操作部５１は、例えば、傾倒可能なレバー式の操作部である。操作部５１は、遠隔操作装置５０によりフォークリフト２０を操作する際に用いられる。操作部５１には、フォークリフト２０を走行動作させる際に操作される走行操作部と、フォークリフト２０を荷役動作させる際に操作される荷役操作部と、が含まれる。操作部５１の操作量は、図示しない操作量検出部により検出され、操作コントローラ５２に出力される。
　操作コントローラ５２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。操作コントローラ５２の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。操作コントローラ５２は、操作部５１の操作量に応じて指令を生成する。
　第１無線機５３は、無線ユニット４４と相互に通信を行うための通信インターフェースである。第１無線機５３は、操作コントローラ５２から出力されたデータを変調して無線信号を生成する変調部と、無線ユニット４４から受信した無線信号を復調して、復調されたデータを操作コントローラ５２に出力する復調部と、を含む。
　操作コントローラ５２は、操作部５１の操作量に応じた指令を含むデータを第１無線機５３に出力することで、第１無線機５３及び無線ユニット４４を介してメインコントローラ３１に指令を与えることができる。メインコントローラ３１は、操作コントローラ５２からの指令を受信すると、指令に従って駆動機構２８及び荷役機構２９を制御する。これにより、操作室にいる操作者は、フォークリフト２０を遠隔操作することが可能である。また、操作コントローラ５２は、第１無線機５３を介してフォークリフト２０の周辺の情報やフォークリフト２０の情報を認識可能である。本実施形態では、フォークリフト２０は、操作室にいる操作者に操作される。操作室にいる操作者が、荷役車両の操作者となる。
　第２無線機５４は、車両側無線機４３からの画像データを受信するための通信インターフェースである。第２無線機５４は、車両側無線機４３から受信した無線信号を復調し、復調された画像データを表示コントローラ５５に出力する。
　表示コントローラ５５は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。表示コントローラ５５の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。表示コントローラ５５は、第２無線機５４から取得した画像データをモニタ５６に出力する。また、表示コントローラ５５は、フォークリフト２０の運転に必要となる情報を表示するためのデータをモニタ５６に出力することも可能である。表示コントローラ５５と操作コントローラ５２とは、互いの情報を取得可能に構成されている。
　モニタ５６は、表示コントローラ５５から出力された画像データを撮像画像として表示するディスプレイである。モニタ５６は、操作室にいる操作者が視認可能な位置に配置されている。モニタ５６は、表示コントローラ５５から出力された画像データを撮像画像として表示することで、操作者にカメラ４１に撮像されている撮像画像を視認させることができる。また、モニタ５６には、フォークリフト２０の操作を支援するためのガイドも表示される。操作室にいる操作者は、モニタ５６を見ながらフォークリフト２０を操作することが可能である。
　次に、モニタ５６への表示を行うために遠隔操作システム１０で行われる処理について図３に従って説明する。以下の説明において、フォークリフト２０によって荷取り作業を行う場合を例に挙げて説明する。荷取り作業とは、フォーク２７に荷を積載する作業である。即ち、図４に示すように、パレット７１の孔７２にフォーク２７を差し込んだ後にフォーク２７を上昇させることでフォーク２７にパレット７１を支持させる作業である。なお、荷とは、フォーク２７に積載される物である。パレット７１のみがフォーク２７に積載されていればパレット７１が荷であり、搬送物が積載されたパレット７１がフォーク２７に積載されていれば搬送物及びパレット７１が荷である。
　図４に示すパレット７１は、矩形平板状であり、フォーク２７が挿入される孔７２を備える平パレットである。パレットは、ポストパレットやメッシュパレット等であってもよい。パレット７１は、２つの孔７２の開口する面である側面にマーカー７３，７４を備える。マーカー７３，７４としては、パレット７１自体に印されたものであってもよいし、パレット７１とは別体のマーカー７３，７４をパレット７１に取り付けたものであってもよい。本実施形態では、同一の側面に開口する２つの孔７２の並ぶ方向に間隔を開けて２つのマーカー７３，７４がパレット７１に設けられている。マーカー７３，７４は、四角枠の内側にパターンが設けられたものである。２つのマーカー７３，７４同士は、パターンが異なる。前述したように、荷取り作業では、パレット７１の孔７２にフォーク２７を差し込み、フォーク２７を上昇させることでパレット７１をフォーク２７で支持する。本実施形態では、一例として、目標位置となる孔７２の高さに、荷役装置２４の一部であるフォーク２７の高さを位置合わせする場合について説明する。荷役装置２４の位置合わせをする対象となる目標位置はパレット７１の孔７２となる。
　図３に示すように、ステップＳ１において、画像処理部４２は、フォーク２７とパレット７１との相対距離を導出する。本実施形態では、画像処理部４２は、フォーク２７とパレット７１の孔７２との鉛直方向の相対距離、即ち、フォーク２７とパレット７１の孔７２との相対高さを導出する。フォーク２７とパレット７１の孔７２との相対高さは、例えば、フォーク２７の先端における鉛直方向の中心位置と、パレット７１の孔７２における鉛直方向の中心位置との鉛直方向の離間距離である。以下、ステップＳ１で行われる処理について詳細に説明を行う。
　画像処理部４２は、カメラ４１から取得した画像データにパレット７１が存在するか否かを判定する。画像データにパレット７１が存在するか否かの判定は、画像データにマーカー７３，７４が存在するか否かを判定することで行われる。画像処理部４２は、画像データからマーカー７３，７４を画像認識する画像認識処理を行う。画像認識処理としては、例えば、画像処理部４２のＲＯＭ等に予め記憶されたテンプレート画像と画像データとの比較を行い、テンプレート画像に一致する度合いが高い領域を探索するパターンマッチングが用いられる。テンプレート画像は、例えば、隣接する画素間における輝度値の差を示すデータである。
　画像データからマーカー７３，７４が抽出されると、画像処理部４２は、フォーク２７とパレット７１との前後方向の相対距離を導出する。マーカー７３，７４の寸法は既知であるため、画像処理部４２は、マーカー７３，７４を認識すると、画像データにおけるマーカー７３，７４の寸法に基づきカメラ４１からマーカー７３，７４までの距離を導出することができる。カメラ４１とフォーク２７との位置関係は既知であるため、画像処理部４２はカメラ４１からマーカー７３，７４までの距離に基づき、フォーク２７とパレット７１との前後方向の相対距離を導出することができる。フォーク２７とパレット７１との前後方向の相対距離は、例えば、フォーク２７の先端と、パレット７１の側面のうちフォークリフト２０側の面＝パレット７１の前面との前後方向の離間距離である。
　画像処理部４２は、フォーク２７とパレット７１との前後方向の相対距離を導出すると、フォーク２７とパレット７１の孔７２との相対高さを導出する。画像データにおけるフォーク２７とパレット７１の孔７２との上下方向の離間距離は、フォーク２７とパレット７１との前後方向の相対距離によって変化する。言い換えれば、フォーク２７とパレット７１との前後方向の相対距離と、画像データにおけるフォーク２７とパレット７１の孔７２との上下方向への離間距離には相関がある。画像処理部４２は、フォーク２７とパレット７１との前後方向の相対距離と、画像データにおけるフォーク２７とパレット７１の孔７２との上下方向の離間距離との相関から、フォーク２７とパレット７１の孔７２との相対高さを導出することができる。例えば、フォーク２７とパレット７１との前後方向の相対距離を把握できれば、画像データにおけるフォーク２７とパレット７１の孔７２との間の画素数を実空間上でのフォーク２７とパレット７１の孔７２との相対高さに換算することができる。これにより、画像処理部４２は、フォーク２７とパレット７１の孔７２との相対高さを導出可能である。ステップＳ１の処理を行うことで、画像処理部４２は、相対距離導出部として機能している。
　次に、ステップＳ２において、画像処理部４２は、ステップＳ１で導出したフォーク２７とパレット７１の孔７２との相対高さを含むデータを無線ユニット４４から無線送信する。なお、画像処理部４２は、フォーク２７とパレット７１の孔７２との相対高さをメインコントローラ３１に出力することでメインコントローラ３１に無線送信を行わせてもよい。
　次に、ステップＳ３において、表示コントローラ５５は、フォーク２７とパレット７１の孔７２との相対高さが、予め定められた閾値未満か否かを判定する。閾値は、遠隔操作システム１０のユーザーが任意の値を設定することができる。なお、表示コントローラ５５は、フォーク２７とパレット７１の孔７２との相対高さを操作コントローラ５２から取得してもよいし、第１無線機５３から取得してもよい。ステップＳ３の判定結果が肯定の場合、表示コントローラ５５はステップＳ４の処理を行う。一方で、ステップＳ３の判定結果が否定の場合、表示コントローラ５５はステップＳ５の処理を行う。
　図３及び図５に示すように、ステップＳ４において、表示コントローラ５５は、モニタ５６に表示される撮像画像ＩにインジケータＩ１を重畳して表示させる。インジケータＩ１は、荷役装置２４を目標位置に位置合わせするためのガイドであり、本実施形態ではフォーク２７の高さをパレット７１の孔７２の高さに位置合わせするためのガイドである。インジケータＩ１は、目標位置であるパレット７１の孔７２とフォーク２７の現在位置との差を示すものである。インジケータＩ１は、撮像画像Ｉ中で撮像画像Ｉの上下方向に延びる基準表示Ｂと、基準表示Ｂ中を撮像画像Ｉの上下方向に移動する位置表示Ｐと、を備える。基準表示Ｂは、撮像画像Ｉの上下方向の中心に、孔７２の位置を示す表示である孔表示Ｂ１を備える。基準表示Ｂは、孔表示Ｂ１と孔表示Ｂ１以外の部分とで色彩や模様等が変更されており、操作者が孔表示Ｂ１と孔表示Ｂ１以外の部分とを識別可能にされている。位置表示Ｐは、フォーク２７の鉛直方向の現在位置、即ち、フォーク２７の現在高さを示す表示である。位置表示Ｐは、フォーク２７の現在高さによって位置が変化する。孔表示Ｂ１と位置表示Ｐとの位置関係は、パレット７１の孔７２とフォーク２７との位置関係を所定の縮尺で表現したものである。孔表示Ｂ１と位置表示Ｐとが重なり合っていれば、パレット７１の孔７２とフォーク２７の高さは一致しているといえる。孔表示Ｂ１と、位置表示Ｐとの位置関係から操作者は、パレット７１の孔７２の高さとフォーク２７の現在高さとの差を認識することができる。
　表示コントローラ５５は、撮像画像Ｉにおけるパレット７１の孔７２に沿う位置にインジケータＩ１を重畳して表示させる。表示コントローラ５５は、撮像画像Ｉにおけるパレット７１の孔７２及びフォーク２７と、インジケータＩ１とを見る際の操作者の視線移動が少なくなる位置にインジケータＩ１の表示を行うといえる。なお、表示コントローラ５５は、マーカー７３，７４の位置から撮像画像Ｉ中のパレット７１の座標を認識することができるため、パレット７１の孔７２に沿うようにインジケータＩ１を表示させることができる。
　なお、インジケータＩ１の重畳表示は、表示コントローラ５５がインジケータＩ１を示すＯＳＤ：On Screen Displayデータを生成し、このＯＳＤデータを画像データに合成することで行われる。
　図３及び図４に示すように、ステップＳ５において、表示コントローラ５５は、インジケータＩ１を非表示にする。詳細に言えば、表示コントローラ５５は、前回の制御周期でインジケータＩ１が表示されていれば、インジケータＩ１を非表示に切り替え、前回の制御周期でインジケータＩ１が非表示の場合にはインジケータＩ１の非表示を維持する。これにより、モニタ５６には、インジケータＩ１の表示されていない撮像画像Ｉが表示されることになる。なお、ステップＳ１で画像データからパレット７１を抽出できない場合にも、インジケータＩ１は非表示とされる。ステップＳ３、ステップＳ４、及びステップＳ５の処理を行うことで、表示コントローラ５５はガイド表示部として機能している。
　上記した処理が所定の制御周期で繰り返し行われることで、フォーク２７とパレット７１の孔７２との相対高さが閾値未満の場合にはモニタ５６に撮像画像Ｉに重畳してインジケータＩ１が表示され、フォーク２７とパレット７１の孔７２との相対高さが閾値以上の場合にはモニタ５６にインジケータＩ１が表示されなくなる。閾値は、インジケータＩ１の表示と非表示とを切り替えるための閾値であり、インジケータＩ１によるフォーク２７の位置調整を行うと想定される位置にフォーク２７がある場合にインジケータＩ１が表示されるように設定されている。
　上記したように、モニタ５６に撮像画像ＩとインジケータＩ１とを表示することで、操作者がフォークリフト２０を操作する際に、操作者の支援を行うことができる。本実施形態のように、遠隔操作システム１０に用いられる荷役車両の操作支援装置６０は、モニタ５６に撮像画像Ｉ及びインジケータＩ１を表示するための部材であるカメラ４１、画像処理部４２、車両側無線機４３、第２無線機５４、表示コントローラ５５、及びモニタ５６を備えているといえる。
　本実施形態の作用について説明する。
　表示コントローラ５５は、目標位置となるパレット７１の孔７２と、フォーク２７との相対高さが閾値未満の場合にインジケータＩ１を撮像画像Ｉに重畳して表示する。パレット７１の孔７２とフォーク２７との相対高さが閾値以上の場合にはインジケータＩ１は非表示なので、パレット７１の孔７２とフォーク２７との相対高さが閾値未満になるまではインジケータＩ１によってモニタ５６の撮像画像Ｉが視認しにくくなることが抑制されている。
　また、パレット７１の孔７２とフォーク２７との相対高さが閾値以上の場合であってもインジケータＩ１が表示されていると、撮像画像Ｉを見ながら大まかにフォーク２７の位置合わせをした後に、インジケータＩ１によってフォーク２７の位置を調整する際に、インジケータＩ１を見つけにくい。また、パレット７１の孔７２とフォーク２７との相対高さが閾値以上の場合であってもインジケータＩ１が表示されていると、操作者が情報過多に陥りやすく、必要な情報の選択に要する時間が長くなる。
　これに対して、パレット７１の孔７２とフォーク２７との相対高さが閾値未満の場合にインジケータＩ１を撮像画像Ｉに重畳して表示すると、パレット７１の孔７２とフォーク２７との相対高さが閾値以上から閾値未満に切り替わった段階でインジケータＩ１が表示されることになる。操作者は、モニタ５６の表示の変化から、インジケータＩ１を見つけやすく、操作の効率化を図ることができる。また、インジケータＩ１はフォーク２７の位置合わせを行う必要のあるときに表示されるため、操作者が情報過多に陥りにくく、操作の円滑化が図られる。
　本実施形態の効果について説明する。
　（１）表示コントローラ５５は、パレット７１の孔７２とフォーク２７との相対高さが閾値未満の場合にインジケータＩ１の表示を行っている。操作者は、パレット７１の孔７２とフォーク２７との相対高さが閾値以上の場合にはモニタ５６の撮像画像Ｉ、パレット７１の孔７２とフォーク２７との相対高さが閾値未満になるとモニタ５６のインジケータＩ１を見てフォーク２７の位置合わせを行うことができる。従って、パレット７１の孔７２とフォーク２７との相対高さが閾値以上の場合であってもモニタ５６にインジケータＩ１が重畳して表示される場合に比べて、荷役装置２４を目標位置に位置合わせしやすくなる。
　（２）荷役装置２４の位置合わせのためのガイドとして、フォーク２７の現在位置と目標位置であるパレット７１の孔７２の位置との差を示すインジケータＩ１を表示している。操作者がフォーク２７の現在位置とパレット７１の孔７２の位置との差を把握しやすく、更に荷役装置２４を位置合わせしやすくなる。
　（３）表示コントローラ５５は、撮像画像Ｉに写るパレット７１の孔７２に沿うようにインジケータＩ１を表示している。操作者は、モニタ５６の撮像画像Ｉを見ながらフォークリフト２０を操作する際は、目標位置と荷役装置２４との位置関係を把握しながらフォークリフト２０の操作を行う。目標位置となるパレット７１の孔７２に沿うようにインジケータＩ１を表示することで、モニタ５６にインジケータＩ１を表示したときの操作者の視線移動が少ない。このため、更に、荷役装置２４を目標位置に位置合わせしやすくなる。
　実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
　○インジケータＩ１は、撮像画像Ｉのいずれの位置に表示されていてもよい。例えば、モニタ５６に表示される撮像画像Ｉの四隅のいずれか等、操作者による撮像画像Ｉの視認を阻害しにくい位置に表示されるようにしてもよい。言い換えれば、インジケータＩ１は、パレット７１の孔７２に沿うように表示されていなくてもよい。
　○ガイドは、荷役装置２４の現在位置と目標位置との差を示すインジケータＩ１でなくてもよい。例えば、ガイドは、撮像画像Ｉ上においてフォーク２７の孔７２の位置となる部分にラインなどを表示したものであってもよい。操作者は、撮像画像Ｉ上でのフォーク２７の位置をガイドに合わせることで、フォーク２７の位置合わせを行うことができる。
　○画像処理部４２は、画像認識によるマーカー７３，７４の抽出に代えて、画像認識によるパレット７１の抽出によってフォーク２７とパレット７１との前後方向の相対距離を導出してもよい。画像処理部４２は、パターンマッチングでパレット７１の前面と類似する領域を画像データから抽出する。これにより、画像処理部４２は、画像データからパレット７１を抽出することができる。画像処理部４２は、画像データからパレット７１を抽出した後には、実施形態と同様の処理によってフォーク２７とパレット７１との前後方向の相対距離を導出する。
　○目標位置は、荷役装置２４による荷置き作業を行う際に荷役装置２４の位置合わせをする対象であってもよい。荷置き作業とは、荷役装置２４に積載された荷を目標位置に置く作業である。荷置き作業では、荷役装置２４に積載された荷を目標位置の鉛直方向上方に位置させた後に、フォーク２７を下降させる。荷が目標位置に置かれた後には、フォークリフト２０を後退させることで、フォーク２７を荷から離間させる。
　フォーク２７によって支持したパレット７１をラックに載置する場合を一例として説明する。ラックは、柱に棚板を支持させたものであり、複数の棚板が鉛直方向に並んで設けられている。フォークリフト２０は、フォーク２７から棚板にパレット７１を移載する。棚板は、荷役装置２４の位置合わせをする対象となる目標位置となる。棚板を目標位置とする場合、実施形態と同様のマーカー７３，７４を棚板に設けてもよい。画像処理部４２は、画像認識により画像データからマーカー７３，７４を抽出することで、棚板を認識することができる。また、画像処理部４２は画像認識による棚板の抽出によって棚板を認識してもよい。画像処理部４２は、棚板を認識すると、実施形態と同様の手法によりフォーク２７と棚板との前後方向の相対距離を導出し、パレット７１と棚板との相対高さを導出する。詳細にいえば、パレット７１の寸法は規格で定まっており、既知であるため、画像処理部４２は、フォーク２７と棚板との前後方向の相対距離と、画像データでのパレット７１と棚板の上下方向の離間距離から、パレット７１と棚板との相対高さを導出することができる。なお、パレット７１と棚板との相対高さとは、例えば、パレット７１の下面と棚板の上面との鉛直方向の離間距離である。画像処理部４２は、パレット７１と棚板との相対高さを車両側無線機４３から無線送信する。
　表示コントローラ５５は、パレット７１と棚板との相対高さが閾値未満の場合には、インジケータを表示する。インジケータは、例えば、パレット７１の現在位置と、目標位置との差を表すものである。
　なお、荷役装置２４のフォーク２７を昇降させることによりパレット７１の鉛直方向の位置は定まるため、パレット７１と棚板との位置合わせは、荷役装置２４を棚板に位置合わせしていると捉えることができる。
　このように、荷役車両の操作支援装置６０は、荷置き作業を行う際にも、目標位置と荷役装置２４との相対距離を導出し、相対距離に応じてインジケータの表示と非表示とを切り替えることができる。荷役車両の操作支援装置６０は、荷取り作業を行う際にのみ目標位置と荷役装置２４との相対距離を導出し、相対距離に応じてインジケータの表示と非表示とを切り替えてもよい。荷役車両の操作支援装置６０は、荷置き作業を行う際にのみ目標位置と荷役装置２４との相対距離を導出し、相対距離に応じてインジケータの表示と非表示とを切り替えてもよい。荷役車両の操作支援装置６０は、荷置き作業を行う際にも、荷取り作業を行う際にも目標位置と荷役装置２４との相対距離を導出し、相対距離に応じてインジケータの表示と非表示とを切り替えてもよい。即ち、荷役車両の操作支援装置６０は、荷役装置２４による荷置き作業及び荷取り作業の少なくとも一方の作業を行う際に用いられるものであればよい。
　○インジケータとしては、荷役装置２４と目標位置との左右方向の位置合わせ、目標位置に対する荷役装置２４の傾きを小さくするための位置合わせ、及び荷役装置２４と目標位置との前後方向の位置合わせを行うためのものが表示されてもよい。
　例えば、荷役装置２４とパレット７１との位置合わせを行う場合で、荷役装置２４とパレット７１との左右方向の位置合わせをする場合、目標位置はパレット７１の左右方向の中心位置となる。荷役装置２４と目標位置の左右方向の位置合わせは、荷役装置２４の左右方向の中心位置と、パレット７１の左右方向の中心位置とが前後方向に重なるようにすることで行われる。画像処理部４２は、２つのマーカー７３，７４の中心位置をパレット７１の左右方向の中心位置として検出可能である。
　目標位置に対する荷役装置２４の傾きを小さくするための位置合わせとは、荷役装置２４と目標位置との水平方向に対する傾きの差を小さくするための位置合わせである。言い換えれば、荷役装置２４と目標位置との水平方向に対する角度ずれを小さくするための位置合わせといえる。例えば、荷役装置２４とパレット７１との位置合わせを行う場合で、目標位置に対する荷役装置２４の傾きを小さくするための位置合わせをする場合、目標位置はパレット７１の左右方向の中心位置となる。目標位置に対する荷役装置２４の傾きとは、荷役装置２４の左右方向の中心位置を前後方向に通過する中心線と、パレット７１の左右方向の中心位置を前後方向に通過する中心線とのずれ角である。目標位置に対する荷役装置２４の傾きを小さくするための位置合わせをする場合、上記した２つの中心線の角度差が小さくなるように位置合わせが行われる。目標位置に対する荷役装置２４の傾きは、２つのマーカー７３，７４の寸法の差から導出することができる。目標位置に対する荷役装置２４の傾きが小さい場合、２つのマーカー７３，７４の寸法の差が小さい。目標位置に対する荷役装置２４の傾きが大きいほど２つのマーカー７３，７４の寸法の差は大きくなる。このため、２つのマーカー７３，７４の寸法比から目標位置に対する荷役装置２４の傾きを導出可能である。
　図６には、荷役装置２４とパレット７１との左右方向の位置合わせ、及び目標位置に対する荷役装置２４の傾きを小さくするための位置合わせを行うためのインジケータＩ２の一例を示す。インジケータＩ２は、撮像画像Ｉ上で撮像画像Ｉの上下方向に延びる第１基準線Ｌ１と、撮像画像Ｉ上で撮像画像Ｉの横方向に延びる第２基準線Ｌ２と、を備える。第１基準線Ｌ１と第２基準線Ｌ２とは直交している。第１基準線Ｌ１は、パレット７１の中心線を示している。インジケータＩ２は、矢印Ａと、撮像画像Ｉ上で矢印Ａに直交する荷役線Ｌ３と、を備える。矢印Ａの向きは、荷役装置２４の向く方向を示しており、矢印Ａと荷役線Ｌ３との交点Ｐ２は、荷役装置２４の左右方向の中心位置を示している。矢印Ａの傾きと第１基準線Ｌ１の傾きの差は、パレット７１に対する荷役装置２４の傾きを示している。第１基準線Ｌ１と第２基準線Ｌ２との交点Ｐ１と、矢印Ａと荷役線Ｌ３との交点Ｐ２との横方向の差は、荷役装置２４とパレット７１との左右方向のずれを示している。図６に示すように、矢印Ａと第１基準線Ｌ１とが重なり合うと、目標位置に対する荷役装置２４の傾きを小さくするための位置合わせがされたといえる。２つの交点Ｐ１，Ｐ２同士が重なり合うと、荷役装置２４とパレット７１とが左右方向に位置合わせされたといえる。この状態は、パレット７１にフォークリフト２０が正対している状態といえる。
　一方で、図７に示すように、矢印Ａの傾きと第１基準線Ｌ１との傾きが異なると、目標位置に対する荷役装置２４の傾きが大きく、角度ずれが生じているといえる。２つの交点Ｐ１，Ｐ２同士に差があると、荷役装置２４とパレット７１に左右方向の位置ずれが生じているといえる。操作者は、インジケータＩ２を見ながら、矢印Ａと第１基準線Ｌ１とが重なり合い、２つの交点Ｐ１，Ｐ２同士が重なり合うように操作を行うことで、荷役装置２４をパレット７１に位置合わせすることができる。
　なお、上記したインジケータＩ２は、フォーク２７とパレット７１との鉛直方向の位置合わせが完了した後に表示されるようにしてもよい。この場合、フォーク２７とパレット７１との相対高さが予め定められた閾値未満の場合にインジケータＩ２は表示されるといえる。フォーク２７とパレット７１との鉛直方向の位置合わせが完了した後に上記したインジケータＩ２を表示する場合、閾値としては、フォーク２７とパレット７１との鉛直方向の位置合わせが完了したと判定できる値に設定される。例えば、フォーク２７の高さとパレット７１の孔７２の高さとが一致した場合に表示コントローラ５５は、インジケータＩ２を表示させる。
　また、上記したインジケータＩ２は、フォーク２７とパレット７１との前後方向の相対距離が予め定められた閾値未満となった場合に表示されるようにしてもよい。この場合の閾値としては、フォーク２７とパレット７１との前後方向の大まかな位置合わせが終わり、インジケータＩ１による調整を行うことが好ましいと考えられる値に設定される。
　なお、上記したインジケータＩ２と実施形態のインジケータＩ１とは、両方が表示されるようにしてもよいし、いずれか一方が表示されるようにしてもよい。インジケータＩ１としては、荷役装置２４と目標位置との左右方向の位置合わせ、目標位置に対する荷役装置２４の傾きを小さくするための位置合わせ、荷役装置２４と目標位置との前後方向の位置合わせ、及び荷役装置２４と目標位置との鉛直方向の位置合わせの少なくとも１つをガイドするものが表示されればよい。
　○荷役車両の操作支援装置は、操作者としてフォークリフト２０の搭乗者を支援するものであってもよい。この場合、モニタ５６は、フォークリフト２０の搭乗者の視認可能な位置＝運転席から視認可能な位置に配置される。また、フォークリフト２０に表示コントローラ５５を設けて、インジケータＩ１の表示を行えるようにする。画像データを遠隔操作装置５０に送信する必要がないため、遠隔操作装置５０、車両側無線機４３、及び無線ユニット４４は設けられていなくてもよい。この場合、荷役車両の操作支援装置は、カメラ４１と、フォークリフト２０に設けられたモニタ５６と、目標位置と荷役装置２４との相対距離を導出する画像処理部４２と、モニタ５６に撮像画像Ｉを表示する表示コントローラ５５と、を備えていればよい。
　○目標位置と荷役装置２４との相対距離の導出は、表示コントローラ５５によって行われてもよい。表示コントローラ５５は、車両側無線機４３から送られてきた画像データから、目標位置と荷役装置２４との相対距離を導出する。実施形態の画像処理部４２と同様の処理を表示コントローラ５５が行うことで、目標位置と荷役装置２４との相対距離を導出可能といえる。即ち、目標位置と荷役装置２４との相対距離の導出は、フォークリフト２０側で行われてもよいし、遠隔操作装置５０側で行われてもよい。
　○フォークリフト２０は、メインコントローラ３１及び画像処理部４２に代えて、メインコントローラ３１の機能及び画像処理部４２の機能の両方を備えた１つの装置を備えていてもよい。
　○遠隔操作装置５０は、操作コントローラ５２及び表示コントローラ５５に代えて、操作コントローラ５２の機能及び表示コントローラ５５の機能の両方を備えた１つの装置を備えていてもよい。
　○荷役車両の操作支援装置は、操作室にいる操作者、及びフォークリフト２０の搭乗者の両方を支援するものであってもよい。この場合、モニタ５６は、フォークリフト２０の搭乗者の視認可能な位置にも設けられる。フォークリフト２０が搭乗者により操作されている場合には、フォークリフト２０の搭乗者の視認可能なモニタ５６にカメラ４１によって撮像された撮像画像Ｉ及びインジケータＩ１を表示する。フォークリフト２０が操作室にいる操作者により操作されている場合には、操作室のモニタ５６にカメラ４１によって撮像された撮像画像Ｉ及びインジケータＩ１を表示する。
　○フォークリフト２０は、人が搭乗できないフォークリフトであってもよい。言い換えれば、フォークリフト２０は、遠隔操作装置５０による操作専用のフォークリフトであってもよい。
　○カメラ４１は、フォーク２７とともに昇降する部材とは異なる部材、即ち、フォーク２７が昇降しても昇降しない部材に取り付けられていてもよい。カメラ４１がフォーク２７とともに昇降する部材とは異なる部材に取り付けられている場合であっても、フォーク２７とパレット７１との前後方向の相対距離は実施形態と同様に導出できる。撮像画像Ｉに写るパレット７１の上面は、カメラ４１とパレット７１との高さの差が小さいほど大きくなる。フォーク２７とパレット７１との前後方向の相対距離と、撮像画像Ｉに写るパレット７１の上面の寸法からカメラ４１とパレット７１との高さの差を導出することができる。路面からカメラ４１までの高さであるカメラ４１の設置高さは既知であるため、路面からのパレット７１の高さを導出することができる。フォークリフト２０は、揚高センサを備えており、揚高センサによって路面からのフォーク２７の高さを検出することができる。従って、メインコントローラ３１は、画像処理部４２から路面からのパレット７１の高さを取得し、揚高センサによって検出される路面からのフォーク２７の高さとの差分を導出することで、フォーク２７とパレット７１の孔７２との相対高さを導出することができる。
　また、前述したように、カメラ４１がフォーク２７とともに昇降する部材とは異なる部材に取り付けられている場合であっても、フォーク２７とパレット７１との前後方向の相対距離は導出できる。従って、フォーク２７とパレット７１との前後方向の相対距離を閾値としてインジケータの表示と非表示を切り替える場合であっても、カメラ４１は、フォーク２７とともに昇降する部材とは異なる部材に取り付けられていてもよい。
　○カメラ４１としては、目標位置を撮像できるように配置されていればよく、配置位置は適宜変更してもよい。また、カメラ４１の数は適宜変更してもよい。
　○荷役具としてフォーク２７以外を用いてもよい。例えば、荷役具は、クランプやラムなどのアタッチメントでもよい。
　○荷役車両の操作支援装置としては、クレーン車等、フォークリフト２０以外の荷役車両の操作する操作者を支援するためのものであってもよい。
　Ｉ１，Ｉ２　　ガイドとしてのインジケータ
　２０　　荷役車両としてのフォークリフト
　２４　　荷役装置
　４１　　カメラ
　４２　　相対距離導出部としての画像処理部
　５５　　ガイド表示部としての表示コントローラ
　５６　　モニタ
　６０　　荷役車両の操作支援装置

Claims (3)

  1. 　荷役装置に積載された荷の搬送を行う荷役車両の操作支援装置であって、
    　前記荷役車両の前方を撮像するカメラと、
    　前記荷役車両の操作者に視認可能な位置に配置されており、前記カメラにより撮像された撮像画像が表示されるモニタと、
    　前記荷役装置による荷置き作業及び荷取り作業の少なくとも一方の作業を行う際に前記荷役装置の位置合わせをする対象となる目標位置と、前記荷役装置との相対距離を導出する相対距離導出部と、
    　前記相対距離が予め定められた閾値未満の場合に前記荷役装置を前記目標位置に位置合わせするためのガイドを前記撮像画像に重畳して表示し、前記相対距離が前記閾値以上の場合に前記ガイドを非表示にするガイド表示部と、を備える荷役車両の操作支援装置。
  2. 　前記ガイドは、前記荷役装置の現在位置と前記目標位置との差を示すインジケータである請求項１に記載の荷役車両の操作支援装置。
  3. 　前記ガイド表示部は、前記撮像画像に写る前記目標位置に沿うように前記ガイドを表示する請求項１又は請求項２に記載の荷役車両の操作支援装置。
PCT/JP2020/038675 2019-10-18 2020-10-13 荷役車両の操作支援装置 WO2021075438A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-191009 2019-10-18
JP2019191009A JP7268575B2 (ja) 2019-10-18 2019-10-18 荷役車両の操作支援装置

Publications (1)

Publication Number Publication Date
WO2021075438A1 true WO2021075438A1 (ja) 2021-04-22

Family

ID=75538504

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038675 WO2021075438A1 (ja) 2019-10-18 2020-10-13 荷役車両の操作支援装置

Country Status (2)

Country Link
JP (1) JP7268575B2 (ja)
WO (1) WO2021075438A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022251452A1 (en) * 2021-05-28 2022-12-01 Koireader Technologies, Inc. System for inventory tracking
WO2023004955A1 (zh) * 2021-07-30 2023-02-02 三一专用汽车有限责任公司 搅拌车及控制方法、搅拌站及控制方法和对中控制系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003034496A (ja) * 2001-07-18 2003-02-07 Toyota Industries Corp 産業車両における荷役支援報知装置及び産業車両
JP2003155198A (ja) * 2001-11-16 2003-05-27 Toyota Industries Corp 産業車両における荷役作業支援装置及び産業車両
JP2006096457A (ja) * 2004-09-28 2006-04-13 Toyota Industries Corp フォークリフトの作業支援装置
WO2007145190A1 (ja) * 2006-06-12 2007-12-21 Panasonic Corporation ナビゲーション装置及びナビゲーション方法
JP2012051678A (ja) * 2010-08-31 2012-03-15 Sumitomo Heavy Ind Ltd 視界補助システム
JP2013086959A (ja) * 2011-10-21 2013-05-13 Sumitomo Heavy Ind Ltd フォークリフトのフォーク位置決め支援装置および方法
JP2019048696A (ja) * 2017-09-11 2019-03-28 Ｋｙｂ株式会社 情報処理装置及び情報処理方法
JP2019156641A (ja) * 2018-03-08 2019-09-19 コニカミノルタ株式会社 フォークリフト用の画像処理装置、および制御プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003034496A (ja) * 2001-07-18 2003-02-07 Toyota Industries Corp 産業車両における荷役支援報知装置及び産業車両
JP2003155198A (ja) * 2001-11-16 2003-05-27 Toyota Industries Corp 産業車両における荷役作業支援装置及び産業車両
JP2006096457A (ja) * 2004-09-28 2006-04-13 Toyota Industries Corp フォークリフトの作業支援装置
WO2007145190A1 (ja) * 2006-06-12 2007-12-21 Panasonic Corporation ナビゲーション装置及びナビゲーション方法
JP2012051678A (ja) * 2010-08-31 2012-03-15 Sumitomo Heavy Ind Ltd 視界補助システム
JP2013086959A (ja) * 2011-10-21 2013-05-13 Sumitomo Heavy Ind Ltd フォークリフトのフォーク位置決め支援装置および方法
JP2019048696A (ja) * 2017-09-11 2019-03-28 Ｋｙｂ株式会社 情報処理装置及び情報処理方法
JP2019156641A (ja) * 2018-03-08 2019-09-19 コニカミノルタ株式会社 フォークリフト用の画像処理装置、および制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022251452A1 (en) * 2021-05-28 2022-12-01 Koireader Technologies, Inc. System for inventory tracking
WO2023004955A1 (zh) * 2021-07-30 2023-02-02 三一专用汽车有限责任公司 搅拌车及控制方法、搅拌站及控制方法和对中控制系统

Also Published As

Publication number Publication date
JP2021066540A (ja) 2021-04-30
JP7268575B2 (ja) 2023-05-08

Similar Documents

Publication Publication Date Title
WO2021075438A1 (ja) 荷役車両の操作支援装置
AU2013293921B2 (en) Environment monitoring device for operating machinery
EP3624578B1 (en) System and method for automatic connection between a tractor and an implement
EP2722302B1 (en) Utility vehicle with monitoring system for monitoring the position of the outriggers
WO2021079790A1 (ja) 荷役車両の操作支援装置
JP3921968B2 (ja) 位置検出方法及び位置検出装置
JP7213428B2 (ja) 産業車両用走行支援装置
JP2006273532A (ja) コンテナ荷役用クレーン
JP3900941B2 (ja) フォークリフトトラックの作業視野支援装置及びフォークリフトトラック、産業車両の作業視野支援装置及び産業車両
WO2020039817A1 (ja) フォークリフト用荷役作業支援装置
JP2019048696A (ja) 情報処理装置及び情報処理方法
JP2019202877A (ja) 産業車両用遠隔操作システム
WO2021075541A1 (ja) 荷役車両の荷役作業支援装置
JP2021022802A (ja) 産業車両の遠隔操作システム
JP3900942B2 (ja) 産業車両における荷役機器の自動位置制御装置、産業車両及び荷役機器の自動位置制御方法
WO2020008992A1 (ja) フォークリフト用遠隔操作システム
JP4961643B2 (ja) 産業車両における荷役制御装置及び産業車両
WO2020085068A1 (ja) フォークリフトの遠隔操作システム
WO2022130896A1 (ja) フォークリフト
JP7057052B1 (ja) 荷役車
JP7057053B1 (ja) 荷役システム
JP7095553B2 (ja) フォークリフトの遠隔操作システム
EP3951539A1 (en) Automated guided vehicle operation system
JP7212004B2 (ja) コンテナクレーンの運転支援装置
JP6965837B2 (ja) フォークリフト用遠隔操作システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20877934

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20877934

Country of ref document: EP

Kind code of ref document: A1