WO2021079790A1 - 荷役車両の操作支援装置 - Google Patents

荷役車両の操作支援装置 Download PDF

Info

Publication number
WO2021079790A1
WO2021079790A1 PCT/JP2020/038676 JP2020038676W WO2021079790A1 WO 2021079790 A1 WO2021079790 A1 WO 2021079790A1 JP 2020038676 W JP2020038676 W JP 2020038676W WO 2021079790 A1 WO2021079790 A1 WO 2021079790A1
Authority
WO
WIPO (PCT)
Prior art keywords
cargo handling
load
space
clearance
processing unit
Prior art date
Application number
PCT/JP2020/038676
Other languages
English (en)
French (fr)
Inventor
岡本浩伸
神谷知典
比嘉孝治
井上順治
Original Assignee
株式会社豊田自動織機
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田自動織機 filed Critical 株式会社豊田自動織機
Priority to US17/770,762 priority Critical patent/US12065341B2/en
Priority to EP20879455.2A priority patent/EP4049962A4/en
Publication of WO2021079790A1 publication Critical patent/WO2021079790A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/07581—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0759—Details of operating station, e.g. seats, levers, operator platforms, cabin suspension
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems

Definitions

  • This disclosure relates to an operation support device for a cargo handling vehicle.
  • Patent Document 1 describes as an operation support device for a cargo handling vehicle that supports the operation of a cargo handling vehicle by an image displayed on a monitor.
  • the operation support device for a cargo handling vehicle described in Patent Document 1 includes a camera and a monitor on which an image captured by the camera is displayed. The operator of the cargo handling vehicle can operate the cargo handling vehicle while viewing the captured image displayed on the monitor.
  • the load loaded on the cargo handling device is placed in the loading position.
  • the operator of the cargo handling vehicle checks the clearance between the load and the object on the monitor and loads the load so that the load and the object do not come into contact with each other. Put in.
  • the cargo handling vehicle is retracted from the unloading position after the load placed at the unloading position is loaded on the cargo handling device.
  • the operator of the cargo handling vehicle retracts the cargo handling vehicle so that the load and the object do not come into contact with each other while checking the clearance between the load and the object on the monitor. ..
  • the captured image displayed on the monitor is a two-dimensional image, and it may be difficult to grasp the clearance between the load and the adjacent object. That is, it may be difficult for the operator of the cargo handling vehicle to determine whether or not the load and the adjacent object come into contact with each other.
  • An object of the present disclosure is to provide an operation support device for a cargo handling vehicle, which makes it easy for an operator of the cargo handling vehicle to determine whether or not the load and an adjacent object come into contact with each other.
  • the operation support device for the cargo handling vehicle that solves the above problems is an operation support device for the cargo handling vehicle that transports the load loaded on the cargo handling device, and extends in the vehicle width direction of the cargo handling vehicle in the horizontal direction with respect to the sensor.
  • the axis is the X axis
  • the axis orthogonal to the X axis in the horizontal direction is the Y axis
  • the axis extending in the vertical direction is the Z axis
  • An object extraction unit that extracts a group of points, which is a set of points, as the object, and a cargo handling space derivation unit that derives the cargo handling space occupied by the cargo during cargo handling work by the cargo handling device in the coordinate system in the real space.
  • the cargo handling space and the object adjacent to the X-axis in the extending direction and the objects extracted by the object extraction unit, the cargo handling space and the Z-axis.
  • the clearance deriving unit for deriving the dimension of the clearance between the adjacent object and the cargo handling space and the operator of the cargo handling vehicle can see the clearance. It is provided with a notification unit for notifying information on dimensions.
  • the coordinate system in real space is a 3-axis Cartesian coordinate system with X-axis, Y-axis and Z-axis
  • an object is extracted in the coordinate system in real space by the object extraction unit, and coordinates in real space are extracted by the cargo handling space derivation unit.
  • the clearance derivation unit derives the dimension of the clearance between the cargo handling space and the adjacent object adjacent to the cargo handling space.
  • the clearance between the cargo handling space and the adjacent object is the clearance that occurs between the load and the adjacent object when the load and the adjacent object are adjacent to each other in the extending direction of the X axis or the extending direction of the Z axis.
  • the notification unit notifies the operator of information regarding the dimensions of the clearance derived by the extraction unit. The operator can easily determine whether or not the load and the adjacent object are in contact with each other from the information regarding the dimensions of the clearance.
  • the notification unit is arranged at a position visible to the operator of the cargo handling vehicle, and the captured image captured by the camera mounted on the cargo handling vehicle is displayed.
  • the monitor may include a display unit that superimposes and displays information on the dimensions of the clearance on the captured image.
  • the notification unit may notify the operator whether or not the clearance dimension is less than a predetermined threshold value.
  • Schematic configuration diagram of the remote control system Schematic diagram of a forklift and a remote control device.
  • the remote control system 10 includes a forklift 20 as a cargo handling vehicle and a remote control device 50 used to remotely control the forklift 20.
  • the forklift 20 is arranged in a work place where a load is transported or the like.
  • the remote control device 50 is a member for remotely controlling the forklift 20 by an operator in the operation room.
  • the operation room is a place where the work place cannot be directly seen, or a place where it is difficult to directly see the work place.
  • the front / rear / left / right are the front / rear / left / right of the forklift 20.
  • the left-right direction of the forklift 20 is the vehicle width direction of the forklift 20.
  • the forklift 20 of this embodiment is a reach type.
  • a counter type forklift 20 may be used.
  • the forklift 20 includes a vehicle body 21, wheels 22 provided on the vehicle body 21, a reach leg 23 extending toward the front of the vehicle body 21, and a cargo handling device 24 provided in front of the vehicle body 21.
  • a pair of reach legs 23 are provided so as to be separated from each other in the left-right direction.
  • the cargo handling device 24 includes a mast 25 that stands up against the reach leg 23, a backrest 26 that is attached to the mast 25, and a fork 27 that is attached to the backrest 26.
  • a pair of forks 27 are provided so as to be separated from each other in the left-right direction.
  • the fork 27 is a cargo handling tool that is a member on which a load is loaded.
  • the forklift 20 includes a drive mechanism 28 that causes the forklift 20 to perform a traveling operation, a cargo handling mechanism 29 that causes the forklift 20 to perform a cargo handling operation, a main controller 31, and a cargo handling operation unit 32. , Equipped with.
  • the drive mechanism 28 includes a drive source for rotating the wheels 22, a steering mechanism for steering the forklift 20, and the like.
  • the cargo handling mechanism 29 includes a cargo handling pump that supplies hydraulic oil to the hydraulic cylinder that operates the mast 25, a drive source that drives the cargo handling pump, a valve that controls the flow of hydraulic oil, and the like.
  • the cargo handling mechanism 29 can cause the cargo handling device 24 to perform a reach operation for moving the mast 25 in the front-rear direction along the reach leg 23, a tilt operation for tilting the mast 25, and a lift operation for raising and lowering the mast 25.
  • the cargo handling operation is an operation including any one of a reach operation, a tilt operation, and a lift operation.
  • the main controller 31 includes a CPU, RAM, ROM, I / O, a bus line connecting these, and the like.
  • the processing performed by the main controller 31 may be software processing by executing a program stored in advance in a physical memory device such as ROM by the CPU, or hardware processing by a dedicated electronic circuit. Good.
  • the main controller 31 controls the drive mechanism 28 and the cargo handling mechanism 29 to cause the forklift 20 to perform a traveling operation and a cargo handling operation.
  • the cargo handling operation unit 32 is individually provided corresponding to the reach operation, tilt operation, and lift operation, and the cargo handling operation corresponding to the cargo handling operation unit 32 is performed.
  • the cargo handling operation unit 32 is operated by the passenger of the forklift 20.
  • the forklift 20 includes an operation amount detection unit that detects the operation amount of the cargo handling operation unit 32, and the detection result of the operation amount detection unit is output to the main controller 31.
  • the forklift 20 includes a traveling operation unit operated by a passenger.
  • the main controller 31 controls the drive mechanism 28 and the cargo handling mechanism 29 in response to the operations of the cargo handling operation unit 32 and the traveling operation unit. That is, the forklift 20 of the present embodiment is a forklift that can be operated by the passenger of the forklift 20 in addition to the remote control using the remote control device 50.
  • the forklift 20 includes a camera 41, an image processing unit 42, a vehicle-side radio 43, a radio unit 44, and two stereo cameras 45 and 46.
  • Examples of the camera 41 include a CCD image sensor and a camera using a CMOS image sensor.
  • the camera 41 is attached so that the fork 27 is included in the imaging range defined by the horizontal angle of view and the vertical angle of view when the fork 27 is not loaded with a load. Specifically, the camera 41 is attached so that the imaging range of the camera 41 includes the tips of the two forks 27 when the fork 27 is not loaded with a load.
  • the camera 41 is attached to a member that moves up and down together with the fork 27. In this embodiment, the camera 41 is attached to the backrest 26.
  • the camera 41 is provided above the fork 27 in the vertical direction.
  • the camera 41 is arranged so as to face the front of the forklift 20 and to incline downward in the vertical direction. Therefore, it can be said that the camera 41 is arranged so as to take a bird's-eye view of the fork 27 from above in the vertical direction.
  • the two stereo cameras 45 and 46 have the same configuration.
  • Each of the stereo cameras 45 and 46 includes a CCD image sensor and two cameras using a CMOS image sensor.
  • the stereo cameras 45 and 46 function as sensors.
  • the two cameras included in the stereo cameras 45 and 46 are arranged so that their optical axes are parallel to each other. Since the two cameras included in the stereo cameras 45 and 46 are separated from each other, the same object is shifted in the images captured by the two cameras. More specifically, when the same object is imaged, the object captured in the images captured by the two cameras has a pixel shift depending on the distance between the two cameras.
  • the stereo cameras 45 and 46 are attached to members that move up and down together with the fork 27. In this embodiment, the stereo cameras 45 and 46 are attached to the backrest 26. The stereo cameras 45 and 46 are provided above the fork 27 in the vertical direction. The stereo cameras 45 and 46 are arranged so as to face the front of the forklift 20 and to incline downward in the vertical direction.
  • the two stereo cameras 45 and 46 are arranged so as to be separated from each other in the left-right direction.
  • two stereo cameras 45 and 46 are arranged on the left and right ends of the backrest 26.
  • One of the two stereo cameras 45 and 46 is the first stereo camera 45, and the other is the second stereo camera 46.
  • the first stereo camera 45 is arranged at the left end of the backrest 26.
  • the second stereo camera 46 is arranged at the right end of the backrest 26.
  • the side portion of the load 70 loaded on the fork 27 and the upper surface of the load 70 are included in the imaging range defined by the horizontal angle of view and the vertical angle of view. It is attached.
  • the load 70 is a load loaded on the fork 27.
  • a case where the pallet 72 loaded with the transported object 71 is loaded on the fork 27 as a load 70 will be described as an example, but if only the pallet 72 is loaded on the fork 27, the pallet 72 is the load 70. ..
  • FIG. 4 schematically shows the imaging range of the first stereo camera 45.
  • the load 70 loaded on the fork 27, the left end L1 of the pallet 72, the upper surface T1 of the pallet 72, the left end L2 of the conveyed object 71, and the image pickup range of the first stereo camera 45
  • the upper surface T2 of the transported object 71 is included.
  • the right end R1 of the pallet 72, the upper surface T1 of the pallet 72, the right end R2 of the conveyed object 71, and the conveyed object are included in the imaging range of the second stereo camera 46.
  • the top surface T2 of 71 is included.
  • the image processing unit 42 includes a CPU, RAM, ROM, I / O, a bus line connecting these, and the like.
  • the processing performed by the image processing unit 42 may be software processing by executing a program stored in advance in a physical memory device such as a ROM on the CPU, or hardware processing by a dedicated electronic circuit. May be good.
  • the image processing unit 42 acquires image data from the camera 41 at predetermined intervals.
  • the image data is, for example, RGB format data.
  • the image processing unit 42 performs image processing on the image data acquired from the camera 41.
  • the image processing unit 42 acquires image data from the stereo cameras 45 and 46 at predetermined intervals.
  • the image data is, for example, RGB format data.
  • the image processing unit 42 performs image processing on the image data acquired from the stereo cameras 45 and 46.
  • the image processing unit 42 and the main controller 31 can communicate with each other by a protocol such as CAN: Controller Area Network or LIN: Local Interconnect Network.
  • the vehicle-side radio 43 is a communication interface for transmitting image data acquired from the camera 41 to the remote control device 50.
  • the vehicle-side radio 43 modulates the image data output from the image processing unit 42 to generate a radio signal.
  • the vehicle-side radio 43 transmits a radio signal.
  • the wireless unit 44 is a communication interface for communicating with the remote control device 50.
  • the wireless unit 44 demodulates the modulation unit that modulates the data output from the main controller 31 and the image processing unit 42 to generate a wireless signal, and the wireless signal received from the remote control device 50, and demodulates the demodulated data. It includes a demodulation unit that outputs to the main controller 31.
  • the wireless unit 44 transmits information around the forklift 20 and information about the forklift 20 to the remote control device 50. As the information around the forklift 20, for example, information about the load 70 can be mentioned. Information on the forklift 20 includes, for example, the steering angle of the forklift 20 and the speed of the forklift 20.
  • the remote control device 50 includes an operation unit 51 for operating the forklift 20, an operation controller 52, a first radio 53, a second radio 54, a display controller 55, and a monitor. 56 and.
  • the operation unit 51, the operation controller 52, the display controller 55, and the monitor 56 are provided in the operation room.
  • the first radio 53 and the second radio 54 are provided in the workplace.
  • the operation unit 51 is operated by an operator in the operation room.
  • the operation unit 51 is, for example, a lever-type operation unit that can be tilted.
  • the operation unit 51 is used when the forklift 20 is operated by the remote control device 50.
  • the operation unit 51 includes a travel operation unit that is operated when the forklift 20 is operated to travel, and a cargo handling operation unit that is operated when the forklift 20 is operated to handle cargo.
  • the operation amount of the operation unit 51 is detected by an operation amount detection unit (not shown) and output to the operation controller 52.
  • the operation controller 52 includes a CPU, RAM, ROM, I / O, a bus line connecting these, and the like.
  • the processing performed by the operation controller 52 may be software processing by executing a program stored in advance in a physical memory device such as ROM by the CPU, or hardware processing by a dedicated electronic circuit. Good.
  • the operation controller 52 generates a command according to the operation amount of the operation unit 51.
  • the first radio 53 is a communication interface for communicating with the radio unit 44.
  • the first radio 53 has a modulation unit that modulates the data output from the operation controller 52 to generate a radio signal, demodulates the radio signal received from the radio unit 44, and transmits the demodulated data to the operation controller 52. Includes a demodulator to output.
  • the operation controller 52 outputs data including a command according to the operation amount of the operation unit 51 to the first radio 53 to give a command to the main controller 31 via the first radio 53 and the radio unit 44. Can be done.
  • the main controller 31 controls the drive mechanism 28 and the cargo handling mechanism 29 according to the command.
  • the operation controller 52 can recognize the information around the forklift 20 and the information of the forklift 20 via the first radio 53.
  • the forklift 20 is operated by an operator in the operation room.
  • the operator in the operation room becomes the operator of the cargo handling vehicle.
  • the second radio 54 is a communication interface for receiving image data from the vehicle-side radio 43.
  • the second radio 54 demodulates the radio signal received from the vehicle-side radio 43 and outputs the demodulated image data to the display controller 55.
  • the display controller 55 includes a processor such as a CPU or GPU, a RAM, a ROM, an I / O, a bus line connecting these, and the like.
  • the processing performed by the display controller 55 may be software processing by executing a program stored in advance in a physical memory device such as a ROM on the CPU, or hardware processing by a dedicated electronic circuit. Good.
  • the display controller 55 outputs the image data acquired from the second radio 54 to the monitor 56. Further, the display controller 55 can also output data for displaying information necessary for operating the forklift 20 to the monitor 56.
  • the display controller 55 and the operation controller 52 are configured so that information on each other can be acquired.
  • the monitor 56 is a display that displays the image data output from the display controller 55 as an captured image.
  • the monitor 56 is arranged at a position that can be visually recognized by an operator in the operation room. By displaying the image data output from the display controller 55 as an captured image, the monitor 56 allows the operator to visually recognize the captured image captured by the camera 41.
  • the monitor 56 is also displayed to support the operation of the forklift 20. The operator in the operation room can operate the forklift 20 while looking at the monitor 56.
  • the rack 80 is a pillar 81 on which a shelf board 82 is supported.
  • the load 70 of the present embodiment is a pallet 72 loaded with a conveyed object 71.
  • a load 73 different from the load 70 loaded on the cargo handling device 24 is already placed on the shelf board 82.
  • the operator transfers the load 70 loaded on the cargo handling device 24 between the load 73 already placed on the shelf board 82 and the pillar 81.
  • the position P1 between the already placed load 73 and the pillar 81 of the shelf board 82 is the load storage position.
  • step S1 the image processing unit 42 acquires image data from the stereo cameras 45 and 46.
  • the image processing unit 42 acquires image data individually for each of the stereo cameras 45 and 46.
  • the image processing unit 42 acquires a parallax image by performing stereo processing.
  • the parallax image is a pixel associated with a parallax [px].
  • the parallax image does not necessarily require display, and indicates data in which parallax is associated with each pixel in the parallax image.
  • the parallax is obtained by comparing the image data captured by the two cameras included in the stereo cameras 45 and 46 and deriving the difference in the number of pixels between the image data for the same feature point reflected in each image data.
  • the feature point is a part that can be recognized as a boundary, such as an edge of an object.
  • the feature points can be detected from the luminance information and the like.
  • the image processing unit 42 performs stereo processing individually for each of the stereo cameras 45 and 46, and acquires a parallax image for each of the stereo cameras 45 and 46.
  • step S3 the image processing unit 42 derives the coordinates of the feature points in the coordinate system in the real space.
  • the coordinate system in real space when the forklift 20 is located on the horizontal plane, the axis extending in the vehicle width direction of the forklift 20 in the horizontal direction is the X axis, and the axis orthogonal to the X axis in the horizontal direction is the Y axis. It is a coordinate system whose Z axis is an axis extending in the vertical direction.
  • the coordinates of the feature points are derived after deriving the coordinates of the feature points in the camera coordinate system from the baseline lengths of the stereo cameras 45 and 46, the focal distances of the stereo cameras 45 and 46, and the differential image obtained in step S2.
  • the image processing unit 42 derives the coordinates of the feature points individually for each parallax image acquired in step S2.
  • the edge of the rack 80 and the edge of the load 73 placed on the rack 80 can be extracted as the feature points P.
  • the directions of the coordinate axes of the first stereo camera 45 and the second stereo camera 46 are the same, but the origins are not the same. Therefore, it can be said that the image processing unit 42 derives the coordinates of the feature points in the individual coordinate systems of the first stereo camera 45 and the second stereo camera 46.
  • the coordinates refer to the coordinates in the coordinate system in the real space.
  • extension direction of the X-axis which is the coordinate axis in the coordinate system in the real space, will be referred to as the X-axis direction
  • the extension direction of the Y-axis will be the Y-axis direction
  • the extension direction of the Z-axis will be the Z-axis direction.
  • step S4 the image processing unit 42 extracts an object by clustering feature points.
  • the image processing unit 42 sets a set of feature points that are assumed to represent the same object among the feature points that represent a part of the object as one point group, and extracts the point cloud as an object.
  • the image processing unit 42 clusters the feature points located within a predetermined range as one point cloud from the coordinates of the feature points derived in step S3.
  • the image processing unit 42 regards the clustered point cloud as one object.
  • the feature point clustering performed in step S4 can be performed by various methods.
  • the image processing unit 42 extracts an object individually for each feature point obtained by each of the stereo cameras 45 and 46. By performing the process of step S4, the image processing unit 42 functions as an object extraction unit.
  • step S5 the image processing unit 42 derives the position of the load 70 in the coordinate system in the real space.
  • the position of the load 70 is the coordinates of the load 70 in the coordinate system in the real space.
  • the image processing unit 42 identifies an object corresponding to the load 70 among the objects extracted in step S4. Since the positions of the stereo cameras 45 and 46 and the fork 27 are constant, the image processing unit 42 can determine which object corresponds to the load 70 from the coordinates of the object in the coordinate system in the real space. .. More specifically, since it is possible to grasp in advance the coordinates that the feature points of the load 70 can take when the load 70 is loaded on the fork 27, the point cloud including the feature points that match these coordinates is determined to be the load 70. can do.
  • the image processing unit 42 can derive the position of the load 70 from the coordinates of the feature points by specifying the object corresponding to the load 70.
  • the position of the load 70 can be derived from the coordinates of the object determined to correspond to the load 70.
  • the positions of the lower surface of the load 70, the upper surface of the load 70, the left end of the load 70, and the right end of the load 70 are derived as the positions of the load 70.
  • the lower surface of the load 70 is the lower surface of the pallet 72.
  • the upper surface of the load 70 is the surface of the load 70 located most vertically upward, and if the pallet 72 is not loaded with the conveyed object 71, it is the upper surface T1 of the pallet 72, and the conveyed object 71 is loaded on the pallet 72. If so, it is the upper surface T2 of the transported object 71.
  • the left end of the load 70 is the leftmost part of the load 70, and when the conveyed object 71 is not loaded on the pallet 72 or the conveyed object 71 loaded on the pallet 72 is to the left of the left end of the pallet 72. If it does not protrude, it is the left end L1 of the pallet 72. On the other hand, if a part of the conveyed object 71 loaded on the pallet 72 protrudes to the left of the left end L1 of the pallet 72, the left end L2 of the conveyed object 71 is the left end of the load 70.
  • the right end of the load 70 is a portion located on the rightmost side of the load 70, and when the conveyed object 71 is not loaded on the pallet 72 or the conveyed object 71 loaded on the pallet 72 is to the right of the right end R1 of the pallet 72. If it does not protrude in the direction, it is the right end R1 of the pallet 72. On the other hand, if a part of the conveyed object 71 loaded on the pallet 72 protrudes to the right of the right end R1 of the pallet 72, the right end R2 of the conveyed object 71 is the right end of the load 70.
  • the stereo cameras 45 and 46 are arranged so that the upper surface T1 of the pallet 72 is included in the imaging range. Therefore, the image processing unit 42 can derive the coordinates of the upper surface T1 of the palette 72 from the parallax images obtained from the image data of the stereo cameras 45 and 46.
  • the dimensions of the pallet 72 are defined by the standard and are known values. Therefore, the image processing unit 42 can derive the coordinates of the lower surface of the pallet 72 from the coordinates of the upper surface T1 of the pallet 72. Specifically, by shifting the Z coordinate of the coordinates of the upper surface T1 of the pallet 72 downward by the thickness of the pallet 72 in the vertical direction, the coordinates of the lower surface of the pallet 72 in the coordinate system in the real space can be derived. it can.
  • the thickness of the pallet 72 is the difference in Z coordinate between the lower surface of the pallet 72 and the upper surface of the pallet 72.
  • the stereo cameras 45 and 46 are arranged so that the upper surface of the load 70 is included in the imaging range. Therefore, the image processing unit 42 can derive the coordinates of the upper surface of the load 70 from the parallax image obtained from the image data of the stereo cameras 45 and 46.
  • the first stereo camera 45 is arranged so that the left end of the load 70 is included in the imaging range. Therefore, the image processing unit 42 can derive the coordinates of the left end of the load 70 from the parallax image obtained from the image data of the first stereo camera 45.
  • the second stereo camera 46 is arranged so that the right end of the load 70 is included in the imaging range. Therefore, the image processing unit 42 can derive the coordinates of the right end of the load 70 from the parallax image obtained from the image data of the second stereo camera 46.
  • the image processing unit 42 derives the coordinates of the load 70 from the parallax image obtained from the image data of the first stereo camera 45, thereby deriving the coordinates of the upper surface of the load 70, the lower surface of the load 70, and the left end of the load 70. It is possible. Further, the image processing unit 42 can also derive the coordinates of the right end of the load 70 if the right end of the load 70 such as the right end R1 of the pallet 72 is reflected in the image. Since the dimensions of the pallet 72 are determined by the standard, the coordinates of the right end of the load 70 can be derived from the coordinates of the left end of the load 70.
  • the first stereo camera 45 is provided to image the left side of the load 70, and the coordinates of the right end of the load 70 may not be derived.
  • the image processing unit 42 derives the coordinates of the load 70 in the range captured by the first stereo camera 45 from the image data of the first stereo camera 45. It can be said that the image processing unit 42 derives the coordinates of the load 70 in the range captured by the second stereo camera 46 from the image data of the second stereo camera 46.
  • the image processing unit 42 derives the position of the cargo handling space 91 in the coordinate system in the real space.
  • the cargo handling space 91 is a space occupied by the cargo 70 during the cargo handling work by the cargo handling device 24.
  • Cargo handling work includes unloading work and unloading work.
  • the cargo handling space 91 when performing the loading operation is a space where the load 70 is assumed to be occupied by the time the forklift 20 approaches the loading position from a position away from the loading position and the load 70 is placed at the loading position. ..
  • the cargo handling space 91 when performing the loading operation includes an occupied space 92 occupied by the load 70 loaded on the cargo handling device 24, and an extension space 93 obtained by extending the occupied space 92 in the Y-axis direction.
  • the occupied space 92 may be a space surrounded by feature points constituting the load 70, or as shown in FIG. 5, a space in which the lower surface of the pallet 72 extends from the lower surface of the pallet 72 to the upper surface of the load 70. It may be.
  • the position of the cargo handling space 91 is the coordinates of the outer edge surrounding the cargo handling space 91, and the coordinates of the outer edge surrounding the cargo handling space 91 can be said to represent the size of the cargo handling space 91.
  • the image processing unit 42 can derive the extension space 93 in the coordinate system in the real space by changing the Y coordinate of the occupied space 92. More specifically, the image processing unit 42 can derive the extension space 93 by extending the occupied space 92 occupied by the load 70 toward the front of the forklift 20 in the Y-axis direction.
  • the cargo handling space 91 means that the load 70 loaded on the cargo handling device 24 passes when the forklift 20 is advanced in the state of the cargo handling device 24 at the time when the image data is acquired from the stereo cameras 45 and 46 in step S1. It can be called a space.
  • the state of the cargo handling device 24 is the height of the fork 27 and the orientation of the cargo handling device 24.
  • step S7 the image processing unit 42 derives the dimension of the clearance between the cargo handling space 91 located at the loading position and the adjacent object adjacent to the cargo handling space 91.
  • the forklift 20 When placing the load 70 at the loading position, the forklift 20 is positioned in front of the rack 80, and then the forklift 20 is advanced to bring the forklift 20 closer to the loading position. That is, when the load 70 is transferred to the loading position, the extension space 93 is located at the loading position.
  • the cargo handling space 91 is loaded on the cargo handling device 24 when the forklift 20 is advanced in the state of the cargo handling device 24 at the time when the image data is acquired from the stereo cameras 45 and 46 in step S1. This is the position where the load 70 passes. Therefore, the clearance between the adjacent object and the cargo handling space 91 can be said to be the clearance that occurs between the load 70 and the adjacent object when the forklift 20 is advanced and the load 70 is located vertically above the loading position. ..
  • the image processing unit 42 derives the dimensions of the clearances existing on the top, bottom, left, and right of the cargo handling space 91.
  • the load 73, the pillar 81, and the shelf board 82 are adjacent objects adjacent to the cargo handling space 91.
  • the load 70, the pillar 81, and the shelf board 82 are extracted as objects by the clustering performed in step S4.
  • This adjacent object is a shelf board 82 located below the cargo handling space 91 in the vertical direction.
  • the object located to the left of the cargo handling space 91 and whose X coordinate is closest to the cargo handling space 91 can be said to be an adjacent object located to the left of the cargo handling space 91.
  • This adjacent object is a load 73 placed on the shelf board 82.
  • the object located to the right of the cargo handling space 91 and whose X coordinate is closest to the cargo handling space 91 can be said to be an adjacent object located to the right of the cargo handling space 91.
  • This adjacent object is a pillar 81.
  • the image processing unit 42 derives the dimensions d1, d2, d3, d4 of the clearances C1, C2, C3, and C4 between the cargo handling space 91 and each adjacent object.
  • the adjacent object existing above the cargo handling space 91 is omitted.
  • the image processing unit 42 derives the dimensions d1 to d4 of the clearances C1 to C4 existing in the upper, lower, left, and right sides of the cargo handling space 91, respectively.
  • the dimensions d1 to d4 of the clearances C1 to C4 can be derived from the coordinates of the cargo handling space 91 and the coordinates of each adjacent object.
  • the image processing unit 42 can derive the dimension d1 of the clearance C1 existing above the cargo handling space 91 from the difference between the Z coordinate of the cargo handling space 91 and the Z coordinate of the adjacent object located above the cargo handling space 91 in the vertical direction. ..
  • the image processing unit 42 can derive the dimension d2 of the clearance C2 existing below the cargo handling space 91 from the difference between the Z coordinate of the cargo handling space 91 and the Z coordinate of the adjacent object located vertically below the cargo handling space 91. ..
  • the two stereo cameras 45 and 46 are arranged so as to complement each other's potential blind spots, so that the two stereo cameras 45 and 46 derive the clearances C1 to C4 on the upper, lower, left and right sides of the cargo handling space 91. It is made possible.
  • the image processing unit 42 functions as a clearance derivation unit.
  • step S8 the image processing unit 42 makes a contact determination to determine whether or not the load 70 and the adjacent object come into contact with each other.
  • the contact determination is performed from the dimensions d1 to d4 of the clearances C1 to C4 derived in step S7.
  • the image processing unit 42 determines that the load 70 and the adjacent object come into contact with each other when the dimensions d1 to d4 of the clearances C1 to C4 between the load 70 and the adjacent object are less than the threshold value.
  • the image processing unit 42 determines that the clearances C1 to C4 are less than the threshold value even when the clearances C1 to C4 do not exist between the load 70 and the adjacent object.
  • the threshold value is set in consideration of, for example, a deviation amount due to a measurement error, a slight deviation in the traveling direction of the forklift 20 due to undulations of the road surface, or a margin. If the clearances C1 and C2 above and below the cargo handling space 91, the image processing unit 42 determines whether or not the dimensions d1 and d2 in the Z-axis direction are less than the threshold value, and the dimensions d1 and d2 in the Z-axis direction of the clearances C1 and C2. If d2 is less than the threshold value, it is determined that the load 70 and the adjacent object come into contact with each other.
  • the image processing unit 42 determines that the load 70 and the adjacent object do not come into contact with each other if the dimensions d1 and d2 of the clearances C1 and C2 in the Z-axis direction are equal to or larger than the threshold value. If the left and right clearances C3 and C4 of the cargo handling space 91, the image processing unit 42 determines whether or not the dimensions d3 and d4 of the clearances C3 and C4 in the X-axis direction are less than the threshold value, and determines whether or not the dimensions d3 and d4 of the clearances C3 and C4 are less than the threshold value.
  • the image processing unit 42 determines that the load 70 and the adjacent object do not come into contact with each other if the dimensions d3 and d4 of the clearances C3 and C4 in the X-axis direction are equal to or larger than the threshold value.
  • the image processing unit 42 individually determines the contact between the coordinate system based on the first stereo camera 45 and the coordinate system based on the second stereo camera 46.
  • step S9 the image processing unit 42 wirelessly transmits data including the determination result of the contact determination performed in step S8 from the wireless unit 44.
  • the determination result of the contact determination is information for causing the display controller 55 to recognize a portion of the load 70 that may come into contact with an adjacent object in the vertical and horizontal directions.
  • the image processing unit 42 individually determines the contact between the coordinate system based on the first stereo camera 45 and the coordinate system based on the second stereo camera 46. Therefore, even if it is determined that the load 70 and the adjacent object are in contact with each other in one coordinate system, it may be determined that the load 70 and the adjacent object are not in contact with each other in the other coordinate system.
  • the dimension d1 of the clearance C1 existing above the cargo handling space 91 is less than the threshold value, and in the coordinate system based on the second stereo camera 46, above the cargo handling space 91.
  • the dimension d1 of the existing clearance C1 may be equal to or larger than the threshold value.
  • step S10 the display controller 55 displays on the monitor 56 according to the determination result of the contact determination.
  • the display controller 55 may acquire the determination result of the contact determination from the operation controller 52 or the first radio 53.
  • the display controller 55 superimposes the symbol SY imitating the load 70 on the captured image I and displays it on the monitor 56.
  • This symbol SY may be always displayed on the monitor 56, or may be displayed only when the cargo handling device 24 performs the loading operation.
  • the display controller 55 displays the symbol SY, for example, when the loading position is detected.
  • the detection of the loading position is performed by extracting the shape of the marker provided at the loading position and the loading position by image recognition.
  • image recognition for example, pattern matching is used in which the template image stored in advance in the ROM or the like of the image processing unit 42 is compared with the image data, and a region having a high degree of matching with the template image is searched for.
  • the display controller 55 makes the symbols to be superimposed and displayed on the captured image I different according to the clearances C1 to C4 between the cargo handling space 91 and the adjacent object. If all of the dimensions d1 to d4 of the clearances C1 to C4 are equal to or larger than the threshold value, the symbol SY imitating the load 70 is displayed on the monitor 56 as shown in FIG.
  • a circular warning display A is displayed as an example, but the right side of the symbol SY can be emphasized, such as a warning display A having a shape other than a circle or a warning display that changes the color only on the right side of the symbol SY. Any display may be used as a warning display as long as it can be displayed.
  • the display controller 55 displays a warning display A on the left side of the symbol SY imitating the load 70.
  • the symbol SY2 is displayed on the monitor 56.
  • the display controller 55 displays a warning display A above the symbol SY imitating the load 70.
  • the symbol SY3 is displayed on the monitor 56.
  • the display controller 55 displays a warning display A below the symbol SY imitating the load 70.
  • the displayed symbol SY4 is displayed on the monitor 56.
  • warning displays A may be displayed on the left and right sides of the symbol SY. In this way, when the clearance with the plurality of adjacent objects is less than the threshold value, a plurality of warning displays A may be displayed corresponding to the directions.
  • the superimposed display of the symbols SY and SY1 to SY4 is performed by the display controller 55 generating OSD: On Screen Display data indicating the symbols SY and SY1 to SY4 and synthesizing the OSD data with the image data.
  • the symbols SY and SY1 to SY4 indicating whether or not the dimensions d1 to d4 of the clearances C1 to C4 are less than the threshold value serve as information regarding the dimensions of the clearances C1 to C4.
  • the display controller 55 that superimposes and displays the symbols SY and SY1 to SY4 on the captured image I functions as a display unit.
  • the operator can operate the forklift 20 while looking at the captured image I of the monitor 56. Further, when it is difficult to grasp the clearances C1 to C4 between the load 70 and the adjacent object only from the captured image I, the operator operates the forklift 20 while looking at the symbols SY and SY1 to SY4 to obtain the load 70 and the adjacent object. It is possible to carry out cargo handling work while suppressing the contact of the cargo.
  • the symbols SY, SY1 to SY4 displayed on the monitor 56 notify the operator of information regarding the dimensions d1 to d4 of the clearances C1 to C4. Therefore, the monitor 56 functions as a notification unit.
  • the operation support device 60 for the cargo handling vehicle used in the remote control system 10 is a camera 41 and an image processing unit 42, which are members for notifying the operator of information regarding the dimensions d1 to d4 of the clearances C1 to C4. , Vehicle-side radio 43, stereo cameras 45, 46, second radio 54, display controller 55, and monitor 56.
  • the stereo cameras 45 and 46 allow the image processing unit 42 to derive the coordinates of the feature points in the coordinate system in the real space from the difference between the image data captured by the two cameras. That is, the stereo cameras 45 and 46 can cause the image processing unit 42 to perform three-dimensional measurement.
  • the image processing unit 42 can extract an object in a coordinate system in real space by clustering feature points according to coordinates into a point cloud. Further, by arranging the stereo cameras 45 and 46 so that the load 70 is included in the imaging range of the stereo cameras 45 and 46, the image processing unit 42 can use the cargo handling space 91 occupied by the load 70 in the coordinate system in the real space. Can be derived.
  • the positional relationship between the cargo-handling space 91 and the object can be determined by deriving the cargo-handling space 91 in the coordinate system in the real space. It can be derived.
  • the clearances C1 to C4 between the cargo handling space 91 and the adjacent object are such that the load 70 and the adjacent object are adjacent to each other when the load 70 loaded on the cargo handling device 24 and the adjacent object are adjacent to each other in the X-axis direction or the Z-axis direction. Is the clearance that occurs between. Therefore, by deriving the dimensions of the clearances C1 to C4 between the cargo handling space 91 and the adjacent object, it is possible to determine whether or not the load 70 and the adjacent object are in contact with each other.
  • the display controller 55 notifies the operator whether the clearances C1 to C4 are less than the threshold value as information regarding the dimensions of the clearances C1 to C4 between the cargo handling space 91 and the adjacent object. Is displayed. Therefore, the operator can easily determine whether or not the load 70 and the adjacent object come into contact with each other from the information regarding the dimensions of the clearances C1 to C4.
  • the display controller 55 superimposes the symbols SY and SY1 to SY4, which are information on the dimensions of the clearances C1 to C4, on the captured image I and displays them on the monitor 56.
  • the operator of the forklift 20 operates the forklift 20 while looking at the captured image I displayed on the monitor 56.
  • By displaying the symbols SY and SY1 to SY4 on the monitor 56 it is easy for the operator to grasp the information regarding the dimensions of the clearances C1 to C4.
  • the display controller 55 displays to notify the operator that the clearances C1 to C4 are less than the threshold value as information regarding the dimensions of the clearances C1 to C4. As information on the dimensions of the clearances C1 to C4, it is easier for the operator to recognize whether or not the load 70 and an adjacent object come into contact with each other, as compared with the case where the dimensions of the clearances C1 to C4 are displayed.
  • the embodiment can be modified and implemented as follows. The present embodiment and the following modifications can be implemented in combination with each other within a technically consistent range.
  • the operation support device 60 for the cargo handling vehicle may derive the clearance between the cargo handling space 91 and the adjacent object when performing the cargo picking work, and notify the operator of information on the dimensions of the clearance.
  • the loading operation is an operation of loading the load 70 on the fork 27. That is, it is an operation of causing the fork 27 to support the pallet 72 by raising the fork 27 after inserting the fork 27 into the hole of the pallet 72. In the unloading work, the load 70 placed at the unloading position is loaded on the fork 27.
  • the cargo handling space 91 becomes an occupied space 92 occupied by the load 70 loaded on the cargo handling device 24.
  • the image processing unit 42 uses the occupied space 92 at the stage when the fork 27 is inserted into the hole of the pallet 72. It can be derived.
  • the occupied space 92 can be derived by the same method as in the embodiment.
  • the image processing unit 42 When the image processing unit 42 derives the occupied space 92, the image processing unit 42 derives the clearance between the occupied space 92 and the adjacent object.
  • the clearance between the occupied space 92 and the adjacent object can be derived from the coordinates of the occupied space 92 and the coordinates of the adjacent object.
  • the process after the clearance between the occupied space 92 and the adjacent object is derived is the same as that of the embodiment.
  • the operation support device 60 of the cargo handling vehicle derives the clearance between the cargo handling space 91 and the adjacent object only when performing the cargo picking work, and notifies the operator of the information regarding the dimensions of the clearance.
  • the operation support device 60 of the cargo handling vehicle may derive the clearance between the cargo handling space 91 and the adjacent object only when the loading operation is performed, and notify the operator of the information regarding the dimensions of the clearance.
  • the operation support device 60 of the cargo handling vehicle derives the clearance between the cargo handling space 91 and the adjacent object when performing both the unloading work and the unloading work, and notifies the operator of information on the dimensions of the clearance. It may be.
  • the operation support device 60 of the cargo handling vehicle derives the clearance between the cargo handling space 91 and the adjacent object during at least one of the cargo handling work of the loading operation and the loading operation, and provides information on the dimensions of the clearance to the operator. Anything may be used to notify.
  • the image processing unit 42 may set at least one of an object adjacent to the cargo handling space 91 in the X-axis direction and an object adjacent to the cargo handling space 91 in the Z-axis direction as adjacent objects, and the adjacent object is the cargo handling space 91. It may be only the objects adjacent to each other in the X-axis direction, or it may be only the objects adjacent to the cargo handling space 91 in the Z-axis direction. It can be said that the adjacent object may be only an object vertically adjacent to the cargo handling space 91, or may be only an object adjacent to the cargo handling space 91 in the left-right direction. That is, the image processing unit 42 may derive only the dimensions of the clearance existing above and below the cargo handling space 91, or may derive only the dimensions of the clearance existing above and below the cargo handling space 91.
  • the operation support device for the cargo handling vehicle may support the passengers of the forklift 20 as an operator.
  • the forklift 20 is provided with a display controller 55 so that information on the captured image I and the dimensions of the clearance can be displayed. Since it is not necessary to transmit the image data to the remote control device 50, the remote control device 50, the vehicle-side radio 43, and the radio unit 44 may not be provided.
  • the operation support device for the cargo handling vehicle is a camera 41, an image processing unit 42, stereo cameras 45 and 46, a monitor 56 provided on the forklift 20, and information on the captured image I and clearance dimensions on the monitor 56. It suffices to include a display controller 55 for displaying the above.
  • a character display may be performed instead of the symbols SY and SY1 to SY4.
  • the information regarding the clearance dimensions may be the clearance dimensions themselves.
  • the display controller 55 superimposes and displays the clearance dimension on the captured image I instead of the symbols SY, SY1 to SY4 according to the clearance. Thereby, the operator can determine whether or not the load 70 and the adjacent object come into contact with each other.
  • the information regarding the clearance dimension may be to notify that there is a clearance whose clearance dimension is less than the threshold value, and specify in which direction the clearance in the cargo handling space 91 is less than the threshold value. You do not have to give a warning.
  • the notification unit may be any member as long as it can notify the operator of information on the clearance dimensions.
  • the operator may be notified by sound of information regarding the dimensions of the clearance.
  • the notification unit may be a sounding member that generates a warning sound. The sounding member is activated when the clearance between the cargo handling space 91 and the adjacent object is less than the threshold value.
  • the notification unit may notify the operator of information regarding the dimensions of the clearance by voice. In this case, it may be possible to notify by voice which direction of the cargo handling space 91 the clearance is less than the threshold value.
  • the notification unit may be a vibrating member that notifies the operator of information regarding the dimensions of the clearance by vibrating. The vibrating member is activated when the clearance between the cargo handling space 91 and the adjacent object is less than the threshold value.
  • the image processing unit 42 wirelessly transmits the coordinates of the object obtained by clustering in step S4 and the position of the load 70 derived in step S5 to the remote control device 50, thereby processing the display controller 55 after step S6. May be done.
  • the image processing unit 42 wirelessly transmits the coordinates of the object obtained by clustering in step S4 and the position of the cargo handling space 91 derived in step S6 to the remote control device 50, thereby transmitting the coordinates of the object to the display controller 55 after step S7. Processing may be performed.
  • the image processing unit 42 may cause the display controller 55 to perform the processing after step S8 by wirelessly transmitting the clearance dimension derived in step S7 to the remote control device 50. In this way, the derivation of the clearance using the image data acquired from the stereo cameras 45 and 46 and the contact determination using the derived clearance may be performed on the forklift 20 side or on the remote control device 50 side. It may be done.
  • An image processing unit that processes image data acquired from the camera 41 and an image processing unit that processes image data acquired from the stereo cameras 45 and 46 may be provided separately.
  • the forklift 20 may include one device having both the function of the main controller 31 and the function of the image processing unit 42, instead of the main controller 31 and the image processing unit 42.
  • the remote control device 50 may include one device having both the function of the operation controller 52 and the function of the display controller 55 instead of the operation controller 52 and the display controller 55.
  • the operation support device for the cargo handling vehicle may support both the operator in the operation room and the passenger of the forklift 20.
  • the monitor 56 is also provided at a position visible to the passengers of the forklift 20.
  • the image I captured by the camera 41 and information on the clearance dimensions are displayed on the visible monitor 56 of the occupant of the forklift 20.
  • the monitor 56 in the operation room displays the captured image I captured by the camera 41 and information on the clearance dimensions.
  • the image processing unit 42 may perform processing by matching the origin of the first stereo camera 45 with the origin of the second stereo camera 46.
  • the cargo handling space is obtained by merging the coordinates of the feature points obtained from the image data captured by the first stereo camera 45 and the coordinates of the feature points obtained from the image data captured by the second stereo camera 46.
  • the dimensions of the clearance between the 91 and the adjacent object can be derived. That is, the dimension of the clearance between the cargo handling space 91 and the adjacent object can be derived using a single coordinate system in the real space.
  • the forklift 20 may be a forklift that no one can board.
  • the forklift 20 may be a forklift dedicated to operation by the remote control device 50.
  • a three-dimensional camera other than the stereo cameras 45 and 46 may be used.
  • the three-dimensional camera is a camera capable of performing three-dimensional measurement, and includes stereo cameras 45 and 46 and a ToF: Time of Flight camera.
  • any sensor that can perform three-dimensional measurement may be used, and LIDAR: Laser Imaging Detection and Ringing or millimeter wave radar may be used.
  • LIDAR is a rangefinder that can recognize the surrounding environment by irradiating a laser while changing the irradiation angle and receiving the reflected light reflected from the part hit by the laser. When using lidar, the point that represents a part of the object is the point that the laser hits.
  • a millimeter-wave radar is a sensor that can recognize the surrounding environment by irradiating the surroundings with radio waves in a predetermined frequency band.
  • the point representing a part of the object is the point where the radio wave hits. That is, a point representing a part of an object can be said to be a point at which coordinates in a coordinate system in real space can be detected by a sensor.
  • the sensor may be a combination of a plurality of sensors such as a combination of a three-dimensional camera and LIDAR.
  • the stereo camera There may be one stereo camera. In this case, it is preferable that the entire load 70 is included in the imaging range of the stereo camera so that the cargo handling space 91 can be derived. Further, when it is not necessary to derive the clearance in the X-axis direction, such as when deriving the dimension of the clearance between the adjacent object adjacent to the cargo handling space 91 in the Z-axis direction and the cargo handling space 91, the stereo camera is set to 1. It may be one.
  • the captured image I captured by the stereo cameras 45 and 46 may be displayed on the monitor 56.
  • the stereo cameras 45 and 46 can be used in combination as a sensor for performing three-dimensional measurement and a camera for capturing the captured image I to be displayed on the camera.
  • a cargo handling tool other than the fork 27 may be used.
  • the cargo handling tool may be an attachment such as a clamp or a ram.
  • the object extraction unit, the cargo handling space derivation unit, and the clearance derivation unit may be separate devices.
  • the operation support device for the cargo handling vehicle may be a device for assisting an operator who operates a cargo handling vehicle other than the forklift 20 such as a crane vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Civil Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

荷役車両（２０）の操作支援装置（６０）は、カメラ（４１）、画像処理部（４２）、車両側無線機（４３）、ステレオカメラ（４５，４６）、第２無線機（５４）、表示コントローラ（５５）、及びモニタ（５６）を備える。画像処理部（４２）は、実空間上の座標系において、物体の一部を表す点の集合である点群を物体として抽出する。画像処理部（４２）は、実空間上の座標系において、荷役装置（２４）による荷役作業中に荷が占有する荷役空間（９１）を導出する。画像処理部（４２）は、荷役空間（９１）と隣接物体とのクリアランス（Ｃ１～Ｃ４）の寸法（ｄ１～ｄ４）を導出する。表示コントローラ（５５）は、カメラ（４１）によって撮像された撮像画像（Ｉ）に重畳して、クリアランス（Ｃ１～Ｃ４）の寸法（ｄ１～ｄ４）に応じたシンボル（ＳＹ，ＳＹ１～ＳＹ４）をモニタ（５６）に表示する。

Description

荷役車両の操作支援装置
　本開示は、荷役車両の操作支援装置に関する。
　荷役車両は、荷役装置に積載された荷の搬送を行う。モニタに表示された画像によって荷役車両の操作を支援する荷役車両の操作支援装置としては、例えば、特許文献１に記載されている。特許文献１に記載の荷役車両の操作支援装置は、カメラと、カメラにより撮像された撮像画像が表示されるモニタと、を備える。荷役車両の操作者は、モニタに表示された撮像画像を見ながら荷役車両を操作することができる。
特開２０１１－３７５３６号公報
　荷役車両による荷置き作業を行う際には、荷役装置に積載された荷を荷置き位置に置く。この際、荷置き位置の周囲に物体が存在していると、荷役車両の操作者は荷と物体とのクリアランスをモニタで確認しながら、荷と物体とが接触しないように荷を荷置き位置に置く。荷役車両による荷取り作業を行う際には、荷取り位置に置かれた荷を荷役装置に積載した後に、荷役車両を荷取り位置から後退させる。この際、荷取り位置の周囲に物体が存在していると、荷役車両の操作者は荷と物体とのクリアランスをモニタで確認しながら、荷と物体とが接触しないように荷役車両を後退させる。このように、荷役車両を用いた荷置き作業及び荷取り作業では、荷役装置に積載された荷と、この荷に隣り合う隣接物体とのクリアランスを確認しながら操作者が操作を行う必要がある。しかしながら、モニタに表示される撮像画像は二次元の画像であり、荷と隣接物体とのクリアランスを把握しにくい場合がある。即ち、荷役車両の操作者は、荷と隣接物体とが接触するか否かを判別しにくい場合がある。
　本開示の目的は、荷と隣接物体とが接触するか否かを荷役車両の操作者が判別しやすい荷役車両の操作支援装置を提供することにある。
　上記課題を解決する荷役車両の操作支援装置は、荷役装置に積載された荷の搬送を行う荷役車両の操作支援装置であって、センサと、水平方向のうち前記荷役車両の車幅方向に延びる軸をＸ軸、水平方向のうち前記Ｘ軸に直交する軸をＹ軸、鉛直方向に延びる軸をＺ軸とする実空間上の座標系において、前記センサの検出結果から物体の一部を表す点の集合である点群を前記物体として抽出する物体抽出部と、前記実空間上の座標系において、前記荷役装置による荷役作業中に前記荷が占有する荷役空間を導出する荷役空間導出部と、前記物体抽出部により抽出された前記物体のうち前記荷役空間と前記Ｘ軸の延びる方向に隣り合う前記物体、及び前記物体抽出部により抽出された前記物体のうち前記荷役空間と前記Ｚ軸の延びる方向に隣り合う前記物体の少なくともいずれかを隣接物体とすると、前記隣接物体と前記荷役空間とのクリアランスの寸法を導出するクリアランス導出部と、前記荷役車両の操作者に対して、前記クリアランスの寸法に関する情報を通知する通知部と、を備える。
　実空間上の座標系は、Ｘ軸、Ｙ軸及びＺ軸による３軸直交座標系なので、物体抽出部により実空間上の座標系において物体を抽出し、荷役空間導出部により実空間上の座標系において荷役空間を導出することで、荷役空間と物体との位置関係を導出することができる。クリアランス導出部は、荷役空間と、荷役空間に隣接する隣接物体とのクリアランスの寸法を導出する。荷役空間と隣接物体とのクリアランスは、荷と隣接物体とがＸ軸の延びる方向、あるいは、Ｚ軸の延びる方向に隣り合っている場合に荷と隣接物体との間に生じるクリアランスである。通知部は、導出部により導出されたクリアランスの寸法に関する情報を操作者に通知する。操作者は、クリアランスの寸法に関する情報から、荷と隣接物体とが接触するか否かを判別しやすい。
　上記荷役車両の操作支援装置について、前記通知部は、前記荷役車両の操作者に視認可能な位置に配置されており、前記荷役車両に搭載されたカメラによって撮像されている撮像画像が表示されるモニタであり、前記撮像画像に前記クリアランスの寸法に関する情報を重畳して表示する表示部と、を備えていてもよい。
　上記荷役車両の操作支援装置について、前記通知部は、前記クリアランスの寸法が予め定められた閾値未満か否かを前記操作者に対して通知するものでもよい。
　本開示によれば、荷と隣接物体とが接触するか否かを荷役車両の操作者が判別しやすい。
遠隔操作システムの概略構成図。 フォークリフト、及び遠隔操作装置の概略構成図。 フォークリフトの平面図を模式的に示す図。 第１ステレオカメラの撮像範囲を模式的に示す図。 荷置き作業を行う際のラックと荷との関係を示す模式図。 遠隔操作システムで行われる処理を示すフローチャート。 荷役空間と隣接物体とのクリアランスを示す模式図。 モニタに表示されるクリアランスの寸法に関する情報を示す図。 クリアランスに応じたシンボルを示す図。
　以下、荷役車両の操作支援装置の一実施形態について説明する。
　図１に示すように、遠隔操作システム１０は、荷役車両としてのフォークリフト２０と、フォークリフト２０を遠隔操作するのに用いられる遠隔操作装置５０と、を備える。フォークリフト２０は荷の搬送等が行われる作業場に配置される。遠隔操作装置５０は操作室にいる操作者による操作によりフォークリフト２０を遠隔操作するための部材である。操作室は、作業場を直接視認できない場所、あるいは、作業場を直接視認しにくい場所である。なお、以下の説明において、前後左右とは、フォークリフト２０の前後左右である。フォークリフト２０の左右方向とは、フォークリフト２０の車幅方向である。
　本実施形態のフォークリフト２０はリーチ式である。なお、フォークリフト２０としては、カウンタ式のものが用いられてもよい。フォークリフト２０は、車体２１と、車体２１に設けられた車輪２２と、車体２１の前方に向けて延びたリーチレグ２３と、車体２１の前方に設けられた荷役装置２４と、を備える。リーチレグ２３は、左右方向に離間して一対設けられている。荷役装置２４は、リーチレグ２３に対して起立したマスト２５と、マスト２５に取り付けられたバックレスト２６と、バックレスト２６に取り付けられたフォーク２７と、を備える。フォーク２７は、左右方向に離間して一対設けられている。フォーク２７は、荷が積載される部材である荷役具である。
　図１及び図２に示すように、フォークリフト２０は、フォークリフト２０に走行動作を行わせる駆動機構２８と、フォークリフト２０に荷役動作を行わせる荷役機構２９と、メインコントローラ３１と、荷役操作部３２と、を備える。
　駆動機構２８は、車輪２２を回転させる駆動源、及びフォークリフト２０の操舵を行う操舵機構などを含む。荷役機構２９は、マスト２５を動作させる油圧シリンダに作動油を供給する荷役ポンプ、荷役ポンプを駆動させる駆動源、作動油の流通を制御するバルブなどを含む。荷役機構２９は、マスト２５をリーチレグ２３に沿って前後方向に移動させるリーチ動作、マスト２５を傾動させるティルト動作、マスト２５を昇降させるリフト動作を荷役装置２４に行わせることができる。荷役動作は、リーチ動作、ティルト動作、リフト動作のいずれか１つを含む動作である。
　メインコントローラ３１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。メインコントローラ３１の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。メインコントローラ３１は、駆動機構２８及び荷役機構２９を制御することで、フォークリフト２０に走行動作及び荷役動作をさせる。
　荷役操作部３２は、リーチ動作、ティルト動作、リフト動作に対応して個別に設けられており、荷役操作部３２に対応した荷役動作が行われる。荷役操作部３２は、フォークリフト２０の搭乗者によって操作される。図示は省略するが、フォークリフト２０は、荷役操作部３２の操作量を検出する操作量検出部を備え、操作量検出部の検出結果がメインコントローラ３１に出力される。また、図示は省略するが、フォークリフト２０は、搭乗者によって操作される走行操作部を備える。メインコントローラ３１は、荷役操作部３２及び走行操作部の操作に応じて駆動機構２８及び荷役機構２９の制御を行う。即ち、本実施形態のフォークリフト２０は、遠隔操作装置５０を用いた遠隔操作に加えて、フォークリフト２０の搭乗者による操作も可能なフォークリフトである。
　フォークリフト２０は、カメラ４１と、画像処理部４２と、車両側無線機４３と、無線ユニット４４と、２つのステレオカメラ４５，４６と、を備える。カメラ４１としては、例えば、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサを用いたものが挙げられる。
　カメラ４１は、フォーク２７に荷が積載されていない状態で、水平画角及び垂直画角により規定される撮像範囲にフォーク２７が含まれるように取り付けられている。詳細にいえば、フォーク２７に荷が積載されていない状態で、カメラ４１の撮像範囲には２つのフォーク２７の先端が含まれるようにカメラ４１は取り付けられている。カメラ４１は、フォーク２７とともに昇降する部材に取り付けられている。本実施形態では、カメラ４１は、バックレスト２６に取り付けられている。カメラ４１は、フォーク２７よりも鉛直方向上方に設けられている。カメラ４１は、フォークリフト２０の前方を向いており、かつ、鉛直方向下方に向けて傾斜するように配置されている。従って、カメラ４１は、鉛直方向上方からフォーク２７を鳥瞰するように配置されているといえる。
　本実施形態において、２つのステレオカメラ４５，４６は同一構成である。ステレオカメラ４５，４６は、それぞれ、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサを用いたカメラを２つ備える。ステレオカメラ４５，４６はセンサとして機能している。ステレオカメラ４５，４６の備える２つのカメラは、互いの光軸が平行となるように配置されている。ステレオカメラ４５，４６の備える２つのカメラは、互いに離間しているため、２つのカメラによって撮像される画像では同一物体がずれて写ることになる。詳細にいえば、同一物体を撮像した場合、２つのカメラによって撮像される画像に写る物体には、２つのカメラ間の距離に応じた画素のずれが生じることになる。
　ステレオカメラ４５，４６は、フォーク２７とともに昇降する部材に取り付けられている。本実施形態では、ステレオカメラ４５，４６は、バックレスト２６に取り付けられている。ステレオカメラ４５，４６は、フォーク２７よりも鉛直方向上方に設けられている。ステレオカメラ４５，４６は、フォークリフト２０の前方を向いており、かつ、鉛直方向下方に向けて傾斜するように配置されている。
　図３に示すように、２つのステレオカメラ４５，４６は、互いに左右方向に離間して配置されている。本実施形態では、バックレスト２６の左右両端に分かれて２つのステレオカメラ４５，４６は配置されている。２つのステレオカメラ４５，４６のうち一方を第１ステレオカメラ４５、他方を第２ステレオカメラ４６とする。第１ステレオカメラ４５は、バックレスト２６の左端に配置されている。第２ステレオカメラ４６は、バックレスト２６の右端に配置されている。
　図４に示すように、ステレオカメラ４５，４６は、フォーク２７に積載された荷７０の側部及び荷７０の上面が、水平画角及び垂直画角により規定される撮像範囲に含まれるように取り付けられている。荷７０とは、フォーク２７に積載される物である。本実施形態では、一例として搬送物７１を積載したパレット７２が荷７０としてフォーク２７に積載される場合について説明するが、パレット７２のみがフォーク２７に積載されていればパレット７２が荷７０である。
　図４には、第１ステレオカメラ４５の撮像範囲を模式的に示している。図４から把握できるように、フォーク２７に荷７０が積載された状態で、第１ステレオカメラ４５の撮像範囲には、パレット７２の左端Ｌ１、パレット７２の上面Ｔ１、搬送物７１の左端Ｌ２及び搬送物７１の上面Ｔ２が含まれている。図示は省略するが、フォーク２７に荷７０が積載された状態で、第２ステレオカメラ４６の撮像範囲には、パレット７２の右端Ｒ１、パレット７２の上面Ｔ１、搬送物７１の右端Ｒ２及び搬送物７１の上面Ｔ２が含まれている。
　画像処理部４２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。画像処理部４２の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。画像処理部４２は、カメラ４１から所定の間隔で画像データを取得する。画像データは、例えば、ＲＧＢ形式のデータである。画像処理部４２は、カメラ４１から取得した画像データに対して画像処理を行う。画像処理部４２は、各ステレオカメラ４５，４６から所定の間隔で画像データを取得する。画像データは、例えば、ＲＧＢ形式のデータである。画像処理部４２は、各ステレオカメラ４５，４６から取得した画像データに対して画像処理を行う。画像処理部４２とメインコントローラ３１とは、ＣＡＮ：Controller Area NetworkやＬＩＮ：Local Interconnect Networkなどのプロトコルで互いに通信を行うことが可能である。
　車両側無線機４３は、遠隔操作装置５０にカメラ４１から取得した画像データを送信するための通信インターフェースである。車両側無線機４３は、画像処理部４２から出力された画像データを変調して無線信号を生成する。車両側無線機４３は、無線信号を送信する。
　無線ユニット４４は、遠隔操作装置５０と相互に通信を行うための通信インターフェースである。無線ユニット４４は、メインコントローラ３１や画像処理部４２から出力されたデータを変調して無線信号を生成する変調部と、遠隔操作装置５０から受信した無線信号を復調して、復調されたデータをメインコントローラ３１に出力する復調部と、を含む。無線ユニット４４は、フォークリフト２０の周辺の情報や、フォークリフト２０の情報を遠隔操作装置５０に送信する。フォークリフト２０の周辺の情報としては、例えば、荷７０に関する情報が挙げられる。フォークリフト２０の情報としては、例えば、フォークリフト２０の操舵角やフォークリフト２０の速度が挙げられる。
　次に、遠隔操作装置５０について説明する。
　図２に示すように、遠隔操作装置５０は、フォークリフト２０を操作するための操作部５１と、操作コントローラ５２と、第１無線機５３と、第２無線機５４と、表示コントローラ５５と、モニタ５６と、を備える。操作部５１、操作コントローラ５２、表示コントローラ５５、及びモニタ５６は、操作室に設けられている。第１無線機５３及び第２無線機５４は、作業場に設けられている。
　操作部５１は、操作室にいる操作者によって操作される。操作部５１は、例えば、傾倒可能なレバー式の操作部である。操作部５１は、遠隔操作装置５０によりフォークリフト２０を操作する際に用いられる。操作部５１には、フォークリフト２０を走行動作させる際に操作される走行操作部と、フォークリフト２０を荷役動作させる際に操作される荷役操作部と、が含まれる。操作部５１の操作量は、図示しない操作量検出部により検出され、操作コントローラ５２に出力される。
　操作コントローラ５２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。操作コントローラ５２の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。操作コントローラ５２は、操作部５１の操作量に応じて指令を生成する。
　第１無線機５３は、無線ユニット４４と相互の通信を行うための通信インターフェースである。第１無線機５３は、操作コントローラ５２から出力されたデータを変調して無線信号を生成する変調部と、無線ユニット４４から受信した無線信号を復調して、復調されたデータを操作コントローラ５２に出力する復調部と、を含む。
　操作コントローラ５２は、操作部５１の操作量に応じた指令を含むデータを第１無線機５３に出力することで、第１無線機５３及び無線ユニット４４を介してメインコントローラ３１に指令を与えることができる。メインコントローラ３１は、操作コントローラ５２からの指令を受信すると、指令に従って駆動機構２８及び荷役機構２９を制御する。これにより、操作室にいる操作者は、フォークリフト２０を遠隔操作することが可能である。また、操作コントローラ５２は、第１無線機５３を介してフォークリフト２０の周辺の情報やフォークリフト２０の情報を認識可能である。本実施形態では、フォークリフト２０は、操作室にいる操作者に操作される。操作室にいる操作者が、荷役車両の操作者となる。
　第２無線機５４は、車両側無線機４３からの画像データを受信するための通信インターフェースである。第２無線機５４は、車両側無線機４３から受信した無線信号を復調し、復調された画像データを表示コントローラ５５に出力する。
　表示コントローラ５５は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ、及びこれらを接続するバスライン等を備える。表示コントローラ５５の行う処理は、ＲＯＭ等の実体的なメモリ装置に予め記憶されたプログラムをＣＰＵで実行することによるソフトウェア処理であってもよいし、専用の電子回路によるハードウェア処理であってもよい。表示コントローラ５５は、第２無線機５４から取得した画像データをモニタ５６に出力する。また、表示コントローラ５５は、フォークリフト２０の運転に必要となる情報を表示するためのデータをモニタ５６に出力することも可能である。表示コントローラ５５と操作コントローラ５２とは、互いの情報を取得可能に構成されている。
　モニタ５６は、表示コントローラ５５から出力された画像データを撮像画像として表示するディスプレイである。モニタ５６は、操作室にいる操作者が視認可能な位置に配置されている。モニタ５６は、表示コントローラ５５から出力された画像データを撮像画像として表示することで、操作者にカメラ４１に撮像されている撮像画像を視認させることができる。また、モニタ５６には、フォークリフト２０の操作を支援するための表示も行われる。操作室にいる操作者は、モニタ５６を見ながらフォークリフト２０を操作することが可能である。
　次に、モニタ５６への表示を行うために遠隔操作システム１０で行われる処理について説明する。以下の説明において、フォークリフト２０によって荷置き作業を行う場合を例に挙げて説明する。荷置き作業とは、荷役装置２４に積載された荷７０を荷置き位置に置く作業である。荷置き作業では、荷役装置２４に積載された荷７０を荷置き位置の鉛直方向上方に位置させた後に、フォーク２７を下降させる。荷７０が荷置き位置に置かれた後には、フォークリフト２０を後退させることで、フォーク２７を荷７０から離間させる。
　図５に示すように、一例として、ラック８０に荷７０を置く場合について説明する。ラック８０は、柱８１に棚板８２を支持させたものである。操作者は、フォークリフト２０を操作することで、フォーク２７に積載された荷７０を棚板８２に移載する。本実施形態の荷７０は、パレット７２に搬送物７１を積載したものである。棚板８２には、荷役装置２４に積載された荷７０とは異なる荷７３が既に置かれている。操作者は、棚板８２のうち既に置かれた荷７３と、柱８１との間に荷役装置２４に積載された荷７０を移載する。棚板８２のうち既に置かれた荷７３と、柱８１との間の位置Ｐ１が荷置き位置となる。
　図６に示すように、ステップＳ１において、画像処理部４２は、ステレオカメラ４５，４６から画像データを取得する。画像処理部４２は、ステレオカメラ４５，４６毎に個別に画像データを取得する。
　次に、ステップＳ２において、画像処理部４２は、ステレオ処理を行うことで、視差画像を取得する。視差画像は、画素に対して視差［ｐｘ］を対応付けたものである。視差画像とは、必ずしも表示を要するものではなく、視差画像における各画素に視差が対応付けられたデータのことを示す。視差は、ステレオカメラ４５，４６の備える２つのカメラによって撮像された画像データを比較し、各画像データに写る同一特徴点について画像データ間の画素数の差を導出することで得られる。なお、特徴点とは、物体のエッジなど、境目として認識可能な部分である。特徴点は、輝度情報などから検出することができる。画像処理部４２は、ステレオカメラ４５，４６毎に個別にステレオ処理を行い、ステレオカメラ４５，４６毎に視差画像を取得する。
　次に、ステップＳ３において、画像処理部４２は、実空間上の座標系における特徴点の座標を導出する。実空間上の座標系は、フォークリフト２０が水平面に位置している状態で水平方向のうちフォークリフト２０の車幅方向に延びる軸をＸ軸、水平方向のうちＸ軸に直交する軸をＹ軸、鉛直方向に延びる軸をＺ軸とする座標系である。特徴点の座標の導出は、ステレオカメラ４５，４６の基線長、ステレオカメラ４５，４６の焦点距離、及びステップＳ２で得られた視差画像からカメラ座標系における特徴点の座標を導出した後に、当該座標を実空間上の座標系における座標に変換することで行われる。画像処理部４２は、ステップＳ２で取得した視差画像毎に個別に特徴点の座標を導出する。本実施形態では、図７に示すように、ラック８０のエッジや、ラック８０に置かれた荷７３のエッジが特徴点Ｐとして抽出できる。なお、本実施形態では、第１ステレオカメラ４５と、第２ステレオカメラ４６とで座標軸の向きは同一となっているが、原点は一致させていない。従って、画像処理部４２は、第１ステレオカメラ４５と第２ステレオカメラ４６で、個別の座標系で特徴点の座標を導出するといえる。なお、以下の説明において、座標とは、実空間上の座標系における座標を示す。また、実空間上の座標系における座標軸であるＸ軸の延びる方向をＸ軸方向、Ｙ軸の延びる方向をＹ軸方向、Ｚ軸の延びる方向をＺ軸方向として説明を行う。
　図６に示すように、ステップＳ４において、画像処理部４２は、特徴点をクラスタ化することで物体の抽出を行う。画像処理部４２は、物体の一部を表す点である特徴点のうち同一物体を表していると想定される特徴点の集合を１つの点群とし、当該点群を物体として抽出する。画像処理部４２は、ステップＳ３で導出された特徴点の座標から、所定範囲内に位置する特徴点を１つの点群とみなすクラスタ化を行う。画像処理部４２は、クラスタ化された点群を１つの物体とみなす。なお、ステップＳ４で行われる特徴点のクラスタ化は種々の手法で行うことができる。画像処理部４２は、各ステレオカメラ４５，４６で得られた特徴点毎に個別に物体の抽出を行う。ステップＳ４の処理を行うことで、画像処理部４２は、物体抽出部として機能している。
　次に、ステップＳ５において、画像処理部４２は、実空間上の座標系における荷７０の位置を導出する。荷７０の位置とは、実空間上の座標系における荷７０の座標である。画像処理部４２は、ステップＳ４で抽出された物体のうち荷７０に該当する物体を特定する。ステレオカメラ４５，４６とフォーク２７との位置は一定であるため、画像処理部４２は実空間上の座標系での物体の座標からいずれの物体が荷７０に該当するかを判定することができる。詳細にいえば、フォーク２７に荷７０が積載されている場合に荷７０の特徴点が取り得る座標を予め把握可能であるため、この座標に一致する特徴点を含む点群を荷７０と判定することができる。画像処理部４２は、荷７０に該当する物体を特定することで、特徴点の座標から荷７０の位置を導出することができる。
　荷７０の位置は、荷７０に該当すると判定された物体の座標から導出することができる。本実施形態では、荷７０の位置として、荷７０の下面、荷７０の上面、荷７０の左端、及び荷７０の右端の位置を導出する。荷７０の下面とは、パレット７２の下面である。荷７０の上面とは荷７０で最も鉛直方向上方に位置する面であり、パレット７２に搬送物７１が積載されていなければパレット７２の上面Ｔ１であり、パレット７２に搬送物７１が積載されていれば搬送物７１の上面Ｔ２である。荷７０の左端とは荷７０で最も左方に位置する部位であり、パレット７２に搬送物７１が積載されていない場合やパレット７２に積載された搬送物７１がパレット７２の左端よりも左方に突出していなければパレット７２の左端Ｌ１である。一方で、パレット７２に積載された搬送物７１の一部がパレット７２の左端Ｌ１よりも左方に突出していれば搬送物７１の左端Ｌ２が荷７０の左端である。荷７０の右端とは荷７０で最も右方に位置する部位であり、パレット７２に搬送物７１が積載されていない場合やパレット７２に積載された搬送物７１がパレット７２の右端Ｒ１よりも右方に突出していなければパレット７２の右端Ｒ１である。一方で、パレット７２に積載された搬送物７１の一部がパレット７２の右端Ｒ１よりも右方に突出していれば搬送物７１の右端Ｒ２が荷７０の右端である。
　ステレオカメラ４５，４６は、パレット７２の上面Ｔ１が撮像範囲に含まれるように配置されている。このため、画像処理部４２は、各ステレオカメラ４５，４６の画像データから得られた視差画像によってパレット７２の上面Ｔ１の座標を導出できる。パレット７２の寸法は規格で定まっており、既知の値である。従って、画像処理部４２は、パレット７２の上面Ｔ１の座標からパレット７２の下面の座標を導出することができる。詳細にいえば、パレット７２の上面Ｔ１の座標のうちＺ座標を、パレット７２の厚み分だけ鉛直方向下方にずらすことで、実空間上の座標系におけるパレット７２の下面の座標を導出することができる。なお、パレット７２の厚みとは、パレット７２の下面とパレット７２の上面とのＺ座標の差である。
　ステレオカメラ４５，４６は、荷７０の上面が撮像範囲に含まれるように配置されている。このため、画像処理部４２は、各ステレオカメラ４５，４６の画像データから得られた視差画像によって荷７０の上面の座標を導出できる。
　第１ステレオカメラ４５は、撮像範囲に荷７０の左端が含まれるように配置されている。このため、画像処理部４２は、第１ステレオカメラ４５の画像データから得られた視差画像によって荷７０の左端の座標を導出できる。
　第２ステレオカメラ４６は、撮像範囲に荷７０の右端が含まれるように配置されている。このため、画像処理部４２は、第２ステレオカメラ４６の画像データから得られた視差画像によって荷７０の右端の座標を導出できる。
　画像処理部４２は、第１ステレオカメラ４５の画像データから得られた視差画像から荷７０の座標を導出することで、荷７０の上面、荷７０の下面、及び荷７０の左端の座標を導出可能である。また、画像処理部４２は、パレット７２の右端Ｒ１等、荷７０の右端が画像に写っていれば、荷７０の右端の座標を導出することもできる。パレット７２の寸法は規格で定まっているため、荷７０の右端の座標は、荷７０の左端の座標から導出することも可能である。なお、第１ステレオカメラ４５は、荷７０の左側を撮像するために設けられたものであり、荷７０の右端の座標は導出できなくてもよい。
　画像処理部４２は、第２ステレオカメラ４６の画像データから得られた視差画像から荷７０の座標を導出することで、荷７０の上面、荷７０の下面、及び荷７０の右端の座標を導出可能である。また、画像処理部４２は、パレット７２の左端Ｌ１等、荷７０の左端が画像に写っていれば、荷７０の左端の座標を導出することもできる。パレット７２の寸法は規格で定まっているため、荷７０の左端の座標は、荷７０の右端の座標から導出することも可能である。なお、第２ステレオカメラ４６は、荷７０の右側を撮像するために設けられたものであり、荷７０の左端の座標は導出できなくてもよい。
　画像処理部４２は、第１ステレオカメラ４５の画像データから、第１ステレオカメラ４５に写る範囲での荷７０の座標を導出するといえる。画像処理部４２は、第２ステレオカメラ４６の画像データから、第２ステレオカメラ４６に写る範囲での荷７０の座標を導出するといえる。
　図５及び図６に示すように、ステップＳ６において、画像処理部４２は、実空間上の座標系における荷役空間９１の位置を導出する。荷役空間９１とは、荷役装置２４による荷役作業中に荷７０が占有する空間である。荷役作業には、荷置き作業及び荷取り作業が含まれる。荷置き作業を行う際の荷役空間９１は、フォークリフト２０が荷置き位置から離間した位置から荷置き位置に近づき、荷置き位置に荷７０を置くまでに荷７０が占有すると想定される空間である。荷置き作業を行う際の荷役空間９１は、荷役装置２４に積載された荷７０によって占有される占有空間９２と、占有空間９２をＹ軸方向に延長した延長空間９３と、を含む。占有空間９２とは、荷７０を構成する特徴点によって囲まれる空間であってもよいし、図５に示すように、パレット７２の下面から、パレット７２の下面を荷７０の上面まで延長した空間であってもよい。荷役空間９１の位置とは、荷役空間９１を囲む外縁の座標であり、荷役空間９１を囲む外縁の座標は荷役空間９１の大きさを表しているともいえる。画像処理部４２は、占有空間９２のＹ座標を変更することで、実空間上の座標系における延長空間９３を導出することができる。詳細にいえば、画像処理部４２は、荷７０によって占有される占有空間９２をＹ軸方向のうちフォークリフト２０の前方に向けて延長することで延長空間９３を導出することができる。荷役空間９１とは、ステップＳ１でステレオカメラ４５，４６から画像データを取得した時点での荷役装置２４の状態でフォークリフト２０を前進させた場合に、荷役装置２４に積載された荷７０が通過する空間ともいえる。なお、荷役装置２４の状態とは、フォーク２７の高さ、及び荷役装置２４の向きである。画像処理部４２は、第１ステレオカメラ４５の画像データから得られた荷７０の座標から荷役空間９１を導出する。画像処理部４２は、第２ステレオカメラ４６の画像データから得られた荷７０の座標から荷役空間９１を導出する。画像処理部４２は、第１ステレオカメラ４５を基準とした座標系と、第２ステレオカメラ４６を基準とした座標系とで個別に荷役空間９１を導出するといえる。ステップＳ６の処理を行うことで、画像処理部４２は、荷役空間導出部として機能している。
　次に、ステップＳ７において、画像処理部４２は、荷置き位置に位置する荷役空間９１と、当該荷役空間９１に隣り合う隣接物体とのクリアランスの寸法を導出する。荷置き位置に荷７０を置く際には、ラック８０の正面にフォークリフト２０を位置させた後に、フォークリフト２０を前進させて荷置き位置にフォークリフト２０を近づけていく。即ち、荷置き位置に荷７０を移載する際には、延長空間９３が荷置き位置に位置する。前述したように、荷役空間９１とは、ステップＳ１でステレオカメラ４５，４６から画像データを取得した時点での荷役装置２４の状態でフォークリフト２０を前進させた場合に、荷役装置２４に積載された荷７０が通過する位置である。従って、隣接物体と荷役空間９１とのクリアランスとは、フォークリフト２０を前進させて、荷７０が荷置き位置の鉛直方向上方に位置した場合に、荷７０と隣接物体との間に生じるクリアランスといえる。
　本実施形態において、画像処理部４２は、荷役空間９１の上下左右に存在するクリアランスの寸法を導出する。図５に示す例では、荷役空間９１の左方には荷７３、荷役空間９１の右方には柱８１、荷役空間９１の上下両側には棚板８２が存在する。従って、荷７３、柱８１及び棚板８２は荷役空間９１に隣接する隣接物体となる。荷７０、柱８１及び棚板８２は、ステップＳ４で行われたクラスタ化によって物体として抽出されている。画像処理部４２は、荷役空間９１の座標と、ステップＳ４で抽出された物体の座標から隣接物体を抽出可能である。ステップＳ４で抽出された物体のうち荷役空間９１よりも鉛直方向上方に位置しており、かつ、Ｚ座標が最も荷役空間９１に近い物体は荷役空間９１の鉛直方向上方に位置する隣接物体といえる。この隣接物体は、荷役空間９１の鉛直方向上方に位置する棚板８２である。ステップＳ４で抽出された物体のうち荷役空間９１よりも鉛直方向下方に位置しており、かつ、Ｚ座標が最も荷役空間９１に近い物体は荷役空間９１の鉛直方向上方に位置する隣接物体といえる。この隣接物体は、荷役空間９１の鉛直方向下方に位置する棚板８２である。ステップＳ４で抽出された物体のうち荷役空間９１よりも左方に位置しており、かつ、Ｘ座標が最も荷役空間９１に近い物体は荷役空間９１の左方に位置する隣接物体といえる。この隣接物体は、棚板８２に置かれた荷７３である。ステップＳ４で抽出された物体のうち荷役空間９１よりも右方に位置しており、かつ、Ｘ座標が最も荷役空間９１に近い物体は荷役空間９１の右方に位置する隣接物体といえる。この隣接物体は、柱８１である。
　図７に示すように、画像処理部４２は、荷役空間９１と、各隣接物体との間のクリアランスＣ１，Ｃ２，Ｃ３，Ｃ４の寸法ｄ１，ｄ２，ｄ３，ｄ４を導出する。なお、図７では、荷役空間９１の上方に存在する隣接物体を省略している。画像処理部４２は、荷役空間９１の上下左右のそれぞれに存在するクリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４を導出する。クリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４は、荷役空間９１の座標と、各隣接物体の座標から導出することができる。画像処理部４２は、荷役空間９１のＺ座標と、荷役空間９１の鉛直方向上方に位置する隣接物体のＺ座標との差から、荷役空間９１の上方に存在するクリアランスＣ１の寸法ｄ１を導出できる。画像処理部４２は、荷役空間９１のＺ座標と、荷役空間９１の鉛直方向下方に位置する隣接物体のＺ座標との差から、荷役空間９１の下方に存在するクリアランスＣ２の寸法ｄ２を導出できる。画像処理部４２は、荷役空間９１のＸ座標と、荷役空間９１の左方に位置する隣接物体のＸ座標との差から、荷役空間９１の左方に存在するクリアランスＣ３の寸法ｄ３を導出できる。画像処理部４２は、荷役空間９１のＸ座標と、荷役空間９１の右方に位置する隣接物体のＸ座標との差から、荷役空間９１の右方に存在するクリアランスＣ４の寸法ｄ４を導出できる。画像処理部４２は、第１ステレオカメラ４５を基準とした座標系と、第２ステレオカメラ４６を基準とした座標系とで個別に荷役空間９１と隣接物体とのクリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４を導出する。この際、第１ステレオカメラ４５を基準とした座標系では、荷役空間９１の右方に存在するクリアランスＣ４の寸法ｄ４を導出できなくてもよい。第２ステレオカメラ４６を基準とした座標系では、荷役空間９１の左方に存在するクリアランスＣ３の寸法ｄ３を導出できなくてもよい。即ち、２つのステレオカメラ４５，４６は、互いの死角になり得る部分を補完できるように配置されることで、２つのステレオカメラ４５，４６によって荷役空間９１の上下左右のクリアランスＣ１～Ｃ４を導出可能にされている。ステップＳ７の処理を行うことで、画像処理部４２は、クリアランス導出部として機能している。
　図６に示すように、ステップＳ８において、画像処理部４２は、荷７０と隣接物体とが接触するか否かを判定する接触判定を行う。接触判定は、ステップＳ７で導出されたクリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４から行われる。画像処理部４２は、荷７０と隣接物体とのクリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４が閾値未満の場合には、荷７０と隣接物体とが接触すると判定する。なお、画像処理部４２は、荷７０と隣接物体との間にクリアランスＣ１～Ｃ４が存在しない場合であっても、クリアランスＣ１～Ｃ４が閾値未満と判定を行う。閾値としては、例えば、計測誤差やフォークリフト２０の進行方向が路面の起伏等により僅かにずれたことによるずれ量や、マージンを考慮して設定される。画像処理部４２は、荷役空間９１の上下のクリアランスＣ１，Ｃ２であれば、Ｚ軸方向に対する寸法ｄ１，ｄ２が閾値未満か否かを判定し、クリアランスＣ１，Ｃ２のＺ軸方向の寸法ｄ１，ｄ２が閾値未満であれば荷７０と隣接物体とが接触すると判定する。一方で、画像処理部４２は、クリアランスＣ１，Ｃ２のＺ軸方向の寸法ｄ１，ｄ２が閾値以上であれば荷７０と隣接物体とが接触しないと判定する。画像処理部４２は、荷役空間９１の左右のクリアランスＣ３，Ｃ４であれば、クリアランスＣ３，Ｃ４のＸ軸方向の寸法ｄ３，ｄ４が閾値未満か否かを判定し、クリアランスＣ３，Ｃ４のＸ軸方向の寸法ｄ３，ｄ４が閾値未満であれば荷７０と隣接物体とが接触すると判定する。一方で、画像処理部４２は、クリアランスＣ３，Ｃ４のＸ軸方向の寸法ｄ３，ｄ４が閾値以上であれば荷７０と隣接物体とが接触しないと判定する。画像処理部４２は、第１ステレオカメラ４５を基準とした座標系と、第２ステレオカメラ４６を基準とした座標系とで個別に接触判定を行う。
　次に、ステップＳ９において、画像処理部４２は、ステップＳ８で行われた接触判定の判定結果を含むデータを無線ユニット４４から無線送信する。接触判定の判定結果とは、荷７０の上下左右のうち隣接物体と接触するおそれのある部位を表示コントローラ５５に認識させるための情報である。本実施形態では、画像処理部４２は、第１ステレオカメラ４５を基準とした座標系と、第２ステレオカメラ４６を基準とした座標系とで個別に接触判定を行っている。このため、一方の座標系では荷７０と隣接物体とが接触すると判定された場合であっても、他方の座標系では荷７０と隣接物体とが接触しないと判定されるおそれがある。例えば、第１ステレオカメラ４５を基準とした座標系では荷役空間９１の上方に存在するクリアランスＣ１の寸法ｄ１が閾値未満となり、第２ステレオカメラ４６を基準とした座標系では荷役空間９１の上方に存在するクリアランスＣ１の寸法ｄ１が閾値以上となるおそれがある。このように、両座標系で、別の判定結果が得られた場合、画像処理部４２は、荷７０と隣接物体とが接触すると判定した判定結果を採用するようにしてもよい。
　次に、ステップＳ１０において、表示コントローラ５５は、接触判定の判定結果に応じてモニタ５６への表示を行う。なお、表示コントローラ５５は、接触判定の判定結果を操作コントローラ５２から取得してもよいし、第１無線機５３から取得してもよい。
　図８に示すように、表示コントローラ５５は、荷７０を模したシンボルＳＹを撮像画像Ｉに重畳してモニタ５６に表示している。このシンボルＳＹは、モニタ５６に常に表示されていてもよいし、荷役装置２４が荷置き作業を行うときにのみ表示されてもよい。荷役装置２４が荷置き作業を行うときにのみシンボルＳＹを表示する場合、表示コントローラ５５は、例えば、荷置き位置を検出した場合にシンボルＳＹの表示を行う。荷置き位置の検出は、荷置き位置に設けられたマーカーや荷置き位置の形状を画像認識で抽出することで行われる。画像認識としては、例えば、画像処理部４２のＲＯＭ等に予め記憶されたテンプレート画像と画像データとの比較を行い、テンプレート画像に一致する度合いが高い領域を探索するパターンマッチングが用いられる。
　表示コントローラ５５は、荷役空間９１と隣接物体との間のクリアランスＣ１～Ｃ４に応じて撮像画像Ｉに重畳して表示するシンボルを異ならせる。クリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４の全てが閾値以上であれば、図８に示すように荷７０を模したシンボルＳＹがモニタ５６に表示される。
　図９に示すように、荷役空間９１と、荷役空間９１の右側に位置する隣接物体とのクリアランスＣ４の寸法ｄ４が閾値未満であれば、表示コントローラ５５は、荷７０を模したシンボルＳＹの右側に警告表示Ａが表示されたシンボルＳＹ１をモニタ５６に表示する。図９に示す例では、シンボルＳＹの右側に円形の警告表示Ａを表示することで、荷７０の右側が隣接物体に接触する可能性があることを操作者に警告している。図９では、一例として円形の警告表示Ａを表示しているが、円形以外の形状による警告表示Ａや、シンボルＳＹの右側のみ色彩を変更する警告表示等、シンボルＳＹの右側を強調することができる表示であればどのような表示を警告表示としてもよい。
　荷役空間９１と、荷役空間９１の左側に位置する隣接物体とのクリアランスＣ３の寸法ｄ３が閾値未満であれば、表示コントローラ５５は、荷７０を模したシンボルＳＹの左側に警告表示Ａが表示されたシンボルＳＹ２をモニタ５６に表示する。
　荷役空間９１と、荷役空間９１の上側に位置する隣接物体とのクリアランスＣ１の寸法ｄ１が閾値未満であれば、表示コントローラ５５は、荷７０を模したシンボルＳＹの上側に警告表示Ａが表示されたシンボルＳＹ３をモニタ５６に表示する。
　荷役空間９１と、荷役空間９１の下側に位置する隣接物体とのクリアランスＣ２の寸法ｄ２が閾値未満であれば、表示コントローラ５５は、荷７０を模したシンボルＳＹの下側に警告表示Ａが表示されたシンボルＳＹ４をモニタ５６に表示する。
　荷役空間９１と、荷役空間９１の左右両側に位置する隣接物体とのクリアランスＣ３，Ｃ４の寸法ｄ３，ｄ４それぞれが閾値未満の場合にはシンボルＳＹの左右両側に警告表示Ａをすればよい。このように、複数の隣接物体とのクリアランスが閾値未満の場合には、方向に対応して複数の警告表示Ａを行えばよい。
　なお、シンボルＳＹ，ＳＹ１～ＳＹ４の重畳表示は、表示コントローラ５５がシンボルＳＹ，ＳＹ１～ＳＹ４を示すＯＳＤ：On Screen Displayデータを生成し、このＯＳＤデータを画像データに合成することで行われる。本実施形態において、クリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４が閾値未満か否かを示すシンボルＳＹ，ＳＹ１～ＳＹ４が、クリアランスＣ１～Ｃ４の寸法に関する情報となる。撮像画像ＩにシンボルＳＹ，ＳＹ１～ＳＹ４を重畳して表示する表示コントローラ５５は、表示部として機能している。
　モニタ５６に撮像画像ＩとシンボルＳＹ，ＳＹ１～ＳＹ４を表示することで、操作者はモニタ５６の撮像画像Ｉを見ながらフォークリフト２０を操作することができる。また、撮像画像Ｉのみでは荷７０と隣接物体とのクリアランスＣ１～Ｃ４を把握しにくい場合、操作者はシンボルＳＹ，ＳＹ１～ＳＹ４を見ながらフォークリフト２０を操作することで、荷７０と隣接物体との接触を抑制しながら荷役作業を行うことができる。モニタ５６に表示されたシンボルＳＹ，ＳＹ１～ＳＹ４によって、操作者にはクリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４に関する情報が通知される。従って、モニタ５６が通知部として機能している。
　図２に示すように、遠隔操作システム１０に用いられる荷役車両の操作支援装置６０は、クリアランスＣ１～Ｃ４の寸法ｄ１～ｄ４に関する情報を操作者に通知する部材であるカメラ４１、画像処理部４２、車両側無線機４３、ステレオカメラ４５，４６、第２無線機５４、表示コントローラ５５、及びモニタ５６を備えているといえる。
　本実施形態の作用について説明する。
　ステレオカメラ４５，４６は、２つのカメラによって撮像された画像データの差から、画像処理部４２に実空間上の座標系における特徴点の座標を導出させることができる。即ち、ステレオカメラ４５，４６は、画像処理部４２に３次元計測を行わせることができる。画像処理部４２は、特徴点を座標によってクラスタ化して点群とすることで、実空間上の座標系において物体を抽出することができる。また、ステレオカメラ４５，４６の撮像範囲に荷７０が含まれるようにステレオカメラ４５，４６を配置することで、画像処理部４２は、実空間上の座標系において荷７０が占有する荷役空間９１を導出することができる。実空間上の座標系は、Ｘ軸、Ｙ軸及びＺ軸による３軸直交座標系なので、実空間上の座標系における荷役空間９１を導出することで、荷役空間９１と物体との位置関係を導出することができる。荷役空間９１と隣接物体とのクリアランスＣ１～Ｃ４は、荷役装置２４に積載された荷７０と隣接物体とがＸ軸方向、あるいは、Ｚ軸方向に隣り合っている場合に荷７０と隣接物体との間に生じるクリアランスである。従って、荷役空間９１と隣接物体とのクリアランスＣ１～Ｃ４の寸法を導出することで、荷７０と隣接物体とが接触するか否かを判定することができる。
　本実施形態の効果について説明する。
　（１）表示コントローラ５５は、荷役空間９１と隣接物体との間のクリアランスＣ１～Ｃ４の寸法に関する情報として、クリアランスＣ１～Ｃ４が閾値未満か否かを操作者に通知するシンボルＳＹ，ＳＹ１～ＳＹ４を表示するようにしている。従って、操作者は、クリアランスＣ１～Ｃ４の寸法に関する情報から、荷７０と隣接物体とが接触するか否かを判別しやすい。
　（２）表示コントローラ５５は、クリアランスＣ１～Ｃ４の寸法に関する情報であるシンボルＳＹ，ＳＹ１～ＳＹ４を撮像画像Ｉに重畳してモニタ５６に表示している。フォークリフト２０の操作者は、モニタ５６に表示される撮像画像Ｉを見ながらフォークリフト２０の操作を行う。このモニタ５６にシンボルＳＹ，ＳＹ１～ＳＹ４が表示されることで、クリアランスＣ１～Ｃ４の寸法に関する情報を操作者が把握しやすい。
　（３）表示コントローラ５５は、クリアランスＣ１～Ｃ４の寸法に関する情報として、クリアランスＣ１～Ｃ４が閾値未満であることを操作者に通知する表示を行っている。クリアランスＣ１～Ｃ４の寸法に関する情報として、クリアランスＣ１～Ｃ４の寸法を表示する場合に比べて、荷７０と隣接物体が接触するか否かを操作者に認識させやすい。
　実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
　○荷役車両の操作支援装置６０は、荷取り作業を行う際に、荷役空間９１と隣接物体とのクリアランスを導出して、クリアランスの寸法に関する情報を操作者に通知するものであってもよい。荷取り作業とは、フォーク２７に荷７０を積載する作業である。即ち、パレット７２の孔にフォーク２７を差し込んだ後にフォーク２７を上昇させることでフォーク２７にパレット７２を支持させる作業である。荷取り作業では、荷取り位置に置かれた荷７０をフォーク２７に積載する。この際、荷取り位置に置かれた荷７０に隣接する隣接物体と荷７０とが接触するおそれがある。また、カメラ４１の取付角度や荷取り位置の周辺環境によってはモニタ５６に表示される撮像画像Ｉから荷７０と隣接物体とのクリアランスを視認しにくい場合がある。従って、荷取り作業を行う際にも、荷置き作業を行う場合と同様に、クリアランスの寸法に関する情報を操作者に通知することで、操作者の支援を行ってもよい。
　荷取り作業を行う際に、荷役空間９１と隣接物体とのクリアランスを導出する場合、荷役空間９１は荷役装置２４に積載される荷７０によって占有される占有空間９２となる。荷取り作業を行う場合、荷置き位置に置かれている荷７０と、隣接物体とのクリアランスの寸法を導出するため、占有空間９２をＹ軸方向に延長させる必要がない。荷取り作業を行う際に荷役装置２４に積載される荷７０によって占有される占有空間９２を導出する場合、パレット７２の孔にフォーク２７を差し込んだ段階で、画像処理部４２は占有空間９２を導出可能である。なお、占有空間９２の導出は、実施形態と同様の手法で行うことができる。画像処理部４２は、占有空間９２を導出すると、占有空間９２と隣接物体とのクリアランスを導出する。占有空間９２と隣接物体とのクリアランスは、占有空間９２の座標と隣接物体との座標から導出することができる。占有空間９２と隣接物体とのクリアランスが導出された後の処理は、実施形態と同様である。
　なお、荷役車両の操作支援装置６０は、荷取り作業を行う際にのみ、荷役空間９１と隣接物体とのクリアランスを導出して、クリアランスの寸法に関する情報を操作者に通知するものであってもよい。荷役車両の操作支援装置６０は、荷置き作業を行う際にのみ、荷役空間９１と隣接物体とのクリアランスを導出して、クリアランスの寸法に関する情報を操作者に通知するものであってもよい。荷役車両の操作支援装置６０は、荷取り作業、及び荷置き作業の両方を行う際に、荷役空間９１と隣接物体とのクリアランスを導出して、クリアランスの寸法に関する情報を操作者に通知するものであってもよい。即ち、荷役車両の操作支援装置６０は、荷取り作業及び荷置き作業の少なくともいずれかの荷役作業中に、荷役空間９１と隣接物体とのクリアランスを導出して、クリアランスの寸法に関する情報を操作者に通知するものであればよい。
　○画像処理部４２は、荷役空間９１とＸ軸方向に隣り合う物体、及び荷役空間９１とＺ軸方向に隣り合う物体のうち少なくともいずれかを隣接物体とすればよく、隣接物体は荷役空間９１とＸ軸方向に隣り合う物体のみであってもよいし、荷役空間９１とＺ軸方向に隣り合う物体のみであってもよい。隣接物体とは、荷役空間９１と鉛直方向に隣り合う物体のみであってもよいし、荷役空間９１と左右方向に隣り合う物体のみであってもよいといえる。即ち、画像処理部４２は、荷役空間９１の上下に存在するクリアランスの寸法のみを導出してもよいし、荷役空間９１の左右に存在するクリアランスの寸法のみを導出してもよい。
　○荷役車両の操作支援装置は、操作者としてフォークリフト２０の搭乗者を支援するものであってもよい。この場合、モニタ５６は、フォークリフト２０の搭乗者の視認可能な位置＝運転席から視認可能な位置に配置される。また、フォークリフト２０に表示コントローラ５５を設けて、撮像画像Ｉ及びクリアランスの寸法に関する情報の表示を行えるようにする。画像データを遠隔操作装置５０に送信する必要がないため、遠隔操作装置５０、車両側無線機４３、及び無線ユニット４４は設けられていなくてもよい。この場合、荷役車両の操作支援装置は、カメラ４１と、画像処理部４２と、ステレオカメラ４５，４６と、フォークリフト２０に設けられたモニタ５６と、モニタ５６に撮像画像Ｉ及びクリアランスの寸法に関する情報を表示する表示コントローラ５５と、を備えていればよい。
　○クリアランスが閾値未満であることを操作者に通知する表示として、シンボルＳＹ，ＳＹ１～ＳＹ４に代えて、文字による表示を行ってもよい。
　○クリアランスの寸法に関する情報は、クリアランスの寸法そのものであってもよい。表示コントローラ５５は、クリアランスに応じたシンボルＳＹ，ＳＹ１～ＳＹ４に代えて、クリアランスの寸法を撮像画像Ｉに重畳して表示する。これにより、操作者は、荷７０と隣接物体とが接触するか否かを判別することができる。
　○クリアランスの寸法に関する情報としては、クリアランスの寸法が閾値未満であるクリアランスが存在していることを通知するものでもよく、荷役空間９１のいずれの方向のクリアランスが閾値未満であるかを特定して警告を行わなくてもよい。
　○通知部としては、操作者にクリアランスの寸法に関する情報を通知できれば、どのような部材であってもよい。例えば、音によって操作者にクリアランスの寸法に関する情報を通知するものであってもよい。この場合、通知部としては、警告音を生じさせる発音部材であってもよい。発音部材は、荷役空間９１と隣接物体との間のクリアランスが閾値未満の場合に作動させられる。また、通知部としては、音声によって操作者にクリアランスの寸法に関する情報を通知するものであってもよい。この場合、荷役空間９１のいずれの方向のクリアランスが閾値未満かを音声によって通知するようにしてもよい。また、通知部としては、振動することによって操作者にクリアランスの寸法に関する情報を通知する振動部材であってもよい。振動部材は、荷役空間９１と隣接物体との間のクリアランスが閾値未満の場合に作動させられる。
　○画像処理部４２は、ステップＳ１でステレオカメラ４５，４６から取得した画像データを遠隔操作装置５０に無線送信することで、表示コントローラ５５にステップＳ２以降の処理を行わせてもよい。画像処理部４２は、ステップＳ２でステレオ処理によって得られた視差画像を遠隔操作装置５０に無線送信することで、ステップＳ３以降の処理を表示コントローラ５５に行わせてもよい。画像処理部４２は、ステップＳ３で導出した特徴点の座標を遠隔操作装置５０に無線送信することで、ステップＳ４以降の処理を表示コントローラ５５に行わせてもよい。画像処理部４２は、ステップＳ４でクラスタ化により得られた物体の座標を遠隔操作装置５０に無線送信することで、表示コントローラ５５にステップＳ５以降の処理を行わせてもよい。画像処理部４２は、ステップＳ４でクラスタ化により得られた物体の座標とステップＳ５で導出された荷７０の位置を遠隔操作装置５０に無線送信することで、表示コントローラ５５にステップＳ６以降の処理を行わせてもよい。画像処理部４２は、ステップＳ４でクラスタ化により得られた物体の座標とステップＳ６で導出された荷役空間９１の位置を遠隔操作装置５０に無線送信することで、表示コントローラ５５にステップＳ７以降の処理を行わせてもよい。画像処理部４２は、ステップＳ７で導出したクリアランスの寸法を遠隔操作装置５０に無線送信することで、表示コントローラ５５にステップＳ８以降の処理を行わせてもよい。このように、ステレオカメラ４５，４６から取得した画像データを用いたクリアランスの導出や、導出されたクリアランスを用いた接触判定は、フォークリフト２０側で行われてもよいし、遠隔操作装置５０側で行われてもよい。
　○カメラ４１から取得した画像データを画像処理する画像処理部と、ステレオカメラ４５，４６から取得した画像データを画像処理する画像処理部とは、個別に設けられていてもよい。
　○フォークリフト２０は、メインコントローラ３１及び画像処理部４２に代えて、メインコントローラ３１の機能及び画像処理部４２の機能の両方を備えた１つの装置を備えていてもよい。
　○遠隔操作装置５０は、操作コントローラ５２及び表示コントローラ５５に代えて、操作コントローラ５２の機能及び表示コントローラ５５の機能の両方を備えた１つの装置を備えていてもよい。
　○荷役車両の操作支援装置は、操作室にいる操作者、及びフォークリフト２０の搭乗者の両方を支援するものであってもよい。この場合、モニタ５６は、フォークリフト２０の搭乗者の視認可能な位置にも設けられる。フォークリフト２０が搭乗者により操作されている場合には、フォークリフト２０の搭乗者の視認可能なモニタ５６にカメラ４１によって撮像された撮像画像Ｉ及びクリアランスの寸法に関する情報が表示されるようにする。フォークリフト２０が操作室にいる操作者により操作されている場合には、操作室のモニタ５６にカメラ４１によって撮像された撮像画像Ｉ及びクリアランスの寸法に関する情報が表示されるようにする。
　○画像処理部４２は、第１ステレオカメラ４５の原点と第２ステレオカメラ４６の原点とを一致させて処理を行ってもよい。この場合、第１ステレオカメラ４５に撮像された画像データから得られた特徴点の座標と、第２ステレオカメラ４６に撮像された画像データから得られた特徴点の座標とをマージして荷役空間９１と隣接物体との間のクリアランスの寸法を導出することができる。即ち、単一の実空間上の座標系を用いて荷役空間９１と隣接物体とのクリアランスの寸法を導出することができる。
　○フォークリフト２０は、人が搭乗できないフォークリフトであってもよい。言い換えれば、フォークリフト２０は、遠隔操作装置５０による操作専用のフォークリフトであってもよい。
　○センサとして、ステレオカメラ４５，４６以外の３次元カメラを用いてもよい。３次元カメラとは、３次元計測を行うことが可能なカメラであり、ステレオカメラ４５，４６及びToF:Time of Flightカメラを含む。また、センサとしては、３次元計測を行うことが可能なものであればよく、LIDAR：Laser Imaging Detection and Rangingやミリ波レーダーを用いてもよい。LIDARは、照射角度を変更しながらレーザーを照射し、レーザーが当たった部分から反射された反射光を受光することで周辺環境を認識可能な距離計である。LIDARを用いる場合、物体の一部を表す点とは、レーザーが当たった点である。ミリ波レーダーとは、所定の周波数帯域の電波を周囲に照射することで周辺環境を認識可能なセンサである。ミリ波レーダーを用いる場合、物体の一部を表す点とは、電波が当たった点となる。即ち、物体の一部を表す点とは、センサによって実空間上の座標系における座標を検出できる点といえる。また、センサとしては、３次元カメラとLIDARとの組み合わせ等、複数のセンサを組み合わせたものであってもよい。
　○ステレオカメラは、１つであってもよい。この場合、荷役空間９１を導出できるように、荷７０の全体がステレオカメラの撮像範囲に含まれるようにすることが好ましい。また、荷役空間９１とＺ軸方向に隣り合う隣接物体と、荷役空間９１とのクリアランスの寸法を導出する場合等、Ｘ軸方向のクリアランスを導出しなくてもいい場合には、ステレオカメラが１つであってもよい。
　○ステレオカメラ４５，４６によって撮像された撮像画像Ｉがモニタ５６に表示されるようにしてもよい。この場合、３次元計測を行うためのセンサと、カメラに表示する撮像画像Ｉを撮像するカメラとしてステレオカメラ４５，４６を兼用することができる。
　○カメラ４１の配置位置や数は適宜変更してもよい。
　○荷役具としてフォーク２７以外を用いてもよい。例えば、荷役具は、クランプやラムなどのアタッチメントでもよい。
　○物体抽出部、荷役空間導出部、及びクリアランス導出部はそれぞれ別の装置であってもよい。
　○荷役車両の操作支援装置としては、クレーン車等、フォークリフト２０以外の荷役車両の操作する操作者を支援するためのものであってもよい。
　Ｃ１～Ｃ４　　クリアランス
　ｄ１～ｄ４　　寸法
　Ｉ　　撮像画像
　２０　　荷役車両としてのフォークリフト
　２４　　荷役装置
　４１　　カメラ
　４２　　物体抽出部、荷役空間導出部、及びクリアランス導出部としての画像処理部
　４５，４６　　ステレオカメラ
　５５　　表示部としての表示コントローラ
　５６　　通知部としてのモニタ
　６０　　荷役車両の操作支援装置
　７０　　荷
　９１　　荷役空間

Claims (3)

  1. 　荷役装置に積載された荷の搬送を行う荷役車両の操作支援装置であって、
    　センサと、
    　水平方向のうち前記荷役車両の車幅方向に延びる軸をＸ軸、水平方向のうち前記Ｘ軸に直交する軸をＹ軸、鉛直方向に延びる軸をＺ軸とする実空間上の座標系において、前記センサの検出結果から物体の一部を表す点の集合である点群を前記物体として抽出する物体抽出部と、
    　前記実空間上の座標系において、前記荷役装置による荷役作業中に前記荷が占有する荷役空間を導出する荷役空間導出部と、
    　前記物体抽出部により抽出された前記物体のうち前記荷役空間と前記Ｘ軸の延びる方向に隣り合う前記物体、及び前記物体抽出部により抽出された前記物体のうち前記荷役空間と前記Ｚ軸の延びる方向に隣り合う前記物体の少なくともいずれかを隣接物体とすると、前記隣接物体と前記荷役空間とのクリアランスの寸法を導出するクリアランス導出部と、
    　前記荷役車両の操作者に対して、前記クリアランスの寸法に関する情報を通知する通知部と、を備える荷役車両の操作支援装置。
  2. 　前記通知部は、前記荷役車両の操作者に視認可能な位置に配置されており、前記荷役車両に搭載されたカメラによって撮像されている撮像画像が表示されるモニタであり、
    　前記撮像画像に前記クリアランスの寸法に関する情報を重畳して表示する表示部と、を備える請求項１に記載の荷役車両の操作支援装置。
  3. 　前記通知部は、前記クリアランスの寸法が予め定められた閾値未満か否かを前記操作者に対して通知する請求項１又は請求項２に記載の荷役車両の操作支援装置。
PCT/JP2020/038676 2019-10-25 2020-10-13 荷役車両の操作支援装置 WO2021079790A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/770,762 US12065341B2 (en) 2019-10-25 2020-10-13 Operation assisting apparatus for load handling vehicle
EP20879455.2A EP4049962A4 (en) 2019-10-25 2020-10-13 OPERATION SUPPORT DEVICE FOR A CARGO HANDLING VEHICLE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019194296A JP7215394B2 (ja) 2019-10-25 2019-10-25 荷役車両の操作支援装置
JP2019-194296 2019-10-25

Publications (1)

Publication Number Publication Date
WO2021079790A1 true WO2021079790A1 (ja) 2021-04-29

Family

ID=75620506

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038676 WO2021079790A1 (ja) 2019-10-25 2020-10-13 荷役車両の操作支援装置

Country Status (4)

Country Link
US (1) US12065341B2 (ja)
EP (1) EP4049962A4 (ja)
JP (1) JP7215394B2 (ja)
WO (1) WO2021079790A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11919761B2 (en) * 2020-03-18 2024-03-05 Crown Equipment Corporation Based on detected start of picking operation, resetting stored data related to monitored drive parameter
WO2022098402A1 (en) 2020-11-03 2022-05-12 Crown Equipment Corporation Adaptive acceleration for materials handling vehicle
CN114419150A (zh) * 2021-12-21 2022-04-29 未来机器人（深圳）有限公司 叉车取货方法、装置、计算机设备、存储介质
JP7478184B2 (ja) 2022-04-28 2024-05-02 三菱ロジスネクスト株式会社 荷役作業補助システムおよび該システムを備えたフォークリフト

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0649497U (ja) * 1992-12-16 1994-07-08 小松フォークリフト株式会社 荷役車両のサイドシフト機構付きプッシュプル装置
JP2011037536A (ja) 2009-08-07 2011-02-24 Nippon Yusoki Co Ltd フォークリフト
JP2011063358A (ja) * 2009-09-16 2011-03-31 Hitachi Plant Technologies Ltd 吊荷下方の監視システム及び監視方法
JP2011063352A (ja) * 2009-09-16 2011-03-31 Chugoku Electric Power Co Inc:The 他物接近監視機能付き高所作業用バケット
JP2017178567A (ja) * 2016-03-30 2017-10-05 株式会社豊田中央研究所 フォークリフト
JP2019156641A (ja) * 2018-03-08 2019-09-19 コニカミノルタ株式会社 フォークリフト用の画像処理装置、および制御プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554496U (ja) 1991-12-27 1993-07-20 株式会社日立物流 フォークリフトの前方視認性改善装置
JP2013086959A (ja) 2011-10-21 2013-05-13 Sumitomo Heavy Ind Ltd フォークリフトのフォーク位置決め支援装置および方法
DE102012108028A1 (de) * 2012-04-20 2013-10-24 Still Gmbh Steuerverfahren für Lastabsetzung eines Flurförderzeugs sowie Flurförderzeug
US11603294B2 (en) 2016-12-27 2023-03-14 Xuzhou Heavy Machinery Co., Ltd Method and system for controlling operation of crane, and crane
JP6943004B2 (ja) * 2017-04-14 2021-09-29 株式会社豊田自動織機 産業車両
US10883256B2 (en) * 2018-05-25 2021-01-05 Deere & Company Object responsive control system for a work machine
US11416001B2 (en) * 2018-07-17 2022-08-16 Crown Equipment Corporation Systems and methods for vehicle position calibration using rack leg identification
WO2020028519A1 (en) * 2018-08-01 2020-02-06 Crown Equipment Corporation Systems and methods for warehouse environment speed zone management

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0649497U (ja) * 1992-12-16 1994-07-08 小松フォークリフト株式会社 荷役車両のサイドシフト機構付きプッシュプル装置
JP2011037536A (ja) 2009-08-07 2011-02-24 Nippon Yusoki Co Ltd フォークリフト
JP2011063358A (ja) * 2009-09-16 2011-03-31 Hitachi Plant Technologies Ltd 吊荷下方の監視システム及び監視方法
JP2011063352A (ja) * 2009-09-16 2011-03-31 Chugoku Electric Power Co Inc:The 他物接近監視機能付き高所作業用バケット
JP2017178567A (ja) * 2016-03-30 2017-10-05 株式会社豊田中央研究所 フォークリフト
JP2019156641A (ja) * 2018-03-08 2019-09-19 コニカミノルタ株式会社 フォークリフト用の画像処理装置、および制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4049962A4

Also Published As

Publication number Publication date
JP7215394B2 (ja) 2023-01-31
EP4049962A1 (en) 2022-08-31
JP2021066576A (ja) 2021-04-30
US20220363528A1 (en) 2022-11-17
EP4049962A4 (en) 2023-01-04
US12065341B2 (en) 2024-08-20

Similar Documents

Publication Publication Date Title
WO2021079790A1 (ja) 荷役車両の操作支援装置
EP3624578B1 (en) System and method for automatic connection between a tractor and an implement
WO2016125332A1 (ja) 車体外部移動物体検知システム
US20210078843A1 (en) Position and posture estimation system
JP4816923B2 (ja) 車両周辺画像提供装置および方法
JP2019024151A (ja) ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
EP3418122B1 (en) Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program
JP7300646B2 (ja) 搬送装置
WO2015045904A1 (ja) 車両周囲移動物体検知システム
WO2022004494A1 (ja) 産業車両
WO2021075438A1 (ja) 荷役車両の操作支援装置
WO2021193638A1 (ja) ガイド表示装置およびこれを備えたクレーン
JP2010107348A (ja) キャリブレーションターゲット及びそれを用いた車載用キャリブレーションシステム
JP2021024718A (ja) 位置姿勢推定装置
US12054909B2 (en) System and method therein for remote operation of a working machine comprising a tool
JP7396227B2 (ja) フォークリフトの通知装置
JP7456368B2 (ja) フォークリフト用作業支援装置
JP7180172B2 (ja) 俯瞰画像生成装置、俯瞰画像生成方法およびプログラム
WO2020008992A1 (ja) フォークリフト用遠隔操作システム
KR20230015429A (ko) 장해물 검출 장치 및 장해물 검출 방법
JP2020142903A (ja) 画像処理装置、および制御プログラム
JP2020147418A (ja) 画像表示装置
JP2022017613A (ja) フォークリフトの遠隔操作システム
US20190102902A1 (en) System and method for object detection
JP2019121250A (ja) 運搬車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20879455

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020879455

Country of ref document: EP

Effective date: 20220525