WO2020085068A1 - フォークリフトの遠隔操作システム - Google Patents

フォークリフトの遠隔操作システム Download PDF

Info

Publication number
WO2020085068A1
WO2020085068A1 PCT/JP2019/039557 JP2019039557W WO2020085068A1 WO 2020085068 A1 WO2020085068 A1 WO 2020085068A1 JP 2019039557 W JP2019039557 W JP 2019039557W WO 2020085068 A1 WO2020085068 A1 WO 2020085068A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fork
forklift
pallet
guideline
Prior art date
Application number
PCT/JP2019/039557
Other languages
English (en)
French (fr)
Inventor
井上順治
岡本浩伸
Original Assignee
株式会社豊田自動織機
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田自動織機 filed Critical 株式会社豊田自動織機
Publication of WO2020085068A1 publication Critical patent/WO2020085068A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present invention relates to a remote control system for a forklift.
  • Patent Document 1 discloses a wirelessly operated forklift including a cargo handling camera.
  • the cargo handling camera is arranged above the fork, and photographs the loaded object loaded on the fork.
  • the image captured by the cargo handling camera is displayed on the display monitor provided on the operating device for the forklift.
  • the forklift of Patent Document 1 includes a front camera that captures the front of the vehicle, a rear camera that captures the rear of the vehicle, and a floor camera that captures the floor.
  • a work support device for a forklift disclosed in Patent Document 2 is known.
  • the work support device for a forklift disclosed in Patent Document 2 is a camera image in which a front field of view including the tip of the fork is photographed, and an expected trajectory of the tip of the fork and a forward direction that represents three predetermined front distances.
  • the distance reference line and a straight extension line in which the tips of the left and right forks are linearly extended forward along the length direction of the forks are superimposed and displayed on the screen of the monitor.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a remote control device for a forklift truck that can improve the work efficiency of cargo handling work by remote control.
  • the present invention provides a forklift including a cargo handling device on a vehicle body, A remote control device for remotely controlling traveling of the forklift and cargo handling by the cargo handling device;
  • a remote control system for a forklift truck comprising: a front camera, which is provided on the forklift, and which captures an image of the front of the fork; and a display unit, which is provided on the remote control device and displays a captured image captured by the front camera.
  • An image recognition unit that recognizes an image of a pallet based on an image captured by the front camera, and extends forward from the tip of the fork in the longitudinal direction based on the image recognition of the pallet by the image recognition unit.
  • An image processing unit that draws a guideline by superimposing the guideline on a captured image, the image processing unit in the display unit according to whether or not the guideline is aligned with an insertion port of the pallet. The display mode of the guideline is changed.
  • the guide line extending from the tip of the fork to the front in the longitudinal direction is drawn by being superimposed on the captured image based on the image recognition of the palette by the image recognition unit.
  • the display mode of the guideline on the display unit changes depending on whether or not the guideline is aligned with the insertion slot of the pallet.
  • An operator who performs remote control can determine that the fork can be inserted into the pallet slot from the image in which the guideline is aligned with the slot displayed on the display, and the cargo handling work by remote control can be performed. The operability of is easy and the work efficiency is improved.
  • the image processing unit causes at least a part of the guideline displayed on the display unit to disappear when the guideline is aligned with the insertion port. It may be configured. In this case, the operator who performs the remote operation can determine that the fork can be inserted into the insertion slot of the pallet because at least a part of the guideline displayed on the display unit disappears. Further, since at least a part of the guideline disappears from the image, the guideline does not interfere with the remote operation when inserting the fork.
  • the image processing unit may be configured to highlight the insertion slot when the guideline matches the insertion slot.
  • the operator performing the remote control can insert the fork into the pallet slot by highlighting the pallet slot when the guideline matches the slot. Can be determined. Further, by highlighting the palette insertion slot, the position of the palette insertion slot on the image can be reliably recognized.
  • a remote control device for a forklift truck that can improve the work efficiency of cargo handling work by remote control.
  • FIG. 1 is a perspective view of a reach type forklift according to an embodiment of the invention. It is explanatory drawing which shows the relationship between a fork and a guideline in a picked-up image. It is a flow chart which shows the procedure of control of guide line drawing by a remote operation device of a reach type forklift. It is explanatory drawing explaining drawing of the guideline in the captured image of a 1st camera. It is explanatory drawing explaining drawing of the guideline in the captured image of a 2nd camera. It is explanatory drawing explaining the drawing of the guideline in the captured image of the 1st camera which concerns on a modification.
  • a remote control system 10 for a forklift truck includes a reach type forklift 11 and a remote control device 12 used to remotely control the reach type forklift 11.
  • the reach-type forklift 11 is arranged in the workplace E.
  • the remote control device 12 is arranged in an operation room R provided separately from the work space E. Then, the operator can remotely operate the reach type forklift 11 in the workplace E from the operation room R by using the remote operation device 12.
  • a work rack E has a luggage rack 13 installed therein.
  • the luggage rack 13 includes a plurality of columns 14, horizontal members 15 and 16 that connect the columns 14, and a shelf board 17 provided at an intermediate portion of the columns 14 as a loading section.
  • a shelf 17 and a load W are placed below the shelf 17. All the loads W are placed on the pallet 18.
  • the pallet 18 is provided with an insertion port 19 into which a fork is inserted. The operator remotely operates the reach-type forklift 11 to take out the load W from the load rack 13 or place the load W on the empty shelf plate 17.
  • the vehicle body 20 of the reach type forklift 11 is provided with a pair of left and right reach legs 21.
  • the pair of left and right reach legs 21 extends forward from the front portion of the vehicle body 20.
  • Front wheels 22 are provided on the front portions of the pair of left and right reach legs 21, respectively.
  • Rear wheels 23 and caster wheels (not shown) are provided at the rear of the vehicle body 20.
  • the rear wheels 23 are steerable drive wheels.
  • the reach type forklift 11 is equipped with a cargo handling device 24.
  • the cargo handling device 24 is located between the pair of left and right reach legs 21 in the front portion of the vehicle body 20.
  • the cargo handling device 24 includes a pair of left and right outer masts 25 and an inner mast 26 that moves up and down with respect to the outer masts 25.
  • the cargo handling device 24 includes a lift cylinder 27 connected to the inner mast 26.
  • the inner mast 26 moves up and down as the hydraulic oil is supplied to and discharged from the lift cylinder 27.
  • a lift bracket 28 that can move up and down with respect to the inner mast 26 is provided.
  • the lift bracket 28 is provided with a pair of left and right forks 29.
  • the pair of left and right forks 29 can be tilted back and forth by a tilt cylinder (not shown).
  • a backrest 30 is attached to the lift bracket 28 so as to be located above the fork 29.
  • the backrest 30 supports the rear surface of the load W when the load W is placed on the fork 29.
  • the length of the backrest 30 in the left-right direction is set to a length smaller than the width of the vehicle body 20 but protruding to the outside of the outer mast 25.
  • the vehicle body 20 is equipped with a reach cylinder 31 connected to the cargo handling device 24 (see FIG. 3).
  • the rod of the reach cylinder 31 advances and retracts in the front-rear direction by supplying and discharging hydraulic oil.
  • the reach type forklift 11 includes a traveling motor 32 that drives the rear wheels 23 and a steering motor (not shown) that steers the rear wheels 23.
  • the reach type forklift 11 includes a wireless unit 40 as a vehicle communication unit, a vehicle control unit 41, an image signal processing unit 42, a first cargo handling camera 43, and a second cargo handling second camera 43. And a camera 44.
  • the wireless unit 40 is for performing wireless communication with the remote control device 12 described below.
  • the vehicle control unit 41 is connected to each unit of the reach type forklift 11, controls each unit connected to the vehicle control unit 41, and is also connected to the wireless unit 40.
  • the image signal processing unit 42 processes the photographed images photographed by the first camera 43 and the second camera 44 so that they can communicate with each other.
  • the first camera 43 and the second camera 44 photograph the tip of the fork 29 and the front of the fork 29, which are necessary for cargo handling work.
  • the first camera 43 and the second camera 44 are front cameras that photograph the front of the fork 29.
  • the reach-type forklift 11 has a plurality of traveling cameras for photographing the front and rear for traveling and a plurality of obstacles for detecting obstacles in addition to the first camera 43 and the second camera 44.
  • a sensor is provided.
  • the remote operation device 12 includes a wireless unit 45 as an operation device communication unit, a control unit 46, an operation unit 47, a display unit 48, and an image signal processing unit 49.
  • the wireless unit 45 can wirelessly communicate with the wireless unit 40 of the reach type forklift 11.
  • the control unit 46 is connected to the wireless unit 45, the operation unit 47, the display unit 48, and the image signal processing unit 49.
  • a touch panel method, a mouse method, a joystick method, or the like is used as an operation method in the operation unit 47.
  • the display unit 48 is an image monitor, and displays, for example, a captured image received through the wireless unit 45 and various information necessary for remote operation.
  • the image signal processing unit 49 corresponds to an image recognizing unit and an image processing unit, and performs image recognition processing of captured images captured by the first camera 43 and the second camera 44, as well as capturing images displayed on the display unit 48. Editing and processing such as sorting.
  • the control unit 46 sends the operation content to the reach type forklift 11 side via the wireless unit 45.
  • the operation content from the remote operation device is received by the wireless unit 40, and the vehicle control unit 41 controls each part of the reach type forklift 11 based on an instruction from the remote operation device 12 side.
  • the traveling drive system devices the traveling motor 37, the steering motor, etc.
  • the cargo handling system devices the lift cylinder 27, the reach cylinder 36, the tilt cylinder, etc.
  • the remote control device 12 can remotely control traveling of the reach forklift 11 and cargo handling by the cargo handling device 24.
  • the first camera 43 and the second camera 44 of the present embodiment are cameras for performing cargo handling work, but the first camera 43 is provided on the upper portion of the backrest 30 as shown in FIGS. 3 and 4. At the center, the lens is mounted so as to face obliquely forward and downward. Since the first camera 43 is attached at the center of the upper part of the backrest 30 so as to face obliquely downward and forward, the front end of the fork 29 and the front of the fork 29 can be photographed by the first camera 43.
  • the tip of the fork 29 and the front of the fork 29 are areas that require operator confirmation in order to carry out cargo handling work by remote control.
  • a photographed image photographed by the first camera 43 which faces diagonally forward and downward at the center of the upper portion of the backrest 30, shows the inserting direction of the fork 29 and the inserting opening 19 of the pallet 18 in the plane direction (XY axis direction). It is easy to check whether or not is matched.
  • the second camera 44 is mounted so that the lens faces forward at the center between the forks 29 of the lift bracket 28. Therefore, the second camera 44 is located at the same height as the height of the fork 29. Since the second camera 44 is attached to the front of the lift bracket 28 at the center between the forks 29, the front of the fork 29 can be photographed by the second camera 44.
  • the front of the fork 29 is an area that requires confirmation by an operator in order to perform cargo handling work by remote control. In the captured image captured by the second camera 44, it is easy to confirm whether or not the insertion direction of the fork 29 in the vertical direction (Z-axis direction) and the insertion port 19 of the pallet 18 are aligned.
  • the image signal processing unit 49 draws the guideline L1 by superimposing the guideline L1 on the captured image P1 of the first camera 43 shown in FIG. 5A, and the second camera shown in FIG. 5B.
  • the guideline L2 is superimposed and drawn on the captured image P2 of 44.
  • the guideline L1 is a line extending from the outer ends of the pair of left and right forks 29 to the front in the longitudinal direction of the fork 29, and apparently extends in the obliquely vertical direction of the captured image P1 in FIG. 5A.
  • the guideline L2 is a line extending forward in the longitudinal direction from the tips of the pair of left and right forks 29, and apparently extends horizontally in the vicinity of the center of the captured image P2 in FIG. 5B. Point A in FIG. 5B indicates the tip of the guideline L2.
  • the guide lines L1 and L2 are indicated by dotted lines.
  • the image signal processing unit 49 changes the display mode of the guide lines L1 and L2 depending on whether or not the guide lines L1 and L2 match the insertion opening 19 of the pallet 18. Specifically, the image signal processing unit 49 changes the display mode of the guidelines L1 and L2 according to a series of steps S01 to S05 shown in the flowchart of FIG.
  • step S01 the image signal processing unit 49 acquires a captured image P1 captured by the first camera 43 and a captured image P2 captured by the second camera 44.
  • the image signal processing unit 49 is capable of switching the images of the shot images P1 and P2, storing data, and editing the shot images P1 and P2.
  • the guideline L1 is superimposed and drawn on the captured image P1 displayed on the display unit 48, and the guideline L2 is superimposed and drawn on the captured image P2.
  • the image signal processing unit 49 image-recognizes the insertion port 19 of the pallet 18. Since the characteristic points of the palette 18 are preset in the image signal processing unit 49, the image signal processing unit 49 can recognize the palette 18 and the insertion port 19 of the palette 18 in the captured images P1 and P2. is there.
  • the image signal processing unit 49 draws the insertion port 19 by superimposing the insertion port 19 on the captured images P1 and P2 based on the image recognition of the palette 18 and the insertion port 19 of the palette 18. It is easy to understand whether or not the image recognition by the image signal processing unit 49 is correct by drawing by inserting the insertion port 19 on the captured images P1 and P2.
  • the image signal processing section 49 determines whether or not the guidelines L1 and L2 are aligned with the insertion port 19.
  • the alignment of the guide lines L1 and L2 with respect to the insertion port 19 refers to a state in which the fork 29 can be inserted into the insertion port 19 when the fork 29 is advanced toward the pallet 18.
  • the states of the guide line L1 shown in FIG. 7A and the guide line L2 shown in FIG. 8A are states in which the fork 29 can be inserted into the insertion port 19 when the fork 29 is advanced toward the pallet 18.
  • the guide lines L1 and L2 are aligned with the insertion port 19.
  • step S04 the image signal processing unit 49 erases and draws a part of the guide lines L1 and L2 that match the insertion port 19. For example, as shown in FIGS. 7 (a) and 8 (a), the front part from the position where the guide line L1 intersects the insertion port 19 of the pallet 18 disappears.
  • step S05 the image signal processing unit 49 draws the guidelines L1 and L2 that do not match the insertion port 19 without changing them.
  • step S05 ends, the process returns to step S01. In this way, the image signal processing unit 49 changes the display mode of the guide lines L1 and L2 depending on whether the guide lines L1 and L2 are aligned with the insertion port 19 of the pallet 18.
  • the first camera 43 and the second camera 44 When loading and unloading the load W from the load rack 13 by the reach type forklift 11 by the remote operation of the operator, the first camera 43 and the second camera 44 simultaneously photograph the tip of the fork 29 and the front of the fork 29.
  • the captured image P1 captured by the first camera 43 is transmitted to the remote control device 12 via the image signal processing unit 42 and the wireless unit 40.
  • the wireless unit 45 receives the captured image P1 from the reach type forklift 11, and the control unit 46 displays the captured image P1 on the display unit 48 via the image signal processing unit 49.
  • the captured image P2 captured by the second camera 44 is transmitted to the remote control device 12.
  • the wireless unit 45 receives the captured image P2, and the control unit 46 displays the captured image P2 on the display unit 48 via the image signal processing unit 49.
  • the guideline L1 is drawn on the captured image P1 on the display unit 48, and the guideline L2 is drawn on the captured image P2.
  • the operator remotely operates the reach type forklift 11 while viewing the captured images P1 and P2 on the display unit 48.
  • the pallet 18 is included in the captured image P1 of the first camera 43 and the captured image P2 of the second camera 44, respectively.
  • the image signal processing unit 49 image-recognizes the pallet 18 and the insertion port 19 of the pallet 18 based on the preset feature points of the pallet 18.
  • the image signal processing unit 49 determines whether the guide lines L1 and L2 match the insertion port 19.
  • the fork 29 is not directly facing the insertion port 19, as shown in FIGS. 7B and 7C
  • the plane direction (X, The insertion direction of the fork 29 in the Y direction) and the insertion port 19 of the pallet 18 are not aligned. Therefore, the guideline L1 is drawn without being changed so as to be superimposed on the captured image P1.
  • the operator remotely operates the reach type forklift 11 so that the insertion direction of the fork 29 in the plane direction (XY axis direction) and the insertion port 19 of the pallet 18 are aligned.
  • the guideline L1 corresponding to the right fork 29 is aligned with the right insertion slot 19
  • the guideline L1 corresponding to the left fork 29 is aligned with the left insertion slot 19. Not aligned.
  • the height of the guide line L2 is the same as the height of the insertion port 19 as shown in FIGS. 8B and 8C. Do not fit. That is, the inserting direction of the fork 29 in the vertical direction (Z-axis direction) and the inserting port 19 of the pallet 18 are not aligned. Therefore, the guideline L2 is drawn without being changed so as to be superimposed on the captured image P1. Therefore, the operator remotely operates the reach type forklift 11 so that the insertion direction of the fork 29 in the vertical direction (Z-axis direction) and the insertion port 19 of the pallet 18 are aligned.
  • the operator can recognize that the insertion direction of the fork 29 and the insertion port 19 of the pallet 18 are aligned due to the disappearance of a part of the guidelines L1 and L2.
  • the reach type forklift 11 When the reach type forklift 11 is moved forward, the fork 29 is inserted into the insertion port 19 of the pallet 18. It should be noted that, when the fork 29 is moved forward after the insertion direction of the fork 29 and the insertion port 19 of the pallet 18 are aligned, the insertion direction of the fork 29 and the insertion port 19 of the pallet 18 are not aligned for some reason. The disappearance of the guidelines L1 and L2 is canceled. In this case, the operator may remotely operate the reach type forklift 11 so that the insertion direction of the fork 29 and the insertion port 19 of the pallet 18 are aligned.
  • the remote control system for the reach type forklift has the following effects.
  • (1) The insertion port 19 of the pallet 18 is drawn based on the guide lines L1 and L2 extending from the tip of the fork 29 in the longitudinal direction and the image recognition of the pallet 18 by the image signal processing unit 49.
  • the display mode of the guide lines L1 and L2 on the display unit 48 changes depending on whether or not the guide lines L1 and L2 are aligned with the insertion port 19 of the pallet 18. From the image in which the guide lines L1 and L2 are aligned with the insertion port 19 displayed on the display unit 48, the operator who performs the remote operation indicates that the fork 29 can be inserted into the insertion port 19 of the pallet 18. Can be determined. As a result, the operability of the cargo handling work by remote control is facilitated, and the work efficiency is improved.
  • the operator who performs the remote operation determines that the fork 29 can be inserted into the insertion port 19 of the pallet 18 because the guide lines L1 and L2 displayed on the display unit 48 are partially erased. it can. Further, since the guide lines L1 and L2 are partially disappeared from the image on the display unit 48, the guide lines L1 and L2 do not hinder the remote operation by the operator when the fork 29 is inserted.
  • the guideline L1 is drawn on the photographed image P1, and the guideline L2 is drawn on the photographed image P2.
  • the operator confirms the photographed image P1 of the two first cameras 43 and the photographed image P2 of the second camera 44, which are provided at different positions in front of the fork 29 and in front of the fork 29, and performs remote control. Since the guideline L1 is drawn on the photographed image P1 and the guideline L2 is drawn on the photographed image P2, the positions of the fork 29 and the insertion port 19 can be easily confirmed.
  • the image signal processing unit 49 takes an image when the insertion direction of the fork 29 in the plane direction (XY axis direction) and the insertion port 19 of the pallet 18 are aligned.
  • the guideline L1 drawn in the image P1 is completely erased.
  • the image signal processing unit 49 paints the insertion port 19 in a conspicuous color and draws it, and highlights the insertion port 19.
  • FIG. 9B when the inserting direction of the fork 29 in the plane direction (XY axis direction) and the inserting port 19 of the pallet 18 do not match, the image signal processing unit 49 draws the guideline L1. However, the insertion port 19 is not highlighted.
  • the guide line L1 drawn on the captured image P1 disappears and the insertion port 19 is highlighted. Therefore, the operator can intuitively understand that the insertion direction of the fork 29 and the insertion port 19 of the pallet 18 are aligned.
  • the captured image P2 when the insertion direction of the fork 29 and the insertion port 19 of the pallet 18 are aligned, the guide line L2 drawn on the captured image P2 is erased and the insertion port is similar to the captured image P1. Highlight 19.
  • the second camera as the front camera is provided at the center between the forks in the lift bracket, but the present invention is not limited to this.
  • the second camera as the front camera may be incorporated in the tip of the fork, for example.
  • the front of the fork can be photographed by the second camera built in the tip of the fork.
  • the guideline of the captured image on the display unit is drawn by the dotted line, but the guideline is not limited to the dotted line.
  • the guideline line type, line thickness, and line color are free.
  • the insertion direction of the fork and the insertion opening of the pallet are aligned, part or all of the guideline drawn in the captured image is lost.
  • the color of the guideline may be changed or the guideline may be blinked. That is, the guideline may be changed to the display mode so that the guideline display mode is different from the guideline display mode when the fork insertion direction and the pallet insertion port are not aligned.
  • the image signal processing unit paints the insertion opening in the captured image with a prominent color, and highlights the insertion opening. Not limited to this.
  • the highlighting of the insertion slot may be in a more prominent state compared to the insertion slot when the insertion direction of the fork and the insertion slot of the pallet do not match, such as blinking the drawn insertion slot.
  • the image-recognized insertion port is displayed superimposed on the captured image, but this is not the only option.
  • the image-recognized insertion port does not necessarily have to be displayed so as to be superimposed on the captured image.
  • the image signal processing unit functions as the image recognition unit and the image processing unit, but the image recognition unit and the image processing unit may function independently of each other.
  • the reach type forklift is explained as the forklift, but the forklift is not limited to the reach type forklift.
  • the forklift may be, for example, a counterweight type forklift.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Selective Calling Equipment (AREA)

Abstract

前方カメラにより撮影された撮影画像（Ｐ１）に基づいてパレット（１８）を画像認識する画像認識部と、画像認識部によるパレット（１８）の画像認識に基づいてフォーク（２９）の先端から長手方向の前方へ延在するガイドライン（Ｌ１）撮影画像に重畳して描画する画像処理部と、を有し、画像処理部は、差込口（１９）に対してガイドライン（Ｌ１）が整合しているか否かに応じて表示部（４８）におけるガイドライン（Ｌ１）の表示態様を変化させる。

Description

フォークリフトの遠隔操作システム
　この発明は、フォークリフトの遠隔操作システムに関する。
　フォークリフトの遠隔操作システムの従来技術としては、例えば、特許文献１に開示された無線操作式車両の遠隔操作システムが知られている。特許文献１には、荷役カメラを備えた無線操作式のフォークリフトが開示されている。荷役カメラはフォークの上方に配置されており、フォークに積載された積載物を撮影する。荷役カメラにより撮影された画像は、フォークリフトを操作装置に備えられる表示モニタに表示される。なお、特許文献１のフォークリフトは、荷役カメラのほか、車両前方を撮影する前方カメラ、車両後方を撮影する後方カメラ、床面を撮影する床面カメラを備えている。
　また、別の従来技術としては、例えば、特許文献２に開示されたフォークリフトの作業支援装置が知られている。特許文献２に開示されたフォークリフトの作業支援装置は、フォークの先端部を含む前方の視界が撮影されたカメラ映像に、フォークの先端部の予想軌跡と、所定の３段階の前方距離を表す前方距離目安線と、左右のフォークの先端部をそれぞれフォークの長さ方向に沿って前方に直線的に延長した直進延長線が重畳され、モニタの画面上に表示される。
特開２０１４－１１５１８号公報 特開２００６－９６４５７号公報
　しかしながら、特許文献１の無線操作式車両の遠隔操作システムでは、パレットの差込口にフォークが差し込み可能な位置に位置していることがカメラ画像から判別し難いため、遠隔操作による荷役作業を行い難いという問題がある。
　一方、特許文献２のフォークリフトの作業支援装置では、フォークの予想軌跡と、前方距離目安線と、直進延長線が重畳され、モニタの画面上に表示される。しかしながら、パレットの差込口にフォークが差し込み可能な位置に位置しているか否かは判らず、特許文献１と同様に荷役作業を行い難いという問題がある。
　本発明は上記の問題点に鑑みてなされたもので、本発明の目的は、遠隔操作による荷役作業の作業効率を向上させることが可能なフォークリフトの遠隔操作装置の提供にある。
　上記の課題を解決するために、本発明は、車体に荷役装置を備えるフォークリフトと、
　前記フォークリフトの走行および前記荷役装置による荷役を遠隔操作する遠隔操作装置と、を備え、
　前記フォークリフトに備えられ、フォークの前方を撮影する前方カメラと、前記遠隔操作装置に備えられ、前記前方カメラにより撮影された撮影画像を表示する表示部と、を備えたフォークリフトの遠隔操作システムであって、前記前方カメラにより撮影された撮影画像に基づいてパレットを画像認識する画像認識部と、前記画像認識部による前記パレットの画像認識に基づいて前記フォークの先端から長手方向の前方へ延在するガイドラインを撮影画像に重畳して描画する画像処理部と、を有し、前記画像処理部は、前記パレットの差込口に対して前記ガイドラインが整合しているか否かに応じて前記表示部における前記ガイドラインの表示態様を変化させることを特徴とする。
　本発明では、フォークの先端から長手方向の前方へ延在するガイドラインが画像認識部によるパレットの画像認識に基づく撮影画像に重畳して描画される。表示部におけるガイドラインの表示態様は、パレットの差込口に対してガイドラインが整合しているか否かに応じて変化する。遠隔操作を行うオペレータは、フォークがパレットの差込口に挿入可能であることを表示部に表示されている差込口に対してガイドラインが整合している画像から判別でき、遠隔操作による荷役作業の操作性が容易となり、作業効率が向上する。
　また、上記のフォークの遠隔操作システムにおいて、前記画像処理部は、前記差込口に対して前記ガイドラインが整合しているとき、前記表示部にて表示される前記ガイドラインの少なくとも一部を消失させる構成としてもよい。
　この場合、遠隔操作を行うオペレータは、表示部にて表示されるガイドラインの少なくとも一部が消失されることにより、フォークがパレットの差込口に挿入可能であることを判別できる。また、画像からガイドラインの少なくとも一部が消失することによりフォークの挿入時にガイドラインが遠隔操作の邪魔になることはない。
　また、上記のフォークの遠隔操作システムにおいて、前記画像処理部は、前記差込口に対して前記ガイドラインが整合しているとき、前記差込口を強調表示する構成としてもよい。
　この場合、遠隔操作を行うオペレータは、差込口に対してガイドラインが整合しているときにパレットの差込口が強調表示されることにより、フォークがパレットの差込口に挿入可能であることを判別できる。また、パレットの差込口の強調表示により、画像上におけるパレットの差込口の位置を確実に認識することができる。
　本発明によれば、遠隔操作による荷役作業の作業効率を向上させることが可能なフォークリフトの遠隔操作装置を提供することができる。
発明の実施形態に係るフォークリフトの遠隔操作システムの電気的構成を示すブロック図である。 発明の実施形態に係る荷棚の斜視図である。 発明の実施形態に係るリーチ式フォークリフトの側面図である。 発明の実施形態に係るリーチ式フォークリフトの斜視図である。 撮影画像におけるフォークとガイドラインとの関係を示す説明図である。 リーチ式フォークリフトの遠隔操作装置によるガイドライン描画の制御の手順を示すフローチャートである。 第１カメラの撮影画像におけるガイドラインの描画を説明する説明図である。 第２カメラの撮影画像におけるガイドラインの描画を説明する説明図である。 変形例に係る第１カメラの撮影画像におけるガイドラインの描画を説明する説明図である。
　以下、本発明の実施形態に係るフォークリフトの遠隔操作システムについて図面を参照して説明する。図１に示すように、フォークリフト用遠隔操作システム１０は、リーチ式フォークリフト１１と、リーチ式フォークリフト１１を遠隔操作するのに用いられる遠隔操作装置１２と、を備えている。本実施形態では、リーチ式フォークリフト１１は、作業場Ｅに配置される。遠隔操作装置１２は、作業場Ｅと別に設けた操作室Ｒに配置されている。そして、オペレータは、遠隔操作装置１２を用いて操作室Ｒから、作業場Ｅのリーチ式フォークリフト１１を遠隔操作することができる。
　図２に示すように、作業場Ｅには荷棚１３が設置されている。荷棚１３は、複数の支柱１４と、支柱１４を繋ぐ横架材１５、１６と、支柱１４の中間部に設けられた荷載置部としての棚板１７を備えている。荷棚１３では棚板１７および棚板１７の下方に荷Ｗが載置される。荷Ｗはいずれもパレット１８に載置されている。パレット１８にはフォークを差し込む差込口１９が備えられている。オペレータは、リーチ式フォークリフト１１を遠隔操作して荷棚１３から荷Ｗを取り出したり、空いている棚板１７へ荷Ｗを載置したりする。
　図３、図４に示すように、リーチ式フォークリフト１１の車体２０には、左右一対のリーチレグ２１が備えられている。左右一対のリーチレグ２１は車体２０の前部から前方へ向けて延在する。左右一対のリーチレグ２１の前部には前輪２２がそれぞれ備えられている。車体２０の後部には後輪２３およびキャスタ輪（図示せず）が設けられている。後輪２３は操舵可能な駆動輪である。
　リーチ式フォークリフト１１は荷役装置２４を備えている。荷役装置２４は車体２０の前部における左右一対のリーチレグ２１の間に位置する。荷役装置２４は、左右一対のアウタマスト２５およびアウタマスト２５に対して昇降するインナマスト２６を備えている。また、荷役装置２４は、インナマスト２６に連結されたリフトシリンダ２７を備える。インナマスト２６は、リフトシリンダ２７への作動油の給排によって昇降する。インナマスト２６に対して昇降可能なリフトブラケット２８が備えられている。リフトブラケット２８には、左右一対のフォーク２９が備えられている。左右一対のフォーク２９はティルトシリンダ（図示せず）により前後に傾動可能である。
　図４に示すように、リフトブラケット２８には、フォーク２９の上方に位置するようにバックレスト３０が取り付けられている。バックレスト３０は、フォーク２９に荷Ｗが載置されたときに荷Ｗの後面を支持する。バックレスト３０の左右方向の長さは、車体２０の幅より小さいがアウタマスト２５の外側へはみ出す長さに設定されている。
　車体２０には、荷役装置２４に連結されたリーチシリンダ３１が備えられている（図３を参照）。リーチシリンダ３１は作動油の給排によってロッドが前後方向に進退する。リーチシリンダ３１の作動により荷役装置２４は、リーチレグ２１に沿って前後に移動する。リーチ式フォークリフト１１は、後輪２３を駆動させる走行モータ３２と後輪２３を操舵する操舵モータ（図示せず）を備える。
　図１に示すように、リーチ式フォークリフト１１は、車両通信部としての無線部４０と、車両制御部４１と、画像信号処理部４２と、荷役用の第１カメラ４３と、荷役用の第２カメラ４４と、を有する。無線部４０は、次に説明する遠隔操作装置１２と無線通信を行うためのものである。車両制御部４１は、リーチ式フォークリフト１１の各部と接続され、車両制御部４１と接続された各部を制御するほか、無線部４０と接続されている。画像信号処理部４２は、第１カメラ４３、第２カメラ４４により撮影された撮影画像を通信可能に信号処理する。第１カメラ４３、第２カメラ４４は荷役作業に必要なフォーク２９の先端部およびフォーク２９の前方を撮影する。すなわち、第１カメラ４３および第２カメラ４４は、フォーク２９の前方を撮影する前方カメラである。なお、図示を省略したが、リーチ式フォークリフト１１には、第１カメラ４３、第２カメラ４４のほか、走行のために前方および後方を撮影する複数の走行用カメラおよび障害物を検出する複数のセンサが備えられている。
　次に、遠隔操作装置１２について説明する。遠隔操作装置１２は、操作装置通信部としての無線部４５と、制御部４６と、操作部４７と、表示部４８と、画像信号処理部４９を有する。無線部４５はリーチ式フォークリフト１１の無線部４０と無線通信可能である。制御部４６は、無線部４５、操作部４７、表示部４８および画像信号処理部４９と接続されている。操作部４７における操作方式として、タッチパネル方式、マウス方式、ジョイスティック方式等が用いられる。表示部４８は、画像モニタであり、例えば、無線部４５を通じて受信された撮影画像を表示したり、遠隔操作に必要な各種の情報を表示したりする。画像信号処理部４９は、画像認識部および画像処理部に相当し、第１カメラ４３、第２カメラ４４により撮影された撮影画像の画像認識の処理のほか、表示部４８に表示する撮影画像の並び替え等の編集や加工を行う。
　そして、遠隔操作装置１２の操作部４７がオペレータにより操作されると、制御部４６は無線部４５を介して操作内容をリーチ式フォークリフト１１側に送る。リーチ式フォークリフト１１では、遠隔操作装置からの操作内容が無線部４０にて受信され、車両制御部４１は遠隔操作装置１２側からの指示に基づきリーチ式フォークリフト１１の各部を制御する。具体的には、走行駆動系の機器（走行モータ３７、操舵モータ等）および荷役系の機器（リフトシリンダ２７、リーチシリンダ３６、ティルトシリンダ等）が車両制御部４１の指令に基づいて駆動される。このように、遠隔操作装置１２は、リーチ式フォークリフト１１の走行および荷役装置２４による荷役を遠隔操作することができる。
　ところで、本実施形態の第１カメラ４３、第２カメラ４４は、荷役作業を行うためのカメラであるが、第１カメラ４３は、図３、図４に示すように、バックレスト３０の上部の中心にてレンズが前方斜め下方を向くように取り付けられている。第１カメラ４３がバックレスト３０の上部の中心にて前方斜め下方を向くように取り付けられていることにより、フォーク２９の先端部およびフォーク２９の前方は第１カメラ４３により撮影可能である。フォーク２９の先端部およびフォーク２９の前方は、遠隔操作により荷役作業を行うためにオペレータの確認が必要となる領域である。バックレスト３０の上部の中心にて前方斜め下方を向く第１カメラ４３により撮影された撮影画像は、平面方向（Ｘ－Ｙ軸方向）におけるフォーク２９の差込方向とパレット１８の差込口１９が整合しているか否かを確認し易い。
　第２カメラ４４は、図３、図４に示すように、リフトブラケット２８におけるフォーク２９間の中心にてレンズが前方を向くように取り付けられている。従って、第２カメラ４４はフォーク２９の高さと同じ高さに位置する。第２カメラ４４がリフトブラケット２８におけるフォーク２９間の中心にて前方を向くように取り付けられていることにより、フォーク２９の前方は第２カメラ４４により撮影可能である。フォーク２９の前方は、遠隔操作により荷役作業を行うためにオペレータの確認が必要となる領域である。第２カメラ４４により撮影された撮影画像は、上下方向（Ｚ軸方向）におけるフォーク２９の差込方向とパレット１８の差込口１９が整合しているか否かを確認し易い。
　本実施形態では、画像信号処理部４９は、図５（ａ）に示す第１カメラ４３の撮影画像Ｐ１に対してガイドラインＬ１を重畳して描画するほか、図５（ｂ）に示す第２カメラ４４の撮影画像Ｐ２に対してガイドラインＬ２を重畳して描画する。ガイドラインＬ１は左右一対のフォーク２９の外側端からフォーク２９の長手方向の前方へ延在する線であり、図５（ａ）では、見かけ上、撮影画像Ｐ１の斜め上下方向に延びている。ガイドラインＬ２は左右一対のフォーク２９の先端から長手方向の前方へ延在する線であり、図５（ｂ）では、見かけ上、撮影画像Ｐ２の中心付近にて水平方向に延びている。図５（ｂ）における点ＡはガイドラインＬ２の先端を示す。本実施形態ではガイドラインＬ１、Ｌ２は点線によって示される。
　画像信号処理部４９は、パレット１８の差込口１９に対してガイドラインＬ１、Ｌ２が整合しているか否かに応じてガイドラインＬ１、Ｌ２の表示態様を変化させる。画像信号処理部４９は、具体的には、図６のフローチャートに示す一連のステップＳ０１～Ｓ０５に従ってガイドラインＬ１、Ｌ２の表示態様を変化させる。
　一連のステップＳ０１～Ｓ０５について説明する。先ず、ステップＳ０１では、画像信号処理部４９は、第１カメラ４３よって撮影された撮影画像Ｐ１および第２カメラ４４によって撮影された撮影画像Ｐ２を取得する。第１カメラ４３の撮影画像Ｐ１および第２カメラ４４の撮影画像Ｐ２の取得により、これらの撮影画像Ｐ１、Ｐ２が表示部４８に表示される。画像信号処理部４９は、撮影画像Ｐ１、Ｐ２の画像切換やデータ保存のほか撮影画像Ｐ１、Ｐ２の編集加工を行うことが可能である。表示部４８に表示される撮影画像Ｐ１にはガイドラインＬ１が重畳して描画され、撮影画像Ｐ２にはガイドラインＬ２が重畳して描画される。
　次のステップＳ０２では、撮影画像Ｐ１、Ｐ２にパレット１８が含まれている場合、画像信号処理部４９はパレット１８の差込口１９を画像認識する。パレット１８の特徴点が画像信号処理部４９に予め設定されていることで、画像信号処理部４９は撮影画像Ｐ１、Ｐ２におけるパレット１８とパレット１８の差込口１９を画像認識することが可能である。画像信号処理部４９は、パレット１８とパレット１８の差込口１９の画像認識に基づいて差込口１９を撮影画像Ｐ１、Ｐ２に重畳して描画する。差込口１９の撮影画像Ｐ１、Ｐ２への重畳による描画によって、画像信号処理部４９による画像認識が正しいかどうかが分かり易い。
　次のステップＳ０３では、画像信号処理部４９は、ガイドラインＬ１、Ｌ２が差込口１９に対して整合しているか否かを判別する。差込口１９に対するガイドラインＬ１、Ｌ２の整合とは、フォーク２９をパレット１８へ向けて前進させたときにフォーク２９が差込口１９に挿入可能な状態を指す。図７（ａ）に示すガイドラインＬ１および図８（ａ）に示すガイドラインＬ２の状態は、フォーク２９をパレット１８へ向けて前進させたときにフォーク２９が差込口１９に挿入可能な状態であり、ガイドラインＬ１、Ｌ２は差込口１９に対して整合している。ステップＳ０３にてガイドラインＬ１、Ｌ２が差込口１９に対して整合するときステップＳ０４へ進む。ステップＳ０３にてガイドラインＬ１、Ｌ２が差込口１９に対して整合するときステップＳ０５へ進む。
　ステップＳ０４では、画像信号処理部４９は、差込口１９と整合するガイドラインＬ１、Ｌ２の一部を消失させて描画する。例えば、図７（ａ）および図８（ａ）に示すように、ガイドラインＬ１がパレット１８の差込口１９と交差する位置から前方の部分が消失される。ステップＳ０４の処理が終了すると、ステップＳ０１へ戻る。ステップＳ０５では、画像信号処理部４９は、差込口１９と整合しないガイドラインＬ１、Ｌ２を変更することなく描画する。ステップＳ０５が終了するとステップＳ０１へ戻る。このように、画像信号処理部４９は、パレット１８の差込口１９に対してガイドラインＬ１、Ｌ２が整合しているか否かに応じてガイドラインＬ１、Ｌ２の表示態様を変化させる。
　次に、本実施形態に係るリーチ式フォークリフト１１の遠隔操作システムの作用について説明する。リーチ式フォークリフト１１が荷棚１３と対向し、荷棚１３の荷Ｗを積み降ろす場合について説明する。
　オペレータの遠隔操作によりリーチ式フォークリフト１１によって荷棚１３から荷Ｗを積み降ろす際に、第１カメラ４３および第２カメラ４４は、フォーク２９の先端部およびフォーク２９の前方を同時に撮影する。第１カメラ４３によって撮影された撮影画像Ｐ１は、画像信号処理部４２および無線部４０を介して遠隔操作装置１２へ伝送される。遠隔操作装置１２では、無線部４５がリーチ式フォークリフト１１からの撮影画像Ｐ１を受信し、制御部４６は画像信号処理部４９を介して撮影画像Ｐ１を表示部４８に表示する。第２カメラ４４によって撮影された撮影画像Ｐ２は遠隔操作装置１２へ伝送される。遠隔操作装置１２では、無線部４５が撮影画像Ｐ２を受信し、制御部４６は画像信号処理部４９を介して撮影画像Ｐ２を表示部４８に表示する。表示部４８における撮影画像Ｐ１にはガイドラインＬ１が描画され、撮影画像Ｐ２にはガイドラインＬ２が描画されている。
　オペレータは表示部４８における撮影画像Ｐ１、Ｐ２を見ながらリーチ式フォークリフト１１を遠隔操作する。オペレータによるリーチ式フォークリフト１１の遠隔操作により、フォーク２９と荷棚１３が対向すると、第１カメラ４３の撮影画像Ｐ１および第２カメラ４４の撮影画像Ｐ２にパレット１８がそれぞれ含まれるようになる。撮影画像Ｐ１、Ｐ２にパレット１８が含まれる場合、画像信号処理部４９は、予め設定されているパレット１８の特徴点に基づいてパレット１８とパレット１８の差込口１９を画像認識する。
　撮影画像Ｐ１、Ｐ２においてパレット１８とパレット１８の差込口１９が画像認識されると、画像信号処理部４９は、ガイドラインＬ１、Ｌ２が差込口１９に整合しているか否かを判別する。フォーク２９が差込口１９に正対していない場合、図７（ｂ）、図７（ｃ）に示すように、ガイドラインＬ１が差込口１９に対して傾いている場合、平面方向（Ｘ、Ｙ方向）におけるフォーク２９の差込方向とパレット１８の差込口１９が整合していない。従って、ガイドラインＬ１は変更されることなく撮影画像Ｐ１に重畳されて描画される。このため、オペレータは、平面方向（Ｘ－Ｙ軸方向）におけるフォーク２９の差込方向とパレット１８の差込口１９が整合するようにリーチ式フォークリフト１１を遠隔操作する。なお、図７（ｃ）では、右のフォーク２９に対応するガイドラインＬ１が右の差込口１９に対して整合し、左のフォーク２９に対応するガイドラインＬ１は左の差込口１９に対して整合していない。
　図７（ａ）に示すように、ガイドラインＬ１が差込口１９に正対している場合、平面方向（Ｘ－Ｙ軸方向）におけるフォーク２９の差込方向とパレット１８の差込口１９が整合している。このため、ガイドラインＬ１の一部（差込口１９から前方部分）が消失される。なお、図７（ａ）～（ｃ）では、説明の便宜上、撮影画像Ｐ１においてパレット１８以外を非表示としているが、実際には表示部４８にて荷棚１３や床面等が表示される。
　一方、撮影画像Ｐ２では、フォーク２９が差込口１９に正対していない場合、図８（ｂ）、図８（ｃ）に示すように、ガイドラインＬ２の高さが差込口１９の高さと合わない。つまり、上下方向（Ｚ軸方向）におけるフォーク２９の差込方向とパレット１８の差込口１９が整合していない。従って、ガイドラインＬ２は変更されることなく撮影画像Ｐ１に重畳されて描画される。このため、オペレータは、上下方向（Ｚ軸方向）におけるフォーク２９の差込方向とパレット１８の差込口１９が整合するようにリーチ式フォークリフト１１を遠隔操作する。
　図８（ａ）に示すように、ガイドラインＬ１が差込口１９に正対している場合、上下方向（Ｚ軸方向）におけるフォーク２９の差込方向とパレット１８の差込口１９が整合している。フォーク２９の差込方向とパレット１８の差込口１９が整合すると、ガイドラインＬ２の一部（差込口１９から前方部分）が消失される。なお、図８（ａ）～（ｃ）では、説明の便宜上、撮影画像Ｐ２においてパレット１８以外を非表示としているが、実際には表示部４８にて荷棚１３や床面等が表示される。因みに、ガイドラインＬ１、Ｌ２の一部の消失は同時に行われる。
　そして、オペレータは、ガイドラインＬ１、Ｌ２の一部の消失により、フォーク２９の差込方向とパレット１８の差込口１９が整合していることを把握することができる。リーチ式フォークリフト１１を前進させるとフォーク２９がパレット１８の差込口１９に挿入される。なお、フォーク２９の差込方向とパレット１８の差込口１９との整合後のフォーク２９の前進時において、フォーク２９の差込方向とパレット１８の差込口１９が何らかの原因により整合しなくなる場合、ガイドラインＬ１、Ｌ２の消失は解除される。この場合、オペレータは、フォーク２９の差込方向とパレット１８の差込口１９が整合するように、リーチ式フォークリフト１１を遠隔操作すればよい。
　本実施形態のリーチ型フォークリフトの遠隔操作システムは以下の作用効果を奏する。
　（１）フォーク２９の先端から長手方向の前方へ延在するガイドラインＬ１、Ｌ２および画像信号処理部４９によるパレット１８の画像認識に基づいてパレット１８の差込口１９が描画される。表示部４８におけるガイドラインＬ１、Ｌ２の表示態様は、パレット１８の差込口１９に対してガイドラインＬ１、Ｌ２が整合しているか否かに応じて変化する。遠隔操作を行うオペレータは、フォーク２９がパレット１８の差込口１９に挿入可能であることを表示部４８に表示されている差込口１９に対してガイドラインＬ１、Ｌ２が整合している画像から判別できる。その結果、遠隔操作による荷役作業の操作性が容易となり、作業効率が向上する。
　（２）遠隔操作を行うオペレータは、表示部４８にて表示されるガイドラインＬ１、Ｌ２の一部が消失されることにより、フォーク２９がパレット１８の差込口１９に挿入可能であることを判別できる。また、表示部４８の画像からガイドラインＬ１、Ｌ２の一部が消失することにより、フォーク２９の挿入時にガイドラインＬ１、Ｌ２はオペレータによる遠隔操作の妨げになることはない。
　（３）撮影画像Ｐ１にガイドラインＬ１が描画され、撮影画像Ｐ２にガイドラインＬ２が描画される。オペレータは、フォーク２９の先端部およびフォーク２９の前方を異なる位置に設けた２台の第１カメラ４３の撮影画像Ｐ１および第２カメラ４４の撮影画像Ｐ２を確認して遠隔操作する。撮影画像Ｐ１にガイドラインＬ１が描画され、撮影画像Ｐ２にガイドラインＬ２が描画されるため、フォーク２９と差込口１９との位置を容易に確認することができる。従って、パレット１８の差込口１９とフォーク２９の正対の程度、差込口１９に対する車幅方向の位置ずれ、差込口１９に対するフォーク２９の高さ方向の位置ずれを確実に把握できる。また、オペレータは、ガイドラインＬ１、Ｌ２の一部の消失により、フォーク２９の差込方向とパレット１８の差込口１９が整合していることを把握することができる。その結果、遠隔操作による荷役作業の操作性が容易となり、作業効率が向上する。
　（変形例）
　次に、変形例について説明する。変形例では、図９（ａ）に示すように、画像信号処理部４９は、平面方向（Ｘ－Ｙ軸方向）におけるフォーク２９の差込方向とパレット１８の差込口１９が整合すると、撮影画像Ｐ１において描画されていたガイドラインＬ１を完全に消失させる。また、画像信号処理部４９は、差込口１９を目立つ色に塗りつぶして描画し、差込口１９を強調表示する。図９（ｂ）に示すように、平面方向（Ｘ－Ｙ軸方向）におけるフォーク２９の差込方向とパレット１８の差込口１９が整合しないとき、画像信号処理部４９は、ガイドラインＬ１を描画し、差込口１９を強調表示しない。
　本変形例によれば、フォーク２９の差込方向とパレット１８の差込口１９が整合すると、撮影画像Ｐ１に描画されたガイドラインＬ１が消失されるとともに、差込口１９が強調表示される。このため、オペレータは、フォーク２９の差込方向とパレット１８の差込口１９が整合したことを直感的に把握することができる。なお、撮影画像Ｐ２についても、撮影画像Ｐ１と同様に、フォーク２９の差込方向とパレット１８の差込口１９が整合すると、撮影画像Ｐ２に描画されたガイドラインＬ２を消失させるとともに、差込口１９を強調表示する。
　本発明は、上記の実施形態（変形例を含む）に限定されるものではなく発明の趣旨の範囲内で種々の変更が可能であり、例えば、次のように変更してもよい。
　○　上記の実施形態（変形例を含む）では、前方カメラとしての第２カメラをリフトブラケットにおけるフォーク間の中心に設けるとしたがこの限りではない。前方カメラとしての第２カメラは、例えば、フォークの先端部に内蔵させてもよい。フォークの先端部に内蔵させた第２カメラによってフォークの前方を撮影することができる。
　○　上記の実施形態（変形例を含む）では、表示部における撮影画像のガイドラインが点線によって描画されたが、ガイドラインは点線に限らない。ガイドラインの線種、線の太さおよび線の色は自由である。
　○　上記の実施形態（変形例を含む）では、フォークの差込方向とパレットの差込口が整合すると、撮影画像に描画されたガイドラインの一部又は全部が消失されるとしたが、これに限定されない。例えば、フォークの差込方向とパレットの差込口が整合すると、ガイドラインの色を変更したり、あるいは、ガイドラインを点滅させたりしてもよい。つまり、フォークの差込方向とパレットの差込口が整合しないときのガイドラインの表示態様と異なるように、ガイドラインを表示態様に変化すればよい。
　○　上記の変形例では、フォークの差込方向とパレットの差込口が整合すると、画像信号処理部が撮影画像における差込口を目立つ色に塗りつぶして描画し、差込口を強調表示したがこの限りではない。差込口を強調表示は、描画されている差込口を点滅させる等、フォークの差込方向とパレットの差込口が整合しないときの差込口と比較して目立つ状態となればよい。
　○　上記の実施形態（変形例を含む）では、画像認識が正しいかどうかが分かり易くするため、画像認識されている差込口が撮影画像に重畳表示されたが、この限りではない。画像認識した差込口は必ずしも撮影画像に重畳して表示しなくてもよい。
　○　上記の実施形態では、画像信号処理部が画像認識部および画像処理部の機能を果たすとしたが、画像認識部と画像処理部は互いに独立して機能する構成であってもよい。
　○　上記の実施形態では、フォークリフトとしてリーチ式フォークリフトについて説明したが、フォークリフトはリーチ式フォークリフトに限定されない。フォークリフトは、例えば、カウンタウエイト式フォークリフトであってもよい。
　１０　　フォークリフトの遠隔操作システム
　１１　　フォークリフト
　１２　　遠隔操作装置
　１３　　荷棚
　１８　　パレット
　１９　　差込口
　２０　　車体
　２４　　荷役装置
　２８　　リフトブラケット
　２９　　フォーク
　３０　　バックレスト
　４３　　第１カメラ
　４４　　第２カメラ
　４８　　表示部
　４９　　画像信号処理部
　Ｌ１、Ｌ２　　ガイドライン
　Ｐ１、Ｐ２　　撮影画像
　Ｗ　　荷

Claims (3)

  1. 　車体に荷役装置を備えるフォークリフトと、
    　前記フォークリフトの走行および前記荷役装置による荷役を遠隔操作する遠隔操作装置と、を備え、
    　前記フォークリフトに備えられ、フォークの前方を撮影する前方カメラと、
    　前記遠隔操作装置に備えられ、前記前方カメラにより撮影された撮影画像を表示する表示部と、を備えたフォークリフトの遠隔操作システムであって、
    　前記前方カメラにより撮影された撮影画像に基づいてパレットを画像認識する画像認識部と、
    　前記画像認識部による前記パレットの画像認識に基づいて前記フォークの先端から長手方向の前方へ延在するガイドラインを撮影画像に重畳して描画する画像処理部と、を有し、
    　前記画像処理部は、前記パレットの差込口に対して前記ガイドラインが整合しているか否かに応じて前記表示部における前記ガイドラインの表示態様を変化させることを特徴とするフォークリフトの遠隔操作システム。
  2. 　前記画像処理部は、前記差込口に対して前記ガイドラインが整合しているとき、前記表示部にて表示される前記ガイドラインの少なくとも一部を消失させることを特徴とする請求項１記載のフォークリフトの遠隔操作システム。
  3. 　前記画像処理部は、前記差込口に対して前記ガイドラインが整合しているとき、前記差込口を強調表示することを特徴とする請求項１又は２記載のフォークリフトの遠隔操作システム。
PCT/JP2019/039557 2018-10-24 2019-10-08 フォークリフトの遠隔操作システム WO2020085068A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018199778A JP2020066505A (ja) 2018-10-24 2018-10-24 フォークリフトの遠隔操作システム
JP2018-199778 2018-10-24

Publications (1)

Publication Number Publication Date
WO2020085068A1 true WO2020085068A1 (ja) 2020-04-30

Family

ID=70331180

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/039557 WO2020085068A1 (ja) 2018-10-24 2019-10-08 フォークリフトの遠隔操作システム

Country Status (2)

Country Link
JP (1) JP2020066505A (ja)
WO (1) WO2020085068A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11650596B2 (en) * 2019-05-31 2023-05-16 Cascade Corporation Load alignment aid

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003155199A (ja) * 2001-11-19 2003-05-27 Toyota Industries Corp 産業車両の音声報知装置及び産業車両
JP2006096457A (ja) * 2004-09-28 2006-04-13 Toyota Industries Corp フォークリフトの作業支援装置
JP2008055958A (ja) * 2006-08-29 2008-03-13 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2008093814A (ja) * 2006-10-16 2008-04-24 Yamatake Corp 作業支援装置および方法
JP6399669B1 (ja) * 2017-07-28 2018-10-03 三菱ロジスネクスト株式会社 運転支援システムおよび運転支援方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003155199A (ja) * 2001-11-19 2003-05-27 Toyota Industries Corp 産業車両の音声報知装置及び産業車両
JP2006096457A (ja) * 2004-09-28 2006-04-13 Toyota Industries Corp フォークリフトの作業支援装置
JP2008055958A (ja) * 2006-08-29 2008-03-13 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2008093814A (ja) * 2006-10-16 2008-04-24 Yamatake Corp 作業支援装置および方法
JP6399669B1 (ja) * 2017-07-28 2018-10-03 三菱ロジスネクスト株式会社 運転支援システムおよび運転支援方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11650596B2 (en) * 2019-05-31 2023-05-16 Cascade Corporation Load alignment aid

Also Published As

Publication number Publication date
JP2020066505A (ja) 2020-04-30

Similar Documents

Publication Publication Date Title
WO2003062127A1 (fr) Dispositif et procede de commande de la position d'un appareil de manutention dans un vehicule industriel
JP7215394B2 (ja) 荷役車両の操作支援装置
EP4086392A1 (en) System and method providing visual aids for workpiece manipulator positioning and movement preview path
JP2021022802A (ja) 産業車両の遠隔操作システム
JP2019202877A (ja) 産業車両用遠隔操作システム
JP3900941B2 (ja) フォークリフトトラックの作業視野支援装置及びフォークリフトトラック、産業車両の作業視野支援装置及び産業車両
JP2020132431A (ja) 産業車両用走行支援装置
JP5137209B2 (ja) フォークリフト
WO2020085068A1 (ja) フォークリフトの遠隔操作システム
JP6922848B2 (ja) フォークリフト用遠隔操作システム
JP7268575B2 (ja) 荷役車両の操作支援装置
WO2021066138A1 (ja) 荷役車両の操作支援装置
JP3900942B2 (ja) 産業車両における荷役機器の自動位置制御装置、産業車両及び荷役機器の自動位置制御方法
JP7107078B2 (ja) リーチ式フォークリフト用荷役作業支援装置
JP7063283B2 (ja) リーチ式フォークリフト用荷役作業支援装置
JP7099399B2 (ja) 荷役支援システム
WO2020095602A1 (ja) フォークリフトの遠隔操作システム
JP7087737B2 (ja) フォークリフト用遠隔操作システム
JP7070456B2 (ja) 荷役支援システム
JP7095553B2 (ja) フォークリフトの遠隔操作システム
JP3858703B2 (ja) 産業車両における荷役作業支援装置及び産業車両
JP6965837B2 (ja) フォークリフト用遠隔操作システム
JP7371544B2 (ja) 産業車両の作業支援装置
JP7435432B2 (ja) フォークリフト
JP2003155198A (ja) 産業車両における荷役作業支援装置及び産業車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19875811

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19875811

Country of ref document: EP

Kind code of ref document: A1