WO2020008992A1 - フォークリフト用遠隔操作システム - Google Patents

フォークリフト用遠隔操作システム Download PDF

Info

Publication number
WO2020008992A1
WO2020008992A1 PCT/JP2019/025594 JP2019025594W WO2020008992A1 WO 2020008992 A1 WO2020008992 A1 WO 2020008992A1 JP 2019025594 W JP2019025594 W JP 2019025594W WO 2020008992 A1 WO2020008992 A1 WO 2020008992A1
Authority
WO
WIPO (PCT)
Prior art keywords
forklift
pallet
unit
fork
cargo handling
Prior art date
Application number
PCT/JP2019/025594
Other languages
English (en)
French (fr)
Inventor
井上順治
比嘉孝治
Original Assignee
株式会社豊田自動織機
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社豊田自動織機 filed Critical 株式会社豊田自動織機
Publication of WO2020008992A1 publication Critical patent/WO2020008992A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems

Definitions

  • the present invention relates to a forklift remote control system.
  • a forklift is equipped with a camera to grasp the surrounding environment (for example, Patent Document 1).
  • a camera is mounted on the forklift to operate while looking at the screen.
  • it is difficult to grasp the fork insertion amount from the remote operation camera image, and the workability is poor. .
  • An object of the present invention is to provide a forklift remote control system capable of improving workability when inserting a fork.
  • the forklift includes a forklift having a vehicle communication unit and a vehicle communication unit, and an operating device communication unit for performing wireless communication with the vehicle communication unit.
  • the gist of the present invention is to include a shift amount detection unit that detects a shift amount of a current position from a fork-insertable position into a pallet hole of a fork.
  • the shift amount detecting unit detects the shift amount of the current position from the position at which the fork can be inserted into the pallet hole by image recognition from the image captured by the camera. You. Therefore, it is possible to improve workability at the time of fork insertion.
  • the remote control system further includes a notifying unit that notifies an operator of a deviation amount of a current position from the ground-cuttable insertion position.
  • the remote control system for a forklift according to the first aspect further includes an automatic control unit that automatically performs control so as to eliminate a deviation amount of a current position from the ground-cuttable insertion position. Good.
  • FIG. 2 is a block diagram showing an electrical configuration of a forklift remote control system.
  • the schematic side view of a reach type forklift The schematic plan view of a reach type forklift.
  • FIG. 2 is a schematic plan view showing a relationship between a reach-type forklift and a pallet.
  • 5 is a flowchart for explaining the operation.
  • FIG. 2 is a schematic plan view showing a relationship between a reach-type forklift and a pallet.
  • the remote control system 10 for a forklift includes a reach type forklift 20 and a remote control device 50 used to remotely control the reach type forklift 20.
  • the reach type forklift 20 is arranged in a work place.
  • the remote control device 50 is arranged in an operation room. Then, the reach type forklift 20 in the work place can be remotely controlled from the operation room using the remote control device 50.
  • shelves 60 are installed in the workplace.
  • the pallet 61 and the load W can be arranged in two stages. That is, the luggage W is arranged on the pallet 61 in the lower stage, and the luggage W is arranged on the pallet 61 in the upper stage. From this state, the operator remotely operates the reach-type forklift 20 to pick up luggage.
  • a machine 21 of the reach type forklift 20 is provided with a cargo handling device 22.
  • the cargo handling device 22 includes a pair of reach legs 23 extending forward.
  • Each reach leg 23 is provided with a front wheel 24. That is, a pair of left and right front wheels 24 is provided on the front side of the machine base 21.
  • a rear wheel 25 is provided on the rear side of the machine base 21. In the present embodiment, the rear wheels 25 are steering wheels and drive wheels.
  • the cargo handling device 22 includes a two-stage mast 26.
  • the mast 26 includes an outer mast 27 and an inner mast 28.
  • the cargo handling device 22 includes a lift cylinder 29 connected to the inner mast 28.
  • the cargo handling device 22 includes a reach cylinder 30 connected to the mast 26.
  • the inner mast 28 moves up and down by supplying and discharging hydraulic oil to and from the lift cylinder 29.
  • the mast 26 moves along the reach leg 23 by supplying and discharging hydraulic oil to and from the reach cylinder 30.
  • the cargo handling device 22 includes a pair of forks 31 and a lift bracket 32 for fixing the forks 31 to the mast 26.
  • the fork 31 and the lift bracket 32 move up and down as the inner mast 28 moves up and down.
  • the reach type forklift 20 includes a traveling motor 33 that drives the rear wheel 25.
  • the reach-type forklift 20 is provided with various actuators. Specifically, for example, as the travel actuator, a travel motor 33 for driving the rear wheel 25, a steering motor (not shown), and the like are given. The wheels are rotated and steered by the traveling actuator. Further, examples of the cargo handling actuator include a lift cylinder 29 connected to the inner mast 28, a reach cylinder 30 connected to the mast 26, a tilt cylinder (not shown), and the like. A cargo handling operation such as lifting, reaching, tilting, etc. can be performed by the cargo handling actuator.
  • the reach type forklift 20 includes a wireless unit 40 as a vehicle communication unit, a control unit 41, a video signal processing unit 42, cameras 43a, 43b, 43c, 43d, 43e, 43f, 43g, 43h.
  • the remote operation device 50 includes a wireless unit 51 as an operation device communication unit, a control unit 52, an operation unit 53, a display unit (monitor) 54, and a video signal processing unit 55.
  • a wireless unit 51 as an operation device communication unit
  • a control unit 52 controls the operation unit 53
  • a display unit (monitor) 54 controls the operation unit 53
  • a video signal processing unit 55 As an operation method in the operation unit 53, a touch panel method, a mouse method, a joystick method, or the like is used.
  • the wireless unit 51 can perform wireless communication with the wireless unit 40 of the reach type forklift 20. That is, the wireless unit 40 of the reach type forklift 20 and the wireless unit 51 of the remote control device 50 can wirelessly communicate with each other.
  • the control unit 52 sends the operation content to the reach type forklift 20 via the wireless unit 51.
  • the operation content from the remote operation device 50 is received by the wireless unit 40, and the traveling unit actuator (traveling motor 33, steering motor (not shown), etc.) It is possible to drive a cargo handling actuator (such as a lift cylinder 29, a reach cylinder 30, or a tilt cylinder (not shown)).
  • the control unit 52 can remotely control the traveling of the reach type forklift 20 and the cargo handling by the cargo handling device 22 via the wireless unit 51, the wireless unit 40, and the control unit 41.
  • the cameras 43a, 43b, 43c and 43d of the traveling system are provided as shown in FIGS.
  • the traveling cameras 43a, 43b, 43c, 43d are attached to the machine base 21 of the reach type forklift 20.
  • the traveling cameras 43a, 43b, 43c, and 43d image the periphery of the machine base 21.
  • the camera 43a of the traveling system captures an image of the front in the traveling direction.
  • the traveling camera 43b captures an image of the rear.
  • the traveling camera 43c captures an image of the right side.
  • the traveling camera 43d captures an image of the left side.
  • the cargo handling cameras 43e, 43f, 43g, and 43h are provided as shown in FIGS.
  • the cargo handling cameras 43e, 43f, 43g, 43h are attached to the cargo handling device 22 of the reach type forklift 20.
  • the cargo handling cameras 43e, 43f, 43g, and 43h capture images of the cargo handling target area in the cargo handling device 22. More specifically, the cargo handling camera 43e is attached to the upper part on the right side of the lift bracket 32, and images the front of the cargo handling device 22 from the right side.
  • the cargo handling camera 43f is attached to the upper portion on the left side of the lift bracket 32, and captures an image of the front side of the cargo handling device 22 from the left side.
  • the cargo handling camera 43g is attached to the upper part of the inner mast 28 and captures an image of the lower front.
  • the cargo handling camera 43h is embedded in the tip of the right fork 31, and captures an image of the front of the fork 31.
  • images captured by the cameras 43a, 43b, 43c, 43d, 43e, 43f, 43g, and 43h are sent to the remote control device 50 by the control unit 41 via the video signal processing unit 42 and the wireless unit 40. Sent.
  • a camera image from the reach type forklift 20 is received by the wireless unit 51 and displayed on the display unit 54 by the control unit 52 via the video signal processing unit 55. The operator operates while viewing the camera image on the display unit 54.
  • the operation will be described.
  • the reach type forklift 20 faces directly at a position separated by the distance of. That is, the left and right forks 31 of the reach-type forklift 20 are located at a predetermined distance from the left and right holes 61a of the pallet 61, and the left and right forks 31 It can be inserted into the left and right holes 61a.
  • the control unit 52 calculates the lines L1, L2, L3, L4, L5, and L6 from the camera image.
  • the line L1 is a line (pallet line) that becomes the front surface of the pallet 61 in the plan view of FIG. 8
  • the line L2 is a machine line extending to connect the tips of the left and right forks 31 in FIG. 8 is a fork extension line extending forward from the center of the left fork 31 in FIG. 8
  • line L4 is the center line of the left pallet hole 61a in FIG. 8
  • line L5 is the pallet of the fork 31 in FIG. This is a line (landing possible line) that becomes a ground cutting possible insertion position into the hole 61a.
  • the landable insertion position is the insertion position of the fork 31 that can secure the minimum insertion amount required to ground the pallet 61.
  • the line L6 is a fork extension line corresponding to the height position of the fork 31 in the side view of FIG. 9, and the line L7 is a line (pallet line) corresponding to the height position of the pallet hole 61a in FIG.
  • the control unit 52 performs three-dimensional measurement with a plurality of cameras based on the lines L1, L2, L3, L4, L5, and L6, and displays various information from a screen viewed by an operator based on the information. .
  • the control unit 52 of the remote control device 50 recognizes the pallet from the camera image in step S100, and compares the pallet line L1 with the machine line L2 in step S101 as shown in FIG. I do.
  • the control unit 52 notifies the shift amount ⁇ L1, which is the difference between the pallet line L1 and the machine line L2, in step S102 in FIG. Specifically, the shift amount ⁇ L1 is displayed on the display unit 54.
  • the control unit 52 of the remote control device 50 determines whether or not the deviation ⁇ L1 is within the reference value in step S103, and notifies “matching OK” in step S104 when the deviation ⁇ L1 falls within the reference value. Specifically, “matching OK” is displayed on the display unit 54.
  • the control unit 52 of the remote control device 50 compares the fork extension line L3 and the center line L4 of the pallet hole (pocket) in step S105.
  • the control unit 52 notifies the shift amount ⁇ L2 that is the difference between the fork extension line L3 and the line L4 of the pallet hole (pocket) in step S106 of FIG.
  • the display unit 54 displays the shift amount ⁇ L2.
  • the control unit 52 of the remote control device 50 determines whether or not the deviation amount ⁇ L2 is within the reference value in step S107, and notifies “matching OK” in step S104 when the deviation amount ⁇ L2 is within the reference value. Specifically, “matching OK” is displayed on the display unit 54.
  • the control unit 52 of the remote control device 50 compares the fork extension line L6 with the pallet hole (pocket) line (pallet line) L7 in step S108.
  • the control unit 52 notifies the shift amount ⁇ L3 that is the difference between the extension line L6 of the fork and the line L7 of the pallet hole (pocket) in step S109 in FIG.
  • the display unit 54 displays the shift amount ⁇ L3.
  • the controller 52 of the remote control device 50 determines whether or not the deviation ⁇ L3 is within the reference value in step S110, and notifies “matching OK” in step S104 when the deviation ⁇ L3 falls within the reference value. Specifically, “matching OK” is displayed on the display unit 54.
  • step S111 the control unit 52 of the remote control device 50 compares the pallet line L1 and the ground-cuttable line L5 as shown in FIG.
  • the control unit 52 notifies the shift amount ⁇ L4, which is the difference between the pallet line L1 and the ground line L5, in step S112 of FIG.
  • the display unit 54 displays the shift amount ⁇ L4.
  • the control unit 52 of the remote control device 50 determines whether or not the deviation ⁇ L4 is within the reference value in step S113, and notifies “matching OK” in step S104 when the deviation ⁇ L4 falls within the reference value. Specifically, “matching OK” is displayed on the display unit 54.
  • a notification may be made by displaying a numerical value on the screen.
  • the control unit 52 as the shift amount detecting unit performs the image recognition from the images captured by the cameras 43a, 43b, 43c, 43d, 43e, 43f, 43g, and 43h to the pallet holes 61a of the fork 31.
  • the shift amount ( ⁇ L4) of the current position with respect to the ground possible insertion position (ground possible line L5) is detected.
  • the insertion amount of the fork can be easily grasped. Then, the operator manually operates so as to eliminate the deviation amount. explain in detail.
  • the pallet and the fork are recognized in the X, Y, and Z directions by capturing characteristic points such as the outer shape of the pallet and the positions of the pallet holes (pockets) from the image of the camera mounted on the vehicle and performing image recognition. And the operator is notified that the positional deviation has been resolved and the positional deviation has been resolved. Specifically, the shift amounts ⁇ L1, ⁇ L2, ⁇ L3, and ⁇ L4 are displayed on the display unit 54.
  • the pallet line L1 and the machine line (X-direction line) L2 are compared in the X direction, which is the left-right direction, and the Y direction, which is the front-rear direction, of the reach-type forklift 20 in a parallel state (a state in which the pallet line L1 faces directly).
  • a parallel state a state in which the pallet line L1 faces directly.
  • the fork extension line L3 and the center line L4 of the pallet hole (pocket) are compared to notify the displacement amount ⁇ L2 by displaying it on a screen, and when the displacement amount ⁇ L2 reaches the reference value, the matching is OK. Notify by displaying.
  • the fork extension line L6 and the pallet line L7 are compared to notify the displacement amount ⁇ L3 by displaying a numerical value on the screen, and the displacement amount ⁇ L3 is within the reference value. Is notified by displaying matching OK.
  • the pallet line L1 and the ground-cuttable line L5 are compared to notify the displacement amount ⁇ L4 by displaying a numerical value on the screen, and the displacement amount ⁇ L4 is set to the reference value. Is displayed by displaying the matching OK when it reaches the inside.
  • the camera arrangement in the vehicle is arranged in a range that the camera viewpoint can cover. By doing so, the operability and work efficiency can be improved when remote control is performed while viewing the image.
  • the reach type forklift 20 having the machine platform 21 with the cargo handling device 22 and the wireless unit 40 as the vehicle communication unit, and the wireless communication with the wireless unit 40 as the vehicle communication unit
  • a remote control device 50 that is used to remotely control the traveling of the reach-type forklift 20 and the cargo handling by the cargo handling device 22.
  • a control unit 52 is provided as a shift amount detection unit that detects a shift amount of the current position from the position where the fork 31 can be inserted into the pallet hole 61a by the image recognition with respect to the pallet hole 61a. Therefore, the insertion amount of the fork can be easily grasped, and the workability at the time of inserting the fork can be improved.
  • the control unit 52 is further provided as a notification unit for notifying the operator of the amount of displacement ( ⁇ L4) of the current position with respect to the landable insertion position (landable line L5). Therefore, the insertion amount of the fork can be easily grasped.
  • the embodiment is not limited to the above, and may be embodied as follows, for example.
  • the control unit 52 may notify the operator of the deviation amount of the current position from the ground-cut possible insertion position from a plurality of camera images using an overhead view (see FIG. 8). As described above, the notification unit that notifies the operator can easily grasp the fork insertion amount by performing the notification using the bird's-eye view (see FIG. 8) from the multiple camera images.
  • the color may be changed (for example, changed to red) when the color falls within the range on the screen of the display unit 54.
  • the result of the deviation of the current position from the insertion position that can be cut off is displayed on the display unit, it may be notified by voice.
  • the process of FIG. 7 was executed by the control unit 52 of the remote control device 50.
  • the control unit 41 of the reach type forklift 20 may perform the control.
  • a fork may be inserted into the pallet from the directly facing position by automatic control in order to eliminate the shift amount. That is, when the operator selects the detected pallet 61 when the fork extension line L3 enters the pallet hole (pocket) 61a directly, automatic control (insertion of a fork into the pallet) is started. Specifically, the fork height position is adjusted with the pallet as a target, and the reach is performed until the pallet is within the target.
  • control unit 52 is further provided as an automatic control unit that performs automatic control so as to eliminate the amount of deviation of the current position from the ground-cuttable insertion position. Therefore, it is possible to improve workability at the time of fork insertion.
  • the forklift is a reach type forklift, but is not limited thereto, and may be a forklift other than the reach type forklift.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

リーチ式フォークリフト（２０）と遠隔操作装置（５０）を備える。リーチ式フォークリフト（２０）の周囲を撮像するカメラと、カメラにて撮像された画像から画像認識により、フォーク（３１）のパレット穴（６１a）への地切り可能差込位置に対する現在位置のずれ量を検知する制御部（５２）と、を備える。

Description

フォークリフト用遠隔操作システム
　本発明は、フォークリフト用遠隔操作システムに関するものである。
　フォークリフトにおいて周囲の環境を把握すべくカメラを搭載することが行われている（例えば、特許文献１）。
特開２０１４－１１５１８号公報
　ところで、フォークリフト用遠隔操作システムにおいて、フォークリフトにカメラを搭載して画面を見て操作することになるが、遠隔操作用のカメラ画像からではフォークの差込量が把握しにくく、作業性が悪かった。
　本発明の目的は、フォーク差込の際の作業性向上を図ることが可能なフォークリフト用遠隔操作システムを提供することにある。
　請求項１に記載の発明では、機台に荷役装置を備えるとともに車両通信部を有するフォークリフトと、前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトの走行及び前記荷役装置による荷役を遠隔操作するのに用いられる遠隔操作装置と、を備えたフォークリフト用遠隔操作システムであって、前記フォークリフトの周囲を撮像するカメラと、前記カメラにて撮像された画像から画像認識により、フォークのパレット穴への地切り可能差込位置に対する現在位置のずれ量を検知するずれ量検知部と、を備えることを要旨とする。
　請求項１に記載の発明によれば、ずれ量検知部によって、カメラにて撮像された画像から画像認識により、フォークのパレット穴への地切り可能差込位置に対する現在位置のずれ量が検知される。よって、フォーク差込の際の作業性向上を図ることが可能となる。
　請求項２に記載のように、請求項１に記載のフォークリフト用遠隔操作システムにおいて、前記地切り可能差込位置に対する現在位置のずれ量を操作者に通知する通知部を更に備えるとよい。
　請求項３に記載のように、請求項１に記載のフォークリフト用遠隔操作システムにおいて、前記地切り可能差込位置に対する現在位置のずれ量を解消するように自動制御する自動制御部を更に備えるとよい。
　本発明によれば、フォーク差込の際の作業性向上を図ることが可能となる。
フォークリフト用遠隔操作システムの電気的構成を示すブロック図。 リーチ式フォークリフトの概略側面図。 リーチ式フォークリフトの概略平面図。 作業場でのリーチ式フォークリフトとパレットの状況を説明するための概略図。 リーチ式フォークリフトとパレットの関係を示す概略平面図。 リーチ式フォークリフトとパレットの関係を示す概略側面図。 作用を説明するためのフローチャート。 リーチ式フォークリフトとパレットの関係を示す概略平面図。 リーチ式フォークリフトとパレットの関係を示す概略側面図。
　以下、本発明を具体化した一実施形態を図面に従って説明する。
　図１に示すように、フォークリフト用遠隔操作システム１０は、リーチ式フォークリフト２０と、リーチ式フォークリフト２０を遠隔操作するのに用いられる遠隔操作装置５０と、を備えている。リーチ式フォークリフト２０は、作業場に配置される。遠隔操作装置５０は、操作室に配置される。そして、遠隔操作装置５０を用いて操作室から、作業場のリーチ式フォークリフト２０を遠隔操作することができるようになっている。
　図４に示すように、作業場においては、棚６０が設置されている。棚６０は２段にわたりパレット６１及び荷物Ｗを配置することができる。つまり、下の段においてパレット６１に荷物Ｗが配置されるとともに、その上の段においてパレット６１に荷物Ｗが配置される。この状態から、操作者はリーチ式フォークリフト２０を遠隔操作して荷物を取りに行く。
　図４において、各パレット６１にはフォーク挿入用穴が形成されており、このフォーク挿入用穴にフォークが差し込まれる。
　図２に示すように、リーチ式フォークリフト２０の機台２１には荷役装置２２が設けられている。荷役装置２２は前方へ延出している一対のリーチレグ２３を備える。各リーチレグ２３にはそれぞれ前輪２４が設けられている。つまり、機台２１の前側に左右一対の前輪２４が設けられている。また、機台２１の後ろ側には後輪２５が設けられている。本実施形態では、後輪２５が、操舵輪及び駆動輪となる。
　荷役装置２２は、２段式のマスト２６を備える。マスト２６は、アウタマスト２７と、インナマスト２８とを備える。荷役装置２２は、インナマスト２８に連結されたリフトシリンダ２９を備える。荷役装置２２は、マスト２６に連結されたリーチシリンダ３０を備える。インナマスト２８は、リフトシリンダ２９への作動油の給排によって昇降する。マスト２６は、リーチシリンダ３０への作動油の給排によってリーチレグ２３に沿って移動する。
　荷役装置２２は、一対のフォーク３１と、フォーク３１をマスト２６に固定するリフトブラケット３２とを備える。フォーク３１及びリフトブラケット３２は、インナマスト２８の昇降とともに昇降する。リーチ式フォークリフト２０は、後輪２５を駆動させる走行モータ３３を備える。
　リーチ式フォークリフト２０には各種のアクチュエータが備えられている。具体的には例えば、走行用アクチュエータとして、後輪２５を駆動させる走行モータ３３、図示しない操舵モータ等が挙げられる。走行用アクチュエータにより車輪が回転及び操舵される。また、荷役用アクチュエータとして、インナマスト２８に連結されたリフトシリンダ２９、マスト２６に連結されたリーチシリンダ３０、図示しないティルトシリンダ等が挙げられる。荷役用アクチュエータにより昇降、リーチ、ティルト等の荷役動作を行うことができる。
　図１に示すように、リーチ式フォークリフト２０は、車両通信部としての無線部４０と、制御部４１と、映像信号処理部４２と、カメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈを有する。
　遠隔操作装置５０は、操作装置通信部としての無線部５１と、制御部５２と、操作部５３と、表示部（モニタ）５４と、映像信号処理部５５を有する。操作部５３における操作方式として、タッチパネル方式、マウス方式、ジョイスティック方式等が用いられる。
　無線部５１はリーチ式フォークリフト２０の無線部４０と無線通信を行うことができる。つまり、リーチ式フォークリフト２０の無線部４０と遠隔操作装置５０の無線部５１とは無線通信可能となっている。
　そして、遠隔操作装置５０において、操作部５３を用いて操作者が所望の操作を行うと制御部５２により操作内容が無線部５１を介してリーチ式フォークリフト２０側に送られる。リーチ式フォークリフト２０において、無線部４０で遠隔操作装置５０からの操作内容が受信され、制御部４１により遠隔操作装置５０側からの指示により走行系アクチュエータ（走行モータ３３、図示しない操舵モータ等）及び荷役系アクチュエータ（リフトシリンダ２９、リーチシリンダ３０、図示しないティルトシリンダ等）を駆動することができる。このように、制御部５２は、無線部５１、無線部４０及び制御部４１を介してリーチ式フォークリフト２０の走行及び荷役装置２２による荷役を遠隔操作することができるようになっている。
　一方、走行系のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄは、図２，３に示すように設けられている。走行系のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄは、リーチ式フォークリフト２０の機台２１に取り付けられている。走行系のカメラ４３ａ，４３ｂ，４３ｃ，４３ｄは、機台２１の周囲を撮像する。詳しくは、走行系のカメラ４３ａは、進行方向前方を撮像する。走行系のカメラ４３ｂは、後方を撮像する。走行系のカメラ４３ｃは、右方を撮像する。走行系のカメラ４３ｄは、左方を撮像する。
　荷役系のカメラ４３ｅ，４３ｆ，４３ｇ，４３ｈは、図２，３に示すように設けられている。荷役系のカメラ４３ｅ，４３ｆ，４３ｇ，４３ｈは、リーチ式フォークリフト２０の荷役装置２２に取り付けられている。荷役系のカメラ４３ｅ，４３ｆ，４３ｇ，４３ｈは、荷役装置２２における荷役対象領域を撮像する。詳しくは、荷役系のカメラ４３ｅは、リフトブラケット３２の右側の上部に取り付けられ、荷役装置２２における右側から前方を撮像する。荷役系のカメラ４３ｆは、リフトブラケット３２の左側の上部に取り付けられ、荷役装置２２における左側から前方を撮像する。荷役系のカメラ４３ｇは、インナマスト２８の上部に取り付けられ、前方下方を撮像する。荷役系のカメラ４３ｈは、右側のフォーク３１の先端部に埋め込まれており、フォーク３１の前方を撮像する。
　リーチ式フォークリフト２０において、カメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにより撮像された画像は制御部４１により映像信号処理部４２及び無線部４０を介して遠隔操作装置５０側に送られる。遠隔操作装置５０において、無線部５１でリーチ式フォークリフト２０からのカメラ画像が受信されて制御部５２により映像信号処理部５５を介して表示部５４で表示される。操作者は表示部５４におけるカメラ画像を見ながら操作することになる。
　次に、作用について説明する。
　今、図５に示すリーチ式フォークリフト２０とパレット６１の関係を示す概略平面図、及び、図６に示すリーチ式フォークリフト２０とパレット６１の関係を示す概略側面図において、パレット６１の前面に対し所定の距離だけ離間した位置においてリーチ式フォークリフト２０が正対している。つまり、パレット６１の左右の穴６１ａに対し所定の距離だけ離間してリーチ式フォークリフト２０の左右のフォーク３１が位置しており、フォーク３１が前方に移動することにより左右のフォーク３１をパレット６１の左右の穴６１ａに差し込むことができる。
　図８，９に示すように、制御部５２は、カメラ画像から、線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６を演算する。線Ｌ１は、図８の平面図においてパレット６１の前面となる線（パレット線）であり、線Ｌ２は、図８において左右のフォーク３１の先端を結ぶように延びる機台線であり、線Ｌ３は、図８において左のフォーク３１の中心から前方に延びるフォーク延長線であり、線Ｌ４は、図８において左のパレット穴６１ａの中心線であり、線Ｌ５は、図８においてフォーク３１のパレット穴６１ａへの地切り可能差込位置となる線（地切り可能線）である。なお、地切り可能差込位置とは、パレット６１を地切りするのに最低限必要な挿入量を確保できるフォーク３１の挿入位置である。線Ｌ６は、図９の側面図においてフォーク３１の高さ位置に相当するフォーク延長線であり、線Ｌ７は、図９においてパレット穴６１ａの高さ位置に相当する線（パレット線）である。
　制御部５２は、荷降ろしの際に、線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６に基づいて、複数カメラで３次元計測し、その情報から操作者が見る画面から各種の情報を表示する。
　図７に示すように、遠隔操作装置５０の制御部５２は、ステップＳ１００でカメラ画像からパレットを認識して、ステップＳ１０１において、図８に示すように、パレット線Ｌ１と機台線Ｌ２を比較する。制御部５２は、図７のステップＳ１０２でパレット線Ｌ１と機台線Ｌ２の差であるずれ量ΔＬ１を通知する。具体的には、表示部５４においてずれ量ΔＬ１を表示させる。遠隔操作装置５０の制御部５２はステップＳ１０３においてずれ量ΔＬ１が基準値内か否か判定してずれ量ΔＬ１が基準値内になるとステップＳ１０４で「マッチングＯＫ」を通知する。具体的には、表示部５４において「マッチングＯＫ」と表示させる。
　また、遠隔操作装置５０の制御部５２は、ステップＳ１０５において、図８に示すように、フォーク延長線Ｌ３とパレット穴（ポケット）の中心線Ｌ４を比較する。制御部５２は、図７のステップＳ１０６でフォーク延長線Ｌ３とパレット穴（ポケット）の線Ｌ４の差であるずれ量ΔＬ２を通知する。具体的には、表示部５４においてずれ量ΔＬ２を表示させる。遠隔操作装置５０の制御部５２はステップＳ１０７においてずれ量ΔＬ２が基準値内か否か判定してずれ量ΔＬ２が基準値内になるとステップＳ１０４で「マッチングＯＫ」を通知する。具体的には、表示部５４において「マッチングＯＫ」と表示させる。
　また、遠隔操作装置５０の制御部５２は、ステップＳ１０８において、図９に示すように、フォーク延長線Ｌ６とパレット穴（ポケット）の線（パレット線）Ｌ７を比較する。制御部５２は、図７のステップＳ１０９でフォーク延長線Ｌ６とパレット穴（ポケット）の線Ｌ７の差であるずれ量ΔＬ３を通知する。具体的には、表示部５４においてずれ量ΔＬ３を表示させる。遠隔操作装置５０の制御部５２はステップＳ１１０においてずれ量ΔＬ３が基準値内か否か判定してずれ量ΔＬ３が基準値内になるとステップＳ１０４で「マッチングＯＫ」を通知する。具体的には、表示部５４において「マッチングＯＫ」と表示させる。
　また、遠隔操作装置５０の制御部５２は、ステップＳ１１１において、図８に示すように、パレット線Ｌ１と地切り可能線Ｌ５を比較する。制御部５２は、図７のステップＳ１１２でパレット線Ｌ１と地切り可能線Ｌ５の差であるずれ量ΔＬ４を通知する。具体的には、表示部５４においてずれ量ΔＬ４を表示させる。遠隔操作装置５０の制御部５２はステップＳ１１３においてずれ量ΔＬ４が基準値内か否か判定してずれ量ΔＬ４が基準値内になるとステップＳ１０４で「マッチングＯＫ」を通知する。具体的には、表示部５４において「マッチングＯＫ」と表示させる。
　なお、ずれ量ΔＬ１，ΔＬ２，ΔＬ３，ΔＬ４が基準値内に到達したら数値で画面表示することにより通知するようにしてもよい。
　このように、ずれ量検知部としての制御部５２は、カメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにて撮像された画像から画像認識により、フォーク３１のパレット穴６１ａへの地切り可能差込位置（地切り可能線Ｌ５）に対する現在位置のずれ量（ΔＬ４）を検知する。
　よって、容易にフォークの差込量を把握することができる。そして、操作者はずれ量を解消するように手動で操作する。
　詳しく説明する。
　フォークリフトにカメラを搭載して画像を見て荷役作業の遠隔操作を行う際において、パレットとフォークが正対しているか分かりづらい。また、パレット穴とフォークの位置が合っているか分かりづらい（横方向及び高さ方向）。さらに、パレット（荷物）との距離感が分かりづらい。
　本実施形態においては、車両に搭載したカメラの画像から、パレットを外形、パレット穴（ポケット）の位置などの特徴点を捉え、画像認識させることにより、パレットとフォークに対しＸ，Ｙ，Ｚ方向の位置ずれ量と、位置ずれが解消したことを操作者に通知する。具体的には、ずれ量ΔＬ１，ΔＬ２，ΔＬ３，ΔＬ４を表示部５４で表示する。
　このような荷役支援による通知により、荷役作業の効率向上が図られる。
　詳しくは、図８においてリーチ式フォークリフト２０の左右方向であるＸ及び前後方向であるＹ方向について、パレット線Ｌ１と機台線（Ｘ方向線）Ｌ２を比較して平行な状態（正対した状態）でのずれ量ΔＬ１を数値で画面表示することにより通知するとともに、ずれ量ΔＬ１が基準値内に到達したらマッチングＯＫを表示することにより通知する。また、図８においてフォーク延長線Ｌ３とパレット穴（ポケット）の中心線Ｌ４を比較してずれ量ΔＬ２を数値で画面表示することにより通知するとともに、ずれ量ΔＬ２が基準値内に到達したらマッチングＯＫを表示することにより通知する。
　図９においてリーチ式フォークリフト２０の上下方向であるＺ方向について、フォーク延長線Ｌ６とパレット線Ｌ７を比較してずれ量ΔＬ３を数値で画面表示することにより通知するとともに、ずれ量ΔＬ３が基準値内に到達したらマッチングＯＫを表示することにより通知する。
　図８においてリーチ式フォークリフト２０の前後方向であるＹ方向について、パレット線Ｌ１と地切り可能線Ｌ５を比較してずれ量ΔＬ４を数値で画面表示することにより通知するとともに、ずれ量ΔＬ４が基準値内に到達したらマッチングＯＫを表示することにより表示する。
　そのための構成としては、車両でのカメラ配置は、カメラ視点がカバーできる範囲に配置する。
　このようにすることにより、画像を見て遠隔操作する場合において、操作性や作業効率が良くなる。
　上記実施形態によれば、以下のような効果を得ることができる。
　（１）フォークリフト用遠隔操作システム１０の構成として、機台２１に荷役装置２２を備えるとともに車両通信部としての無線部４０を有するリーチ式フォークリフト２０と、車両通信部としての無線部４０と無線通信を行う操作装置通信部としての無線部５１を有し、リーチ式フォークリフト２０の走行及び荷役装置２２による荷役を遠隔操作するのに用いられる遠隔操作装置５０と、を備える。リーチ式フォークリフト２０の周囲を撮像するカメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈと、カメラ４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈにて撮像された画像から画像認識により、フォーク３１のパレット穴６１ａへの地切り可能差込位置に対する現在位置のずれ量を検知するずれ量検知部としての制御部５２と、を備える。よって、容易にフォークの差込量を把握することが可能となり、フォーク差込の際の作業性向上を図ることが可能となる。
　（２）地切り可能差込位置（地切り可能線Ｌ５）に対する現在位置のずれ量（ΔＬ４）を操作者に通知する通知部としての制御部５２を更に備える。よって、容易にフォークの差込量を把握することができる。
　実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
　○　制御部５２は、地切り可能差込位置に対する現在位置のずれ量を、複数カメラ画像から俯瞰図（図８参照）を用いて操作者に通知するようにしてもよい。このように、操作者に通知する通知部は、複数カメラ画像から俯瞰図（図８参照）を用いて通知を行うことにより、容易にフォークの差込量を把握することができる。
　○　位置ずれが解消したことの通知方法として、表示部５４の画面で範囲内になったら色が変わる（例えば、赤色に変わる）ことにより知らせてもよい。
　〇　地切り可能差し込み位置に対する現在位置のズレ量の見地結果は表示部で表示させたが、音声で知らせても良い
　○　図７の処理は遠隔操作装置５０の制御部５２が実行した。これに代わりリーチ式フォークリフト２０の制御部４１が行ってもよい。
　○　ずれ量を操作者に通知した後の処理として、ずれ量を解消すべく自動制御により正対位置からパレットにフォークを挿入するようにしてもよい。つまり、正対かつ、フォーク延長線Ｌ３がパレット穴（ポケット）６１ａに入った場合に、検出したパレット６１を操作者が選択すれば、自動制御（パレットに対するフォークの挿入）を開始する。具体的には、パレットを目標にフォーク高さ位置を調整するとともに、パレットを目標に収まるまでリーチアウトする。
　このように、地切り可能差込位置に対する現在位置のずれ量を解消するように自動制御する自動制御部としての制御部５２を更に備える。よって、フォーク差込の際の作業性向上を図ることが可能となる。
　○　インフラカメラを設置したシステム構成としてもよい。
　○　フォークリフトはリーチ式フォークリフトであったが、これに限るものではなく、リーチ式フォークリフト以外のフォークリフトであってもよい。
　１０　　フォークリフト用遠隔操作システム
　２０　　リーチ式フォークリフト
　２１　　機台
　２２　　荷役装置
　３１　　フォーク
　４０　　無線部
　４３ａ，４３ｂ，４３ｃ，４３ｄ，４３ｅ，４３ｆ，４３ｇ，４３ｈ　　カメラ
　５０　　遠隔操作装置
　５１　　無線部
　５２　　制御部
　５４　　表示部
　６１ａ　　パレット穴
　Ｌ５　　地切り可能線
　ΔＬ４　　ずれ量

Claims (3)

  1. 　機台に荷役装置を備えるとともに車両通信部を有するフォークリフトと、
    　前記車両通信部と無線通信を行う操作装置通信部を有し、前記フォークリフトの走行及び前記荷役装置による荷役を遠隔操作するのに用いられる遠隔操作装置と、
    を備えたフォークリフト用遠隔操作システムであって、
    　前記フォークリフトの周囲を撮像するカメラと、
    　前記カメラにて撮像された画像から画像認識により、フォークのパレット穴への地切り可能差込位置に対する現在位置のずれ量を検知するずれ量検知部と、
    を備えることを特徴とするフォークリフト用遠隔操作システム。
  2. 　前記地切り可能差込位置に対する現在位置のずれ量を操作者に通知する通知部を更に備えることを特徴とする請求項１に記載のフォークリフト用遠隔操作システム。
  3. 　前記地切り可能差込位置に対する現在位置のずれ量を解消するように自動制御する自動制御部を更に備えることを特徴とする請求項１に記載のフォークリフト用遠隔操作システム。
PCT/JP2019/025594 2018-07-03 2019-06-27 フォークリフト用遠隔操作システム WO2020008992A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018126751A JP7087737B2 (ja) 2018-07-03 2018-07-03 フォークリフト用遠隔操作システム
JP2018-126751 2018-07-03

Publications (1)

Publication Number Publication Date
WO2020008992A1 true WO2020008992A1 (ja) 2020-01-09

Family

ID=69060827

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025594 WO2020008992A1 (ja) 2018-07-03 2019-06-27 フォークリフト用遠隔操作システム

Country Status (2)

Country Link
JP (1) JP7087737B2 (ja)
WO (1) WO2020008992A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369544A (zh) * 2020-03-09 2020-07-03 广州市技田信息技术有限公司 一种托盘定位检测方法、装置及智能叉车

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09175798A (ja) * 1995-12-25 1997-07-08 Nichiha Corp フォーク差込量検出機能付きフォークリフト
JP2001253699A (ja) * 2000-03-08 2001-09-18 Tcm Corp フォーク差込量検出装置付きフォークリフト
JP2003034496A (ja) * 2001-07-18 2003-02-07 Toyota Industries Corp 産業車両における荷役支援報知装置及び産業車両
JP2003212495A (ja) * 2002-01-25 2003-07-30 Nippon Yusoki Co Ltd フォークリフト
JP2003341996A (ja) * 2002-05-22 2003-12-03 Nippon Yusoki Co Ltd フォークリフト用マーカ装置
JP2005104652A (ja) * 2003-09-30 2005-04-21 Sumitomonacco Materials Handling Co Ltd 荷役補助装置、及び、監視装置
JP2018072945A (ja) * 2016-10-25 2018-05-10 株式会社豊田自動織機 産業車両用遠隔操作システム、遠隔操作装置、産業車両用遠隔操作プログラム及び産業車両
KR20180001351U (ko) * 2016-10-31 2018-05-10 대우조선해양 주식회사 이동형 마스트를 이용한 포크 위치 미세조정이 가능한 지게차

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007269452A (ja) 2006-03-31 2007-10-18 Toyota Industries Corp 無人フォークリフトの安全装置
JP6008612B2 (ja) * 2012-06-28 2016-10-19 三菱重工業株式会社 無線操作式車両の遠隔操作システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09175798A (ja) * 1995-12-25 1997-07-08 Nichiha Corp フォーク差込量検出機能付きフォークリフト
JP2001253699A (ja) * 2000-03-08 2001-09-18 Tcm Corp フォーク差込量検出装置付きフォークリフト
JP2003034496A (ja) * 2001-07-18 2003-02-07 Toyota Industries Corp 産業車両における荷役支援報知装置及び産業車両
JP2003212495A (ja) * 2002-01-25 2003-07-30 Nippon Yusoki Co Ltd フォークリフト
JP2003341996A (ja) * 2002-05-22 2003-12-03 Nippon Yusoki Co Ltd フォークリフト用マーカ装置
JP2005104652A (ja) * 2003-09-30 2005-04-21 Sumitomonacco Materials Handling Co Ltd 荷役補助装置、及び、監視装置
JP2018072945A (ja) * 2016-10-25 2018-05-10 株式会社豊田自動織機 産業車両用遠隔操作システム、遠隔操作装置、産業車両用遠隔操作プログラム及び産業車両
KR20180001351U (ko) * 2016-10-31 2018-05-10 대우조선해양 주식회사 이동형 마스트를 이용한 포크 위치 미세조정이 가능한 지게차

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369544A (zh) * 2020-03-09 2020-07-03 广州市技田信息技术有限公司 一种托盘定位检测方法、装置及智能叉车
CN111369544B (zh) * 2020-03-09 2023-11-03 广州市技田信息技术有限公司 一种托盘定位检测方法、装置及智能叉车

Also Published As

Publication number Publication date
JP7087737B2 (ja) 2022-06-21
JP2020007059A (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
WO2020039817A1 (ja) フォークリフト用荷役作業支援装置
JP7213428B2 (ja) 産業車両用走行支援装置
JP7215394B2 (ja) 荷役車両の操作支援装置
JP2019202877A (ja) 産業車両用遠隔操作システム
WO2020008992A1 (ja) フォークリフト用遠隔操作システム
WO2021075438A1 (ja) 荷役車両の操作支援装置
WO2021066138A1 (ja) 荷役車両の操作支援装置
WO2021075541A1 (ja) 荷役車両の荷役作業支援装置
JP6922848B2 (ja) フォークリフト用遠隔操作システム
JP2021022802A (ja) 産業車両の遠隔操作システム
JP6988713B2 (ja) 産業車両用遠隔操作システム
WO2020095602A1 (ja) フォークリフトの遠隔操作システム
WO2020085068A1 (ja) フォークリフトの遠隔操作システム
JP7099399B2 (ja) 荷役支援システム
JP7119795B2 (ja) フォークリフト用遠隔操作システム
JP7107078B2 (ja) リーチ式フォークリフト用荷役作業支援装置
JP6965837B2 (ja) フォークリフト用遠隔操作システム
WO2019230483A1 (ja) 産業車両用遠隔操作システム
JP7070456B2 (ja) 荷役支援システム
JP7371544B2 (ja) 産業車両の作業支援装置
JP7095553B2 (ja) フォークリフトの遠隔操作システム
JP2021020793A (ja) 荷役車両の操作支援装置
JP7342602B2 (ja) 荷役車両の正対方法
JP2021187672A (ja) 自動運転フォークリフト監視システムおよび自動運転フォークリフト監視方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19830114

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19830114

Country of ref document: EP

Kind code of ref document: A1