JP7415429B2 - Cargo handling support device for cargo handling vehicles - Google Patents

Cargo handling support device for cargo handling vehicles Download PDF

Info

Publication number
JP7415429B2
JP7415429B2 JP2019191008A JP2019191008A JP7415429B2 JP 7415429 B2 JP7415429 B2 JP 7415429B2 JP 2019191008 A JP2019191008 A JP 2019191008A JP 2019191008 A JP2019191008 A JP 2019191008A JP 7415429 B2 JP7415429 B2 JP 7415429B2
Authority
JP
Japan
Prior art keywords
cargo handling
mark
vehicle
pallet
forklift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019191008A
Other languages
Japanese (ja)
Other versions
JP2021066539A (en
Inventor
琢磨 小野
結香子 安立
健人 榊原
稜 中屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2019191008A priority Critical patent/JP7415429B2/en
Priority to PCT/JP2020/039067 priority patent/WO2021075541A1/en
Publication of JP2021066539A publication Critical patent/JP2021066539A/en
Application granted granted Critical
Publication of JP7415429B2 publication Critical patent/JP7415429B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/20Means for actuating or controlling masts, platforms, or forks
    • B66F9/24Electrical devices or systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Description

本発明は、荷役車両の荷役作業支援装置に関するものである。 The present invention relates to a cargo handling work support device for a cargo handling vehicle.

特許文献1に開示のフォークリフトのフォーク位置決め支援装置においては、ディスプレイに表示された画像内でフォーク先端を移動させる目標点の指定を受け付け、フォーク先端の基準点から目標点までの距離を算出し、更新されたステレオ画像内で目標点を追跡し、算出された距離をディスプレイに出力するようにしている。詳しくは、基準点、すなわち左右一対のフォークの各先端を結ぶ線分の中点から目標点までの距離を計算して、計算された距離を、x軸、y軸、z軸の別に画面右下に数値表示するとともに、x軸、y軸、z軸別の距離に対応した点線の矢印を、基準点から目標点の間を結ぶように画面表示する。 The fork positioning support device for a forklift disclosed in Patent Document 1 accepts a designation of a target point to which a fork tip is to be moved within an image displayed on a display, calculates a distance from a reference point of the fork tip to the target point, The target point is tracked within the updated stereo image and the calculated distance is output on the display. In detail, calculate the distance from the reference point, that is, the midpoint of the line segment connecting the tips of the left and right forks, to the target point, and then display the calculated distance separately on the x-axis, y-axis, and z-axis on the right side of the screen. Numerical values are displayed at the bottom, and dotted line arrows corresponding to the distances for each of the x, y, and z axes are displayed on the screen so as to connect the reference point to the target point.

特開2013-86959号公報Japanese Patent Application Publication No. 2013-86959

ところが、荷役車両であるフォークリフトの荷役作業を支援する際に、目標点であるパレットとフォーク先端との偏差情報が、画面上に映し出されたパレットとは離れた位置に描画されているので、視線の移動距離が大きく作業がしにくい。 However, when supporting cargo handling operations using a forklift, which is a cargo handling vehicle, the deviation information between the pallet, which is the target point, and the tip of the fork is drawn at a location away from the pallet displayed on the screen, so the line of sight is The moving distance is long and the work is difficult.

本発明の目的は、視認性を向上することができる荷役車両の荷役作業支援装置を提供することにある。 An object of the present invention is to provide a cargo handling work support device for a cargo handling vehicle that can improve visibility.

上記課題を解決するための荷役車両の荷役作業支援装置は、車両の周辺を撮像するカメラと、前記カメラにより撮像したカメラ画像を表示するための表示部と、前記表示部において前記カメラ画像に、位置を計測した荷役対象の表示画面上の描画領域に荷役作業を支援する情報を重畳して表示させる重畳部と、を備え、前記情報は、前記カメラ画像に重畳して表示されるマークであり、前記マークは、前記荷役車両を前記荷役対象の前面に正対させるためのマークであり、前記荷役車両は2つの前輪及び前記2つの前輪の車軸を有し、前記マークは、第1マーク及び第2マークを含み、前記第1マークは、前記荷役対象の前面を含む仮想平面と直交線が交差する位置に表示され、前記直交線は、前記2つの前輪を結ぶ線分の中点を通り、かつ、前記車軸と直交する直線であり、前記第2マークは、前記仮想平面と最短距離線が交差し、前記荷役対象の前面の中央に重畳して表示される位置に表示され、前記最短距離線は、前記中点から、前記仮想平面への最短距離を示す直線であることを要旨とする。 A cargo handling work support device for a cargo handling vehicle for solving the above problems includes a camera that images the surroundings of the vehicle, a display section that displays the camera image captured by the camera, and a display section that displays the camera image on the display section. a superimposition unit that superimposes and displays information supporting cargo handling work on a drawing area on a display screen of the cargo handling object whose position has been measured, the information being a mark displayed superimposed on the camera image; , the mark is a mark for directing the cargo handling vehicle to face the front of the cargo handling object, the cargo handling vehicle has two front wheels and an axle for the two front wheels, and the mark includes a first mark and a the first mark is displayed at a position where an orthogonal line intersects a virtual plane including the front surface of the cargo handling object, and the orthogonal line passes through the midpoint of the line segment connecting the two front wheels. , and the second mark is a straight line perpendicular to the axle, and the second mark is displayed at a position where the virtual plane and the shortest distance line intersect and are displayed superimposed on the center of the front surface of the cargo handling object , and the second mark The gist is that the distance line is a straight line indicating the shortest distance from the midpoint to the virtual plane.

これによれば、表示部においてカメラ画像に位置を計測した荷役対象の表示画面上の描画領域に荷役作業を支援する情報が重畳して表示されるので、荷役対象を見ているときに視線の移動を小さくして視認性を向上することができる。 According to this, information to support cargo handling work is superimposed and displayed on the display screen of the cargo handling object whose position has been measured in the camera image on the display unit, so that when looking at the cargo handling object, the line of sight is Visibility can be improved by reducing movement.

また、荷役車両の荷役作業支援装置において、前記第1マーク及び前記第2マークは、前記前面の中心と同じ高さの位置に表示されるとよい。Further, in the cargo handling work support device for a cargo handling vehicle, the first mark and the second mark may be displayed at the same height as the center of the front surface.
また、荷役車両の荷役作業支援装置において、前記荷役車両の正面が荷役対象の前面に対して斜めに向いた状態において、前記第1マークは、前記第2マークから水平にずれた位置に表示され、前記荷役車両の前記正面が前記荷役対象の前面に正対したときに、前記第1マークと第2マークが重なるとよい。 Further, in the cargo handling support device for a cargo handling vehicle, the first mark is displayed at a position horizontally shifted from the second mark when the front of the cargo handling vehicle is oriented diagonally to the front of the cargo handling target. Preferably, the first mark and the second mark overlap when the front surface of the cargo handling vehicle directly faces the front surface of the cargo handling object.

また、荷役車両の荷役作業支援装置において、前記マークは、荷役部の高さ合わせのためのマークであるとよい。
また、荷役車両の荷役作業支援装置において、前記荷役車両はフォークリフトであり、かつ前記荷役対象はパレットであるとよい。
Further, in the cargo handling work support device for a cargo handling vehicle, the mark may be a mark for adjusting the height of the cargo handling section.
Further, in the cargo handling work support device for a cargo handling vehicle, it is preferable that the cargo handling vehicle is a forklift and the cargo handling object is a pallet .

また、荷役車両の荷役作業支援装置において、前記カメラ画像に基づいて前記荷役対象の位置を計測する計測部を備えるとよい。
また、前記荷役車両の荷役作業支援装置は、荷役車両用遠隔操作システムに用いられるものであって、前記荷役車両用遠隔操作システムは、前記荷役車両と、遠隔操作装置とを備え、前記荷役車両は、機台に荷役装置を備えるとともに車両通信部を有し、前記遠隔操作装置は、前記車両通信部と無線通信を行う操作装置通信部を有し、前記荷役車両の走行及び前記荷役装置による荷役を遠隔操作するのに用いられるとよい。
Further, the cargo handling work support device for the cargo handling vehicle may include a measurement unit that measures the position of the cargo handling target based on the camera image.
Further, the cargo handling work support device for the cargo handling vehicle is used for a remote control system for the cargo handling vehicle, and the remote control system for the cargo handling vehicle includes the cargo handling vehicle and a remote control device, is equipped with a cargo handling device on the machine base and has a vehicle communication unit, and the remote control device has an operating device communication unit that performs wireless communication with the vehicle communication unit, and the remote control device has a control device communication unit that performs wireless communication with the vehicle communication unit, and the remote control device has a control device communication unit that performs wireless communication with the vehicle communication unit, and the remote control device has a control device communication unit that performs wireless communication with the vehicle communication unit. It may be used to remotely control cargo handling.

本発明によれば、視認性を向上することができる。 According to the present invention, visibility can be improved.

フォークリフト用遠隔操作システムの電気的構成を示すブロック図。FIG. 2 is a block diagram showing the electrical configuration of a forklift remote control system. フォークリフトを示す概略側面図。A schematic side view showing a forklift. フォークリフトの一部を破断して示す概略斜視図。FIG. 2 is a partially cutaway schematic perspective view of the forklift. フォークリフトを模式的に示す平面図。FIG. 2 is a plan view schematically showing a forklift. 作業場でのパレット及びフォークリフトを示す概略平面図。A schematic plan view showing a pallet and a forklift in a workplace. 表示部での表示内容を説明するための図。FIG. 3 is a diagram for explaining display contents on a display unit. 作業場でのパレット及びフォークリフトを示す概略平面図。A schematic plan view showing a pallet and a forklift in a workplace. 表示部での表示内容を説明するための図。FIG. 3 is a diagram for explaining display contents on a display unit. 作業場でのパレット及びフォークリフトを示す概略平面図。A schematic plan view showing a pallet and a forklift in a workplace. 表示部での表示内容を説明するための図。FIG. 3 is a diagram for explaining display contents on a display unit. (a)は別例の作業場でのパレット及びフォークリフトを示す概略側面図、(b)は表示部での表示内容を説明するための図。(a) is a schematic side view showing a pallet and a forklift in a workplace of another example, and (b) is a diagram for explaining display contents on a display unit.

以下、本発明を具体化した一実施形態を図面に従って説明する。
本実施形態では、荷役車両の荷役作業支援装置は、荷役車両用遠隔操作システムとしてのフォークリフト用遠隔操作システムに用いられるものである。
An embodiment embodying the present invention will be described below with reference to the drawings.
In this embodiment, the cargo handling work support device for a cargo handling vehicle is used for a remote control system for a forklift as a remote control system for a cargo handling vehicle.

図1に示すように、フォークリフト用遠隔操作システム10は、荷役車両としてのリーチ式のフォークリフト20と、フォークリフト20の走行及び荷役装置による荷役を遠隔操作するのに用いられる遠隔操作装置40と、を備えている。フォークリフト20は作業場に配置される。そして、遠隔操作装置40を用いて操作室から作業場のフォークリフト20を遠隔操作することができるようになっている。 As shown in FIG. 1, the forklift remote control system 10 includes a reach-type forklift 20 as a cargo handling vehicle, and a remote control device 40 used to remotely control traveling of the forklift 20 and cargo handling by a cargo handling device. We are prepared. Forklift 20 is placed at the work site. The forklift 20 in the workshop can be remotely controlled from the control room using the remote control device 40.

作業場においてパレット等から離れた場所にフォークリフト20が位置している。この状態から、操作者はフォークリフト20を遠隔操作して、フォークリフト20をパレットに近づけてパレットの穴にフォークを差し込む動作等を行わせる。このようなパレットによる荷取りや荷置きを行うことができる。 A forklift 20 is located at a location away from pallets and the like in a workplace. From this state, the operator remotely controls the forklift 20 to move the forklift 20 closer to the pallet and perform operations such as inserting the fork into the holes in the pallet. It is possible to pick up and store cargo using such pallets.

図2、図3に示すように、フォークリフト20は機台21を備える。機台21の前側には左右一対のリーチレグ22a,22bが配置され、リーチレグ22a,22bは前方に向かって延びている。詳しくは、リーチレグ22aは進行方向右側に設けられ、リーチレグ22bは進行方向左側に設けられている。リーチレグ22a,22bの前部には前輪23a,23bが配設されている。詳しくは、右前輪23aは進行方向右側のリーチレグ22aに設けられ、左前輪23bは進行方向左側のリーチレグ22bに設けられている。このように、機台21の前側に左右一対の前輪23a,23bが設けられている。 As shown in FIGS. 2 and 3, the forklift 20 includes a platform 21. As shown in FIGS. A pair of left and right reach legs 22a, 22b are arranged on the front side of the machine base 21, and the reach legs 22a, 22b extend forward. Specifically, the reach leg 22a is provided on the right side in the direction of travel, and the reach leg 22b is provided on the left side in the direction of travel. Front wheels 23a, 23b are disposed at the front of the reach legs 22a, 22b. Specifically, the right front wheel 23a is provided on the right reach leg 22a in the traveling direction, and the left front wheel 23b is provided on the left reach leg 22b in the traveling direction. In this way, a pair of left and right front wheels 23a and 23b are provided on the front side of the machine base 21.

図2、図3、図4に示すように、機台21の後部には、後輪24とキャスタホイール(補助輪)25が配設されている。後輪24は機台21の左方に設けられており、キャスタホイール25は機台21の右方に設けられている。後輪24は、駆動輪及び操舵輪である。 As shown in FIGS. 2, 3, and 4, a rear wheel 24 and a caster wheel (auxiliary wheel) 25 are disposed at the rear of the machine base 21. The rear wheel 24 is provided on the left side of the machine base 21, and the caster wheel 25 is provided on the right side of the machine base 21. The rear wheels 24 are driving wheels and steering wheels.

図2及び図4に示すように、フォークリフト20は、2つの前輪23a,23b、及び、1つの後輪24の3つの車輪で走行する。図2に示すように、機台21には、フォークリフト20の駆動源となる走行モータ26と、走行モータ26の電力源となるバッテリ27が搭載されている。そして、後輪24が走行モータ26により回転駆動される。 As shown in FIGS. 2 and 4, the forklift 20 runs on three wheels: two front wheels 23a and 23b, and one rear wheel 24. As shown in FIG. 2, the machine base 21 is equipped with a travel motor 26 that serves as a drive source for the forklift 20, and a battery 27 that serves as a power source for the travel motor 26. The rear wheels 24 are rotationally driven by the travel motor 26.

図2に示すように、フォークリフト20は、機台21の前方に、荷役装置28を備える。荷役装置28は、リーチシリンダ(図示せず)の駆動により、各リーチレグ22a,22bに沿って前後動作するマスト29を備える。マスト29の前方には、左右一対のフォーク30a,30bがリフトブラケット31を介して設けられている。フォーク30a,30bは、前方、詳しくはティルト角が0の時に水平方向に延びる爪(以下、フォーク爪という)Nfを有する。フォーク30a,30bは、マスト29に沿って昇降する。即ち、フォークリフト20は、上下動する荷役部としてのフォーク爪Nfを備える。 As shown in FIG. 2, the forklift 20 includes a cargo handling device 28 in front of the platform 21. As shown in FIG. The cargo handling device 28 includes a mast 29 that moves back and forth along each reach leg 22a, 22b by driving a reach cylinder (not shown). A pair of left and right forks 30a and 30b are provided in front of the mast 29 via a lift bracket 31. The forks 30a, 30b have claws (hereinafter referred to as fork claws) Nf that extend in the front, specifically in the horizontal direction when the tilt angle is 0. The forks 30a, 30b move up and down along the mast 29. That is, the forklift 20 includes a fork pawl Nf as a cargo handling section that moves up and down.

本実施形態のフォークリフト20は、運転者が着座して操作することが可能に構成されている。なお、運転席の無い無人フォークリフトであってもよい。
図3に示すように、フォークリフト20は、立席タイプの運転室32を機台21の後部に備える。運転室32の前方及び左方には、ステアリングテーブル33a,33bが設けられている。運転室32の前方に位置するステアリングテーブル33aには、フォークリフト20を走行動作させるディレクションレバー34、荷役装置28を動作させる複数の荷役レバー35が設けられている。ディレクションレバー34は、後輪24を回転駆動させて車両を走行させるべく操作される。運転室32の左方に位置するステアリングテーブル33bには、後輪24の操舵を行うハンドル36が設けられている。また、運転室32の床面にはブレーキペダル37が備えられている。
The forklift 20 of this embodiment is configured so that a driver can operate it while seated. Note that it may be an unmanned forklift without a driver's seat.
As shown in FIG. 3 , the forklift 20 includes a standing-type driver's cab 32 at the rear of the machine platform 21 . Steering tables 33a and 33b are provided in front and on the left side of the driver's cab 32. A steering table 33a located in front of the driver's cab 32 is provided with a direction lever 34 for driving the forklift 20 and a plurality of cargo handling levers 35 for operating the cargo handling device 28. The direction lever 34 is operated to rotate the rear wheels 24 and drive the vehicle. A steering table 33b located on the left side of the driver's cab 32 is provided with a handle 36 for steering the rear wheels 24. Further, a brake pedal 37 is provided on the floor of the driver's cab 32.

図2及び図3に示すように、機台21は2本のピラー38とヘッドガード39を有する。運転室32は、機台21において立設された2本のピラー38と、ピラー38の上端に固定されたヘッドガード39とにより囲まれている。ヘッドガード39は、水平方向に拡がる板状をなし、平面視において四角形をなしている。 As shown in FIGS. 2 and 3, the machine base 21 has two pillars 38 and a head guard 39. The operator's cab 32 is surrounded by two pillars 38 erected on the machine base 21 and a head guard 39 fixed to the upper ends of the pillars 38. The head guard 39 has a plate shape that extends in the horizontal direction, and has a rectangular shape in plan view.

図1に示すように、フォークリフト20は、フォークリフト搭載機器50として、コントローラ51と、車両通信部としての無線ユニット52と、画像処理部53と、車両通信部としての無線機54と、2台のカメラ71,72を有する。 As shown in FIG. 1, the forklift 20 includes, as forklift-mounted equipment 50, a controller 51, a wireless unit 52 as a vehicle communication section, an image processing section 53, a radio device 54 as a vehicle communication section, and two units. It has cameras 71 and 72.

遠隔操作装置40は、コントローラ61と、操作部62と、表示部(モニタ)63と、操作装置通信部としての無線機64,65を有する。遠隔操作装置40において、操作室側機器60として、コントローラ61と操作部62と表示部(モニタ)63を備える。 The remote control device 40 includes a controller 61, an operation section 62, a display section (monitor) 63, and radios 64 and 65 as operating device communication sections. The remote control device 40 includes a controller 61, an operation section 62, and a display section (monitor) 63 as an operation room side device 60.

遠隔操作装置40の無線機64は作業場に配置されている。また、遠隔操作装置40の無線機65は作業場に配置されている。操作室に配置されるコントローラ61は有線L1により作業場に配置した無線機64と接続されている。コントローラ61は有線L2により作業場に配置した無線機65と接続されている。 The radio 64 of the remote control device 40 is placed in the work place. Moreover, the radio device 65 of the remote control device 40 is placed in the work place. A controller 61 placed in the operation room is connected to a wireless device 64 placed in the work area via a wire L1. The controller 61 is connected to a wireless device 65 placed in the work place via a wire L2.

作業場において、遠隔操作装置40の無線機64とフォークリフト搭載機器50の無線ユニット52とは双方向に無線通信できる。また、作業場において、フォークリフト搭載機器50の無線機54から遠隔操作装置40の無線機65に無線で通信できる。 At the workplace, the wireless device 64 of the remote control device 40 and the wireless unit 52 of the forklift-mounted equipment 50 can communicate wirelessly in both directions. Further, in the workplace, wireless communication is possible from the radio 54 of the forklift-mounted equipment 50 to the radio 65 of the remote control device 40.

このようにして、フォークリフト20は無線ユニット52及び無線機54を有し、遠隔操作装置40は、無線ユニット52及び無線機54と無線通信を行う無線機64,65を有する。 In this way, the forklift 20 has the wireless unit 52 and the wireless device 54, and the remote control device 40 has the wireless devices 64 and 65 that perform wireless communication with the wireless unit 52 and the wireless device 54.

遠隔操作装置40のコントローラ61は操作部62及び表示部(モニタ)63と接続されている。操作部62は、操作者によりフォークリフト20を遠隔操作するためのものであり、操作者によるフォークリフト20の操作内容(リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等)がコントローラ61に送られる。コントローラ61は、リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等の車両制御信号を、無線機64を介してフォークリフト搭載機器50の無線ユニット52に無線送信する。 A controller 61 of the remote control device 40 is connected to an operation section 62 and a display section (monitor) 63. The operation unit 62 is used to remotely control the forklift 20 by the operator, and allows the operator to control the operation details of the forklift 20 (operation command values for lift, reach, and tilt, and operation commands for speed, acceleration, and steering angle). value, etc.) is sent to the controller 61. The controller 61 wirelessly transmits vehicle control signals such as lift, reach, and tilt operation command values, and speed, acceleration, and steering angle operation command values to the wireless unit 52 of the forklift-mounted equipment 50 via the radio 64. do.

フォークリフト搭載機器50において、コントローラ51と無線ユニット52と画像処理部53とは、それぞれ相互に通信(例えばCAN通信)可能に接続されている。コントローラ51は遠隔操作装置40側からの指示により走行系アクチュエータ(走行モータ26、図示しない操舵モータ等)及び荷役系アクチュエータ(図示しないリフトシリンダ、リーチシリンダ、ティルトシリンダ等)を駆動することができる。 In the forklift-mounted equipment 50, the controller 51, the wireless unit 52, and the image processing section 53 are connected to each other so that they can communicate with each other (eg, CAN communication). The controller 51 can drive travel system actuators (travel motor 26, steering motor (not shown), etc.) and cargo handling system actuators (lift cylinder, reach cylinder, tilt cylinder, etc. (not shown)) according to instructions from the remote control device 40.

無線ユニット52は、フォークリフト20の車速等の車両情報、異常情報(障害物検知情報等)を、無線機64を介してコントローラ61に無線送信する。
図1において、コントローラ61は、無線機64、無線ユニット52及びコントローラ51を介してフォークリフト20の走行及び荷役装置28による荷役を遠隔操作することができるようになっている。つまり、図3での操作部(ディレクションレバー34、荷役レバー35、ハンドル36、ブレーキペダル37等)に代わり遠隔操作装置40の操作部62により遠隔操作することができるようになっている。
The wireless unit 52 wirelessly transmits vehicle information such as the vehicle speed of the forklift 20 and abnormality information (obstacle detection information, etc.) to the controller 61 via the wireless device 64.
In FIG. 1, the controller 61 can remotely control the traveling of the forklift 20 and the cargo handling by the cargo handling device 28 via the radio 64, the radio unit 52, and the controller 51. In other words, remote control can be performed using the operating section 62 of the remote control device 40 instead of the operating sections (direction lever 34, cargo handling lever 35, handle 36, brake pedal 37, etc.) shown in FIG.

そして、遠隔操作装置40において、操作部62を用いて操作者が所望の操作を行うとコントローラ61により操作内容が無線機64を介してフォークリフト20側に送られる。フォークリフト20において、無線ユニット52で遠隔操作装置40からの操作内容が受信され、コントローラ51によりアクチュエータ部が駆動されて所望の動作が実行される。 In the remote control device 40, when the operator performs a desired operation using the operation unit 62, the controller 61 sends the details of the operation to the forklift 20 via the radio 64. In the forklift 20, the wireless unit 52 receives the operation details from the remote control device 40, and the controller 51 drives the actuator section to execute a desired operation.

図2及び図4に示すように、フォークリフト20においてリフトブラケット31の中央部にはカメラ71が設けられている。カメラ71は、荷役部としてのフォーク爪Nfの前方を撮像するためのものであり、前方下方を向くように取り付けられている。カメラ71は、走行中において車両の周辺であるフォークリフト20の進行方向前方の下方を撮像する。また、左のリーチレグ22bの上面にはカメラ72が前方を向くように取り付けられており、カメラ72は、フォークリフト20の左前方を撮像する。即ち、カメラ72は、レグ先の障害物を監視するためのカメラである。 As shown in FIGS. 2 and 4, a camera 71 is provided in the center of the lift bracket 31 of the forklift 20. The camera 71 is for capturing an image in front of the fork pawl Nf as a cargo handling section, and is attached so as to face forward and downward. The camera 71 captures an image of the vicinity of the vehicle, which is the lower part in front of the forklift 20 in the traveling direction, while the vehicle is traveling. Further, a camera 72 is attached to the upper surface of the left reach leg 22b so as to face forward, and the camera 72 images the left front of the forklift 20. That is, the camera 72 is a camera for monitoring obstacles ahead of the legs.

図1に示すように、フォークリフト20において、カメラ71,72により撮像された画像はコントローラ51により画像処理部53及び無線機54を介して遠隔操作装置40側に送られる。遠隔操作装置40において、無線機65でフォークリフト20からのカメラ画像が受信される。そして、コントローラ61は、カメラ71,72にて撮像されたカメラ画像を、遠隔操作装置40に設けられる表示部63に表示する。表示部63は、例えばディスクトップ型ディスプレイである。操作者は表示部63におけるカメラ画像を見ながら操作することになる。 As shown in FIG. 1, in the forklift 20, images captured by cameras 71 and 72 are sent by the controller 51 to the remote control device 40 via the image processing section 53 and the radio 54. In the remote control device 40 , a camera image from the forklift 20 is received by the wireless device 65 . Then, the controller 61 displays the camera images taken by the cameras 71 and 72 on the display unit 63 provided in the remote control device 40. The display unit 63 is, for example, a desktop display. The operator operates while viewing the camera image on the display section 63.

図5において、符号Cpfにより、パレット100の前面101の中心を示す。符号Cfhにより、左右の前輪23a,23bの中心を示す。符号Axfhにより、左右の前輪23a,23bの車軸を示す。符号Lr1により、左右の前輪23a,23bの中心Cfhを通り、かつ、左右の前輪23a,23bの車軸Axfhと直交する直交線を示す。符号Lmiにより、左右の前輪23a,23bの中心Cfhを通り、かつ、パレット100の前面101を含む平面への最短距離線を示す。この最短距離線Lmi上に図7に示すようにパレット100の前面101の中心Cpfを合わせることになる。これは、横ずれ防止のための動作である。 In FIG. 5, the symbol Cpf indicates the center of the front surface 101 of the pallet 100. The symbol Cfh indicates the center of the left and right front wheels 23a, 23b. The symbol Axfh indicates the axle of the left and right front wheels 23a, 23b. The symbol Lr1 indicates an orthogonal line passing through the center Cfh of the left and right front wheels 23a, 23b and orthogonal to the axle axis Axfh of the left and right front wheels 23a, 23b. The symbol Lmi indicates the shortest distance line to a plane that passes through the center Cfh of the left and right front wheels 23a and 23b and includes the front surface 101 of the pallet 100. As shown in FIG. 7, the center Cpf of the front surface 101 of the pallet 100 is aligned on this shortest distance line Lmi. This is an operation to prevent lateral slippage.

図5に示すように、パレット100は右側のパレット穴102及び左側のパレット穴103を有し、パレット穴102,103は、断面長方形をなし、パレット100の前面101において開口している。 As shown in FIG. 5, the pallet 100 has a pallet hole 102 on the right side and a pallet hole 103 on the left side, and the pallet holes 102 and 103 have a rectangular cross section and are open at the front surface 101 of the pallet 100.

図6に示すように、パレット100の前面101において、右側にはマーク104が付されるとともに、左側にはマーク105が付されている。このマーク104,105をカメラで読み取ることによりパレット100の位置及びパレット前面101の中心が分かるようになっている。 As shown in FIG. 6, on the front surface 101 of the pallet 100, a mark 104 is placed on the right side, and a mark 105 is placed on the left side. By reading these marks 104 and 105 with a camera, the position of the pallet 100 and the center of the front surface 101 of the pallet can be determined.

コントローラ61は、カメラ画像に基づいて画像認識により荷役対象としてのパレット100の位置を計測する。
その場旋回、即ち、最大操舵角での旋回において、図7に示す左右の前輪23a,23bの中心Cfhが旋回中心となる。その場旋回して、図9に示すように、上述した直交線Lr1をパレット前面101の中心Cpfに合わせることになる。これは、角度ずれ防止のための動作である。
The controller 61 measures the position of the pallet 100 as a cargo handling target by image recognition based on the camera image.
When turning on the spot, that is, turning at the maximum steering angle, the center Cfh of the left and right front wheels 23a, 23b shown in FIG. 7 becomes the turning center. By turning on the spot, the above-mentioned orthogonal line Lr1 is aligned with the center Cpf of the pallet front surface 101, as shown in FIG. This is an operation to prevent angular deviation.

重畳部としてのコントローラ61は、表示部63においてカメラ画像に、位置を計測した荷役対象であるパレット100の表示画面上の描画領域に荷役作業を支援する情報である2つのマークGm1,Gm2(図6参照)を重畳して表示させることができる。マークGm1,Gm2は、上述した最短距離線Lmi上にパレット前面101の中心Cpfが合ったこと、及び、上述した直交線Lr1がパレット前面101の中心Cpfに合ったことを知らせるためのガイドマークである。詳しくは、図6に示すマークGm1は×の図形であり、マークGm2は菱形の図形である。マークGm1,Gm2は色を変えて表示することができる。マークGm2は、カメラ画像においてパレット前面101の中央に重畳して表示される。正対するとカメラ画像においてマークGm1とマークGm2が重なる。 The controller 61 as a superimposing unit displays two marks Gm1 and Gm2 (Fig. 6) can be displayed in a superimposed manner. Marks Gm1 and Gm2 are guide marks for informing that the center Cpf of the pallet front surface 101 is aligned with the shortest distance line Lmi mentioned above, and that the above-mentioned orthogonal line Lr1 is aligned with the center Cpf of the pallet front surface 101. be. Specifically, the mark Gm1 shown in FIG. 6 is an x shape, and the mark Gm2 is a diamond shape. The marks Gm1 and Gm2 can be displayed in different colors. The mark Gm2 is displayed superimposed on the center of the palette front surface 101 in the camera image. When facing directly, the mark Gm1 and the mark Gm2 overlap in the camera image.

次に、作用について説明する。
以下、表示部63の表示内容として、カメラ71,72のうちのカメラ71によるカメラ画像を用いて説明する。
Next, the effect will be explained.
Hereinafter, the display content of the display unit 63 will be explained using a camera image taken by the camera 71 of the cameras 71 and 72.

図5では作業場でのパレット100及びフォークリフト20の概略平面を示し、パレット100の前面101に対して右斜め方向から近づいていく。その時の表示部63での表示内容を図6に示す。 FIG. 5 shows a schematic plan view of the pallet 100 and the forklift 20 in a work area, approaching the front surface 101 of the pallet 100 from the diagonal right direction. The display contents on the display unit 63 at that time are shown in FIG.

図5に示す状況から、操作者による操作によって図7に示す状況にされる。図7では作業場でのパレット100及びフォークリフト20の概略平面を示し、その時の表示部63での表示内容を図8に示す。 The situation shown in FIG. 5 is changed to the situation shown in FIG. 7 by an operation by the operator. FIG. 7 shows a schematic plan view of the pallet 100 and the forklift 20 in the workplace, and FIG. 8 shows the contents displayed on the display unit 63 at that time.

図7に示す状況から、操作者による操作によって図9に示す状況にされる。図9では作業場でのパレット100及びフォークリフト20の概略平面を示し、その時の表示部63での表示内容を図10に示す。 The situation shown in FIG. 7 is changed to the situation shown in FIG. 9 by an operation by the operator. FIG. 9 shows a schematic plan view of the pallet 100 and forklift 20 in the workplace, and FIG. 10 shows the contents displayed on the display unit 63 at that time.

図5、図6に示すように、コントローラ61は、カメラ画像に基づいて画像認識により荷役対象としてのパレット100の位置を計測する。図5での正対に対する横ずれ量ΔL及び角度ずれ量Δθに対し、以降の動作にて横ずれ量ΔL及び角度ずれ量Δθを無くす。図5において横ずれ量ΔLは、パレット100の前面101の中心Cpfから延びる垂線と旋回中心との距離である。図5において角度ずれ量Δθは、最短距離線Lmiと直交線Lr1とでなす角度である。 As shown in FIGS. 5 and 6, the controller 61 measures the position of the pallet 100 as a cargo handling target by image recognition based on the camera image. With respect to the lateral deviation amount ΔL and the angular deviation amount Δθ with respect to the facing direction in FIG. 5, the lateral deviation amount ΔL and the angular deviation amount Δθ are eliminated in the subsequent operation. In FIG. 5, the lateral shift amount ΔL is the distance between the perpendicular line extending from the center Cpf of the front surface 101 of the pallet 100 and the center of rotation. In FIG. 5, the angular deviation amount Δθ is the angle formed between the shortest distance line Lmi and the orthogonal line Lr1.

このとき、図6に示すように、表示部63のカメラ画像においてマークGm2はパレット前面中央に重畳して表示されるとともにマークGm1はパレット前面左端に重畳して表示され、マークGm1とマークGm2とは重ならない。また、表示部63のカメラ画像においてマークGm1は赤色にて表示されるとともにマークGm2も赤色にて表示される。 At this time, as shown in FIG. 6, in the camera image of the display unit 63, the mark Gm2 is displayed superimposed on the center of the front surface of the pallet, and the mark Gm1 is displayed superimposed on the left end of the front surface of the pallet, and the mark Gm1 and the mark Gm2 are do not overlap. Further, in the camera image of the display section 63, the mark Gm1 is displayed in red, and the mark Gm2 is also displayed in red.

この状態から、操作者は、第1ステップとして、図7、図8に示すように、荷役対象としてのパレット100の位置を計測して、左右の前輪23a,23bの中心Cfhを通り、かつ、パレット100の前面101を含む平面への最短距離線Lmi上にパレット100の前面101の中心Cpfを合わせる操作を行う。具体的には、図5に示す状態から、フォークリフト20を所定量だけ直進走行させる。これにより、横ずれが防止される。即ち、図5での正対に対する横ずれ量ΔLに対し、図7では横ずれ量ΔLが無くなっている(ΔL=0)。図7では正対に対し角度ずれ量Δθがある。 From this state, as a first step, the operator measures the position of the pallet 100 as a cargo handling target, passes through the center Cfh of the left and right front wheels 23a and 23b, and An operation is performed to align the center Cpf of the front surface 101 of the pallet 100 on the shortest distance line Lmi to the plane including the front surface 101 of the pallet 100. Specifically, from the state shown in FIG. 5, the forklift 20 is caused to travel straight ahead by a predetermined distance. This prevents lateral displacement. That is, in contrast to the lateral deviation amount ΔL with respect to the facing direction in FIG. 5, the lateral deviation amount ΔL in FIG. 7 is eliminated (ΔL=0). In FIG. 7, there is an angular deviation amount Δθ with respect to the facing direction.

このとき、マークGm2の色が変えられる。具体的には、マークGm2の色が、それまでの赤色から緑色に変えられる。これにより、最短距離線Lmi上にパレット前面101の中心Cpfが合ったことが分かる。また、図8に示すように、表示部63のカメラ画像においてマークGm1とマークGm2とは重ならない。 At this time, the color of the mark Gm2 is changed. Specifically, the color of the mark Gm2 is changed from red to green. This shows that the center Cpf of the pallet front surface 101 is aligned on the shortest distance line Lmi. Moreover, as shown in FIG. 8, the mark Gm1 and the mark Gm2 do not overlap in the camera image of the display section 63.

この状態から、操作者は、第2ステップとして、図9、図10に示すように、最大操舵角で右旋回して、左右の前輪23a,23bの中心Cfhを通り、かつ、左右の前輪23a,23bの車軸Axfhと直交する直交線Lr1をパレット100の前面101の中心Cpfに合わせる操作を行う。これにより、角度ずれが防止される。即ち、図7での正対に対する角度ずれ量Δθに対し、図9では角度ずれ量Δθが無くなっている(Δθ=0)。 From this state, as a second step, the operator turns right at the maximum steering angle, passes through the center Cfh of the left and right front wheels 23a, 23b, and passes through the center Cfh of the left and right front wheels 23a, as shown in FIGS. , 23b is aligned with the center Cpf of the front surface 101 of the pallet 100. This prevents angular misalignment. That is, in contrast to the angular deviation amount Δθ with respect to the direct facing shown in FIG. 7, the angular deviation amount Δθ is eliminated in FIG. 9 (Δθ=0).

このとき、図10に示すように、マークGm1とマークGm2が重なるとともに、マークGm1の色が変えられる。具体的には、マークGm1の色が、それまでの赤色から緑色に変えられる。これにより、最短距離線Lmi(図7参照)上にパレット前面101の中心Cpfが合うとともに直交線Lr1(図9参照)がパレット前面101の中心Cpfに合い、正対していることが分かる。 At this time, as shown in FIG. 10, the mark Gm1 and the mark Gm2 overlap, and the color of the mark Gm1 is changed. Specifically, the color of the mark Gm1 is changed from red to green. As a result, it can be seen that the center Cpf of the pallet front surface 101 is aligned with the shortest distance line Lmi (see FIG. 7), and the orthogonal line Lr1 (see FIG. 9) is aligned with the center Cpf of the pallet front surface 101, directly facing each other.

操作者は表示画面を見ながらその場旋回させてフォークリフト20をパレット100に正対させた後、フォーク30a,30bを上動させてフォーク30a,30bの高さを調整した後にフォーク30a,30bを前方に移動させ、パレット100の穴102,103に差し込む。差し込みが終わったら操作者はパレット100を持ち上げる。さらに、操作者は車両を後方に移動させるとともに車両をパレット100と共に所望の場所に移動させる。 The operator turns the forklift 20 on the spot while looking at the display screen to directly face the pallet 100, moves the forks 30a and 30b upward to adjust the heights of the forks 30a and 30b, and then moves the forks 30a and 30b. Move it forward and insert it into the holes 102 and 103 of the pallet 100. After the insertion is completed, the operator lifts the pallet 100. Further, the operator moves the vehicle backward and moves the vehicle together with the pallet 100 to a desired location.

このようにして、機台21がパレット100に正対すべくアプローチする際、横ずれと共に角度ずれが残ってしまい、高精度に横ずれと角度ずれが少ない状態でないとフォーク爪Nfをパレット穴102,103に差し込むことが難しいが、最短距離線Lmi上にパレット前面101の中心Cpfを合わせ、その後に、最大操舵角で旋回して、直交線Lr1をパレット前面101の中心Cpfに合わせることにより、フォークリフト20をパレット100に、高精度に横ずれと角度ずれが少ない状態で正しく正対させることができ、フォーク爪Nfをパレット穴102,103に差し込むことが可能となる。 In this way, when the machine base 21 approaches the pallet 100 to directly face the pallet 100, both the lateral deviation and the angular deviation remain, and unless the lateral deviation and angular deviation are accurately minimized, the fork claws Nf cannot be inserted into the pallet holes 102, 103. Although it is difficult to insert the forklift 20, by aligning the center Cpf of the pallet front face 101 with the shortest distance line Lmi, and then turning at the maximum steering angle to align the orthogonal line Lr1 with the center Cpf of the pallet front face 101. The pallet 100 can be correctly faced to the pallet 100 with high accuracy and little lateral deviation and angular deviation, and the fork claws Nf can be inserted into the pallet holes 102 and 103.

この操作を行うときにおいて、荷役対象のパレット100を測定することによってカメラ画面上のどの位置にパレット100が映っているのか分かるので、カメラ画像上のパレット100が映っている領域に情報(マークGm1,Gm2)を重ねて描画する。つまり、表示部63においてパレット100が映っているカメラ画像に、画像認識で位置を計測し、分かったパレット100の表示画面上の描画領域に荷役作業を支援する情報であるマークGm1,Gm2を重畳して表示させる。 When performing this operation, by measuring the pallet 100 to be handled, it is possible to know where the pallet 100 is reflected on the camera screen, so information (mark Gm1 , Gm2) are drawn in an overlapping manner. In other words, the position of the pallet 100 is measured by image recognition on the camera image showing the pallet 100 on the display unit 63, and the marks Gm1 and Gm2, which are information to support cargo handling operations, are superimposed on the drawing area on the display screen of the pallet 100 that has been determined. and display it.

従来、操作に関する支援情報(例えば、荷物と機台の位置関係を表す情報)を画面上でのパレット100とは別の領域にインジケータで表示する場合において、インジケータでカメラ画像が隠れてしまうため視線の移動が必要となり見にくくなるとともに画面上の情報量が多くなり混乱する。 Conventionally, when displaying operation-related support information (for example, information indicating the positional relationship between the cargo and the aircraft platform) using an indicator in an area separate from the pallet 100 on the screen, the camera image was hidden by the indicator, making it difficult to see the camera image. It becomes difficult to see because the screen needs to be moved, and the amount of information on the screen increases, causing confusion.

本実施形態では、カメラ画像の荷役対象上に情報(マークGm1,Gm2)を表示することにより、他のインジケータ等を確認する必要がなく、視線の移動が不要となり、直感的な操作が可能となるとともに情報の過多による混乱を防ぐことができる。 In this embodiment, by displaying information (marks Gm1, Gm2) on the cargo handling target in the camera image, there is no need to check other indicators, etc., no need to move the line of sight, and intuitive operation is possible. At the same time, confusion due to information overload can be prevented.

上記実施形態によれば、以下のような効果を得ることができる。
(1)荷役車両としてのフォークリフト20の荷役作業支援装置の構成として、車両の周辺を撮像するカメラ71と、カメラ71により撮像したカメラ画像を表示するための表示部63と、表示部63においてカメラ画像に、位置を計測した荷役対象としてのパレット100の表示画面上の描画領域に荷役作業を支援する情報としてのマークGm1,Gm2を重畳して表示させる重畳部としてのコントローラ61と、を備える。よって、荷役対象としてのパレット100を見ているときに視線の移動を小さくして視認性を向上することができる。詳しくは、荷役対象(荷取り対象)上に支援する情報(マークGm1,Gm2)を重畳して荷役対象としてのパレット100を見ているときに視線の移動を小さくして(最小限にして)視認性を向上することができる。
According to the above embodiment, the following effects can be obtained.
(1) The structure of the cargo handling support device for the forklift 20 as a cargo handling vehicle includes a camera 71 that images the surroundings of the vehicle, a display unit 63 that displays the camera image captured by the camera 71, and a camera in the display unit 63. A controller 61 is provided as a superimposing unit that superimposes and displays marks Gm1 and Gm2 as information for supporting cargo handling work on an image in a drawing area on a display screen of a pallet 100 as a cargo handling object whose position has been measured. Therefore, when looking at the pallet 100 as a cargo handling object, the movement of the line of sight can be reduced and visibility can be improved. Specifically, supporting information (marks Gm1, Gm2) is superimposed on the cargo handling object (receiving object) to reduce (minimize) the movement of the line of sight when looking at the pallet 100 as the cargo handling object. Visibility can be improved.

(2)情報はマークであるので、分かりやすい。
(3)マークは、正対させるためのマークであるので、正対させる際の視認性を向上することができる。
(2) Since the information is in the form of marks, it is easy to understand.
(3) Since the mark is a mark for facing directly, visibility when facing directly can be improved.

(4)荷役車両はフォークリフトであるので、フォークリフト20の荷役作業を支援する際に視認性を向上することができる。
(5)荷役対象はパレット100であるので、パレット100に正対させる際の視認性を向上することができる。
(4) Since the cargo handling vehicle is a forklift, visibility can be improved when supporting the cargo handling work of the forklift 20.
(5) Since the object to be handled is the pallet 100, visibility when directly facing the pallet 100 can be improved.

(6)荷役車両の荷役作業支援装置は、荷役車両用遠隔操作システムとしてのフォークリフト用遠隔操作システム10に用いられるものであって、フォークリフト用遠隔操作システム10は、荷役車両としてのフォークリフト20と、遠隔操作装置40とを備える。フォークリフト20は、機台21に荷役装置28を備えるとともに車両通信部としての無線ユニット52及び無線機54を有する。また、遠隔操作装置40は、無線ユニット52及び無線機54と無線通信を行う操作装置通信部としての無線機64,65を有し、フォークリフト20の走行及び荷役装置28による荷役を遠隔操作するのに用いられる。よって、カメラの画像のみにしたがって遠隔操作する際に、視認性を向上することができる。 (6) The cargo-handling work support device for a cargo-handling vehicle is used in a forklift remote-control system 10 as a cargo-handling vehicle remote-control system, and the forklift remote-control system 10 includes a forklift 20 as a cargo-handling vehicle, A remote control device 40 is provided. The forklift 20 includes a cargo handling device 28 on a platform 21, and also includes a wireless unit 52 and a wireless device 54 as a vehicle communication section. Further, the remote control device 40 has radio devices 64 and 65 as a control device communication unit that performs wireless communication with the wireless unit 52 and the radio device 54, and remotely controls the traveling of the forklift 20 and the cargo handling by the cargo handling device 28. used for. Therefore, visibility can be improved when performing remote control based only on the camera image.

実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
〇 マークGm1,Gm2の色により最短距離線Lmi上にパレット前面101の中心Cpfが合ったこと、及び、直交線Lr1がパレット前面101の中心Cpfが合ったことが分かるようにした。これに代わり、例えば図5における横ずれ量ΔL(パレット100の前面101の中心Cpfから延びる垂線と旋回中心との距離)、及び、角度ずれ量Δθ(最短距離線Lmiと直交線Lr1とでなす角度)をカメラ画面上において数値で表してもよい。
The embodiment is not limited to the above, and may be embodied as follows, for example.
The colors of the marks Gm1 and Gm2 make it clear that the center Cpf of the pallet front surface 101 is aligned with the shortest distance line Lmi, and that the center Cpf of the pallet front surface 101 is aligned with the orthogonal line Lr1. Instead, for example, the lateral deviation amount ΔL in FIG. ) may be expressed numerically on the camera screen.

このように、荷役作業を支援する情報はマークであったが、これに限るものではなく例えば数字でもよい。
○ 荷役作業を支援する情報はマークであり、マークは、正対させるためのマークであったが、マークは、図11(a)、図11(b)に示すように、荷役部としてのフォーク爪Nfの高さ合わせのためのマークであってもよい。
In this way, the information supporting the cargo handling work is a mark, but the information is not limited to this and may be, for example, a number.
○ Information that supports cargo handling work is a mark, and the mark was a mark for facing directly, but as shown in Figure 11 (a) and Figure 11 (b), the mark It may also be a mark for adjusting the height of the claw Nf.

図11(a)に示す作業場でのパレット100及びフォークリフト20を示す概略側面図において、ラック300の棚板301にパレット100が載せられており、パレット100の高さに対するフォーク爪Nfの高さの差ΔHを測定する。そして、図11(b)に示す表示部63での画面においてパレット100の高さに対するフォーク爪Nfの高さの差ΔHを表すインジケータ200を重畳させる。インジケータ200には、パレット前面101での高さ方向の中央点201と、中央点201に対するフォーク爪Nfの高さを示す指標202が描画される。インジケータ200での中央点201と指標202との差がパレット100の高さとフォーク爪Nfの高さの差ΔHに応じたものとなる。 In the schematic side view showing the pallet 100 and forklift 20 in the workshop shown in FIG. Measure the difference ΔH. Then, on the screen of the display unit 63 shown in FIG. 11(b), an indicator 200 representing the difference ΔH in the height of the fork claw Nf with respect to the height of the pallet 100 is superimposed. On the indicator 200, a center point 201 in the height direction on the pallet front surface 101 and an index 202 indicating the height of the fork claw Nf with respect to the center point 201 are drawn. The difference between the center point 201 of the indicator 200 and the index 202 corresponds to the difference ΔH between the height of the pallet 100 and the height of the fork claw Nf.

〇 荷役対象は荷取りの際のパレット100であったが、荷そのものでもよい。
○ パレットの前面に情報(マークGm1,Gm2)を重畳したが、パレットにおける前面以外でもよく、要は、荷役対象の表示画面上であればよい。
〇 Although the cargo handling target was the pallet 100 when picking up the cargo, it may be the cargo itself.
Although the information (marks Gm1, Gm2) is superimposed on the front side of the pallet, it may be placed on other than the front side of the pallet; in short, it may be on the display screen of the cargo handling target.

○ パレット前面101にマーク104,105を付けてマーク104,105の読み込みに基づいてパレット前面101の中心Cpfを検知したが、これに限ることなくマークを用いることなく画像認識等によりパレットの輪郭からパレット前面101の中心Cpfを検知してもよい。 ○ Marks 104 and 105 were attached to the front surface of the pallet 101 and the center Cpf of the pallet front surface 101 was detected based on reading the marks 104 and 105, but the present invention is not limited to this. The center Cpf of the pallet front surface 101 may be detected.

○ カメラの画像認識により荷役対象の位置を測定したが、これに限るものでなく、例えば、センサで荷役対象の位置を測定してもよい。この場合、三次元で測定してもよい。
○ 荷取り作業を行う場合について説明したが、荷置き作業を行う場合でも同様であり、荷置き作業の場合は荷役対象はラックにおける荷を置く棚板の区画である。
Although the position of the cargo handling object is measured by image recognition of a camera, the present invention is not limited to this. For example, the position of the cargo handling object may be measured using a sensor. In this case, measurement may be performed in three dimensions.
○ The explanation has been made regarding the case of carrying out cargo unloading work, but the same applies to carrying out cargo loading work, and in the case of cargo loading work, the cargo handling target is the section of the shelf board on which the cargo is placed in the rack.

つまり、荷役対象はパレット100であったが、荷役対象はラックの棚板の区画であり、ラックの棚板において荷物と荷物の間の狭い空間に荷を置きたいときにラックの棚板にマークを付けておく。 In other words, the cargo handling target was the pallet 100, but the cargo handling target was a section of the shelf board of the rack, and when you wanted to place the cargo in the narrow space between the packages on the shelf board of the rack, you could mark it on the shelf board of the rack. Add .

なお、図4においてはカメラ71は荷取りを考慮してリフトブラケット31の中央部に設けたが、荷置き作業を行う場合、車両前方を撮像しにくくなるようであればリフトブラケット31の左右方向の端部にカメラを設けてもよい。 In addition, in FIG. 4, the camera 71 is installed in the center of the lift bracket 31 in consideration of cargo loading, but if it becomes difficult to capture images in front of the vehicle when loading cargo, it may be installed in the left and right direction of the lift bracket 31. A camera may be provided at the end.

○ カメラの設置場所、台数は問わない。
○ 荷役車両の荷役作業支援装置はフォークリフト用遠隔操作システムに用いられるものであったが、これに限るものではない。例えば、有人フォークリフトに用いてもよい。つまり、カメラを搭載した無人フォークリフトと、表示部を有する遠隔操作装置とを備えるではなく、例えば、カメラと表示部を搭載した有人フォークリフトに適用してもよい。
○ The installation location and number of cameras does not matter.
○ Although the cargo handling support device for cargo handling vehicles was used as a remote control system for forklifts, it is not limited to this. For example, it may be used in a manned forklift. In other words, instead of including an unmanned forklift truck equipped with a camera and a remote control device having a display section, the present invention may be applied to a manned forklift truck equipped with a camera and a display section.

○ フォークリフトは、カウンタ式フォークリフトでもよい。
○ 荷役車両はフォークリフトであったが、フォークリフト以外の荷役車両に適用してもよい。
○ The forklift may be a counter-type forklift.
○ Although the cargo handling vehicle was a forklift, it may be applied to cargo handling vehicles other than forklifts.

10…フォークリフト用遠隔操作システム、20…フォークリフト、21…機台、28…荷役装置、40…遠隔操作装置、52…無線ユニット、54…無線機、61…コントローラ、63…表示部、64,65…無線機、71…カメラ、100…パレット、Gm1,Gm2…マーク、Nf…フォーク爪。 DESCRIPTION OF SYMBOLS 10... Remote control system for forklift, 20... Forklift, 21... Machine stand, 28... Cargo handling device, 40... Remote control device, 52... Wireless unit, 54... Radio, 61... Controller, 63... Display unit, 64, 65 ...Radio device, 71...Camera, 100...Pallet, Gm1, Gm2...Mark, Nf...Fork claw.

Claims (7)

荷役車両の周辺を撮像するカメラと、
前記カメラが撮像したカメラ画像を表示する表示部と、
前記表示部において前記カメラ画像に、位置を計測した荷役対象の表示画面上の描画領域に荷役作業を支援する情報を重畳して表示させる重畳部と、を備え、
前記情報は、前記カメラ画像に重畳して表示されるマークであり、
前記マークは、前記荷役車両を前記荷役対象の前面に正対させるためのマークであり、
前記荷役車両は2つの前輪及び前記2つの前輪の車軸を有し、
前記マークは、第1マーク及び第2マークを含み、
前記第1マークは、前記荷役対象の前面を含む仮想平面と直交線が交差する位置に表示され、前記直交線は、前記2つの前輪を結ぶ線分の中点を通り、かつ、前記車軸と直交する直線であり、
前記第2マークは、前記仮想平面と最短距離線が交差し、前記荷役対象の前面の中央に重畳して表示される位置に表示され、前記最短距離線は、前記中点から、前記仮想平面への最短距離を示す直線である、
荷役車両の荷役作業支援装置。
A camera that images the area around the cargo handling vehicle,
a display unit that displays a camera image taken by the camera;
a superimposition unit that superimposes and displays information for supporting cargo handling work in a drawing area on a display screen of a cargo handling target whose position has been measured, on the camera image in the display unit;
The information is a mark displayed superimposed on the camera image,
The mark is a mark for directing the cargo handling vehicle to face the front of the cargo handling object,
The cargo handling vehicle has two front wheels and an axle for the two front wheels,
The mark includes a first mark and a second mark,
The first mark is displayed at a position where an orthogonal line intersects a virtual plane including the front surface of the cargo handling object, and the orthogonal line passes through the midpoint of a line segment connecting the two front wheels and is located at a position where the orthogonal line intersects with the axle. are perpendicular straight lines,
The second mark is displayed at a position where the virtual plane and the shortest distance line intersect and are displayed superimposed on the center of the front surface of the cargo handling object , and the shortest distance line is from the midpoint to the virtual plane. is a straight line showing the shortest distance to
Cargo handling support device for cargo handling vehicles.
前記第1マーク及び前記第2マークは、前記前面の中心と同じ高さの位置に表示される、 The first mark and the second mark are displayed at the same height as the center of the front surface,
請求項1に記載の荷役車両の荷役作業支援装置。 A cargo handling work support device for a cargo handling vehicle according to claim 1.
前記荷役車両の正面が荷役対象の前面に対して斜めに向いた状態において、前記第1マークは、前記第2マークから水平にずれた位置に表示され、 In a state where the front of the cargo handling vehicle faces diagonally to the front of the cargo handling target, the first mark is displayed at a position horizontally shifted from the second mark,
前記荷役車両の前記正面が前記荷役対象の前面に正対したときに、前記第1マークと第2マークが重なる、 When the front of the cargo handling vehicle directly faces the front of the cargo handling object, the first mark and the second mark overlap,
請求項1又は請求項2に記載の荷役車両の荷役作業支援装置。 A cargo handling work support device for a cargo handling vehicle according to claim 1 or 2.
前記マークは、荷役部の高さ合わせのためのマークである
請求項1~3のいずれか1項に記載の荷役車両の荷役作業支援装置。
The mark is a mark for height adjustment of the cargo handling section ,
A cargo handling work support device for a cargo handling vehicle according to any one of claims 1 to 3 .
前記荷役車両はフォークリフトであり、かつ前記荷役対象はパレットである、
請求項1~4のいずれか1項に記載の荷役車両の荷役作業支援装置。
The cargo handling vehicle is a forklift, and the cargo handling object is a pallet.
A cargo handling work support device for a cargo handling vehicle according to any one of claims 1 to 4.
前記カメラ画像に基づいて前記荷役対象の位置を計測する計測部を備える、 comprising a measurement unit that measures the position of the cargo handling target based on the camera image;
請求項1~5のいずれか1項に記載の荷役車両の荷役作業支援装置。 A cargo handling work support device for a cargo handling vehicle according to any one of claims 1 to 5.
前記荷役車両の荷役作業支援装置は、荷役車両用遠隔操作システムに用いられるものであって、
前記荷役車両用遠隔操作システムは、前記荷役車両と、遠隔操作装置とを備え、
前記荷役車両は、機台に荷役装置を備えるとともに車両通信部を有し、
前記遠隔操作装置は、前記車両通信部と無線通信を行う操作装置通信部を有し、前記荷役車両の走行及び前記荷役装置による荷役を遠隔操作するのに用いられる
請求項1~6のいずれか1項に記載の荷役車両の荷役作業支援装置。
The cargo handling work support device for the cargo handling vehicle is used for a remote control system for cargo handling vehicles, and includes:
The cargo handling vehicle remote control system includes the cargo handling vehicle and a remote control device,
The cargo handling vehicle is equipped with a cargo handling device on the machine base and has a vehicle communication section,
The remote control device includes a control device communication unit that performs wireless communication with the vehicle communication unit, and is used to remotely control traveling of the cargo handling vehicle and cargo handling by the cargo handling device .
A cargo handling work support device for a cargo handling vehicle according to any one of claims 1 to 6.
JP2019191008A 2019-10-18 2019-10-18 Cargo handling support device for cargo handling vehicles Active JP7415429B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019191008A JP7415429B2 (en) 2019-10-18 2019-10-18 Cargo handling support device for cargo handling vehicles
PCT/JP2020/039067 WO2021075541A1 (en) 2019-10-18 2020-10-16 Cargo handling work assistance device for cargo handling vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019191008A JP7415429B2 (en) 2019-10-18 2019-10-18 Cargo handling support device for cargo handling vehicles

Publications (2)

Publication Number Publication Date
JP2021066539A JP2021066539A (en) 2021-04-30
JP7415429B2 true JP7415429B2 (en) 2024-01-17

Family

ID=75538265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019191008A Active JP7415429B2 (en) 2019-10-18 2019-10-18 Cargo handling support device for cargo handling vehicles

Country Status (2)

Country Link
JP (1) JP7415429B2 (en)
WO (1) WO2021075541A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414772B2 (en) * 2021-06-04 2024-01-16 プライムプラネットエナジー&ソリューションズ株式会社 Method and device for measuring displacement of object
CN116588858A (en) * 2023-07-17 2023-08-15 济南二机床新光机电有限公司 C-shaped guide vehicle device for carrying stacking materials and operation method thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003028614A (en) 2001-07-12 2003-01-29 Toyota Industries Corp Method and apparatus for detection of position, industrial vehicle, mark, pallet, shelf and system for materials handling and pasting agent
JP2006096457A (en) 2004-09-28 2006-04-13 Toyota Industries Corp Forklift work assisting device
JP2008087891A (en) 2006-09-29 2008-04-17 Toyota Industries Corp Fork lift vehicle and method for turning the fork lift vehicle
US20140159881A1 (en) 2012-07-31 2014-06-12 Linde Material Handling Gmbh Driver Assist Device For An Industrial Truck And Industrial Truck With Driver Assist Device"
US20160002016A1 (en) 2013-02-18 2016-01-07 Combilift Load carrying trucks
JP2018072945A (en) 2016-10-25 2018-05-10 株式会社豊田自動織機 Remote operation system for industrial vehicle, remote controller, remote operation program for industrial vehicle, and industrial vehicle
JP2020070121A (en) 2018-10-29 2020-05-07 パナソニックIpマネジメント株式会社 Transportation method, transportation system, program, and pallet

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003028614A (en) 2001-07-12 2003-01-29 Toyota Industries Corp Method and apparatus for detection of position, industrial vehicle, mark, pallet, shelf and system for materials handling and pasting agent
JP2006096457A (en) 2004-09-28 2006-04-13 Toyota Industries Corp Forklift work assisting device
JP2008087891A (en) 2006-09-29 2008-04-17 Toyota Industries Corp Fork lift vehicle and method for turning the fork lift vehicle
US20140159881A1 (en) 2012-07-31 2014-06-12 Linde Material Handling Gmbh Driver Assist Device For An Industrial Truck And Industrial Truck With Driver Assist Device"
US20160002016A1 (en) 2013-02-18 2016-01-07 Combilift Load carrying trucks
JP2018072945A (en) 2016-10-25 2018-05-10 株式会社豊田自動織機 Remote operation system for industrial vehicle, remote controller, remote operation program for industrial vehicle, and industrial vehicle
JP2020070121A (en) 2018-10-29 2020-05-07 パナソニックIpマネジメント株式会社 Transportation method, transportation system, program, and pallet

Also Published As

Publication number Publication date
WO2021075541A1 (en) 2021-04-22
JP2021066539A (en) 2021-04-30

Similar Documents

Publication Publication Date Title
JP7415429B2 (en) Cargo handling support device for cargo handling vehicles
JP7213428B2 (en) Driving support device for industrial vehicles
JP6837449B2 (en) Automatic driving system for work vehicles
JP6230280B2 (en) Work vehicle rear periphery monitoring device
JP2019202877A (en) Remote control system for industrial vehicle
EP4086392A1 (en) System and method providing visual aids for workpiece manipulator positioning and movement preview path
JP7247812B2 (en) Operation support device for cargo handling vehicle
JP2021022802A (en) Industrial vehicle remote operation system
JP7287231B2 (en) Operation support device for cargo handling vehicle
WO2020170747A1 (en) Industrial vehicle travel assistance device
JP7063283B2 (en) Cargo handling work support device for reach type forklift
JP7119795B2 (en) Remote control system for forklift
CN110040669B (en) High-position goods-forking auxiliary method
JP7107078B2 (en) Cargo handling support device for reach-type forklifts
JP7342602B2 (en) Directly facing cargo handling vehicle
JP7126204B2 (en) Conveyor
JP6988713B2 (en) Remote control system for industrial vehicles
JP7371544B2 (en) Industrial vehicle work support equipment
JP2021020793A (en) Operation supporting device for cargo handling vehicle
JP3858703B2 (en) Cargo work support device for industrial vehicle and industrial vehicle
JP7087737B2 (en) Remote control system for forklifts
JP3900902B2 (en) Cargo work support device for industrial vehicle and industrial vehicle
JP7200682B2 (en) Vehicle imaging device
JP6965837B2 (en) Remote control system for forklifts
JP2020128270A (en) Cargo handling support system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R151 Written notification of patent or utility model registration

Ref document number: 7415429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151