WO2003062127A1 - Dispositif et procede de commande de la position d'un appareil de manutention dans un vehicule industriel - Google Patents

Dispositif et procede de commande de la position d'un appareil de manutention dans un vehicule industriel Download PDF

Info

Publication number
WO2003062127A1
WO2003062127A1 PCT/JP2002/001354 JP0201354W WO03062127A1 WO 2003062127 A1 WO2003062127 A1 WO 2003062127A1 JP 0201354 W JP0201354 W JP 0201354W WO 03062127 A1 WO03062127 A1 WO 03062127A1
Authority
WO
WIPO (PCT)
Prior art keywords
cargo handling
mark
camera
control device
fork
Prior art date
Application number
PCT/JP2002/001354
Other languages
English (en)
French (fr)
Inventor
Hisashi Ichijo
Kenichi Katae
Torahiko Yamanouchi
Original Assignee
Kabushiki Kaisha Toyota Jidoshokki
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2002014736A external-priority patent/JP3858703B2/ja
Priority claimed from JP2002014735A external-priority patent/JP3900942B2/ja
Application filed by Kabushiki Kaisha Toyota Jidoshokki filed Critical Kabushiki Kaisha Toyota Jidoshokki
Priority to EP02712416A priority Critical patent/EP1502896A4/en
Priority to US10/470,129 priority patent/US7010404B2/en
Publication of WO2003062127A1 publication Critical patent/WO2003062127A1/ja

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/0755Position control; Position detectors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Description

明細書 産業車両における荷役機器の位置制御装置及び位置制御方法
技術分野
本発明は、 産業車両における荷役機器の位置制御装置及び位置制御方法に関し、 詳しくは荷役対象を撮影することによって得られた画像データに基づき、 産業車 両の荷役機器を荷役対象に対して自動的に位置合わせするための技術に関する。 背景技術
産業車両の一種であるフォークリフトは、 多段式のマストと、 マストに沿って 昇降可能なキャリッジと、 キャリッジに取り付けられた荷役機器、 すなわちフォ 一クとを備える。 通常、 フォーク リフ トで荷役作業を行う場合、 荷物はパレッ ト 上に載置され、 荷物を載置したパレッ トがフォークによって搬送される。 高所
(例えば 3〜6メートル) にある棚上のパレッ トを取り出す場合、 或いは該棚上 にパレッ トを置く場合には、 運転者はリフ トレバーを操作して、 フォークをマス トに沿って上昇させるとともにマス トを伸長させる。 そして、 フォークが荷役対 象であるパレッ ト又は棚に対して位置合わせされるように、 フォークの位置が調 節される。 この際、 運転者は、 高所を仰ぎ見ながらフォークの位置を調節するようにリフ トレバーを操作する必要がある。 しかし、 このような位置合わせ作業は困難であ り、 熟練者でもこの作業には時間を要する。 米国特許第 5 5 8 6 6 2 0号は、 高所でのフォークの位置合わせ作業を支援す るための装置を開示している。 この装置では、 フォークを支持するキャリッジに カメラが取り付けられ、 このカメラで撮影された映像が運転席の運転者に対して 表示装置を通じて表示される。 運転者は、 フォークの正面の様子を、 表示装置を 通じて見ることができるので、 高所でのフォークの位置合せ作業を比較的簡単か つ正確に行うことができる。 しかし、 上記装置は、 運転席から見難い高所領域をカメラで撮影して運転者に 表示するという、 単なる視覚的支援を行っているに過ぎない。 荷役対象に対して フォークを位置合わせする作業は運転者がマニュアル操作で行う必要があり、 運 転者にかかる荷役作業の負担は依然として大きい。 発明の概要
本発明の目的は、 運転者にかかる荷役作業の負担を軽減できる産業車両におけ る荷役機器の位置制御装置及び位置制御方法を提供することにある。 上記の目的を達成するため、 本発明は、 荷役対象に設けられたマークを撮影し て、 該マークの画像データを得るカメラと、 前記画像データを処理して、 前記マ ークの位置を検出する画像処理手段と、 前記荷役機器を移動させるべき目標位置 を決定する目標位置決定手段と、 前記画像処理手段による前記画像データの処理 結果に基づき、 前記目標位置に対する前記荷役機器の現在位置のずれ量を算出す るずれ量算出手段と、 前記荷役機器を移動させる移動手段と、 前記荷役機器を前 記目標位置に対して位置合わせする位置合わせ制御を実行する制御手段であって、 該制御手段は前記ずれ量をなくすように前記移動手段によって前記荷役機器を移 動させることとを備えた産業車両における荷役機器の位置制御装置を提供する。 本発明はまた、 荷役対象に設けられたマークをカメラによって撮影して、 該マ ークの画像データを得るステップと、 前記画像データを処理して、 前記マークの 位置を検出するステップと、 前記荷役機器を移動させるべき目標位置を決定する ステップと、 前記画像データの処理結果に基づき、 前記目標位置に対する前記荷 役機器の現在位置のずれ量を算出するステップと、 前記ずれ量をなくすように前 記荷役機器を移動させるステップとを備えた産業車両における荷役機器の位置制 御方法を提供する。 図面の簡単な説明
図 1は、 本発明の第 1実施形態におけるフォークリフトの斜視図である。
図 2は、 図 1のフォークリフトによって行われる荷役作業を説明するための概 略側面図である。
図 3は、 図 1のフォークリフトに設けられたマルチレバーの平面図である。 図 4は、 フォークの自動位置合わせ制御を説明するための斜視図である。
図 5は、 図 1のフォークリフトにおけるキヤリッジを示す側断面図である。 図 6は、 図 1のフォークリフトの電気的構成を示すブロック回路図である。 図 7 (a) は、 自動水平制御される前のフォークを示す概略側面図である。 図 7 (b) は、 自動水平制御された後のフォークを示す概略側面図である。 図 8 (a) は、 パレットに付された第 1マーク Mlを示す図である。
図 8 (b) は、 図 8 (a) の第 1マーク Mlに対応するテンプレート T 1を示 す図である。
図 8 (c) は、 棚に付された第 2マーク M2を示す図である。
図 8 (d) は、 図 8 ( c ) の第 2マーク M2に対応するテンプレート T 2を示 す図である。
図 9は、 パターンマッチング処理を説明するための図である。
図 1 0 (a) は、 画面座標系を説明するだめの図である。
図 1 0 (b) は、 実座標系を説明するための図である。
図 1 1 (a) は、 実座標系を説明するための斜視図である。
図 1 1 (b) は、 実座標系を説明するための平面図である。
図 1 2は、 フォークの自動位置合わせ制御を説明するための概略側面図である。 図 1 3 (a) は、 荷取りモードにおけるフォーク位置合わせ前の画面を示す図 である。
図 1 3 (b) は、 荷取りモードにおけるフォーク位置合わせ後の画面を示す図 である。
図 1 4 (a) は、 荷置きモードにおけるフォーク位置合わせ前の画面を示す図 である。
図 1 4 (b) は、 荷置きモードにおけるフォーク位置合わせ後の画面を示す図 である。
図 1 5は、 本発明の第 2実施形態におけるフォークリフ卜の斜視図である。 図 1 6は、 図 1 5のフォークリフトにおけるマスト装置を示す部分正面図であ る。
図 1 7は、 図 1 6のマス ト装置の側断面図である。
図 1 8は、 フォーク自動位置合わせ制御を説明するための図である。 発明を実施するための最良の形態
以下、 本発明を具体化した第 1実施形態について、 図 1〜図 1 4 ( b ) に従つ て説明する。 図 1は、 産業車両であるリーチ型フォークリフト トラック 1の斜視図である。 なお、 以下、 単にフォークリフ ト 1と記す。 図 1に示すように、 フォークリフ ト 1は、 車体 2と、 車体 2から前方に延びる左右一対のリーチレグ 3と、 リーチレ グ 3に沿って車体 2の前後方向へ移動可能なマス ト装置 4とを備えている。 リ一 チレグ 3に沿ったマスト装置 4の移動を、 マスト装置 4のリーチ動作と称する。 車体 2にはリーチシリンダ 5が配設され、 このリーチシリンダ 5によりマス ト装 置 4がリーチ動作される。 マスト装置 4は荷役機器としてのフォーク 6を備え、 フォーク 6はマス ト装置 4のリーチ動作によって、 車体 2の前後方向における位 置を調整される。 昇降装置として機能するマス ト装置 4は、 テレスコピック型 (フルフリー型) の 3段式マスト 7と、 前記フォーク 6を支持するキヤリッジ 9とを備えている。 マスト 7は、 一対のァウタマスト部材 7 a、 一対のミ ドルマスト部材 7 b及び一 対のインナマス ト部材 7 cからなる。 キャリッジ 9は、 案内部材又は案内マス ト 部材であるインナマスト部材 7 cに沿って昇降可能である。 キヤリッジ 9の上昇 時には、 キャリッジ 9がインナマス ト部材 7 cの最上端に到達した後に、 マス ト 7が伸長し始める。 マスト装置 4の中央を垂直方向に延びる第 1 リフトシリンダ 8 aは、 前記イン ナマスト部材 7 cの底板に取り付けられており、 この第 1 リフトシリンダ 8 aに よって前記キヤリッジ 9がィンナマス ト部材 7 cに沿って昇降される。 一対の第 2リフトシリンダ 8 b (片側のみ図示) は、 第 1 リフトシリンダ 8 aの両側で且 つ前記ァウタマスト部材 7 aの背後に立設される。 キヤリ ッジ 9がィンナマスト 部材 7 cの最上端に配置されたことが検知された状態で、 両第 2リフトシリンダ 8 bによってマス ト 7が伸縮される。 マス ト 7が最も伸長したときには、 インナ マスト部材 7 cがマス ト 7の最上部に位置する。 従って、 キヤリッジ 9が最下降位置からインナマスト部材 7 cの最上端にまで 上昇するとき、 マス ト 7の伸長動作は行われない。 このとき、 キャリ ッジ 9上の フォーク 6の高さは、 例えば 2 mである。 そして、 キャリッジ 9がインナマスト 部材 7 cの最上端に配置された状態でマスト 7が伸長することにより、 キヤリツ ジ 9は更に高い位置にまで上昇される。 最上昇位置に配置されたときのフォーク 6の高さは、 例えば約 6 mである。 前記キヤリッジ 9はサイ ドシフタ 1 0を有する。 サイ ドシフタ 1 0の上部には バックレス ト 1 2 6が取り付けられている。 サイ ドシフタ 1 0はサイ ドシフ トシ リンダ 1 1 (図 5参照) によって、 車体 2の左右方向、 つまり幅方向に移動され る。 サイ ドシフタ 1 0に取り外し可能に装着されたフォーク 6は、 サイ ドシフタ 1 0と一体的に移動する。 なお、 フォーク 6は、 複数種のアタッチメントのうち の 1つである。 荷役作業の種類に応じて、 サイ ドシフタ 1 0に装着すべきァタツ チメントが選択される。 また、 キャリッジ 9にはティルトシリンダ 1 2 (図 5参 照) が接続され、 このティルトシリンダ 1 2によってフォーク 6の傾角が調整さ れる。 前記シリンダ 5, 8 a , 8 b , 1 1, 1 2は、 マス ト装置 4を駆動するァ クチユエータである。 前記各リーチレグ 3の先端部には、 従動輪である前輪 1 3 aが取り付けられて いる。 車体 2の後部には、 駆動輪である後輪 1 3 bが取り付けられている。 後輪 1 3 bはまた操舵輪を兼ねている。 後輪 1 3 bは、 車体 2に配備されたバッテリ 2 aを電源として駆動される走行用モータ 1 4によって駆動される。 車体 2の後 部右側には、 立席タイプの運転席 1 5が設けられている。 運転席 1 5の近傍に設 けられた樹脂製のハンドル 1 6を操作することによって、 後輪 1 3 bが操舵され る。 ハンドル 1 6の上面には、 ハンドル 1 6を操作する際に運転者により握られ るハンドルノブ 1 7が設けられている。 高所におけるフォーク 6の位置合わせ操作を支援するために、 前記サイ ドシフ タ 1 0の前面中央部にはカメラ昇降装置 1 8が組み付けられている。 カメラ昇降 装置 1 8はフォーク 6とともに、 サイ ドシフタ 1 0と一体的に横方向移動する。 カメラ昇降装置 1 8は、 サイ ドシフタ 1 0に取り付けられたハウジング 2 1と、 そのハウジング 2 1に支持されるカメラユニッ ト 2 0とを備えている。 C C D力 メラ 1 9がカメラユニット 2 0に内蔵されている。 カメラユニッ ト 2 0は、 ノヽゥ ジング 2 1内に格納される格納位置と、 ハウジング 2 1の下端から露出する露出 位置との間を移動可能である。 フォーク 6を用いた荷役作業は、 荷物 2 6を搭載するためのパレット 2 7を棚 2 8等の所定の載置箇所から取り出す荷取り作業と、 フォーク 6上のパレット 2 7を載置箇所に載置する荷置き作業とを含む (図 2参照)。 フォーク 6が高所に ある状態において、 カメラユニット 2 0は、 荷取り作業時には格納位置に配置さ れ、 荷置き作業時には露出位置に配置される。 前記カメラ 1 9は、 レンズ 2 2を通してフォーク 6の前方の荷役作業エリアを 撮影する。 ハウジング 2 1の前面下部には撮影窓 2 3が形成されている。 カメラ ユニット 2 0が格納位置に配置されたときでも、 カメラ 1 9は撮影窓 2 3を通し て荷役作業エリアを撮影することができる。 つまり、 カメラ 1 9によって格納位 置及び露出位置の二位置からフォーク 6の前方を撮影できる。 カメラュニット.2 0が格納位置に配置されたとき、 カメラ 1 9はフォーク 6の下端とほぼ同じ若し くはそれよりも上方に配置される。 一方、 カメラユニット 2 0が露出位置に配置 されたとき、 カメラ 1 9はフォーク 6の下端よりも下方に配置される。 車体 2の上方を覆うルーフ 2 4には、 運転席 1 5に立つ運転者からよく見える 位置において、 液晶ディスプレイ装置 2 5が取り付けられている。 ディスプレイ 装置 2 5の画面 2 5 a (図 1 0 ( a ) 参照) には、 カメラ 1 9によって撮影され たフォーク 6の前方エリアの画像が映し出される。 運転者は、 この画面 2 5 aを 見ながら荷役作業を行うことができる。 図 2は、 フォーク リフ ト 1で荷役作業を行うときの状態を示す。 荷役作業は、 荷物 2 6をパレツ ト 2 7に載置した状態で行われる。 荷物 2 6を載置するための 棚 2 8は多段構造となっており、 複数段の棚板 2 9を有する。 棚の 2 8の高さは フォーク リフ ト 1の車体 2よりもかなり大きレ、。 従って、 高所に位置する棚板 2 9に対して荷役作業を行うときには、 運転者が運転席 1 5から荷役作業を見るこ とができない場合がある。 これを解消するために、 本実施形態では、 カメラ 1 9 によってフォーク 6の前方のエリアを撮影し、 この撮影された画像を基にしてフ オーク 6の位置合わせを自動的に行うことで、 荷役作業を支援している。 図 3に示すように、 運転席 1 5の前側に位置するインス トルメントパネル 3 0 上には、 マルチレバー 3 1が設けられている。 マルチレバー 3 1は、 これ 1つで 走行操作及び荷役操作の両方を可能とするものであり、 複数種の操作部を備えて いる。 マルチレバー 3 1は、 インス トルメントパネル 3 0上のスロッ ト 3 2に沿 つて車体 2の前後方向に傾動するレバー本体 3 3を有している。 このレバー本体 3 3は、 図 3に示されるような非操作状態においては、 インストルメントパネル 3 0の面に対し略垂直となる中立位置に、 パネ (図示せず) によって保持される。 レバー本体 3 3の上端部には、 グリップ 3 4が車体 2の幅方向に対し 3 0度〜 6 0度程度の角度をもつて傾斜する姿勢で取り付けられている。 ダリップ 3 4の左端部には、 略円筒形のノブ 3 5が軸線 Gの周りで回転可能に 設けられている。 また、 グリップ 3 4の左側部分の前縁にはシーソースィッチ 3 6が設けられ、 ダリップ 3 4の左側部分の背面には十字スィッチ 3 7が設けられ、 グリップ 3 4の左側部分の前面には操作手段として機能する作動スィツチ 3 8が 設けられている。 矢印 A方向から見たときの十字スィッチ 3 7が、 円内に示され ている。 マルチレバー 3 1は右手で操作され、 グリップ 3 4を握った状態では、 親指でノブ 3 5または十字スィッチ 3 7を操作でき、 人差し指でシーソースイツ チ 3 6または作動スィツチ 3 8を操作できる。 グリップ 3 4を握った右手でレバ一本体 3 3を前方 (図 3の上方) に傾けると フォークリフ ト 1が前進し、 レバー本体 3 3を後方に傾けるとフォークリフ ト 1 が後進する。 ノブ 3 5には突起 3 5 aが形成されている。 この突起 3 5 aを親指 で上方へ押し上げるようにしてノブ 3 5を回すとフォーク 6が上昇し、 突起 3 5 aを親指で下方へ押し下げるようにしてノブ 3 5を回すとフォーク 6が下降する。 また、 人差し指でシーソースィツチ 3 6の前端 3 6 aを押すとマスト装置 4が前 方に移動し、 人差し指でシーソースィツチ 3 6の後端 3 6 bを押すとマスト装置 4が後方に移動する。 十字スィツチ 3 7は 4つの操作部 3 7 a〜3 7 dを備えている。 上下の操作部 3 7 a , 3 7 bでフォーク 6の傾動を操作し、 左右の操作部 3 7 c, 3 7 dでフ オーク 6の横方向移動を操作する。 即ち、 親指で上操作部 3 7 aを押すとフォー ク 6が前傾し、 親指で下操作部 3 7 bを押すとフォーク 6が後傾する。 また、 親 指で右操作部 3 7 cを押すとフォーク 6が車体 2の右方向に移動し、 親指で左操 作部 3 7 dを押すとフォーク 6が車体 2の左方向に移動する。 荷役作業時におい て、 マルチレバー 3 1を操作してフォーク 6を所望の荷役対象 (パレッ ト 2 7ま たは棚板 2 9 ) におおまかに位置合わせした後、 作動スィッチ 3 8の操作によつ てフォーク 6の自動位置合わせ制御が開始される。 図 5は、 前記キャリッジ 9の側断面図である。 キャリ ッジ 9は、 チェーン (図 示省略) によって吊り下げられたリフ トブラケッ ト 3 9を備えている。 リフ トブ ラケッ ト 3 9の両側面には、 それぞれ 2つのローラ 3 9 aが設けられ、 これらの ローラ 3 9 aは前記ィンナマスト部材 7 cの内面に沿って転動可能である。 リフ トブラケッ ト 3 9を吊り下げ支持する前記チェーンは、 前記第 1 リフトシリンダ 8 a (図 1参照) のロッ ドの上端部に設けられたスプロケッ トに掛装されている c 第 1 リフトシリンダ 8 aの駆動に伴い、 リフトブラケット 3 9を含むキヤリ ッジ 9全体が、 インナマス ト部材 7 cに沿って昇降する。 フィンガーバー 4 0は、 リフ トブラケッ ト 3 9の前方に配置され、 且つリフ ト ブラケッ ト 3 9に前後方向へ傾動可能に支持されている。 前記サイ ドシフタ 1 0 は、 このフィンガーバー 4 0に横方向 (図 5の紙面と直交する方向) へ移動可能 に取り付けられている。 前記サイ ドシフトシリンダ 1 1は前記フィンガーバー 4 0の上部に取り付けら れ、 サイ ドシフタ 1 0に連結されたビストンロッド 1 1 aを有する。 サイ ドシフ トシリンダ 1 1は、 サイ ドシフタ 1 0をフィンガーバー 4 0に対して横方向へ移 動させる。 前記ティルトシリンダ 1 2は、 フィンガーバー 4 0をリフトブラケッ ト 3 9に連結している。 傾動ァクチユエータとして機能するティルトシリンダ 1 2は、 フィンガーバー 4 0をリフ トブラケッ ト 3 9に対して傾動させる。 サイ ド シフタ 1 0及びフォーク 6は、 フィンガーバー 4 0と一体的に傾動する-。 リフトブラケッ ト 3 9には、 例えばポテンショメータからなるティルト角セン サ 4 1が取り付けられている。 ティルト角センサ 4 1は、 本体 4 2とその本体 4 2に対して回動可能なレバー 4 3とを有し、 そのレバー 4 3の先端がフィンガー バー 4 0に設けられた当接部 4 4に当接している。 フィンガーバー 4 0の傾動に 伴いレバー 4 3が回動する。 なお、 ティルト角センサ 4 1として、 ポテンショメ ータ以外のものが用いられてもよい。 ティノレト角センサ 4 1は、 レバー 4 3の回 動角、 言い換えればフォーク 6の傾動角に応じた信号を出力する。 また、 フィン ガーバー 4 0には、 カメラ 1 9の上限位置を検出する上限検知スィツチ 4 5と、 カメラ 1 9の下限位置を検出する下限検知スィツチ 4 6とが配設されている。 次に、 フォーク 6の自動位置合わせ制御について、 図 4に従って説明する。 荷 役対象であるパレッ ト 2 7および棚 2 8には、 ノ、。レツ ト 2 7または棚 2 8に対し てフォーク 6を位置合わせする際の基準点となるマーク M 1 , M 2が付されてい る。 具体的には、 ノ レット 2 7はフォーク 6が差し込まれる 2つの差込孔 2 7 a を有している。 第 1マーク M lは、 両差込孔 2 7 aの間に位置するように、 パレ ット 2 7の一側面の中央部に付されている。 なお、 図 4に示される第 1マーク M 1が付された側面の反対側の側面にも、 同様の第 1マーク M lが付されても良い。 一方、 第 2マーク M 2は、 棚 2 8の各収納空間の中央部に対応するように、 棚板 2 9の正面に付されている。 ノ レツト 2 7に付された第 1マーク M lの形状と棚 2 8に付された第 2マーク M 2の形状とは同じである。 しカゝし、 両マーク M l , M 2は、 互いに反転した白黒模様を有する。 フォーク 6の自動位置合わせ制御は、 これらマーク M l , M 2を基準点にして実行される。 荷取り作業を行う場合、 フォークリフト 1の作動モードが荷取りモードに切り 替えられる。 荷取りモードでは、 パレツ ト 2 7に付された第 1マーク M l 自体を 目標にして、 フォーク 6がパレツト 2 7の両差込孔 2 7 aに相対するように自動 で位置合わせされる。 また、 荷置き作業を行う場合、 フォークリフト 1の作動モ 一ドが荷置きモードに切り替えられる。 荷置きモードでは、 棚 2 8に付された第 2マーク M 2を基準点として、 フォーク 6が棚板 2 9の棚面 (荷置き面) 2 9 a に対して自動で位置合わせされる。 この際、 フォーク 6が棚面 2 9 aよりも所定 距離 (例えば 1 0〜2 0 c m) だけ高い位置に配置され、 且つ車体 2の幅方向に 関してフォーク 6を構成する 2つの突起 6 aの中間点が第 2マーク M 2と整合す るように、 フォーク 6の位置が自動調節される。 このような位置合わせ制御時、 フォーク 6は第 2リフトシリンダ 8 bによって垂直方向 (図 4の Z方向) に移動 させられ、 サイ ドシフトシリンダ 1 1によって水平方向 (図 4の Y方向) に移動 させられる。 これらのシリンダ 8 b , 1 1は、 荷役機器を垂直方向及び車体 2の 幅方向へ移動させる移動手段として機能する。 図 6は、 フォークリフト 1の電気的構成を示すブロック回路図である。 フォー クリフト 1はコンピュータ等よりなるコントローラ 4 8を備え、 このコントロー ラ 4 8は画像制御部 4 9、 荷役制御部 5 0、 モータ駆動回路 5 1, 5 2及びソレ ノィ ド駆動回路 5 3を備えている。 荷役制御部 5 0の入力側には、 前記上限検知 スィッチ 4 5、 前記下限検知スィッチ 4 6、 揚高センサ 5 4、 荷重センサ 5 5、 前記ティルト角センサ 4 1、 及びストロークセンサ 1 2 9が接続されている。 ま た、 荷役制御部 5 0の入力側には、 前記レバー本体 3 3の変位量 (傾き角) を検 出するレバー用ポテンショメータ 5 6、 前記ノブ 3 5の変位量 (回動角) を検出 するノブ用ポテンショメータ 5 7、 及び前記スィツチ 3 6〜3 8が接続されてい る。 荷役制御部 5 0の出力側には、 前記モータ駆動回路 5 1を介して、 昇降ァクチ ユエータとして機能するカメラ昇降モータ 5 8が接続されるとともに、 前記モー タ駆動回路 5 2を介して荷役モータ 5 9が接続されている。 また、 荷役制御部 5 0の出力側には、 ソレノイ ド駆動回路 5 3を介して、 オイルコントロールバルブ 6 0に組み付けられた複数の電磁比例弁 6 0 a〜6 0 eが接続されている。 これ ら電磁比例弁 6 0 a〜6 0 eは、 前記シリンダ 8 a , 8 b , 5 , 1 1, 1 2にそ れぞれ対応する。 荷役制御部 5 0は、 マルチレバー 3 1に設けられたポテンショメータ 5 6 , 5 7及びスィツチ 3 6〜3 8からの操作信号を基に、 電磁比例弁 6 0 a〜6 0 eに 供給される電流を制御するとともに、 荷役モータ 5 9を制御する。 荷役モータ 5 9は、 油圧ポンプである荷役ポンプ 5 9 aを駆動して、 オイルコントロールバル ブ 6 0に作動油を供給する。 各電磁比例弁 6 0 a〜 6 0 eは、 荷役制御部 5 0か らの指令に応じて、 対応するシリンダ 8 a, 8 b , 5 , 1 1 , 1 2を油圧制御す る。 前記揚高センサ 5 4は、 フォーク 6の揚高が予め定められたしきい値 (例えば 2メートル) 以上であるか否かを検出する。 この揚高センサ 5 4は、 例えばキヤ リッジ 9がィンナマスト部材 7 cの最上端に位置したときにオン ·オフが切換わ るスィッチからなる。 前記荷重センサ 5 5は、 フォーク 6上の荷物の重量 (荷 重) を検出する。 本実施形態では、 フォーク 6上の荷重に相関する第 1 リフ トシ リンダ 8 a内の油圧を検出する圧力センサが、 荷重センサ 5 5として用いられる。 荷重センサ 5 5は、 フォーク 6上の荷重に応じたレベルを有する電圧信号を出力 する。 サイ ドシフト検出手段として機能する前記ストロークセンサ 1 2 9は、 前記サ ィ ドシフトシリンダ 1 1に設けられている。 ストロークセンサ 1 2 9は、 サイ ド シフ トシリンダ 1 1のピス トンロッ ド 1 1 aのス トローク量、 言い換えればサイ ドシフタ 1 0に取り付けられたフォーク 6の横移動量を検出する。 フォークリフ ト 1は、 フォーク自動位置合わせシステム (以下、 ロックオンシ ステムと称する) 6 1を備えている。 このロックオンシステム 6 1は、 カメラ 1 9から得られた画像データを基に、 前記マーク M l (M 2 ) の画像認識処理を行 い、 認識されたマーク M l (M 2 ) を基準点としてフォーク 6の自動位置合わせ 制御を実行する。 ロックオンシステム 6 1は、 カメラ 1 9、 ディスプレイ装置 2 5、 作動スィッチ 3 8、 画像制御部 4 9、 荷役制御部 5 0、 及びモードスィッチ 6 2, 6 3を含む。 自動位置合わせ制御に際して、 選択手段として機能する荷役制御部 5 0は、 荷 重センサ 5 5からの信号を基に、 ロックオンシステム 6 1の作動モードを、 荷取 りモード及び荷置きモードのうちの一方に設定する。 荷役制御部 5 0は、 荷重セ ンサ 5 5からの信号に基づき求められた荷重 Wが所定のしきい値 W o以下のとき、 フォーク 6上に荷物が載置されていないと判断して、 荷取りモードを選択する。 一方、 荷役制御部 5 0は、 荷重センサ 5 5からの信号に基づき求められた荷重 W が前記しきい値 W oを超えるとき、 フォーク 6上に荷物が載置されていると判断 して、 荷置きモードを選択する。 このように、 フォーク 6上の荷重に応じて、 自動的に作動モードが設定される。 なお、 荷重センサ 5 5からの信号に基づき求められる荷重 Wは、 キャリ ッジ 9自 身の重量を含む。 従って、 前記しきい値 W oは、 フォーク 6上に荷物が存在しな いときに得られる荷重 Wと同じ若しくはそれよりも若干大きな値に設定される。 荷物を搭載していないパレツ ト 2 7がフォーク 6上に存在するときに、 フォーク 6上に荷物が載置されていると判定され得るしきい値 W oを設定することが望ま しい。 つまり、 パレッ ト 2 7自体も荷物として判定され得るようにしきい値 W o を設定することが望ましい。 なお、 この作動モードの設定処理は、 一定時間 (例 えば数 l O mse ) ごとに実行される。 手動操作部材である前記モードスィッチ 6 2, 6 3は、 図 1に示される前記ハ ンドルノブ 1 7に設けられる。 両モードスィツチのうちの一方は荷取りモードス イッチ 6 2であり、 他方は荷置きモードスィッチ 6 3である。 ロックオンシステ ム 6 1の作動モードは、 前述したように自動的に設定することもできるが、 これ らスィッチ 6 2 , 6 3を押すことによってマニュアル設定することも可能である。 すなわち、 これらスィツチ 6 2 , 6 3も、 選択手段として機能する。 各スィツチ 6 2, 6 3は荷役制御部 5 0と無線接続される。 つまり、 各スィッチ 6 2 , 6 3 と荷役制御部 5 0との間では無線通信が行われる。 荷取りモードスィツチ 6 2が押されると、 荷役制御部 5 0は口ッ
ム 6 1の作動モードを荷取りモードに設定する。 荷置きモードスィッチ 6 3が押 されると、 荷役制御部 5 0はロックオンシステム 6 1の作動モードを荷置きモー ドに設定する。 また、 作動モードの設定は、 自動設定よりも、 スィッチ 6 2 , 6 3を用いたマニュアル設定が優先される。 なお、 単一のモードスィッチによって 作動モードが荷取りモードと荷置きモードとの間で切り替えられるようにしても よい。 この場合、 そのモードスィッチを押す度に作動モードが切り替えられる。 図 7 ( a ) に示すようにフォーク 6の搭載面が傾斜している場合、 カメラ 1 9 も同様に傾斜した状態となる。 この状態でカメラ 1 9によりマーク M l (M 2 ) を撮影すると、 マーク M l (M 2 ) の実際の位置が、 画面 2 5 a上に設定された 座標系 (画面座標系) に正確に反映されない。 例えば、 図 7 ( a ) に示すように. フォーク 6の荷物載置面が水平線に対して角度 Θだけ傾斜しており、 且つカメラ 1 9からマーク M l (M 2 ) までの距離が Lであるとする。 この状態でフォーク 自動位置合わせ制御が行われると、 フォーク 6の垂直方向における位置調整に際 して Δ Ζ ( Δ Z = L tan 0 ) の誤差を生じる。 そのため、 本実施形態では、 フォーク自動位置合わせ制御に先立って、 荷役制 御部 5 0はフォーク 6の自動水平制御を行う。 即ち、 荷役制御部 5 0は常に、 テ ィルト角センサ 4 1からの信号に基づき、 フォーク 6の傾斜角を認識している。 そして、 自動位置合わせ制御を開始すべく作動スィッチ 3 8が押されると、 荷役 制御部 5 0は先ず、 フォーク 6の荷物載置面が水平となるように、 ティルトシリ ンダ 1 2を駆動してフォーク 6の傾斜角を調整する。 その結果、 図 7 ( b ) に示 すようにカメラ 1 9が水平となり、 その後の自動位置合わせ制御において、 フォ ーク 6の垂直方向における位置調整が正確に行われる。 荷役制御部 5 0は、 フォーク自動位置合わせ制御を、 フォーク 6の揚高が前記 しきい値 (2メートル) 以上であるときに限り行い、 フォーク 6の揚高が 2メー トル未満の場合にはカメラユニット 2 0を格納位置に移動させる。 すなわち、 フ オーク 6を支持するキヤリ ッジ 9が前記インナマスト部材 7 cの最上端よりも下 方に配置された状態では、 自動位置合わせ制御が行われず、 カメラユニッ ト 2 0 が格納位置に配置される。 荷役制御部 5 0は、 前記揚高センサ 5 4のオン ·オフ 状態に基づき、 フォーク自動位置合わせ制御を許容するか否かを判定する。 また、 自動位置合わせ制御が実行されるとき、 荷役制御部 5 0は、 荷取りモー ドではカメラユニッ ト 2 0を格納位置に配置し、 荷置きモードではカメラュニッ ト 2 0を露出位置に配置する。 前記カメラ昇降モータ 5 8は、 上昇中のカメラュ ニッ ト 2 0が上限位置に達して上限検知スィツチ 4 5がオンしたときに停止され る。 また、 カメラ昇降モータ 5 8は、 下降中のカメラユニッ ト 2 0が下限位置に 達して下限検知スィツチ 4 6がオンしたときに停止される。 前記画像制御部 49の入力側には前記カメラ 1 9が接続され、 画像制御部 4 9 の出力側には前記ディスプレイ装置 25が接続されている。 ディスプレイ装置 2 5は画面 25 aとスピーカ 64とを備える。 画像制御部 49は、 カメラ 1 9によ り撮影された画像をディスプレイ装置 2 5の画面 25 aに表示させるとともに、 ディスプレイ装置 25に設けられたスピーカ 64を通じて、 作業状況や作業指示 等を音声で報知する。 また、 画像制御部 4 9は、 カメラ 1 9により取り込まれた 画像データを基に画像処理を実行する。 画像制御部 49は、 表示処理部 6 5、 画像処理部 6 6、 描画表示部 6 7、 描画 データ記憶部 68および音声処理部 69を備えている。 表示処理部 6 5は、 カメ ラ 1 9により撮影された画像を画面 25 aに映し出すべく、 カメラ 1 9から入力 された映像信号をディスプレイ装置 25に出力する。 音声処理部 69は、 音声案 内のために音声合成処理を行って、 スピーカ 64に音声信号を出力する。 画像処 理部 66は、 表示処理部 65から画像データを入力し、 その画像データを基に画 像認識処理を行う。 画像処理部 66は、 この画像認識処理において、 画面 2 5 a 上におけるマーク M l (M 2 ) 及び移動目標点 7 0 (図 1 3 (a ) 〜図 1 4 (b) 参照) の座標を算出する。 描画手段として機能する前記描画表示部 6 7は、 描画データ記憶部 6 8に記憶 された描画データを読み出して、 その描画データに基づく移動目標点 70やター ゲッ ト線 7 1 (図 1 3 (a) 〜図 1 4 (b) 参照) 等を、 画面 25 a上に表示さ せる。 また、 描画表示部 67は、 荷取りモードのときには画面 25 a上に 「荷取 りモード」 という表示を行い (図 1 3 (a) 及び図 1 3 (b ) 参照)、 荷置きモ ードのときには 「荷置きモード」 という表示を行う (図 1 4 (a) 及び図 1 4 (b) 参照)。 画像処理手段として機能する前記画像処理部 66は、 画像認識処理部 72、 テ ンプレート記憶部 73および画面座標位置算出部 74を備えている。 また、 画面 座標位置算出部 74は、 マーク位置算出部 7 5及ぴ移動目標点算出部 76を備え ている。 一方、 目標位置決定手段、 ずれ量算出手段及び制御手段として機能する 前記荷役制御部 50は、 実座標位置算出部 7 7及びずれ量算出部 78を備えてい る。 また、 ずれ量算出部 78は既知情報設定部 7 9を備えている。 以下に、 フォーク自動位置合わせ制御時に画像制御部 49および荷役制御部 5 0が行う処理を、 図 8 (a) 〜図 1 2に従って説明する。 記憶手段として機能する図 6のテンプレート記憶部 7 3には、 前記第 1マーク Mlに対応するテンプレート T 1 と、 前記第 2マーク M2に対応するテンプレー ト T 2とが記憶されている。 図 8 (a) は第 1マーク Mlを示し、 図 8 (b) は それに対応するテンプレート T 1を示す。 図 8 ( c ) は第 2マーク M2を示し、 図 8 (d) はそれに対応するテンプレート T 2を示す。 第 1マーク Mlは所定の白黒パターン P 1を 2個並べて構成されている。 第 2 マーク M2は所定の白黒パターン P 2を 2個並べて構成されている。 但し、 両パ ターン P l, P 2は、 互いに白黒が反転した模様となっている。 後述するパター ンマッチング処理で用いられるテンプレート T 1 , T 2は、 それぞれパターン P 1, P 2と同じ模様を有する。 各パターン P l, P 2は、 一点を中心として放射状に真っ直ぐ延びる複数本の 境界線によって白と黒とに色分けされた模様である。 本実施形態の各パターン P 1 , P 2は、 正方形の 2本の対角線により区画された 4つの領域を白と黒とで色 分けした模様である。 但し、 テンプレートの四角形の辺に相当する外形線は模様 の一部ではない。 マーク Ml (M2) とカメラ 1 9との間の距離に応じて、 画面 25 a上に映し 出されるマーク Ml (M2) の大きさは変化する。 しかし、 画面 25 a上に映し 出されるマーク Ml (M2) の各パターン P I (P 2) の中心部分には、 常に対 応するテンプレート T l (T 2) と一致するパターンが存在する。 よって、 画像 認識処理部 7 2は、 1つのテンプレート T l (Τ 2) を用いただけのパターンマ ツチング処理により、 対応するマーク Ml (M2) を認識できる。 カメラ 1 9か ら所定距離以内で撮影されたマーク Ml (M2) が全て認識可能となるように、 テンプレート T l (T 2) のサイズが決定される。 図 1 0 (a) は、 画面 25 a上に設定された座標系、 すなわち画面座標系を示 す図である。 画面座標系では、 横軸が Iで表され、 縦軸が Jで表される。 画面座 標系では、 座標を画素の単位で取り扱うものとする。 図 1 0 (a) において、 H は画面 25 aの横方向画素数であり、 Vは画面 25 aの縦方向画素数である。 な お、 画面座標系は、 ディスプレイ装置 25の有無に関係なく、 カメラ 1 9によつ て取り込まれた画像データに関する座標系として画像処理部 66内において設定 されるものである。 従って、 画面座標系は画像座標系と言い換えることもできる。 一方、 図 1 0 (b) は、 荷役対象が存在する現実の座標系、 すなわち実座標系を 示す図である。 実座標系は画面座標系と相似関係にある。 例えば、 荷取りモードにおいては、 棚板 29上のパレッ ト 27に付された第 1 マーク M 1の画像がカメラ 1 9により取り込まれ、 その第 1マーク M 1に対応す るテンプレート T 1を用いて、 画像データ中の第 1マーク Mlを認識するパター ンマッチング処理が行われる。 また、 荷置きモードにおいては、 棚板 29に付さ れた第 2マーク M 2の画像がカメラ 1 9により取り込まれ、 その第 2マーク M 2 に対応するテンプレート T 2を用いて、 画像データ中の第 2マーク M 2を認識す るパターンマツチング処理が行われる。 図 9〜図 1 0 (b) に従って、 荷置きモードにおけるパターンマッチング処理 を説明する。 前記画像認識処理部 72は、 カメラ 1 9により取り込まれた実座標 系における第 2マーク M 2の画像データを基に、 該第 2マーク M 2を構成する 2 つのパターン P 2, P 2に对し、 画面座標系においてテンプレート T 2を 2箇所 でマッチング (整合) させ、 それら 2つのパターン P 2, P 2を認識する。 そし て、 画像認識処理部 72は、 画面座標系における第 2マーク M2を認識する。 図 9は、 2つのパターン P 2, P 2に対してテンプレート T 2がマッチングされた 状態を示す。 第 2マーク M 2の認識後、 マーク位置算出部 75は画面座標系における各パタ ーン P 2, P 2の中心点 (放射中心点) の座標 ( 1 J!), ( I 2) J 2) を算出 する。 そして、 マーク位置算出部 7 5は、 これら 2つの座標値を基に第 2マーク M2の重心座標 ( I , J) を算出するとともに、 両パターン P 2, P 2の中心間 距離 Dを算出する。 重心座標 ( 1, J) は画面座標系における第 2マーク M 2の 位置を示し、 中心間距離 Dは画面座標系における第 2マーク M2の大きさを示す。 画面座標系における第 2マーク M2の大きさは、 カメラ 1 9と荷役対象との間の 距離を反映する。 なお、 荷取りモードにおいても、 荷置きモードの場合と同様にしてパターンマ ツチング処理が行われる。 すなわち、 カメラ 1 9により取り込まれた実座標系上 の第 1マーク Mlの画像データを基に、 テンプレート T 1を用いて、 画面座標系 における第 1マーク Mlが認識される。 そして、 第 1マーク Mlの重心座標 ( I , J) と両パターン P l, P 1の中心間距離 Dとが算出される。 実座標位置算出部 7 7は、 前記重心座標 ( 1, J) と中心間距離 Dの値とを用 いて幾何変換を行って、 図 1 0 (b) に示す実座標系におけるカメラ 1 9のマー ク Ml (M2) に対する 3次元相対位置座標 (X c, Y c, Z c ) を計算する。 なお、 図 1 1 (a) に示すように、 実座標系は、 マーク Ml (M2) の中心 (重 心) を原点 Oとする 3次元座標である。 この実座標系では、 カメラ 1 9と対向す る垂直面内において互いに直交する Y軸及び Z軸が設定され、 その垂直面と直交 する X軸が設定されている。 X軸及び Y軸は、 水平面内において互いに直交する。 前記相対位置座標 (X c, Y c , Z c ) は、 マーク Ml (M2) に対するカメラ 1 9の位置を表す。 従って、 相対位置座標 (X c , Y c, Z c ) を求めることに より、 実座標系上におけるマーク M 1 (M2) の位置も特定されることになる。 以下、 カメラ 1 9の相対位置座標 (X c , Y c , Z c ) を求める方法について 説明する。 図 1 1 ( b ) は、 実座標系でカメラ 1 9を上から見た状態を示す。 図 1 1 ( b ) に示すように、 実座標系において、 カメラ 1 9による撮影範囲の横幅は、 2 L · tanaで示され、 これは画面座標系では画面 2 5 aの横方向画素数 Hに相 当する。 なお、 角度 c は、 カメラ 1 9の水平画角の 2分の 1である。 Lは、 カメ ラ 1 9と実座標系における Y Z平面との間の距離であり、 カメラ 1 9の相対位置 座標における成分 X cの絶対値に等しい。 また、 実座標系におけるマーク M 1 (M 2 ) の 2つのパターン P I , P 1 (P 2 , P 2 ) の中心間距離 d (図 1 0 ( b ) 参照) は、 画面座標系では中心間距離 D (図 1 0 ( a ) 参照) に相当する c 従って、 実座標系と画面座標系との比は、 d : Dで表される。 また、 カメラ 1 9 の相対位置座標における成分 Y cは、 画面座標系では I —H// 2に相当する。 力 メラ 1 9の相対位置座標における成分 Z cは、 画面座標系では】 _VZ 2に相当 する。 画面座標系と実座標系との間には、 上記のような関係がある。 従って、 画面座 標系において求められた前記重心座標 ( I , J ) 及び中心間距離 Dを用いて幾何 変換を行えば、 カメラ 1 9の相対位置座標 (X c, Y c , Z c ) の各成分は、 次 式 (1 ), ( 2 ), ( 3 ) より算出される。
X c =- L = -H d/ ( 2 Dtana) ( 1 )
Y c = d/D ( I -H/ 2 ) ( 2 )
Z c = d/D ( J -V/ 2) ( 3 ) 図 1 2に示すように、 実座標系において、 カメラ 1 9の位置を C、 フォーク 6 の基端の位置を F、 目標点の位置を P、 マーク M l (M 2 ) の重心位置 (実座標 系の原点) を Oとすると、 上記相対位置座標 (X c, Y c, Z c ) はベク トル O Cの成分して表される。 目標点の位置 (目標位置) Pはフォーク 6の位置合わせ 先の位置であり、 荷取りモードではパレッ ト 2 7の位置 (マーク重心位置 0)、 荷置きモードでは棚面 29 aから所定高さ (1 0〜20 cm) の位置となる。 言 い換えれば、 前記マーク重心位置 Oと目標位置 Pとの間には特定の関係がある。 従って、 目標位置 Pは、 マーク重心位置 Oに基づき自ずと定められる。 ずれ量算出部 78は、 上記ベク トル OC、 すなわち相対位置座標 (X c , Y c, Z c) を基に、 フォーク 6の現在位置 Fと目標位置 Pとの間のずれ量を求める。 このずれ量は、 フォーク 6を荷役対象に対して位置合わせするのに必要な X, Y, Z軸の各方向への移動距離であり、 ベタ トル F Pの成分として表される。 フォー ク 6のずれ量を算出するに先立ち、 まず既知情報設定部 7 9は、 ベク トル CF及 びベク トル OPを既知情報として読み込む。 即ち、 カメラ位置 C及ぴフォーク位 置 Fが互いに同一鉛直線上に位置するものとすると、 べク トル CFはカメラ位置 Cとフォーク位置 Fとの間の距離に相当する。 また、 マーク重心位置 O及び目標 位置 Pは互いに同一鉛直線上に位置するので、 べク トル O Pはマーク重心位置 O と目標位置 Pとの間の距離に相当する。 これらの距離、 言い換えればカメラ位置 Cとフォーク位置 Fとの間の関係及びマーク重心位置 Oと目標位置 Pとの間の関 係は、 ともに既知情報として予め設定しておくことができる。 また、 図 1 2に示すように、 位置 O, P, C, Fの間には、 "ベク トル F P = べク トル OP—べク トル OC—べク トノレ CF" の関係が成立する。 このため、 ベ ク トル OCの成分であるカメラ 1 9の相対位置座標 (X c, Y c, Z c ) が求ま れば、 既知情報であるベク トル OP及びベク トル CFを用いて、 目標位置 Pに対 するフォーク 6の位置ずれ量を表すべク トル F Pを求めることができる。 よって、 フォークき動位置合わせ制御の実行時、 荷役制御部 50は、 ずれ量算出部 78で 算出されたべク トル F Pがゼロになるように、 第 2リブトシリンダ 8 b及びサイ ドシフトシリンダ 1 1を駆動してフォーク 6の位置を調節する。 図 1 3 (a) 〜図 1 4 (b) に示すように、 フォーク自動位置合わせ制御の実 行時、 画面 25 a上には、 フォーク 6の現在位置 Fの指標となる移動目標点 70 が表示される。 目標点算出手段として機能する移動目標点算出部 76は、 この移 動目標点 70の中心座標 ( I t , J t ) を算出する。 荷取りモード時には、 移動 目標点 70の中心座標 ( I t , J t) が以下のようにして求められる。 すなわち、 目標位置 Pを、 パレッ ト 2 7の位置 (第 1マーク M 1の重心位置 O) に相当する 荷取り位置 Pとする。 そして、 既知情報であるベク トル O Pの成分を (X p, Y p, Z p ) とし、 同じく既知情報であるベク トル C Fの成分を (Xcf, Ycf, Z cf) とする。 この場合、 移動目標点 7 0の中心座標 ( I t , J t ) は、 次式 (4), (5) により求められる。
I t =H/2 + (Y p - Ycf) xD/d (4)
J t = V/2 + (Z p— Zcf) xD/d (5) 一方、 荷置きモード時には、 移動目標点 70の中心座標 ( I t , J t) が次の ようにして求められる。 すなわち、 目標位置 Pを棚面 29 aから所定高さ (1 0 〜20 cm) の位置に相当する荷置き位置 Rとすると、 ベタ トノレ CF, ORが既 知情報となる。 べク トル ORは、 マーク重心位置 Oと荷置き位置 Rとの距離に相 当する。 ベタ トル ORの成分を (X r, Y r , Z r ) とし、 べク トル C Fの成分 を (Xcf, Ycf, Zcf) とすると、 移動目標点 70の中心座標 ( I t , J t) は 次式 (6), (7) により求められる。
I t =H/2 + (Y r - Ycf) xD/ d (6)
J t = V/2 + (Z r— Zcf) xD/d (7) 移動目標点 70の中心座標 ( I t, J t) が求められた後、 描画表示部 6 7は 画面 25 aの画像上における中心座標 ( I t , J t) の位置に、 図 1 3 (a) 〜 図 14 (b) に示すように移動目標点 70を描画する。 移動目標点 70は、 4つ の三角形が頂点を中心に向けて等角度間隔に配置された図形であり、 4つの頂点 で囲まれた中心点が中心座標 ( I t , J t ) となる。 自動位置合わせ制御時にフ オーク 6が移動するのに伴い、 画面 25 a上において、 マーク Ml (M 2 ) が移 動目標点 70に一致するように移動する。 すなわち、 移動目標点 70は、 画面 2 5 a上においてマーク Ml (M2) を移動させるべき目標点である。 次に、 フォーク 6の自動位置合わせ制御の流れを説明する。 まず、 マル レバー 3 1のノブ 35を操作して、 フォーク 6を 2メートル以上 の高さに上昇させる。 そして、 荷取り作業を行う場合には、 図 1 3 (a) に示す ように、 荷取り対象とするパレッ ト 2 7とそのパレツト 2 7に付された第 1マー ク Mlとを画面 25 a上に映し出す。 この状態で作動スィツチ 38が押されると、 まず荷役制御部 50により自動水平制御が実行されてフォーク 6が水平状態とな る。 続いて、 画像認識処理部 7 2により画像認識処理 (パターンマッチング処 理) が行われて、 第 1マーク Mlが画像認識される。 その結果、 画面座標系にお いて、 第 1マーク Mlに関する重心座標 ( I , J) 及び中心間距離 Dが算出され る。. 続いて、 実座標位置算出部 7 7により、 カメラ 1 9の座標 (X c , Y c , Z c)、 つまりベク トル OCが算出される。 また、 このベク トル O Cと既知情報で あるベク トル CF, OPとに基づき、 ずれ量算出部 78によってべク トル F Pが 算出される。 そして、 荷役制御部 50によって、 べク トル F Pがゼロとなるよう にシリンダ 8 b, 1 1が駆動され、 フォーク 6の自動位置合わせが実行される。 これにより、 図 1 3 (a) に示す状態から、 画面 2 5 a上において移動目標点 7 0と第 1マーク Ml とが一致した図 1 3 (b) に示す状態となって、 フォーク自 動位置合わせ制御が完了する。 そして、 フォーク 6はパレッ ト 2 7の差込孔 2 7 aに位置決めされる。 なお、 X軸方向におけるフォーク 6の移動は、 運転者によ る手動操作により行われる。 このように、 フォーク 6がパレツ ト 2 7に対して自動で位置合わせされるので、 運転者はフォーク 6の位置合わせを手動で行わずに済み、 荷役作業が楽になる。 また、 自動位置合わせ制御に先立って、 フォーク 6に対し自動水平制御が実行さ れるので、 カメラ 1 9で撮影された実座標系上の対象物の位置が画面座標系に正 確に反映されて、 位置合わせ制御が正確に行われる。 さらに、 この自動水平制御 によりフォーク 6が水平になっているので、 荷取り作業時にフォーク 6がパレツ ト 2 7の差込孔 2 7 aにスムーズに差し込まれる。 一方、 荷置き作業のときには、 図 1 4 ( a ) に示すように、 荷置き対象とする 棚板 2 9とその棚板 2 9に付された第 2マーク M 2とを画面 2 5 a上に表示させ る。 この状態で作動スィッチ 3 8が押されると、 荷取り作業のときと同様に、 フ オーク 6の自動水平制御が行われ、 続いて第 2マーク M 2が画像認識されて、 第 2マーク M 2に関する重心座標 ( I , J ) 及び中心間距離 Dが算出される。 そし て、 カメラ座標 (X c , Y c , Z c ) を示すベク トル O Cと既知情報であるべク トル C F , O Rとに基づき、 ずれ量算出部 7 8によってベク トル F Rが算出され る。 そして、 荷役制御部 5 0によって、 ベク トル F Pに基づき、 垂直方向にのみフ オーク 6の位置合わせをするように第 2リフトシリンダ 8 bが駆動される。 そし て、 十字スィッチ 3 7の右操作部 3 7 c又は左操作部 3 7 dを操作して、 画面 2 5 a上で移動目標点 7 0と第 2マーク M 2とが一致するようにフォーク 6をマ- ュアル操作で横方向移動させる。 これにより、 図 1 4 ( b ) に示すように移動目 標点 7 0と第 2マーク M 2とが一致し、 フォーク 6が位置合わせされた状態とな る。 このとき、 フォーク 6は、 棚面 2 9 aから所定高さ (1 0〜2 0 c m) の位 置に位置決めされる。 なお、 荷取り作業の場合と同様、 X軸方向におけるフォー ク 6の移動は、 運転者による手動操作により行われる。 フォーク 6に荷物 2 6を載せた状態でフォーク 6を自動で横方向移動させると、 荷崩れを起こす可能性がある。 しカゝし、 荷置きモードにおけるき動位置合わせ制 御に際しては、 フォーク 6は垂直方向にのみ自動的に位置合わせされるので、 自 動位置合わせに起因する荷崩れの発生がなくなる。 なお、 荷置きモードであっても、 フォーク 6を自動で横方向移動させてもよい c この場合、 フォーク 6の移動速度を、 荷崩れを起こさない程度の速度に設定する ことが望ましい。 本実施形態は、 以下のような利点を有する。 フォーク リフ ト 1に口ックォンシステム 6 1を搭載し、 このロックオンシステ ム 6 1によりフォーク 6がパレツ ト 2 7や棚 2 8に対して自動で位置合わせされ る。 従って、 運転者はフォーク 6の位置合わせを手動操作で行わずに済み、 高所 における荷役作業にかかる負荷を軽減することができる。 マルチレバー 3 1には、 フォーク自動位置合わせ制御を起動させる作動スイツ チ 3 8が設けられている。 この作動スィツチ 3 8を押すことにより、 任意のタイ ミングでフォーク自動位置合わせ制御を開始することができる。 フォークリフト 1には、 ディスプレイ装置 2 5が設置されている。 このディス プレイ装置 2 5の画面 2 5 aを見ることで、 フォーク 6の位置合わせ状態を確認 することができる。 また、 画面 2 5 aには移動目標点 7 0が描画されるので、 フ オーク 6が位置合わせされたか否かを、 移動目標点 7 0とマーク M l (M 2 ) と の位置関係で容易に判断することができる。 ハンドルノブ 1 7には、 荷取りモードスィツチ 6 2及び荷置きモードスィツチ 6 3が設けられている。 口ックォンシステム 6 1の作動モードをマニュアル操作 により設定することもできるので、 運転者の要求に柔軟に対処できる。 フォーク自動位置合わせ制御が実行される前に、 フォーク 6に対し自動水平制 御が実行される。 その結果、 自動位置合わせ制御が正確に実行されるとともに、 フォーク 6を用いた荷役作業が行い易くなる。 カメラ 1 9は、 荷取りモードのときには格納位置に配置され、 荷置きモードの ときには露出位置に配置される。 従って、 フォーク 6上の荷物によって撮影視界 を邪魔されずに済む。 また、 フォーク 6の揚高が 2メートル未満の場合にはカメ ラ 1 9が格納位置に配置されるので、 フォーク 6が最下端に達してもカメラ 1 9 が地面等に干渉しない。 次に、 本発明の第 2実施形態について、 図 1〜図 1 4 ( b ) の第 1実施形態と の相違点を中心に、 図 1 5〜図 1 8に従って説明する。 第 1実施形態と同じ部材 については、 同じ部材符号を用いる。 また、 必要に応じて、 第 1実施形態の説明 に用いた図面を参照されたい。 本実施形態では、 図 1 5に示すように、 カメラ 1 9は、 左右の両インナマス ト 部材 7 cを連結する水平なミ ドルビーム 9 0に固定されている。 ミ ドルビーム 9 0は、 両インナマスト部材 7 cの高さ方向中央よりやや上方位置に横架されてお り、 カメラ 1 9はこのミ ドルビーム 9 0の下側に取り付けられている。 本実施形態のようなテレスコピック型の昇降機構を備えたフォークリフ ト 1で は、 フォーク 6がインナマスト部材 7 cの最上端よりも高い位置で昇降する場合 には、 フォーク 6がインナマス ト部材 7 cの最上端に保持され、 フォーク 6と力 メラ 1 9との垂直方向における位置関係が常に一定となる。 カメラ 1 9がフォー ク 6の前方を向く姿勢で固定されていても、 フォーク 6がインナマスト部材 7 c の最上端にある場合には、 そのフォーク 6よりも下方に位置するカメラ 1 9によ つて常にフォーク 6の前方の作業ェリァを撮影可能である。 なお、 本実施形態においても、 図 1〜図 1 4 ( b ) の第 1実施形態と同じく、 フォーク自動位置合わせ制御は、 フォーク 6の揚高が所定のしきい値 (2メート ル) 以上であるときに限り、 つまりフォーク 6がインナマス ト部材 7 cの最上端 以上の高さにあるときに限り行われる。 図 1 6及び図 1 7は、 キヤリッジ 9がィンナマスト部材 7 cの最上端に配置さ れた状態を示すものである。 囱 1 6は、 サイ ドシフタ 1 0及びフォーク 6がその 横方向における移動範囲の中間位置である基準位置に配置された状態を示す。 サ ィ ドシフトシリンダ 1 1は、 サイ ドシフタ 1 0をフィンガーバー 4 0に対して、 前記基準位置から左右方向へ所定距離 (例えば 5 0〜 1 0 O mm) ずつ移動させ る。 カメラ 1 9は、 キヤリッジ 9がィンナマスト部材 7 cの最上端に配置された状 態において、 フォーク 6よりも所定距離だけ下方に位置する。 従って、 キヤリ ツ ジ 9がインナマス ト部材 7 cの最上端に配置された状態では、 フォーク 6上に荷 物が搭載されていても、 カメラ 1 9の撮影範囲は荷物によって妨げられない。 ま た、 カメラ 1 9は、 フォーク 6が基準位置にある状態で、 フォーク 6を構成する 2つの突起 6 aの中間点より片側に偏位している。 すなわち、 カメラ 1 9は第 1 リフトシリンダ 8 aの背後に位置するため、 カメラ 1 9は第 1 リフトシリンダ 8 aによって撮影範囲を妨げられないように配置されている。 本実施形態において、 フォーク自動位置合わせ制御は図 1〜図 1 4 ( b ) の実 施形態とほぼ同様にして行われる。 但し、 本実施形態では、 カメラ 1 9は、 両ィ ンナマスト部材 7 cを連結するミ ドルビーム 9 0に固定されている。 そのため、 図 1〜図 1 4 ( b ) の実施形態とは異なり、 カメラ 1 9はフォーク 6とともに横 方向移動しない。 従って、 フォーク 6の位置合わせ制御に際しては、 カメラ 1 9 に対するフォーク 6の Y軸方向におけるずれ量を考慮する必要がある。 すなわち、 フォーク 6の現在位置 Fと目標位置 Pとの間のずれ量を表すべク トル F Pを求め る際、 基準位置にあるフォーク 6に対するカメラ 1 9の Y軸方向におけるずれ量 と、 カメラ 1 9に対するフォーク 6の Y軸方向における移動量とを考慮する必要 力 sある。 次に、 フォーク自動位置合わせ制御の流れを、 図 1 8に従って説明する。 なお、 図 1 8は、 荷置きモードの例を示している。 先ず、 荷役対象に付されたマーク Ml (M2) が画面 25 a上に映し出された 状態で作動スィッチ 38が押されると、 図 1〜図 1 4 (b) の実施形態と同じく , まず荷役制御部 50により自動水平制御が実行されてフォーク 6が水平状態とな る。 続いて、 画像認識処理部 7 2により画像認識処理 (パターンマッチング処 理) が行われて、 マーク Ml (M2) が画像認識される。 マーク位置算出部 75 は、 その画像認識に基づき、 画面座標系において、 マーク Ml (M2) に関する 重心座標 ( I , J) 及び中心間距離 Dを算出する。 なお、 本実施形態においては、 カメラ 1 9が傾動しないので、 フォーク 6の自動水平制御は行われなく とも良い。 実座標位置算出部 77は、 前記重心座標 ( I , J) と中心間距離 Dの値とを用 いて、 実座標系におけるカメラ 1 9の相対位置座標 (X c, Y c , Z c ), すな わちベク トル OC (図 1 2参照) を求める。 そして、 ずれ量算出部 78は、 相対 位置座標 (X c , Y c , Z c ) に基づき、 カメラ 1 9に対するフォーク 6の Y軸 方向におけるずれ量を考慮して、 フォーク 6の現在位置 Fと目標位置 Pとの間の ずれ量、 すなわちベク トル F P (図 1 2参照) を求める。 上記第 1実施形態では、 既に説明したように、 べク トル F Pの算出に際しては、 マーク重心位置 Oと目標位置 Pとの間のべク トル O P、 及びカメラ位置 Cとフォ ーク位置 Fとの間のべク トル CFが、 既知情報として用いられる。 本実施形態に おいても、 マーク重心位置 O及び目標位置 Pが互いに同一鉛直線上にあるので、 べク トル F Pの算出に際してべク トル OPが既知情報として用いられる。 但し、 本実施形態では、 ベク トル CFは、 カメラ 1 9に対するフォーク 6の Y軸方向に おける移動に応じて変化する。 荷取りモード時には、 ベク トル F Pが以下のようにして求められる。 すなわち、 目標位置 Pを、 パレッ ト 27の位置 (第 1マーク M 1の重心位置 O) に相当する 荷取り位置 Pとする。 そして、 既知情報であるベク トル OPの成分を (X p, Y p , Z p) とし、 変数であるベク トル C Fの成分を (Xcf, Ycf, Zcf) とし、 求めるべきベク トル F Pの成分を (Xfp, Yfp, Zfp) とする。 なお、 ベク トル CFの成分 (Xcf, Ycf, Zcf) のうち、 X軸成分 Xcf 及び Z軸成分 Zcf は既知 の一定値であり、 Y軸成分 Ycf のみが変数である。 また、 第 1実施形態で説明 したように、 "ベク トノレ F P=ベク トノレ OP—ベク トノレ OC—べク トノレ C F "の 関係が成立する。 従って、 べク トル F Pの成分 (Xfp, Yfp, Zfp) は、 以下の 式 (8) で表される。
(Xfp,Yfp,Zfp) = (Xp-Xc-Xcf, Yp- Yc- Ycf, Zp— Zc— Zcf) (8) 一方、 荷置きモードの場合には、 目標位置 Pを、 棚面 29 aから所定高さ (1 0〜20 cm) の位置に相当する荷置き位置 Rとして考える。 従って、 以下の荷 置きモードの説明では、 荷取りモードにおいて説明したベク トル F P, OPがそ れぞれ、 ベク トル FR, ORに対応する。 既知情報であるベク トル ORの成分を (X r , Y r , Z r ) とし、 求めるべきベク トル F Rの成分を (Xfr, Yfr, Z fr) とする。 ベク トル CF, OCの成分については、 荷取りモードの場合と同様 に表される。 べク トル FRの成分 (Xfr, Yfr, Z fr) は、 以下の式 (9) で表 される。
(Xfr,Yfr,Zfr) = (Xr-Xc-Xcf, Yr- Yc- Ycf, Zr— Zc— Zcf) (9) 前述のように、 上記式 ( 8 ), ( 9 ) において、 べク トル C Fの Y軸成分 Ycf は、 フォーク 6の Y軸方向における移動量に応じて変化する変数である。 この Y 軸成分 Ycf は、 前記ス トロークセンサ 1 2 9 (図 6参照) によって計測された サイ ドシフトシリンダ 1 1のピストンロッ ド 1 1 aのストローク量に基づき求め られる。 ここでは、 ピス トンロッ ド 1 1 aが最大限に突出した状態を基準として、 その基準位置からのビストンロッ ド 1 1 aの没入量が、 ピス トンロッ ド 1 1 aの ストローク量 ΔΥとして表される。 ピス トンロッド 1 1 aが最大限に突出した状 態でのス トローク量 (没入量) ΔΥをゼロとし、 そのときの Y軸成分 Ycf を Y cfOとすると、 Y軸成分 Ycfは次式 (1 0) で表される。 Ycf=YcfO+ AY (1 0) また本実施形態において、 荷取りモードでは、 第 1マーク Mlの重心位置 Oが 目標位置 Pである荷取り位置 Pと一致する。 従って、 荷取りモードにおけるべク トル OPの Y軸成分 Yp はゼロになる。 従って、 荷取りモード時においては、 上 記式 (8), ( 1 0) に基づき、 べク トル F Ρの Υ軸成分 Yfp が次式 ( 1 1) で 表される。 また、 上記式 (8) に基づき、 ベタ トル F Pの Z軸成分 Zfp は次式 (1 2) で表される。
Yfp = -Yc-YcfO- Δ Y (1 1)
Zfp=Zp-Zc-Zcf ( 1 2) 一方、 荷置きモードでは、 第 2マーク M 2の重心位置 Oが目標位置 Pである荷 置き位置 Rと同一鉛直線上にある。 従って、 荷置きモードにおけるベク トル OR の Y軸成分 Yr はゼロになる。 従って、 荷置きモード時においては、 上記式 (9), (1 0) に基づき、 べク トル FRの Y軸成分 Yfr が次式 (1 3) で表さ れる。 また、 上記式 (9) に基づき、 べク トル FRの Z軸成分 Zfr は次式 (1 4) で表される。
Yfr=-Yc-YcfO- Δ Y (1 3)
Zfr= Zr- Zc- Zcf (14) 上記式 (1 1) 〜 ( 14) の各成分において、 YcfO, Zp, Zr, Z cf は既知 情報である。 サイ ドシフトシリンダ 1 1のピストンロッ ド 1 1 aの没入量厶 Yは、 ス トロークセンサ 1 2 9によって計測される。 また、 Yc, Zc は、 実座標位置 算出部 77により、 カメラ 1 9の相対位置座標 (X c, Y c , Z c) の成分とし て求められる。 従って、 荷取りモード時においては、 ベク トル F Pの Y軸成分 Y fp 及び Z軸成分 Zfp を、 上記式 (1 1), ( 1 2) に従って求めることができる ( また、 荷置きモード時においては、 べク トル FRの Y軸成分 Yfr 及び Z軸成分 Zfrを、 上記式 (1 3), (1 4) に従って求めることができる。 なお、 各ベク トル FP, FRの X軸成分 Xfp, Xfrについては、 前記相対位置 座標 (X c , Y c , Z c) 中の成分 X cと X軸方向に関する既知情報とに基づき 求められる。 以上のようにして求められたベク トル F P, FRがゼロとなるように、 荷役制 御部 50によってシリンダ 8 b , 1 1が駆動されて、 フォーク 6の自動位置合わ せが実行される。 但し、 X軸方向におけるフォーク 6の移動は、 運転者による手 動操作により行われる。 従って、 荷役制御部 50は、 自動位置合わせ制御に際し て、 ベク トル F P, FRの X軸成分 Xfp, Xfrを制御対象としなく ともよレ、。 自動位置合わせの後、 運転者は、 マスト装置 4を手動操作によってリーチ動作 させて、 荷取り作業または荷置き作業を行う。 なお、 このマス ト装置 4のリーチ 動作も自動制御してもよレ、。 また、 自動位置合わせ制御中に、 フォークリフト 1を前進させながらフォーク 6を荷役対象に近づけると、 仮にフォーク 6が荷役対象に対してずれても、 フォ ーク 6は荷役対象に対して自動的に位置合わせされる。 本実施形態は、 第 1実施形態の効果に加えて、 以下のような利点を有する。 フォーク自動位置合わせを実現するためのカメラ 1 9が、 ィンナマス ト部材 7 cのミ ドルビーム 90に固定されている。 従って、 カメラ 1 9を昇降させる機構 を設ける必要がなく、 構造が簡単でコストが軽減ざれる。 カメラ 1 9をキヤリッジ 9に取り付けなくて済むので、 荷役作業時にカメラ 1 9が棚や荷物などの周辺物と干渉することを防止できる。 従って、 カメラ 1 9を 保護するハウジングに大きな強度が要求されず、 低コスト化に貢献する。 キヤリッジ 9にカメラ 1 9を搭載すると、 荷役作業時においてカメラ 1 9に加 わる衝撃が大きくなる。 し力、し、 本実施形態では、 カメラ 1 9がキャリッジ 9と は別のィンナマスト部材 7 cに搭載されているので、 荷役作業時にカメラ 1 9に 加わる衝撃が抑えられる。 位置合わせ制御時には、 常にフォーク 6の下方にカメラ 1 9が位置するので、 荷物の有無にかかわらず前方視野を確実に確保できる。 ィンナマスト部材 7 cにカメラ 1 9が搭載されているので、 フォーク 6が最下 降位置に移動してもカメラ 1 9は地面に干渉しない。 自動位置合わせ制御時、 カメラ 1 9に対するフォーク 6の Y軸方向における移 動量を考慮した制御が行われる。 そのため、 カメラ 1 9をキャリ ッジ 9に搭載し た第 1実施形態と同様に、 自動位置合わせ制御が好適に行われる。 なお、 本発明の実施形態は、 以下のように変更することも可能である。 図 1 5〜図 1 8の第 2実施形態において、 荷置きモードに従った自動位置合わ せ制御時、 フォーク 6の傾斜角を手動操作可能としてもよい。 自動位置合わせ制 御時に十字スィツチ 3 7を操作してフォーク 6の傾斜角を後傾状態にすることで、 フォーク 6上の荷物を落下し難い状態にすることができる。 カメラ 1 9はフォー ク 6とともに傾動しないので、 自動位置合わせ制御時にフォーク 6の傾斜角を手 動操作可能としても、 画像処理に影響は及ばない。 また、 自動位置合わせ制御に 支障が生じない範囲であれば、 図 1〜図 1 4 ( b ) の第 1実施形態においても、 自動位置合わせ制御時にフォーク 6の傾斜角を手動操作可能としてもよい。 図 1 5〜図 1 8の第 2実施形態において、 荷置きモードに従った自動位置合わ せ制御時、 フォーク 6の傾斜角を所定の後傾角度で保持してもよい。 即ち、 作動 スィツチ 3 8が押され且つ荷置きモードが選択されたとき、 荷役制御部 5 0は、 ティルトシリンダ 1 2を駆動してフォーク 6の傾斜角を所定の後傾角度にする。 従って、 自動位置合わせ制御の際に、 フォーク 6上の荷物を落下し難い状態にす ることができる。 このようにしても、 前述したように、 自動位置合わせ制御に支 障は生じない。 また、 自動位置合わせ制御に支障が生じない範囲であれば、 図 1 〜図 1 4 ( b ) の第 1実施形態においても、 自動位置合わせ制御時にフォーク 6 の傾斜角を所定の後傾角度に保持してもよい。 図 1 5〜図 1 8の第 2実施形態において、 第 1 リフトシリンダ 8 aを左右一対 設けてもよレ、。 或いは、 1本の第 1 リフトシリンダ 8 aを、 両インナマスト部材 7 c間の中央からずれた位置に配置し、 カメラ 1 9を両ィンナマスト部材 7 c間 の中央に配置してもよい。 図 1 5〜図 1 8の第 2実施形態において、 カメラ 1 9はミ ドルビーム 9 0以外 の部材に固定されてもよい。 例えば、 カメラ 1 9は、 一方のインナマス ト部材 7 cに対し専用のブラケッ トを介して固定されてもよい。 要するに、 カメラ 1 9は、 キヤリ ッジ 9を昇降可能に支持するィンナマスト部材 7 cに対して、 直接的或い は間接的に固定されていればよい。 さらには、 フォーク 6とカメラ 1 9との相対 位置関係が把握できるのであれば、 カメラ 1 9はインナマスト部材 7 cに移動機 構を介して取り付けられてもよい。 図 1 5〜図 1 8の第 2実施形態において、 例えば荷取り作業時のみ自動位置合 わせ制御を行う場合には、 カメラ 1 9をフォーク 6の載置面とほぼ同じ若しくは それよりも少し高い位置に配置してもよい。 荷置き作業時に自動位置合わせ制御 を行わないのであれば、 その荷置き作業時にフォーク 6上の荷物によってカメラ 1 9の撮影視界を邪魔されても支障はない。 図 1 5〜図 1 8の第 2実施形態において、 カメラ 1 9は、 その撮影方向を変更 できるように、 インナマス ト部材 7 cに回動可能に取り付けられてもよい。 例え ば、 モータ等のァクチユエータによってカメラ 1 9の角度を自動的に変更して、 荷役作業の内容に応じた適切な撮影方向にカメラ 1 9を向けることができるよう にする。 また、 カメラ 1 9は、 移動機構によってインナマス ト部材 7 cに対して 昇降可能或いは水平移動可能に取り付けられても良い。 カメラ 1 9を昇降可能と する場合、 図 1〜図 1 4 ( b ) の第 1実施形態のように、 カメラ 1 9を、 荷取り モードに対応する上昇位置と、 荷置きモードに対応する下降位置とに移動可能と する。 自動位置合わせ制御に際して、 マス ト装置 4のリーチ動作も自動制御化しても よい。 また、 フォーク 6が横方向 (Y軸方向) へ移動しないフォーク リフ トでは、 フォーク 6を鉛直方向 (Z軸方向) にのみ自動位置合わせ制御してもよい。 Y軸 方向のみの自動位置合わせ制御を採用することもできる。 フォーク 6の自動水平制御は荷取りモードのときのみに実行してもよい。 この ようにすれば、 荷置きモード時において、 自動水平制御に起因する荷崩れの可能 性が減少する。 フォークリフト 1には必ずしもディスプレイ装置 2 5を搭載する必要はなく、 ディスプレイ装置 2 5を省略してもよい。 また、 ディスプレイ装置 2 5の配置位 置は運転席 1 5に対して前方斜め上方であることに限らず、 運転席 1 5から見え る位置であればその配置位置は特に限定されない。 走行操作や荷役操作を行うレバーはマルチレバー 3 1に限らず、 操作の種類ご とにレバーが別々に設けられてもよレ、。 即ち、 アクセルレバー、 リフ トレバー、 リーチレバー、 ティルトレバー、 サイ ドシフ トレバーがそれぞれ単独で設けられ てもよレ、。 この場合、 これらレバーのうちの何れかに作動スィッチ 3 8が設けら れる。 口ックォンシステム 6 1を作動させる作動スィツチ 3 8は必ずしも必要ではな く、 例えばカメラ 1 9によりマーク M 1 (M 2 ) が画像認識された時点でフォー ク 6の位置合わせ制御が開始される構成でもよい。 また、 作動スィッチ 3 8は押 ボタン式のものに限らず、 例えばレバ一式でもよい。 また、 作動スィッチ 3 8に 代えて、 口ックォンシステム 6 1の作動を解除する解除スィツチを設けてもよい c 荷取りモードスィツチ 6 2及び荷置きモードスイッチ 6 3のコントローラ 4 8 に対する接続方式は、 有線方式と無線方式のどちらでもよい。 なお、 前述した実 施形態では、 モードスィッチ 6 2 , 6 3力 回転操作されるハンドル 1 6上のハ ンドルノブ 1 7に設けられているので、 配線を考慮して無線方式を採用している。 荷取りモードスィツチ 6 2や荷置きモードスイッチ 6 3はなくてもよく、 自動 でモード設定されるのみの構成でもよい。 逆に、 モードスィッチ 6 2 , 6 3によ る手動でのモード設定のみとし、 自動でモード設定する構成を省略してもよい。 画像認識処理部 7 2が行うパターンマッチング方法は、 上記実施形態で説明し た方法に限定されない。 例えば、 画面 2 5 aに表示されるマーク M l (M 2 ) の 表示サイズに応じて、 パターンマッチングに用いるテンプレートを、 複数のサイ ズのテンプレートの中から選択してもよい。 また、 マーク M l (M 2 ) 及びテン プレート T l ( T 2 ) の形状は適宜変更されてもよい。 画像認識に際して、 上記実施形態で説明したパターンマッチング方法以外の方 法が採用されてもよい。 例えば、 カメラ 1 9によって取り込まれた画像データを 基に、 荷役対象であるパレッ ト 2 7自体または棚板 2 9自体の形状を認識して、 荷役対象の位置を割り出す手法を採用することもできる。 フォークリフト 1に搭載されるカメラは複数であってもよい。 例えば、 車両前 方を撮影するカメラ 1 9の他に、 車両後方や車両側方を撮影するカメラが設けら れてもよい。 或いは、 荷置き作業用カメラと荷取り作業用カメラとを別々に設け てもよい。 この場合、 荷置き作業用カメラを第 2実施形態のようにインナマス ト 部材 7 cに設け、 荷取り作業用カメラを第 1実施形態のようにキヤリッジ 9に設 けてもよい。 荷置き作業用カメラについては、 棚や荷物等の周辺物との干渉が回 避されるとともに、 加えられる衝撃を抑制できる。 荷取り作業用カメラについて は、 荷置き作業時にフォーク 6上の荷物によって撮影視界を邪魔されても支障は ないので、 第 1実施形態のようなカメラ昇降機構は不要である。 ス トロークセンサ 1 2 9として、 超音波センサやリニアセンサを使用してもよ い。 また、 サイ ドシフ トシリンダ 1 1のピス トンロッド 1 1 aの直線移動を回転 運動に変換する変換機構を設け、 この変換機構における回転量を検出するポテン ショメータを、 ストロークセンサ 1 2 9として使用することもできる。 自動位置合わせ制御が許容されるフォーク 6の揚高範囲は、 適宜変更されても よい。 フォーク 6がインナマス ト部材 7 cに沿って移動し得る最上限の楊高 (2 メートル) より低い位置にある場合であっても、 自動位置合わせ制御が許容され てもよい。 この場合、 図 1 5〜図 1 8の第 2実施形態では、 揚高センサ 5 4とし て、 フォーク 6の揚高を連続的に検出できるものを使用して、 フォーク 6とカメ ラ 1 9との相対位置関係を把握できるようにしておく必要がある。 本発明は、 フォーク自動昇降装置を備えるフォークリフトに適用されてもよい。 例えば、 自動昇降装置は、 所定の設定装置により設定された高さにまでフォーク を自動で上昇させる。 続いて、 上記実施形態で説明したフォーク位置合わせ制御 が、 作動スィツチの手動操作により或いは自動的に開始される。 本発明は、 リーチ型フォークリフト トラック 1に限定されず、 カウンタバラン ス式のフォーク リフ トに適用されてもよい。 また、 荷役機器として、 フォーク 6 の代わりに、 ロールクランプ等の他のものが採用されてもよい。 さらには、 本発 明は、 フォーク リフ ト以外の産業車両に適用されてもよい。

Claims

請求の範囲
1 . 荷役対象に設けられたマークを撮影して、 該マークの画像データを得るカメ ラと、
前記画像データを処理して、 前記マークの位置を検出する画像処理手段と、 前記荷役機器を移動させるべき目標位置を決定する目標位置決定手段と、 前記画像処理手段による前記画像データの処理結果に基づき、 前記目標位置に 対する前記荷役機器の現在位置のずれ量を算出するずれ量算出手段と、
前記荷役機器を移動させる移動手段と、
前記荷役機器を前記目標位置に対して位置合わせする位置合わせ制御を実行す る制御手段であって、 該制御手段は前記ずれ量をなくすように前記移動手段によ つて前記荷役機器を移動させることと
を備えた産業車両における荷役機器の位置制御装置。
2 . 前記目標位置決定手段は、 検出されたマークの位置に基づき、 前記目標位置 を決定する請求項 1に記載の位置制御装置。
3 . 前記制御手段に位置合わせ制御を開始させるために操作される操作手段をさ らに備えた請求項 1又は 2に記載の位置制御装置。
4 . 前記力メラによって撮影された画像を表示するデイスプレイ装置をさらに備 えた請求項 1〜 3の何れか一項に記載の位置制御装置。
5 . 前記ディスプレイ装置に表示される画像中に目標点を描画する描画手段と、 ディスプレイ装置に表示される画像中のマークが前記目標点に一致したときに 前記ずれ量がなくなるように、 前記目標点を描画すべき位置を前記目標位置に基 づき算出する目標点算出手段と
をさらに備えた請求項 4に記載の位置制御装置。
6 . 前記画像データ中に含まれるマークを認識するために使用されるテンプレー トを記憶する記憶手段をさらに備え、 前記画像処理手段は、 画像データ中のマー クに対し前記テンプレートを整合させることによって、 画像データ中のマークを 認識する請求項 1〜 5の何れか一項に記載の位置制御装置。
7 . 前記荷役対象と前記カメラとの間の距離に関係なく前記テンプレートが前記 画像データ中のマークに整合するように、 前記マーク及び前記テンプレートの形 状が定められている請求項 6に記載の位置制御装置。
8 . 前記荷役機器を傾動させる傾動ァクチユエータをさらに備え、 前記制御手段 は、 前記位置合わせ制御の開始に先立って、 前記荷役機器の荷物載置面が水平に なるように該荷役機器の傾斜角を前記傾動ァクチユエータに調整させる請求項 1 〜 7の何れか一項に記載の位置制御装置。
9 . 前記画像処理手段は、 前記マークの画像データに基づき、 予め定められた画 像座標系上において前記マークの位置及び大きさを認識し、 前記画像座標系は前 記荷役対象が存在する実際の座標系と相似であり、 前記ずれ量算出手段は、 認識 された前記マークの位置及び大きさに基づき、 前記ずれ量を算出する請求項 1〜 8の何れか一項に記載の位置制御装置。
1 0 . 前記画像処理手段は、 前記マークの画像データに基づき、 予め定められた 画像座標系上において前記マークの位置及び大きさを認識し、 前記画像座標系は 前記荷役対象が存在する実際の座標系と相似であり、 前記ずれ量算出手段は、 認 識された前記マークの位置及び大きさに基づき、 前記実際の座標系上においてマ ークに対するカメラの現在位置を求めるとともに、 求められたカメラの現在位置 に基づき、 前記ずれ量を算出する請求項 1〜8の何れか一項に記載の位置制御装
前記ずれ量算出手段は、 前記カメラの位置と前記荷役機器の位置との間の 関係及び前記マークの位置と前記目標位置との間の関係を、 前記ずれ量を算出す るために用いる請求項 1 0に記載の位置制御装置。
1 2 . 前記位置合わせ制御のために用意された複数の作動モードの中から 1つを 選択するための選択手段をさらに備え、 前記制御手段は選択手段によって選択さ れた作動モードに従って前記位置合わせ制御を実行する請求項 1〜 1 1の何れか 一項に記載の位置制御装置。
1 3 . 前記選択手段は手動操作部材である請求項 1 2に記載の位置制御装置。
1 4 . 前記選択手段は前記荷役機器上の荷重に応じて作動モードを自動的に選択 する請求項 1 2に記載の位置制御装置。
1 5 . 前記作動モードは、 所定の載置箇所にある荷物を前記荷役機器によって ¾ り出す荷取りモードと、 荷役機器上の荷物を前記載置箇所に載置する荷置きモー ドとを含む請求項 1 2〜 1 4の何れか一項に記載の位置制御装置。
1 6 . 前記荷役対象は、 荷物を搭載するためのパレットと、 該パレツ トを載置す るための棚とを含み、 前記マークは、 パレッ トに付された第 1マーク及び棚に付 された第 2マークのうちの一方であり、 前記荷取りモードが選択されたとき、 前 記画像処理手段は第 1マークの位置を検出し、 前記荷置きモードが選択されたと き、 前記画像処理手段は第 2マークの位置を検出する請求項 1 5に記載の位置制 御装置。
1 7 . 前記荷取りモードが選択されたとき、 前記目標位置決定手段は第 1マーク の位置を前記目標位置として設定し、 前記荷置きモードが選択されたとき、 前記 目標位置決定手段は第 2マークよりも所定距離だけ上方の位置を前記目標位置と して設定する請求項 1 6に記載の位置制御装置。
1 8 . 前記荷取りモードが選択されたとき、 前記制御手段は前記荷役機器を前記 目標位置に対して鉛直方向及び車両の幅方向に位置合わせし、 前記荷置きモード が選択されたとき、 前記制御手段は前記荷役機器を前記目標位置に対して鉛直方 向にのみ位置合わせする請求項 1 5〜 1 7の何れか一項に記載の位置制御装置。
1 9 . 前記荷役機器を支持するキャリ ッジであって、 前記カメラはキャリッジに 取り付けられることと、
前記カメラを前記キヤリッジに対して昇降させるカメラ昇降ァクチユエータと をさらに備え、
前記荷取りモードが選択されたとき、 前記カメラ昇降ァクチユエータはカメラ を前記荷役機器の下端とほぼ同じ若しくはそれよりも上方に移動させ、 前記荷置 きモードが選択されたとき、 前記カメラ昇降ァクチユエータはカメラを前記荷役 装置の下端よりも下方に移動させる請求項 1 5〜 1 8の何れか一項に記載の位置 制御装置。
2 0 . 車両の幅方向へ移動可能なサイ ドシフタを有するキャリッジであって、 前 記荷役機器はサイ ドシフタに取り付けられることと、
前記サイ ドシフタを移動させるサイ ドシフトァクチユエータと、
前記キヤリッジを昇降させる昇降装置とをさらに備え、
前記移動手段は前記サイ ドシフトァクチユエータ及び前記昇降装置を含む請求 項 1〜 1 8の何れか一項に記載の位置制御装置。
2 1 . 前記カメラは前記サイ ドシフタに取り付けられる請求項 2 0に記載の位置 制御装置。
2 2 . 前記カメラを前記サイ ドシフタに対して昇降させるカメラ昇降ァクチユエ ータをさらに備えた請求項 2 1に記載の位置制御装置。
2 3 . 前記荷役機器を支持し且つ昇降させる昇降装置をさらに備え、 前記荷役機 器の揚高が予め定められたしきい値より低い場合には、 前記制御手段は前記位置 合わせ制御の実行を禁止する請求項 1〜 1 8の何れか一項に記載の位置制御装置 c
2 4 . 前記荷役機器を支持し且つ昇降させる昇降装置をさらに備え、 該昇降装置 は、 前記荷役機器の昇降を案内する案内部材を有し、 前記荷役機器の揚高が前記 しきい値より低い場合、 前記昇降装置は荷役機器を案内部材に沿って昇降させ、 前記荷役機器の揚高が前記しきい値以上の場合、 前記昇降装置は案内部材に対す る荷役機器の位置を保持した状態で案内部材を昇降させ、 前記カメラは前記案内 部材に取り付けられている請求項 1〜 1 8の何れか一項に記載の位置制御装置。
2 5 . 前記荷役機器の揚高が前記しきい値より低い場合には、 前記制御手段は前 記位置合わせ制御の実行を禁止する請求項 2 4に記載の位置制御装置。
2 6 . 前記荷役機器の楊高が前記しきい値以上のときに前記カメラの撮影範囲が 荷役機器によって妨げられないように、 前記案内部材に対するカメラの取り付け 位置が定められている請求項 2 4又は 2 5に記載の位置制御装置。
2 7 . 前記荷役機器の揚高が前記しきい値以上のとき、 前記カメラは前記荷役機 器よりも下方に位置する請求項 2 6に記載の位置制御装置。
2 8 . 前記荷役機器を前記案内部材に対して車両の幅方向へ移動させるサイ ドシ フトァクチユエータであって、 前記移動手段はサイ ドシフトァクチユエ一タ及ぴ 前記昇降装置を含むことと、
前記荷役機器の車両幅方向への移動量を検出するサイ ドシフト検出手段とをさ らに備え、
前記ずれ量算出手段は、 荷役機器の車両幅方向への移動量を、 前記ずれ量を算 出するために用いる請求項 2 4〜2 7の何れか一項に記載の位置制御装置。
2 9 . 前記昇降装置は複数のマスト部材よりなるテレスコピック型マストを含み、 前記マスト部材は前記案内部材として機能する案内マスト部材を含み、 その案内 マスト部材は、 マストが最も伸長したときに該マス トの最上部に位置する請求項
2 4〜 2 7の何れか一項に記載の位置制御装置。
3 0 . 前記荷役機器が前記案内マス ト部材の最上端に配置され且つ前記マストが 最も縮んでいるとき、 荷役機器の楊高が前記しきい値となる請求項 2 9に記載の 位置制御装置。
3 1 . 前記昇降装置はさらに、 前記荷役機器を前記案内マスト部材に沿って昇降 させる第 1ァクチユエータと、 前記マストを伸縮させる第 2ァクチユエ一タとを 含み、 第 1ァクチユエータは荷役機器の揚高が前記しきい値よりも低い場合に駆 動され、 第 2ァクチユエータは荷役機器の揚高が前記しきい値以上の場合に駆動 される請求項 2 9又は 3 0に記載の位置制御装置。
3 2 . 前記荷役機器を前記案内マスト部材に対して車両の幅方向へ移動させるサ ィ ドシフトァクチユエータであって、 前記移動手段はサイ ドシフトァクチユエ一 タ及び前記第 2ァクチユエータを含むことと、
前記荷役機器の車両幅方向への移動量を検出するサイ ドシフト検出手段とをさ らに備え、
前記ずれ量算出手段は、 荷役機器の車両幅方向への移動量を、 前記ずれ量を算 出するために用いる請求項 3 1に記載の位置制御装置。
3 3 . 前記案内マス ト部材は一対の案内マス ト部材のうちの一方であり、 前記荷 役機器は両案内マス ト部材間を昇降可能であり、 前記カメラは、 両案内マス ト部 材を連結する水平なビームに取り付けられている請求項 2 9〜3 2の何れか一項 に記載の位置制御装置。
3 4 . 荷役対象に設けられたマークをカメラによって撮影して、 該マークの画像 データを得るステップと、 前記画像データを処理して、 前記マークの位置を検出するステップと、 前記荷役機器を移動させるべき目標位置を決定するステップと、
前記画像データの処理結果に基づき、 前記目標位置に対する前記荷役機器の現 在位置のずれ量を算出するステップと、
前記ずれ量をなくすように前記荷役機器を移動させるステップと
を備えた産業車両における荷役機器の位置制御方法。
PCT/JP2002/001354 2002-01-23 2002-02-18 Dispositif et procede de commande de la position d'un appareil de manutention dans un vehicule industriel WO2003062127A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP02712416A EP1502896A4 (en) 2002-01-23 2002-02-18 POSITION CONTROL DEVICE AND POSITION CONTROL PROCESS FOR LOADING DEVICE IN INDUSTRIAL VEHICLE
US10/470,129 US7010404B2 (en) 2002-01-23 2002-02-18 Position control apparatus and position control method for cargo carrying apparatus in industrial vehicle

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002-14735 2002-01-23
JP2002014736A JP3858703B2 (ja) 2002-01-23 2002-01-23 産業車両における荷役作業支援装置及び産業車両
JP2002014735A JP3900942B2 (ja) 2002-01-23 2002-01-23 産業車両における荷役機器の自動位置制御装置、産業車両及び荷役機器の自動位置制御方法
JP2002-14736 2002-01-23

Publications (1)

Publication Number Publication Date
WO2003062127A1 true WO2003062127A1 (fr) 2003-07-31

Family

ID=27615687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/001354 WO2003062127A1 (fr) 2002-01-23 2002-02-18 Dispositif et procede de commande de la position d'un appareil de manutention dans un vehicule industriel

Country Status (3)

Country Link
US (1) US7010404B2 (ja)
EP (1) EP1502896A4 (ja)
WO (1) WO2003062127A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113848910A (zh) * 2021-09-27 2021-12-28 东风本田发动机有限公司 导航系统、导航控制方法及装置、控制器、agv小车
WO2022259631A1 (ja) * 2021-06-09 2022-12-15 ソニーグループ株式会社 移動体、報知方法、及び報知システム

Families Citing this family (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1408001B1 (en) * 2001-07-17 2014-04-09 Kabushiki Kaisha Toyota Jidoshokki Industrial vehicle equipped with material handling work controller
KR100552691B1 (ko) * 2003-09-16 2006-02-20 삼성전자주식회사 이동로봇의 자기위치 및 방위각 추정방법 및 장치
DE102004027446B4 (de) * 2004-06-04 2007-08-23 Jungheinrich Aktiengesellschaft Vorrichtung zur Unterstützung des Ein- und Ausstapelns bei einem Stapler
WO2006041323A2 (en) * 2004-10-15 2006-04-20 Foodcap International Limited Methods and apparatus for thermal regulation of perishable products
US20070213869A1 (en) * 2006-02-08 2007-09-13 Intermec Ip Corp. Cargo transporter with automatic data collection devices
DE102006012205A1 (de) * 2006-03-16 2007-09-20 Still Gmbh Flurförderzeug mit einem Hubmast
US7699141B2 (en) * 2006-03-20 2010-04-20 Fossier David A Pallet distance ranging device for forklift
FI124747B (fi) * 2006-04-25 2015-01-15 Jyri Vaherto Menetelmä ja järjestelmä trukin käyttäjän avustamiseksi
US7643893B2 (en) 2006-07-24 2010-01-05 The Boeing Company Closed-loop feedback control using motion capture systems
US7813888B2 (en) 2006-07-24 2010-10-12 The Boeing Company Autonomous vehicle rapid development testbed systems and methods
US7885732B2 (en) 2006-10-25 2011-02-08 The Boeing Company Systems and methods for haptics-enabled teleoperation of vehicles and other devices
DE202007007951U1 (de) * 2007-06-06 2007-08-16 Jungheinrich Aktiengesellschaft Bedienvorrichtung für mindestens zwei Funktionen eines Flurförderzeugs
DE102008027695B4 (de) 2008-04-20 2022-07-07 Still Gesellschaft Mit Beschränkter Haftung Verfahren für die Lagerungspositionsansteuerung bei Flurförderzeugen
JP5353371B2 (ja) * 2008-05-26 2013-11-27 株式会社豊田自動織機 多段マスト式フォークリフトの荷重計測装置
US8068983B2 (en) * 2008-06-11 2011-11-29 The Boeing Company Virtual environment systems and methods
US7992686B2 (en) * 2008-07-10 2011-08-09 The Raymond Corporation Pallet counter for lift truck
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
JP5495055B2 (ja) * 2009-10-02 2014-05-21 株式会社ダイフク 位置判別装置及びそれが装備された移動体
DE102010044656A1 (de) * 2010-09-08 2012-03-08 Jungheinrich Aktiengesellschaft Flurförderzeug mit einem Hubhöhensensor
US9317037B2 (en) * 2011-10-03 2016-04-19 Vocollect, Inc. Warehouse vehicle navigation system and method
CN103875021B (zh) 2011-10-19 2017-07-11 克朗设备公司 识别并选择图像场景中可能对应于托盘的对象
WO2013102212A1 (en) * 2011-12-30 2013-07-04 Seegrid Corporation Auto-navigating vehicle with field-of-view enhancing sensor positioning and method of accomplishing same
EP2636620A1 (en) * 2012-03-07 2013-09-11 The Procter and Gamble Company Apparatus for handling layers of goods.
DE102012108034A1 (de) * 2012-04-20 2013-10-24 Still Gmbh Steuerungsverfahren für Flurförderzeug sowie Flurförderzeug
DE102012108028A1 (de) * 2012-04-20 2013-10-24 Still Gmbh Steuerverfahren für Lastabsetzung eines Flurförderzeugs sowie Flurförderzeug
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9131119B2 (en) * 2012-11-27 2015-09-08 Caterpillar Inc. Perception based loading
AU2014204011A1 (en) * 2013-01-03 2015-05-21 Crown Equipment Corporation Tracking industrial vehicle operator quality
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
ITPI20130076A1 (it) * 2013-08-28 2015-03-01 Pasquale Villa Dispositivo antiribaltamento per veicoli
US9965856B2 (en) 2013-10-22 2018-05-08 Seegrid Corporation Ranging cameras using a common substrate
AU2015280776B2 (en) * 2014-06-27 2019-08-22 Crown Equipment Corporation Vehicle positioning or navigation utilizing associated feature pairs
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
KR102300161B1 (ko) 2014-09-15 2021-09-10 크라운 이큅먼트 코포레이션 광학적 적재물 감지 구조물을 구비한 리프트 트럭
EP3000771B1 (en) * 2014-09-25 2017-11-22 Toyota Material Handling Manufacturing Sweden AB Fork-lift truck
EP3000772B1 (en) 2014-09-25 2017-04-12 Toyota Material Handling Manufacturing Sweden AB Fork-lift truck and method for operating a fork-lift truck
EP3000773B1 (en) 2014-09-25 2017-04-12 Toyota Material Handling Manufacturing Sweden AB Method in forklift truck for determining a load position in a load rack
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
EP3020868B1 (en) * 2014-11-14 2020-11-04 Caterpillar Inc. Machine of a kind comprising a body and an implement movable relative to the body with a system for assisting a user of the machine
CN107074514B (zh) 2015-01-29 2020-03-20 克朗设备公司 用于物料搬运车辆的控制模块和掌托
USD767457S1 (en) 2015-02-06 2016-09-27 Crown Equipment Corporation Vehicle palm rest
USD775449S1 (en) 2015-02-06 2016-12-27 Crown Equipment Corporation Vehicle handhold element
JP6332115B2 (ja) * 2015-04-06 2018-05-30 株式会社ダイフク 物品収納設備
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
CN105036013B (zh) * 2015-05-27 2017-06-06 宁波大学 一种叉车自动控制系统及其控制方法
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
EP4145263A1 (en) 2015-07-17 2023-03-08 Crown Equipment Corporation Processing device having a graphical user interface for industrial vehicle
US9963331B1 (en) * 2015-09-10 2018-05-08 X Development Llc Systems and methods for operating a powered pallet jack with steerable forks
US9826213B1 (en) * 2015-09-22 2017-11-21 X Development Llc Generating an image-based identifier for a stretch wrapped loaded pallet based on images captured in association with application of stretch wrap to the loaded pallet
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
CN105607635B (zh) * 2016-01-05 2018-12-14 东莞市松迪智能机器人科技有限公司 自动导引车全景光学视觉导航控制系统及全向自动导引车
RU2619843C1 (ru) * 2016-01-11 2017-05-18 федеральное государственное бюджетное образовательное учреждение высшего образования "Южно-Российский государственный политехнический университет (НПИ) имени М.И. Платова" Способ автоматического контроля перемещения складских грузовых платформ и устройство для его осуществления
TWI641933B (zh) * 2016-01-15 2018-11-21 施教競 Processing method of processing machine
US10025314B2 (en) * 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
EP3545398B1 (en) 2016-11-22 2023-01-04 Crown Equipment Corporation User interface device for industrial vehicle
DE102016123541A1 (de) * 2016-12-06 2018-06-07 Jungheinrich Aktiengesellschaft Verfahren zur automatischen Ausrichtung eines Flurförderzeugs in einem Warenlager sowie System aus einem Flurförderzeug und einem Warenlager
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US11142442B2 (en) 2017-02-10 2021-10-12 Arrow Acquisition, Llc System and method for dynamically controlling the stability of an industrial vehicle
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
CN107291079B (zh) * 2017-06-19 2020-07-17 中国烟草总公司广东省公司 农用智能系统的行走控制方法及行走控制系统
DE102017116626A1 (de) * 2017-07-24 2019-01-24 Still Gmbh Flurförderzeug
DE102017116625A1 (de) * 2017-07-24 2019-01-24 Still Gmbh Flurförderzeug
US11474254B2 (en) 2017-11-07 2022-10-18 Piaggio Fast Forward Inc. Multi-axes scanning system from single-axis scanner
US11465840B2 (en) 2017-11-14 2022-10-11 Hai Robotics Co., Ltd. Handling robot
US20220371821A1 (en) 2017-11-14 2022-11-24 Hai Robotics Co., Ltd. Handling robot
US10640349B2 (en) 2018-02-02 2020-05-05 Cascade Corporation Tilting side-shifting carriage for a lift truck
US10865084B2 (en) 2018-04-05 2020-12-15 Walmart Apollo, Llc Configurable item display dolly
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US11590997B1 (en) 2018-08-07 2023-02-28 Staples, Inc. Autonomous shopping cart
US11630447B1 (en) * 2018-08-10 2023-04-18 Staples, Inc. Automated guided vehicle for transporting objects
US11591197B2 (en) 2019-04-05 2023-02-28 The Raymond Corporation Load handling module for a material handling vehicle
CN110182514A (zh) * 2019-05-14 2019-08-30 盐城品迅智能科技服务有限公司 一种智能物料搬运装备用自动寻迹导引车及寻迹方法
US11650596B2 (en) * 2019-05-31 2023-05-16 Cascade Corporation Load alignment aid
US20200385255A1 (en) * 2019-06-07 2020-12-10 Warner Electric Technology Llc Control System for a Mobile Lift Device
CN110615227B (zh) * 2019-09-10 2021-08-06 灵动科技(北京)有限公司 自动搬运系统
CN110944154B (zh) * 2019-12-05 2021-04-09 山东八五信息技术有限公司 一种高空瞭望摄像头图像中固定物体的标注与识别方法
JP2021165897A (ja) 2020-04-06 2021-10-14 三菱重工業株式会社 制御装置、移動制御システム、制御方法及びプログラム
CN114655799B (zh) * 2022-02-23 2023-06-27 杭州大中泊奥科技股份有限公司 升降机运行控制方法
US20230406681A1 (en) * 2022-06-17 2023-12-21 Effito Pte. Ltd. Apparatus for identification and positioning and cargo transportation apparatus

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54144658A (en) * 1978-04-28 1979-11-12 Volvo Ab Device that direct lift means in specified direction in relation to load
US5208753A (en) 1991-03-28 1993-05-04 Acuff Dallas W Forklift alignment system
JPH06135698A (ja) * 1992-10-23 1994-05-17 Shinko Electric Co Ltd フォークリフトの荷役制御装置
JPH06239410A (ja) * 1993-02-10 1994-08-30 Hitachi Ltd 入出庫作業用クレーンの制御方法
JPH08322121A (ja) * 1995-05-23 1996-12-03 Mitsui Eng & Shipbuild Co Ltd 遠隔操作マニピュレータの位置決め方法および位置決め支援装置
US5586620A (en) * 1995-05-12 1996-12-24 Crown Equipment Corporation Remote viewing apparatus for fork lift trucks
JPH11278799A (ja) * 1998-03-24 1999-10-12 Mitsubishi Electric Corp 無人フォークリフトにおける荷取り制御装置および無人フォークリフトにおける荷取り制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4678329A (en) * 1985-10-18 1987-07-07 Calspan Corporation Automatically guided vehicle control system
JPH0554496A (ja) 1991-08-27 1993-03-05 Sony Corp テーププレーヤ
IT1275664B1 (it) * 1994-11-16 1997-10-17 Consorzio Telerobot Sistema per il controlllo e guida automatica di un gruppo elevatore a forche
US5897286A (en) * 1997-11-21 1999-04-27 Whittaker; Howard E Forklift pallet stop
US6952488B2 (en) * 2001-08-27 2005-10-04 Carnegie Mellon University System and method for object localization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54144658A (en) * 1978-04-28 1979-11-12 Volvo Ab Device that direct lift means in specified direction in relation to load
US5208753A (en) 1991-03-28 1993-05-04 Acuff Dallas W Forklift alignment system
JPH06135698A (ja) * 1992-10-23 1994-05-17 Shinko Electric Co Ltd フォークリフトの荷役制御装置
JPH06239410A (ja) * 1993-02-10 1994-08-30 Hitachi Ltd 入出庫作業用クレーンの制御方法
US5586620A (en) * 1995-05-12 1996-12-24 Crown Equipment Corporation Remote viewing apparatus for fork lift trucks
JPH08322121A (ja) * 1995-05-23 1996-12-03 Mitsui Eng & Shipbuild Co Ltd 遠隔操作マニピュレータの位置決め方法および位置決め支援装置
JPH11278799A (ja) * 1998-03-24 1999-10-12 Mitsubishi Electric Corp 無人フォークリフトにおける荷取り制御装置および無人フォークリフトにおける荷取り制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1502896A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259631A1 (ja) * 2021-06-09 2022-12-15 ソニーグループ株式会社 移動体、報知方法、及び報知システム
CN113848910A (zh) * 2021-09-27 2021-12-28 东风本田发动机有限公司 导航系统、导航控制方法及装置、控制器、agv小车
CN113848910B (zh) * 2021-09-27 2022-08-02 东风本田发动机有限公司 导航系统、导航控制方法及装置、控制器、agv小车

Also Published As

Publication number Publication date
US7010404B2 (en) 2006-03-07
EP1502896A4 (en) 2009-11-18
US20040073359A1 (en) 2004-04-15
EP1502896A1 (en) 2005-02-02

Similar Documents

Publication Publication Date Title
WO2003062127A1 (fr) Dispositif et procede de commande de la position d'un appareil de manutention dans un vehicule industriel
EP1361190B1 (en) Camera lifting device and load handling support device of industrial vehicle, and industrial vehicle
US7219769B2 (en) Industrial vehicle equipped with load handling operation control apparatus
JP3921968B2 (ja) 位置検出方法及び位置検出装置
JP2003171094A (ja) 産業車両用のハンドルノブ及び産業車両
JP3900941B2 (ja) フォークリフトトラックの作業視野支援装置及びフォークリフトトラック、産業車両の作業視野支援装置及び産業車両
WO2020039817A1 (ja) フォークリフト用荷役作業支援装置
JP2003034496A (ja) 産業車両における荷役支援報知装置及び産業車両
JP3900942B2 (ja) 産業車両における荷役機器の自動位置制御装置、産業車両及び荷役機器の自動位置制御方法
JP4961643B2 (ja) 産業車両における荷役制御装置及び産業車両
JP3858703B2 (ja) 産業車両における荷役作業支援装置及び産業車両
JP2003128395A (ja) 産業車両における荷役作業支援装置及び産業車両
JP2020125197A (ja) リーチ式フォークリフト用荷役作業支援装置
JP2003155199A (ja) 産業車両の音声報知装置及び産業車両
JP2002241094A (ja) 産業車両におけるカメラ昇降装置
WO2020095602A1 (ja) フォークリフトの遠隔操作システム
JP7099399B2 (ja) 荷役支援システム
JP2003089500A (ja) 荷役レバー及び産業車両
JP3900887B2 (ja) 産業車両の作業モード切替装置及び産業車両
JP3941521B2 (ja) 産業車両の標識選定装置及び産業車両
JP2003155198A (ja) 産業車両における荷役作業支援装置及び産業車両
WO2020085068A1 (ja) フォークリフトの遠隔操作システム
JP7435432B2 (ja) フォークリフト
WO2020085067A1 (ja) フォークリフトの遠隔操作システム
JP2021020793A (ja) 荷役車両の操作支援装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2002712416

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10470129

Country of ref document: US

AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2002712416

Country of ref document: EP