JPH03252707A - Unmanned forklift with vision - Google Patents

Unmanned forklift with vision

Info

Publication number
JPH03252707A
JPH03252707A JP2049497A JP4949790A JPH03252707A JP H03252707 A JPH03252707 A JP H03252707A JP 2049497 A JP2049497 A JP 2049497A JP 4949790 A JP4949790 A JP 4949790A JP H03252707 A JPH03252707 A JP H03252707A
Authority
JP
Japan
Prior art keywords
cargo
travel
image
imaging means
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2049497A
Other languages
Japanese (ja)
Other versions
JP2855147B2 (en
Inventor
Shuichi Sunahara
秀一 砂原
Yoshito Kato
加藤 由人
Kazutoshi Yoshikawa
和利 吉川
Eisaku Takinami
滝波 栄作
Shingo Yamada
慎吾 山田
Gunji Sugimoto
杉本 軍司
Yoshiki Ninomiya
芳樹 二宮
Arata Takahashi
新 高橋
Takero Hongo
武朗 本郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Toyoda Automatic Loom Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc, Toyoda Automatic Loom Works Ltd filed Critical Toyota Motor Corp
Priority to JP2049497A priority Critical patent/JP2855147B2/en
Publication of JPH03252707A publication Critical patent/JPH03252707A/en
Application granted granted Critical
Publication of JP2855147B2 publication Critical patent/JP2855147B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Forklifts And Lifting Vehicles (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

PURPOSE:To easily change a travel route by generating data of range where a carframe can travel with a first analysis means based on an image signal from a first image pickup means. CONSTITUTION:A television camera 51 for travel is provided with a function to photograph a white line plotted on the travel route, the edge of the travel route, and the type of facility in a factory arranged in the neighborhood of the travel route, and a photographed image is stored in an image memory 52, and is inputted to an image processing means 53. The image processing means 53 finds the range where an unmanned forklift can travel i.e. a travel area where the unmanned forklift 1 can travel by evading obstruction based on inputted image data. Thereby, it is possible to dispense with the installation of a specific mark to recognize the travel route by the unmanned forklift and to easily perform the change of the travel route.

Description

【発明の詳細な説明】[Detailed description of the invention]

[産業上の利用分野] 本発明は、生産工場等で使用される無人フォークリフ1
−に関し、とくに走行路面に敷設される誘導線や反則テ
ープ等を用いることなく走行可能な視覚(」無人フォー
クリフトに関する。 [従来の技術] 従来の無人搬送車における誘導方式には、走行路面に埋
設された誘導線によるものや、走行路面に貼付
[Industrial Application Field] The present invention relates to an unmanned forklift 1 used in a production factory, etc.
- In particular, it relates to unmanned forklifts that can travel without the use of guide lines or anti-fouling tape laid on the road surface. Those with guided wires or pasted on the driving road surface.

【プられ
た反則テープによるものや、ジャイロスコープを用いた
ものが知られている。 どころて、近年においては、走行路面上に配置された標
識を陽酸し、その画像画像中の画素信号を画像処理して
決定した走行経路に沿って無人搬送車を走行させるよう
にした技術が知られている(特開平1−188909号
公報、特開平1−188910号公報、特開平1−18
8911号公報)。この公報に開示されている画像式無
人搬送車においては、離散配置式のマークを画像し、そ
の画像中の画素信号を画像処理してマークを認識し、こ
れに基づいて走行ラインの偏位からステアリング角を決
定するようにしている。 [発明が解決しようとする課題] しかしながら、従来の無人搬送車においては、誘導手段
として誘導線や反射テープ等を走行路面に敷8シしなけ
ればならず、また、撮像装置を有する無人搬送車の場合
であっても、走行経路を認識するための特別のマークの
敷設か必要となる。したがって、走行経路を容易に変更
することが回動となり、生産方式の変更に迅速に対応で
きないという問題がある。 ところで、上述の技術は荷物を単に荷台に搭載する無人
搬送車の技術であり、所定の位置に配置された荷物をフ
A−りで受は止める無人フォークリフトの場合は、さら
に荷役に関して難しい問題が存在する。つまり、荷物が
位置ずれして配置されている場合は、位置ずれを考慮し
て荷役を行なわないと、荷物がフォークに対して正常な
状態で載荷されなくなり、荷物が走行中に荷崩れしたり
、路面への落下するという事態を招く。また、荷物の姿
勢が正常でない状態で荷役か行なわれると、たとえば顛
いた状態で荷物を搬送覆ることになり、上述と同様に路
面への落下を招く。 このように、従来の無人フォークリフ1〜においては、
フォークリフトの機台上の荷物の位置ずれ姿勢不良が特
定できないため、正常に荷役が行なわれない場合は、荷
物の搬送中にトラブルが発生しやすく、物流の効率向上
の妨げとなる。 本発明は、上記の問題に着目し、走行経路の変更が容易
にでき、しかも、正常な荷役作業を確実に行うことので
きる視覚付無人フォークリフトを提供することを目的と
する。 [課題を解決するための手段] この目的に沿う本発明に係る視覚付無人フォークリフト
は、つぎのような態様をとることができる。 (1) 走行可能な機台側に設けられ、走行経路に描か
れた白線、走行経路の路肩、該走行経路近1カに配置さ
れる工場内設備の形態を踊らえる第1のIk3像手段と
、 前記第1のVii像手段を保持し該第1の画像手段の視
野を変化させる第1の可動手段と、前記第1の画像手段
からの画像信号に基づき前記機台が走行可能な範囲のデ
ータを作成する第1の解析手段と、 前記機台によって搬送される荷物の形態を撮らえる第2
の画像手段と、 前記第2の11手段を保持し該第2の画像手段の視野を
変化させる第2の可動手段と、前記第2の画像手段から
の画像信号に基づき荷物の姿勢を求め、前記機台の荷物
へのアプローチ軌跡をμ正する第2の解析手段と、 を具備したことを特徴とする視覚付無人フォークリフト
。 (2) 走行可能な機台側に設(プられ、走行経路に描
かれた白線、走行経路の路肩、該走行経路近傍に配置さ
れる工場内設備の形態、該機台によって搬送される荷物
の形態を撮らえるVl像手段と、前記画像手段を保持し
該yri像手段の視野を変化させる可動手段と、 前記画像手段からの画像信号に基づき前記機台が走行可
自ヒな範囲のデータを作成するとともに、該機台の荷物
へのアプローチ軌跡を修正する解析手段と、 を具備したことを特徴とする視覚付無人フォークリフト
。 [作  用] このように構成された視覚付無人フォークリフトにおい
ては、第1の躍像手段によって、走行経路に描かれた白
線、走行経路の路肩、走行経路近傍に配置される工場内
設備の形態がそれぞれ搬えられる。この場合、第1の撮
像手段は第1の可動手段によって視野が変化されるため
、第1の撮像手段は広範囲にわたって走行経路の付近の
状態を踊えることができる。第1の躍像手段によって各
形態が囮えられると、第1の解析手段によって、フt−
クリフ]〜の機台の走行可能な範囲のデータが作成され
る。つまり、第1の躍像手段からの画像信号に基づき、
画像処理が行なわれ、機台が障害物を避けて走行可能な
走行領域が求められる。 また、第2の撮像手段は、機台によって搬送される荷物
の形態を囮え、第2の解析手段によってその画像が解析
される。この場合も、第2の躍像手段は第2の可動手段
によって視野が変化されるため、第2の撮像手段は広範
囲にわたって何物の状態を囮えることができる。第2の
躍像手段によって、画1!I98狸が行なわれると、荷
物の姿勢か認識され、機台のアプローチ軌跡が求められ
る。つまり、荷物がフl−夕に正常な状態で積載される
ように、機台の荷物への移動軌跡が求められ、これに基
づいて荷役が行なわれる。そのため、荷物か正規な位置
からずれていたり、またその姿勢が正常でない場合であ
っても、それを補正覆るような荷役が可能となり、荷物
はノA−りによって正常な状態で積載される。 なお、第1の躍像手段と第2の躍像手段をとを共用した
場合でも、走行経路f=l近の形態の認識と荷物の形態
の認識は可能であるので、装置の構成を簡素化しつつ上
述と同様な動作を行なうことかできる。 [実施例] 以下に、本発明に係る視覚付無人フォークリフトの望ま
しい実施例を、図面を参照して説明する。 第1実施例 第1図ないし第5図は、本発明の第1実施例を示してい
る。図において、図中、1は無人フィークリア1〜を示
しており、無人フォークリフト1は、走行路面2に沿っ
て走行する機台(車体)3を有している。機台3は、前
輪5、後輪6、走行モータ7、ステアリングモータ8、
マスト21.22等から構成されている。機台3は、走
行路面2に沿って延びる走行部フレーム3aを有してお
り、走行部フレーム3aには、21!!Jの前輪5と1
個の後輪6が取付けられている。前輪5は従動輪であり
、走行部フレーム3aの前端に1存置している。後輪6
は、操舵兼駆動輪であり、走行部フレーム3aの後方に
配置されている。後輪5は、上方に位置する走行モータ
7によって回転駆動され、かつステアリングモータ8に
よって操舵されるようになっている。 走行部フレーム3aの上方には、ケース9か設けられて
おり、ケース9内には運行、荷役制御処理装置としての
統括制御装置20等が収納されている。ケース9内には
バッテリ14が収納されており、このバッテリ14によ
って走行モータ7や後述する他の電気機器が駆動される
。 走行部フレーム3aの前端には、−上方に延びるマス]
・21.22が配置されており、両マスト21.22の
上端は、連結部材23を介して連結されている。 各マス(〜21.22の内側には、譬降手段としての油
圧シリンダ24.25か配置されている。各油圧シリン
ダ24.25の下端はマスト21.22にそれぞれ固定
されており、油圧シリンダのロットは」二方に延ひるJ
、うになっている。各ロットの先端には、スープ0ケツ
トかそれぞれ取イ」(〕られており、各スプロケットに
は一方かマス1〜に固定されたローラブ■−ンか掛(す
られている。 各マス1−21.22の外側には、このマス1〜21.
22に沿って摺動可能なガイド部IJ27か設けられて
いる。ガイド部材27には、1字形の)A−り33.3
4かそれぞれ取イ」(プられている。フォーク33.3
4は、周知の通り荷を持上げるものであり、その信女部
分は平坦となっている。 油圧シリンダ24.25は、走行部フレーム4aに取ト
1けられた油圧ユニツ1〜50から圧送されるオイルに
よって駆動されるようになっている。オイルの方向切換
制御は、統括fl、+制御装置20からの信号によって
作動覆る電磁バルブ51.52によって行なわれるよう
になっている。つまり、フォーク33.34は油圧シリ
ンダ24.25のロッドの伸縮によって臂降するように
なっており、フ4−り33.34のリフト量は、揚高セ
ン1ノ“35により検知される。 マスト21.22は、下端を支点として前後方向に傾倒
可能になっている。各マス]・21.22の下部には、
一方が走行部フレーム3a側に固定されたティルト用の
油圧シリンダ28.29が連結されており、この油圧シ
リンダ28.29の伸縮によって、マスト21.22が
前後方向に傾倒するようになっている。 つまり、無人フォークリフト1の走行時には、ディルI
・用の油圧シリンダ28.29が縮んだ状態となり、フ
4−り33.34の先端の高さが付根の部分よりも^く
なるように、マスト21.22を後方に傾(プるように
なっている。前人)t−クリア1へ1の荷役作業時には
、ティルト用の油圧シリンダ28.29が伸び状態とな
り、フA−り33.34の信女部分が水平となるように
、マス1〜21.22が直立状態にされる。 各ティルト用の油圧シリンダは、油圧ユニット50から
圧送されるオイルによって駆動されるようになっている
。この場合のオイルの方向切換制御は、統括制街1装置
20からの信号によって作動す゛る電磁弁53にJ:つ
て行なわれる。マス1〜21の下端近傍には、マスト2
1のデイルト状態を確認するためのアイルi・角検出セ
ンサ71か配置されており、ディルI・角検出レン昏す
71は統括制御装置20と接続されている。 マス1へ21の下端には、第5図に示すように、マス1
ヘリーチシリンダ72が3重粘されており、゛ンスI〜
21は荷役時に、このマス1〜リーチ用のシリンダ72
によって前方に押し出されるようになっている。 油圧シリンダ72は、統括制御装置20によって制御さ
れる電磁バルブ73に接続されている。マスト21の移
動量は、リーチセンサ36によって検知されるようにな
っている。リーチセンサ36からの信号は、統括制御装
置20に入力されるようになっている。 なお、マス1〜21には、リフ1−荷重センサ37が設
けられている1、リフト荷重センソ37は、機台3に載
荷された荷物の重ωを検出するものて必り、このリフト
伺車センリ37によって検知された重子に拮づい“(、
)4−り33.34の駆動するための℃−夕のサボーゲ
インおよび、走行モータ7、スデアリングし一夕8の1
ノ−−ボゲインを変更し、ロスの少ない最適な動作か実
現可能となっている。このリフ1〜タ■手セン1ノ37
からの信号は、統括制御装置20に入力される。 機台3のフA−り33.34のつり根の上方には、積荷
位置検出センサ38が設けられている9、この積荷位置
検出センサ38は、フA−り33.34上のどの位置に
荷物が11!荷されているかを検出し、後述するレッグ
センサ44の情報を基に機台3のアブロヂ軌跡を修正さ
せる機能を有する。この積萄装置検出セン1ノ38およ
びレッグセンサ44からの(9号も統括制御装置20に
入力されている。 左右の前輪5には、位置検出のためのエンコーダ40a
 、40bがそれぞれ連結されている。各エンコーダ4
0a 、40bは前輪5の回転量を開側する機能を右し
、走行距離d3よび左右の回転量の差から直進性を検出
1−るようになっている。後輪6には、エンコーダ41
か連結されている。エンコーダ41は後輪6の操舵角を
検出覆る機能を右する。 フA−り33.34のつり根部分には、フA−り33.
34か荷物45が載せられるパレット46に完全に差込
まれたか否かを検知するフΔ−り差込検出セン1ノ42
が設【プられている。また、フA−り差込検出セン+)
42の近1力には、パレッ1〜46を検出Jるパレッ]
・接触検出センサ“43が設けられている。 機台3の前端部には、パレット46の横方向の変位を検
出するレッグセンサ44が取ト1(プられている。 レッグセンサ44は、光切断式の2次元セン1)から構
成されており、左右の前輪(径幅)5近傍にそれぞれ1
個ずつ配置されている。このレッグセンサ44は、後述
する県像手段で対象物となるvJVIJJA 5に機台
3が1〜5 m接近したときに、パレット46の位置ず
れ量を検知し、パレツ1〜46に載けられた荷物45の
位置、姿勢を正確に計測する機能をイjvる。このレッ
グセン1ノ44からのデータに基づき機台3の荷物45
へのアブ[l−チ軌跡が修正され、正確な荷役作業が実
現可能となっている。 フォーク33.34の先端部には、)A−クセン橿ノ4
5がR’Atノられており、このフォークセンサ48は
、上)小と同様に、光切断式の2次元センサから構成さ
れている。フォークセンサ48は、パレッ1〜46のフ
A−り挿入口の検出と、パレッ]〜46の縦方向の変位
を検出する機能を有する。フォークセンサ48からの信
号は、統括制til11装置20へ入力されている。 これににす、荷役位置での作業高さ変動に対応可能とな
っている。 機台3の上端部には、第1の顕像手段としての走行用テ
レビカメラ(CCDカメラ)51が配置されている。走
行用テレビカメラ51は、第1の可動手段としての雲台
54を介して機台3に固定されている。雲台54は、走
行用テレビカメラ51を上下、左右方向に首振りさせる
機能を有しており、これにより走行用テレビカメラ51
の視野が大幅に拡大されている。 走行用テレビカメラ51は、画像メ−しり52、第1の
解析手段としての画像処理手段53を介して統括制り1
1装置20の運行、vJ役制御処理装置20aに接続さ
れている。走行用テレビカメラ51は、走行経路に描か
れた白線、走行経路の路肩、走行経路近傍に配置される
工場内設備の形態を囮える機能を右している。本実施例
では、画素信号のレベルを高くするために、白線を走行
経路に描いているが、路面が18 eである場合は色は
白線には限られず明るい色であればその機能は十分にJ
ffl揮される。画鯨メ[す52は、走行用ブレビカメ
ラ51にJ、って距影された走行経路(」近の画像を2
値化(2進数に置換)して記憶するものである。画像処
理手段53は、画像メモリ52に記憶された画像データ
に基づき、機台3か走行可能な範囲のデータを作成復る
ようになっている。 マスト21の上部には、第2の撮像手段としての荷役用
テレビカメラ(CCDカメラ〉61が配置されている。 荷役用テレビカメラ61は、第2の可動手段としての雲
台64を介してマスト21に固定されている。雲台64
は、荷役用テレビカメラ61を上下、左右方向に首振り
させる機能を有しており、これにより葡1費用テレビカ
メラ61の視野が大幅に拡大されている。 伺1り用テレビカメラ61は、画像メモリ62、第2の
解析手段としての画像処理手段63を介して統括制御装
置20の運行、荷役制御処理装置20aに接続されてい
る。荷19用デレビカメラ61は、機台3によって搬送
される荷物45の形態を踊える機能を右している。画像
メモリ62は、荷役用テレビカメラ61によって!lj
:を影された荷物45の画像を2値化して記憶りる機能
を右する。また、画像処理手段63は、画像メモリ62
に記憶された画像データに基づき、荷物45が複数か否
かの判断をするようになっている。画像処理手段63は
、たとえば、画像メモリ62に記憶された画像データに
基づき積上げられた荷物の左上隅点と、左下隅点と、右
下隅点を検索するようになっている。そして、これらの
各点の検索により、荷物の下辺の長さ(幅)と、積上げ
られた荷物の高さとから、アスペクト比を計算するよう
になっている。画像処理手段63には、予め1個の荷物
45のみのアスペク1〜比か記憶されてd3す、積荷全
体のアスペクI・比と荷積1個のアスペク1〜比を比軸
覆ることにより、何の積上げ段数かpは1されるように
なっている。 このように、第2の解析手段としての画像処理手段63
は、対象物である荷物45を3次元的に計測し、機台3
からの荷物45の位置姿勢のデータを作成覆る機能を右
する。そして、この荷物45の位置姿勢のデータから機
台3の荷物45へのアブローヂ軌跡か修正されるにうに
なっている。 つぎに、上記の視覚14無人フ4−クリノ1−におりる
作用について説明覆る。 無人フォークリフi・1は、行先([1標ステーシヨン
)が指示されると、走行路面2に沿って走行する。走行
時には、]−ンコーダ40a 、 40bによって走行
距離が副側されるととしに、両エンコーダの回転の差か
ら直進性が検出される。走行時には、無人フA−クリフ
1〜1は、所定のスデーションであるか否か判断しつつ
走行し、無人フォークリフト1の走行方向の前方の視野
は、走行用テレビカメラ51によって穎えられる。この
場合、走行用テレビカメラ51は、雲台54によって、
上下、左右方向に首振り可能となっているので、進行方
向の視野が大幅に拡大される。走行用テレビカメラ51
は、上述したにうに、走行経路に描かれた白線、走行経
路の路肩、走行経路近傍に配置される工場内設備の形態
を躍える機能を有しており、走行用テレビカメラ51に
よって記らえられた画像は、画像メモリ52に記憶され
る。この画像は画像処理手段53によって入力される。 画像処理手段53では、入力された画像データに基づき
無人フォークリフト1が走行可能な範囲のデータが作成
される。つまり、画像処理手段53によって無人フォー
クリフ1−1が陣書物を避けて走行可能な走行領域が求
められる。 したがって、従来のように、無人フォークリア1〜に走
行経路を認識させるための特別のマークの敷設が不要ど
なり、走行経路の変更が容易になる。 無人フォークリフ1〜1が目標のステーションに到達す
ると、無人フt−クリフ]・1は荷物45に対して徐々
に接近する。この場合、荷物45は荷役用テレビカメラ
61によって倣えられる。荷19用デレビカメラ61は
、去゛台64ににつて上下、左右方向に首振り可能とな
っているので、荷物45が複数台(こ重ねられていても
積荷全体を無人)A−クリット1が静止した状態で囮え
ることができる。荷役用テレビカメラ61によって囮ら
えられた画像は、画像メモリ62に記憶される。画像メ
モリ62に記憶された荷物45の画像は画(3)処理手
段63によって3次元計測され、その大きさ、姿勢が解
析される。つまり、ここでは、積荷全体が座標化され、
積荷全体のアスペクト比と荷物1個のアスペクト比が比
較され、荷の積上げ高さが締出されるとともに、正規な
姿勢に対する荷物45の実際の位置ずれが締出される。 荷物45の位置、高さ、姿勢が求められると、このデー
タに基づいて、無人フォークリフ]〜1の荷物45への
アプローチ軌跡が修正される。すなわち、無人フォーク
リフト1には、予め荷物45に向って進行する走行パタ
ーンが記憶されており、この走行パターンは、実際の荷
物45の位置ずれ絹等に基づいて修正される。 無人フォークリフト1が荷物45に接近すると、機台3
の前端部に取イ」けられたレッグセンサ44により、荷
物45が載せられたパレツ1〜46の横方向の変位が検
出される。そのため、荷物45の位置、姿勢が荷役用テ
レビカメラ61で踊えたデータよりも、さらに精度よく
計測される。このレッグセン1ノ44によって詰測され
たデータに括づいて、無人フA−クリフl〜1の荷物4
5へのアプローチ軌跡は、さらに精度のよいものに修正
される。したがって、無人フA−クリフ1〜1は、荷物
45の位置ずれに応じた方向から荷物45に接近するこ
とが可能となる。 無人フl−クリフI〜1が荷物45に対して所定の距離
まで接近すると、無人フl−クリフ]〜1の走行は停止
される。無人フォークリフl−1が完全に停止すると、
マスミルリーチ用の油圧シリンダ72のロッドが伸長し
、フA−り33.34は、確実にパレット46内に差込
まれる。フA−り33.34が完全にパレット46内に
差込まれたか否かの確認は、−ノオーク差込検出センサ
42によって行なわれる。 パレット46内にフl−り33.34が差込まれると、
アイル1〜用の油圧シリンダ61.62のロッドが収縮
し、パレッ]・46および荷物45は無人フォークリフ
1〜1の機台3側に傾()られる。パレット46おにび
荷物45が機台31側に若干顛りられると、油圧シリン
ダ24.25の[]ツドが伸長し、パレッ(〜46およ
び荷物45は、)Δ−り33.34の上背によって床面
から持−七げられる。この1人感では、フA−り33.
34十にパレッ1〜46が載荷されたことを意味覆る信
おかバレッ]〜接触検出センサ43から統括制御装置2
0に出力される。パレット46がフA−り33.34に
J:つて持上げられると、パレット46おJ、び荷物4
5の荷重は、リフミル荷車センサ37によって検知され
る。リフ1−荷重セン1ノ37にJ:つてパレッh 4
6J−; J:び荷物45の′vJ重が検知されると、
この荷重に基づいて走行モータ7、ステアリングモータ
8のり一ボゲインが変更され、ロスの少ない最適な動作
が実現される。 また、パレッ1〜46および荷物45が持ち上げられた
状態では、積荷位置検出センサ38により、パレッ1〜
46がフl−り33.34のどの位置に載荷されている
のかが検知される。これにより、パレット46かフォー
ク33.34の適性な位置に載荷にされない場合を判断
することができる。したがって、パレット46が適性な
位置に載荷されない場合は、無人フォークリフト1は一
旦、パレット46から後退し、再びフA−り33.34
の差込み動作が行なわれる。 すなわち、ここでは、1tPJ荷位置検出センサ38と
、上述のレッグセンサ44どの情報からアプローチ軌跡
か修正され、これに基づいてパレッI〜46の正規の位
置にフA−り33.34が差込まれる。 パレッ1−46および荷物45がフォーク33.34に
よって持上げられると、揚高センサ35によりフォーク
33.34の高さが検知され、フォーク33.34は予
め設定された位置にて停止される。この状態で、111
(人)A−クリ71〜1は、次の目的地に向って走行し
、目的地にてパレッ1−46および荷物45の荷おろし
を行なう。 このように、パレッ]〜46おにび荷物45が正規の位
置に正確にセットされていない場合でも、それに対応し
た荷役か可能となり、パレッ1−46は、フォーク33
.34の最も適した位置で受は止められる。 したがって、荷物45の搬送中に荷物45が前面れした
り、路面へ落下するJ:うな事態は回避され、効率のよ
い搬送が行なわれる。 第2実施例 第6図は、本発明の第2実施例を示している。 第2実施例が第1実施例と異なるところは、撮像手段の
構成と取付(プ位置のみであり、ぞの他の部分は第1実
施例に準じるので、準じる部分に第1実施例と同一の付
号を付づことにより、準じる部分の説明を省略し、異な
る部分についてのみ説明する。 第6図において、101は層像手段としての走行、荷倹
用デレビカメラを示している。第1実施例においては、
無人)A−クリ7I〜1に第1の撮像手段と第2のM像
手段とがそれぞれ設Cノられていたが、本実施例では、
歴象手段は1つになっている。 すなわち、本実施例では、撮像手段101は、走行経路
に描かれた白線、走行経路の路肩、走行経路近傍に配置
される工場内設備の形態、搬送される荷物3の形態を倣
える機能とを有している。路間手段101は、可動手段
としての雲台102を介してマスト21の頂部に設けら
れている。雲台102は、走行、vJ役用テレビカメラ
101を上下、左右方向にm振りさせる機能を右してお
り、これにより走行、前々用】レビカメラ201の視野
が大幅に拡大されている。本実施例の雲台102は、全
周方向(360℃)に旋回可能となっている。 このように、構成された第2実施例にJ3いては、1台
のテレビカメラか走行用テレビカメラの機能と荷役用テ
レビカメラの機能を兼用覆−るので、第1実施例の場合
よりし装置の構成が簡素化され、装置]ス1への低減が
はかれる。 [発明の効果] 以上説明したように、本発明に係る視覚付無人フォーク
リフ1〜によるときは、走行経路に描かれた白線、走行
経路の路肩、走行経路近傍に配置される工場内股輸の形
態を第1の可動手段にJ:り保持される第1の撮像手段
によって囮え、この第1の撮像手段からの画像信号に基
づいては台が走行可能な範囲のデータを第1の解析手段
にJ:って作成するようにしたので、無人フォークリフ
]・は無軌道での走行か可能となる。したかって、従来
のように、走行経路を認識させるための特別のマーク等
の敷設が不要となり、走行経路を容易に変更覆ることが
できる。これにより、生産方式の変更に迅速に対応Jる
ことかできる。 また、搬送きれる荷物の形態を第2の可動手段によって
保持される第2の層像手段によって囮え、第2のMy像
手段からの画像信号に皐づき荷物の姿勢を求め、機台の
荷物へのアプローチ軌跡を第2の解析手段ににって修正
覆るようにしたので、荷物をフA−りに対して正常な状
態で載荷することができ、走行時にお【ノる荷物の前面
れや、路面への落下を確実に防止することができる。 なお、走行経路に描かれた白線、走行経路の路肩、走行
経路近傍に配置される工場内設備の形態、さらに搬送さ
れる荷物の形態を囮えることができる撮像手段を用いる
ことにより、2つの泥像手段を1つの囮像手段にまとめ
ることかでき、装置の構成を簡素化することができる。
[Some methods are known, including one using a foul tape that has been pulled and one using a gyroscope. However, in recent years, technology has been developed that allows an automated guided vehicle to travel along a travel route determined by anodicizing signs placed on the road surface and processing the pixel signals in the image. known (JP-A-1-188909, JP-A-1-188910, JP-A-1-18)
Publication No. 8911). The image-based automatic guided vehicle disclosed in this publication images discretely arranged marks, processes the pixel signals in the image to recognize the marks, and based on this, determines the deviation of the travel line. I am trying to determine the steering angle. [Problems to be Solved by the Invention] However, in conventional automatic guided vehicles, guide wires, reflective tape, etc. must be laid on the traveling road surface as a guiding means, and automatic guided vehicles equipped with imaging devices Even in this case, it is necessary to install special markings to recognize the driving route. Therefore, there is a problem in that easily changing the traveling route involves turning, and it is not possible to respond quickly to changes in the production method. By the way, the above-mentioned technology is a technology for automatic guided vehicles that simply loads cargo onto a loading platform, and in the case of an unmanned forklift that receives cargo placed at a predetermined location on a ramp, there are even more difficult problems regarding cargo handling. exist. In other words, if the cargo is placed out of alignment, if you do not take the misalignment into consideration when handling the cargo, the cargo will not be loaded correctly on the fork, and the cargo may collapse while traveling. , leading to a fall onto the road surface. Furthermore, if cargo is handled while the cargo is not in its normal position, the cargo may be transported in a slumped state, causing it to fall onto the road as described above. In this way, in the conventional unmanned forklift 1~,
If the cargo is not handled properly because it is not possible to identify misalignment or poor posture of the cargo on the forklift platform, problems are likely to occur during the transportation of the cargo, which hinders the improvement of logistics efficiency. The present invention has focused on the above-mentioned problems, and an object of the present invention is to provide an unmanned forklift with visual function that can easily change the travel route and can reliably perform normal cargo handling operations. [Means for Solving the Problems] The unmanned forklift with vision according to the present invention that meets this objective can take the following aspects. (1) A first Ik3 image means, which is installed on the side of the machine that can travel, and can show the white line drawn on the travel route, the road shoulder of the travel route, and the form of factory equipment placed near the travel route. a first movable means that holds the first Vii image means and changes the field of view of the first image means; and a range within which the machine base can travel based on the image signal from the first image means. a first analysis means that creates data on the machine; and a second analysis means that captures the form of the cargo transported by the machine.
an image means, a second movable means for holding the second eleven means and changing the field of view of the second image means, and determining the attitude of the baggage based on the image signal from the second image means, An unmanned forklift with vision, comprising: second analysis means for correcting the trajectory of the approach of the machine to the cargo; and an unmanned forklift with vision. (2) White lines installed on the side of the machine that can run and drawn on the running route, road shoulders of the running route, form of factory equipment placed near the running route, and cargo carried by the machine. a movable means for holding the image means and changing the field of view of the YRI image means; and data on a range within which the machine can travel based on the image signal from the image means. An unmanned forklift with a visual system, characterized in that the unmanned forklift with a visual system is equipped with the following: , the first imaging means carries the white line drawn on the driving route, the shoulder of the driving route, and the form of factory equipment placed near the driving route.In this case, the first imaging means Since the field of view is changed by the first movable means, the first imaging means can dance around the driving route over a wide range.When each form is captured by the first imaging means, the first imaging means By the analysis means of
[Cliff] ~ data on the range in which the machine can travel is created. That is, based on the image signal from the first image capturing means,
Image processing is performed to find a travel area in which the machine can avoid obstacles. Further, the second imaging means captures the form of the cargo being transported by the machine, and the second analysis means analyzes the image. In this case as well, since the field of view of the second imaging means is changed by the second movable means, the second imaging means can capture the state of something over a wide range. By the second leaping means, picture 1! When I98 Tanuki is performed, the attitude of the cargo is recognized and the approach trajectory of the aircraft is determined. In other words, the locus of movement of the machine to the cargo is determined so that the cargo is loaded in a normal state throughout the day, and cargo handling is performed based on this. Therefore, even if the cargo is deviated from its normal position or its posture is not normal, it is possible to handle the cargo in a way that corrects and covers it, and the cargo is loaded in a normal state by nodding. Note that even if the first image-jumping means and the second image-jumping means are shared, it is possible to recognize the form near the traveling route f=l and the form of the baggage, so the configuration of the device can be simplified. It is possible to perform operations similar to those described above while changing the [Embodiments] Hereinafter, preferred embodiments of the visual unmanned forklift according to the present invention will be described with reference to the drawings. First Embodiment FIGS. 1 to 5 show a first embodiment of the present invention. In the figure, reference numeral 1 indicates an unmanned vehicle lift 1 to 1, and the unmanned forklift 1 has a machine platform (vehicle body) 3 that travels along a traveling road surface 2. The machine base 3 includes a front wheel 5, a rear wheel 6, a running motor 7, a steering motor 8,
It consists of masts 21, 22, etc. The machine base 3 has a running section frame 3a extending along the running road surface 2, and the running section frame 3a has 21! ! J's front wheels 5 and 1
rear wheels 6 are attached. The front wheel 5 is a driven wheel, and is placed at the front end of the traveling section frame 3a. rear wheel 6
is a steering/driving wheel, which is arranged at the rear of the traveling section frame 3a. The rear wheels 5 are rotationally driven by a traveling motor 7 located above, and are steered by a steering motor 8. A case 9 is provided above the travel section frame 3a, and a general control device 20 as a transportation and cargo handling control processing device is housed in the case 9. A battery 14 is housed in the case 9, and the battery 14 drives the travel motor 7 and other electrical equipment described later. At the front end of the running section frame 3a, there is a space extending upward.
- 21 and 22 are arranged, and the upper ends of both masts 21 and 22 are connected via a connecting member 23. A hydraulic cylinder 24.25 as a descending means is arranged inside each mass (~21.22).The lower end of each hydraulic cylinder 24.25 is fixed to the mast 21.22, and the hydraulic cylinder The lot is 'Nikata Enhiru J
, is becoming a sea urchin. At the tip of each lot, there is a bowl of soup, and each sprocket is threaded with a roller rubber fixed to one side or square 1. Outside of 21.22, these squares 1 to 21.
A guide portion IJ27 that is slidable along 22 is provided. The guide member 27 has a 1-shaped) A-ri 33.3.
4 or each is taken.'' (Pulled. Fork 33.3
4 is for lifting loads, as is well known, and its maiden part is flat. The hydraulic cylinders 24 and 25 are driven by oil pumped from hydraulic units 1 to 50 mounted on the travel section frame 4a. Oil direction switching control is performed by electromagnetic valves 51, 52 which are activated by signals from the general control device 20. In other words, the forks 33, 34 are raised and lowered by the expansion and contraction of the rods of the hydraulic cylinders 24, 25, and the amount of lift of the forks 33, 34 is detected by the lift height sensor 1-35. The masts 21.22 can be tilted forward and backward using the lower end as a fulcrum.At the bottom of each mast 21.22,
Hydraulic cylinders 28.29 for tilting, one of which is fixed to the traveling section frame 3a side, are connected, and the mast 21.22 is tilted in the front-rear direction by the expansion and contraction of this hydraulic cylinder 28.29. . In other words, when the unmanned forklift 1 is running, the dill I
・The mast 21.22 is tilted backwards so that the hydraulic cylinders 28.29 are in a retracted state and the tip of the lever 33.34 is higher than the base. During the cargo handling work of T-Clear 1 to 1, the hydraulic cylinders 28 and 29 for tilting are in an extended state, so that the maiden part of the lift 33 and 34 is horizontal. Squares 1-21.22 are placed in an upright position. Each tilt hydraulic cylinder is driven by oil pumped from a hydraulic unit 50. In this case, the oil direction switching control is performed by controlling the solenoid valve 53 which is activated by a signal from the central control unit 1 device 20. Mast 2 is located near the bottom of squares 1 to 21.
An aisle I/angle detection sensor 71 is arranged to check the tilt state of the vehicle 1, and the aisle I/angle detection sensor 71 is connected to the general control device 20. At the bottom end of 21 to square 1, as shown in FIG.
The hereach cylinder 72 is triple-coated, and the first
21 is a cylinder 72 for this mass 1 to reach during cargo handling.
It is pushed forward by. The hydraulic cylinder 72 is connected to an electromagnetic valve 73 controlled by the overall control device 20. The amount of movement of the mast 21 is detected by a reach sensor 36. A signal from the reach sensor 36 is input to the overall control device 20. In addition, lift 1 load sensors 37 are provided in the spaces 1 to 21. The lift load sensors 37 are required to detect the weight ω of the cargo loaded on the machine platform 3. "(,
) 4-33.34 ℃-2 sabot gain for driving, traveling motor 7, sdering and 1 of 8
By changing the no-vo gain, it is possible to achieve optimal operation with less loss. This riff 1~ta ■ hand sen 1 no 37
A signal from the controller is input to the overall control device 20. A load position detection sensor 38 is provided above the suspension root of the beam A-33. There are 11 pieces of luggage! It has a function of detecting whether a load is loaded and correcting the override locus of the machine 3 based on information from a leg sensor 44, which will be described later. The loading device detection sensor 1/38 and leg sensor 44 (No. 9) are also input to the overall control device 20. The left and right front wheels 5 have encoders 40a for position detection.
, 40b are connected to each other. Each encoder 4
0a and 40b have a function of opening the rotation amount of the front wheels 5, and the straightness is detected from the mileage d3 and the difference between the left and right rotation amounts. An encoder 41 is installed on the rear wheel 6.
or connected. The encoder 41 has the function of detecting the steering angle of the rear wheels 6. At the hanging root part of the rim A-ri 33.34, there is a rim 33.
A false insertion detection sensor 1-42 detects whether the cargo 45 is completely inserted into the pallet 46 on which the cargo 45 is placed.
is set up. Also, there is a false insertion detection sensor +)
For the near 1 power of 42, there is a palette that detects palettes 1 to 46]
- A contact detection sensor 43 is provided. A leg sensor 44 is installed at the front end of the machine base 3 to detect the lateral displacement of the pallet 46. It consists of a cutting-type two-dimensional sensor 1), with one each near the left and right front wheels (diameter width) 5.
They are placed one by one. This leg sensor 44 detects the amount of positional deviation of the pallet 46 when the machine 3 approaches the target object vJVIJJA 5 by 1 to 5 m using the prefectural image means described later, and detects the amount of positional deviation of the pallet 46. The present invention provides a function to accurately measure the position and posture of the loaded baggage 45. Based on the data from this leg sensor 1 no 44, the luggage 45 of aircraft 3
The ab [l-ch locus has been corrected, making it possible to perform accurate cargo handling operations. At the tip of the fork 33.34,
5 is marked R'At, and this fork sensor 48 is composed of a light-cutting two-dimensional sensor, similar to the small one above. The fork sensor 48 has a function of detecting the fork insertion openings of the pallets 1 to 46 and detecting displacement of the pallets 1 to 46 in the vertical direction. The signal from the fork sensor 48 is input to the overall control til11 device 20. This makes it possible to accommodate variations in working height at the cargo handling position. A traveling television camera (CCD camera) 51 is arranged at the upper end of the machine stand 3 as a first imaging means. The traveling television camera 51 is fixed to the machine base 3 via a pan head 54 as a first movable means. The pan head 54 has a function of swinging the traveling television camera 51 vertically and horizontally, thereby causing the traveling television camera 51 to swing vertically and horizontally.
field of view has been greatly expanded. The driving TV camera 51 is connected to the general system 1 via an image mail 52 and an image processing means 53 as a first analysis means.
The operation of one device 20 is connected to the vJ role control processing device 20a. The traveling television camera 51 has the function of capturing the white lines drawn on the traveling route, the shoulders of the traveling route, and the form of factory equipment placed near the traveling route. In this example, a white line is drawn on the driving route in order to raise the level of the pixel signal, but if the road surface is 18e, the color is not limited to a white line, and as long as it is a bright color, the function will be sufficient. J
ffl will be displayed. The image camera 52 displays an image of the driving route (J) near the camera 51 for driving.
It is converted into a value (replaced with a binary number) and stored. The image processing means 53 is configured to create and restore data for a range in which the machine 3 can travel, based on the image data stored in the image memory 52. A cargo handling television camera (CCD camera) 61 is arranged at the top of the mast 21 as a second imaging means. 21. Pan head 64
has a function of swinging the cargo handling television camera 61 vertically and horizontally, thereby greatly expanding the field of view of the cargo handling television camera 61. The inspection television camera 61 is connected to the operation and cargo handling control processing device 20a of the general control device 20 via an image memory 62 and an image processing device 63 as a second analysis device. The television camera 61 for the load 19 has the function of being able to change the shape of the load 45 being conveyed by the machine 3. The image memory 62 is captured by the cargo handling television camera 61! lj
: Activates the function of binarizing and storing the image of the shadowed baggage 45. Further, the image processing means 63 includes an image memory 62
Based on the image data stored in the image data, it is determined whether there is a plurality of pieces of luggage 45. The image processing means 63 searches for the upper left corner, lower left corner, and lower right corner of the stacked luggage based on the image data stored in the image memory 62, for example. By searching each of these points, the aspect ratio is calculated from the length (width) of the bottom side of the package and the height of the stacked package. The image processing means 63 stores in advance the aspect 1-ratio of only one cargo 45 d3, and by overlapping the aspect I ratio of the whole cargo and the aspect 1-ratio of one cargo on the ratio axis, The number of stacked stages p is set to 1. In this way, the image processing means 63 as the second analysis means
measures the object, the baggage 45, three-dimensionally, and
The function to create and cover data on the position and orientation of the baggage 45 is performed. Then, based on the data on the position and orientation of the baggage 45, the abroadge locus of the machine platform 3 to the baggage 45 is corrected. Next, we will explain the effect of returning to the visual field 14 unmanned screen 4-clino 1-. The unmanned forklift i-1 travels along the traveling road surface 2 when the destination ([1 marker station]) is specified. When the vehicle is traveling, the traveling distance is subtracted by the encoders 40a and 40b, and the straightness is detected from the difference in rotation between the two encoders. When traveling, the unmanned forklift A-cliffs 1 to 1 travel while determining whether or not they are at a predetermined stage, and the forward field of view of the unmanned forklift 1 in the traveling direction is seen by the traveling television camera 51. In this case, the traveling television camera 51 is operated by the pan head 54.
Since it can be swung vertically and horizontally, the field of view in the direction of travel is greatly expanded. Traveling television camera 51
As mentioned above, it has the function of changing the shape of the white line drawn on the driving route, the road shoulder of the driving route, and the factory equipment placed near the driving route, and is recorded by the driving television camera 51. The obtained image is stored in the image memory 52. This image is input by the image processing means 53. The image processing means 53 creates data on the travelable range of the unmanned forklift 1 based on the input image data. In other words, the image processing means 53 determines a driving area in which the unmanned forklift 1-1 can avoid the roadblocks. Therefore, it is no longer necessary to lay a special mark for the unmanned forklift truck 1 to recognize the travel route, as in the past, and the travel route can be easily changed. When the unmanned forklifts 1 to 1 reach their target stations, the unmanned forklifts 1 to 1 gradually approach the cargo 45. In this case, the cargo 45 is tracked by the cargo handling television camera 61. The TV camera 61 for cargo 19 can be swung vertically and horizontally relative to the stand 64, so that multiple cargoes 45 (even if they are piled up, the entire cargo is left unattended) can be moved by A-crit 1. It can be decoyed while standing still. Images captured by the cargo handling television camera 61 are stored in an image memory 62. The image of the luggage 45 stored in the image memory 62 is three-dimensionally measured by the image (3) processing means 63, and its size and posture are analyzed. That is, here the entire load is coordinated,
The aspect ratio of the entire load and the aspect ratio of a single load are compared, and the stacked height of the load is determined, as well as the actual positional deviation of the load 45 with respect to its normal posture. Once the position, height, and attitude of the load 45 are determined, the approach locus of the unmanned forklift [~1] to the load 45 is corrected based on this data. That is, the unmanned forklift 1 stores in advance a traveling pattern in which it advances toward the cargo 45, and this traveling pattern is corrected based on the actual positional deviation of the cargo 45, etc. When the unmanned forklift 1 approaches the cargo 45, the machine 3
A leg sensor 44 installed at the front end of the container detects the lateral displacement of the pallets 1 to 46 on which the cargo 45 is placed. Therefore, the position and attitude of the cargo 45 can be measured more accurately than the data obtained by the cargo handling television camera 61. Based on the data measured by this leg sensor 1-44, the cargo 4 of the unmanned cargo A-cliff 1~1
The approach trajectory to No. 5 is modified to be even more accurate. Therefore, the unmanned cliffs 1 to 1 can approach the cargo 45 from a direction corresponding to the positional shift of the cargo 45. When the unmanned FL-Cliff I~1 approaches the cargo 45 to a predetermined distance, the traveling of the unmanned FL-Cliff]~1 is stopped. When unmanned forklift l-1 comes to a complete stop,
The rod of the hydraulic cylinder 72 for the mass mill reach is extended to ensure that the flanges 33, 34 are inserted into the pallet 46. A confirmation sensor 42 confirms whether or not the leaves 33, 34 are completely inserted into the pallet 46. When the fliers 33 and 34 are inserted into the pallet 46,
The rods of the hydraulic cylinders 61, 62 for the aisles 1-1 are retracted, and the pallets 46 and cargo 45 are tilted toward the platform 3 of the unmanned forklifts 1-1. When the pallet 46 and the cargo 45 are moved slightly toward the machine base 31, the ends of the hydraulic cylinders 24.25 extend, and the pallet (~46 and the cargo 45) is moved above the delta 33.34. It is lifted off the floor by its back. In this feeling of being alone, F-A-33.
It means that the pallets 1 to 46 are loaded on the 340th block] - From the contact detection sensor 43 to the general control device 2
Output to 0. When the pallet 46 is lifted onto the lift 33.34, the pallet 46 and the cargo 4
The load No. 5 is detected by the refmill cart sensor 37. Riff 1-Load Sen 1 No. 37 J: Tsutepare h 4
6J-; J: When the 'vJ weight of the luggage 45 is detected,
Based on this load, the drive gain of the travel motor 7 and steering motor 8 is changed to realize optimal operation with less loss. In addition, when the pallets 1 to 46 and the cargo 45 are lifted up, the cargo position detection sensor 38 detects the pallets 1 to 46 and the cargo 45.
46 is loaded on the flywheel 33, 34 is detected. This makes it possible to determine if the pallet 46 or the forks 33, 34 are not loaded in the appropriate position. Therefore, if the pallet 46 is not loaded in an appropriate position, the unmanned forklift 1 will temporarily retreat from the pallet 46 and return to the platform 33.34.
The insertion operation is performed. That is, here, the approach trajectory is corrected based on information from the 1tPJ load position detection sensor 38 and the leg sensor 44 mentioned above, and based on this, the slide A-33, 34 is inserted into the correct position of the pallets I-46. It will be done. When the pallet 1-46 and the cargo 45 are lifted by the fork 33.34, the height of the fork 33.34 is detected by the lifting height sensor 35, and the fork 33.34 is stopped at a preset position. In this state, 111
(Person) A-kuri 71-1 travels to the next destination and unloads pallet 1-46 and baggage 45 at the destination. In this way, even if the pallet 1-46 cargo 45 is not set accurately in the normal position, it is possible to handle the cargo accordingly, and the pallet 1-46 can be moved by the fork 33.
.. The receiver is stopped at the most suitable position of 34. Therefore, the situation in which the load 45 slides forward or falls onto the road surface while the load 45 is being conveyed is avoided, and efficient conveyance is achieved. Second Embodiment FIG. 6 shows a second embodiment of the present invention. The second embodiment differs from the first embodiment only in the configuration and mounting position of the imaging means; other parts are the same as in the first embodiment. By adding the numeral ``,'' the explanation of the corresponding parts will be omitted and only the different parts will be explained.In Fig. 6, 101 indicates a traveling and load saving camera as a layer image means.First implementation In the example,
Although the first imaging means and the second M imaging means were respectively installed in the unmanned A-clients 7I to 1, in this embodiment,
There is only one historical means. That is, in this embodiment, the imaging means 101 has the function of imitating the white line drawn on the travel route, the shoulder of the travel route, the form of factory equipment placed near the travel route, and the form of the cargo 3 to be transported. have. The path means 101 is provided at the top of the mast 21 via a pan head 102 as a movable means. The pan head 102 has the function of swinging the television camera 101 for traveling and VJ up and down and left and right, thereby greatly expanding the field of view of the television camera 201 for traveling and VJ. The pan head 102 of this embodiment can rotate in the entire circumferential direction (360° C.). In the second embodiment constructed as described above, the J3 has the functions of one television camera or a traveling television camera and a cargo handling television camera, so it is more convenient than the first embodiment. The configuration of the device is simplified, and the device size can be reduced to 1. [Effects of the Invention] As explained above, when using the visual unmanned forklift truck 1~ according to the present invention, the white line drawn on the traveling route, the road shoulder of the traveling route, and the intra-factory transport station located near the traveling route are provided. The shape is captured by the first imaging means held by the first movable means, and based on the image signal from the first imaging means, the data of the range in which the platform can travel is analyzed in the first analysis. Since I created J: for the means, it becomes possible for an unmanned forklift to run without track. Therefore, it is not necessary to install special marks or the like to recognize the driving route as in the past, and the driving route can be easily changed or covered. This makes it possible to quickly respond to changes in production methods. Further, the configuration of the cargo to be transported is captured by the second layer image means held by the second movable means, the posture of the cargo is determined based on the image signal from the second My image means, and the cargo on the machine base is By using the second analysis means to correct and cover the approach trajectory, the load can be loaded in a normal state against the slope, and the front side of the load can be minimized when traveling. It is possible to reliably prevent the product from falling onto the road surface. In addition, by using imaging means that can capture the white lines drawn on the driving route, the road shoulders of the driving route, the form of factory equipment placed near the driving route, and the form of the cargo being transported, two The mud image means can be combined into one decoy image means, and the configuration of the apparatus can be simplified.

【図面の簡単な説明】[Brief explanation of drawings]

第1図は本発明の第1実施例に係る視覚付無人フォーク
リフトの側面図、 第2図は第1図の無人フt−クリア1〜の平面図、第3
図は第2図の正面図、 第4図は第2図の背面図、 第5図は第1図の前人フォークリフ]・の制御系統を示
づブロック図、 第6図は本発明の第2実施例に係る視覚(=I無人)A
−クリソ1−の側面図、 である。 1・・・・−・無人フォークリフ1〜 2・・・・・・走行路面 3・・・・・・機台 20・・・・・・統括制御装置 33.34・・・・・・フォーク 37・・・・・・リフ1ル荷重センサ 38・・・・・・積載位置検出セン1ノ44・・・・・
・レッグセン1ノ 45・・・・・・荷物 46・・・・・・バレン1〜 51・・・・・・第1の路間手段(走行用ブレビカメラ
) 53・・・・・・第1の解析手段(画像処理手段)54
・・・・・・第1の可動手段 61・・・・・・第2の路間手段(夕■役用jレビカメ
ラ) 63・・・・・・第2の解析手段(画像処理手段)64
・・・・・・第2の可動手段 101・・・・・・路間手段(走行、荷1ジ用jレビカ
メラ) 102・・・・・・可動手段
FIG. 1 is a side view of an unmanned forklift with visual function according to the first embodiment of the present invention, FIG.
The figure is a front view of Figure 2, Figure 4 is a rear view of Figure 2, Figure 5 is a block diagram showing the control system of the Senjin forklift of Figure 1, and Figure 6 is a block diagram of the control system of the Senjin forklift of Figure 1. Vision (=I unattended) A according to the second embodiment
-A side view of Chryso1-. 1......Unmanned forklift 1~2...Travel road surface 3...Machine base 20...General control device 33.34...Fork 37...Ref1 load sensor 38...Loading position detection sensor 1 No.44...
・Legsen 1no 45... Luggage 46... Baren 1-51... First road means (driving camera) 53... First Analysis means (image processing means) 54
. . . First movable means 61 . . . Second roadway means (evening/revision camera) 63 . . . Second analysis means (image processing means) 64
. . . Second movable means 101 . . . Roadway means (J-Rebi camera for traveling and loading one load) 102 . . . Movable means

Claims (1)

【特許請求の範囲】 1、走行可能な機台側に設けられ、走行経路に描かれた
白線、走行経路の路肩、該走行経路近傍に配置される工
場内設備の形態を撮らえる第1の撮像手段と、 前記第1の撮像手段を保持し該第1の撮像手段の視野を
変化させる第1の可動手段と、 前記第1の撮像手段からの画像信号に基づき前記機台が
走行可能な範囲のデータを作成する第1の解析手段と、 前記機台によって搬送される荷物の形態を撮らえる第2
の撮像手段と、 前記第2の撮像手段を保持し該第2の撮像手段の視野を
変化させる第2の可動手段と、 前記第2の撮像手段からの画像信号に基づき荷物の姿勢
を求め、前記機台の荷物へのアプローチ軌跡を修正する
第2の解析手段と、 を具備したことを特徴とする視覚付無人フォークリフト
。 2、走行可能な機台側に設けられ、走行経路に描かれた
白線、走行経路の路肩、該走行経路近傍に配置される工
場内設備の形態、該機台によつて搬送される荷物の形態
を撮らえる撮像手段と、前記撮像手段を保持し該撮像手
段の視野を変化させる可動手段と、 前記撮像手段からの画像信号に基づき前記機台が走行可
能な範囲のデータを作成するとともに、該機台の荷物へ
のアプローチ軌跡を修正する解析手段と、 を具備したことを特徴とする視覚付無人フォークリフト
[Scope of Claims] 1. A first camera installed on the side of the machine that can travel and capable of photographing the white line drawn on the travel route, the road shoulder of the travel route, and the form of factory equipment placed near the travel route. an imaging means; a first movable means for holding the first imaging means and changing a field of view of the first imaging means; and a movable means for moving the machine based on an image signal from the first imaging means. a first analysis means for creating range data; and a second analysis means for taking a picture of the form of the cargo being transported by the machine.
imaging means; second movable means for holding the second imaging means and changing the field of view of the second imaging means; determining the attitude of the luggage based on the image signal from the second imaging means; An unmanned forklift with vision, comprising: a second analysis means for correcting the approach locus of the machine to the cargo; 2. The white line drawn on the running route, the road shoulder of the running route, the form of factory equipment placed near the running route, and the cargo carried by the machine. an imaging means for photographing the form; a movable means for holding the imaging means and changing the field of view of the imaging means; creating data on a range in which the machine can travel based on image signals from the imaging means; An unmanned forklift with vision, comprising: an analysis means for correcting the approach locus of the machine toward cargo; and an unmanned forklift with vision.
JP2049497A 1990-03-02 1990-03-02 Unmanned car with visual Expired - Fee Related JP2855147B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2049497A JP2855147B2 (en) 1990-03-02 1990-03-02 Unmanned car with visual

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2049497A JP2855147B2 (en) 1990-03-02 1990-03-02 Unmanned car with visual

Publications (2)

Publication Number Publication Date
JPH03252707A true JPH03252707A (en) 1991-11-12
JP2855147B2 JP2855147B2 (en) 1999-02-10

Family

ID=12832782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2049497A Expired - Fee Related JP2855147B2 (en) 1990-03-02 1990-03-02 Unmanned car with visual

Country Status (1)

Country Link
JP (1) JP2855147B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011037536A (en) * 2009-08-07 2011-02-24 Nippon Yusoki Co Ltd Fork-lift truck
JP2015146748A (en) * 2014-02-05 2015-08-20 ヤンマー株式会社 Electric working vehicle
JP2017088317A (en) * 2015-11-10 2017-05-25 株式会社豊田自動織機 Industrial vehicle management system
EP3226030A1 (en) 2016-03-30 2017-10-04 Kabushiki Kaisha Toyota Jidoshokki Mobile apparatus
WO2020085067A1 (en) * 2018-10-24 2020-04-30 株式会社豊田自動織機 Remote control system for forklift
JP2021135801A (en) * 2020-02-27 2021-09-13 三菱ロジスネクスト株式会社 Arithmetic device, movable body, movement control system, arithmetic method, and program
JP2021135799A (en) * 2020-02-27 2021-09-13 三菱ロジスネクスト株式会社 Arithmetic device, movement control system, control device, movable body, arithmetic method, and program
CN113493175A (en) * 2020-03-19 2021-10-12 三菱重工业株式会社 Computing device, vehicle, loading/unloading system, computing method, and recording medium
US11422562B2 (en) 2018-03-19 2022-08-23 Kabushiki Kaisha Toyota Jidoshokki Path generation device
WO2024014194A1 (en) * 2022-07-12 2024-01-18 三菱重工業株式会社 Route setting method, program, and route setting system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011037536A (en) * 2009-08-07 2011-02-24 Nippon Yusoki Co Ltd Fork-lift truck
JP2015146748A (en) * 2014-02-05 2015-08-20 ヤンマー株式会社 Electric working vehicle
JP2017088317A (en) * 2015-11-10 2017-05-25 株式会社豊田自動織機 Industrial vehicle management system
EP3226030A1 (en) 2016-03-30 2017-10-04 Kabushiki Kaisha Toyota Jidoshokki Mobile apparatus
JP2017182502A (en) * 2016-03-30 2017-10-05 株式会社豊田中央研究所 Movable body
US10248123B2 (en) 2016-03-30 2019-04-02 Kabushiki Kaisha Toyota Jidoshokki Mobile apparatus
US11422562B2 (en) 2018-03-19 2022-08-23 Kabushiki Kaisha Toyota Jidoshokki Path generation device
WO2020085067A1 (en) * 2018-10-24 2020-04-30 株式会社豊田自動織機 Remote control system for forklift
JP2020066504A (en) * 2018-10-24 2020-04-30 株式会社豊田自動織機 Forklift remote operation system
JP2021135801A (en) * 2020-02-27 2021-09-13 三菱ロジスネクスト株式会社 Arithmetic device, movable body, movement control system, arithmetic method, and program
JP2021135799A (en) * 2020-02-27 2021-09-13 三菱ロジスネクスト株式会社 Arithmetic device, movement control system, control device, movable body, arithmetic method, and program
CN113493175A (en) * 2020-03-19 2021-10-12 三菱重工业株式会社 Computing device, vehicle, loading/unloading system, computing method, and recording medium
WO2024014194A1 (en) * 2022-07-12 2024-01-18 三菱重工業株式会社 Route setting method, program, and route setting system

Also Published As

Publication number Publication date
JP2855147B2 (en) 1999-02-10

Similar Documents

Publication Publication Date Title
KR100484706B1 (en) Container position measuring method and device for cargo crane and container landing/stacking method
US8827623B2 (en) Device for loading goods into and/or unloading goods from a loading space, particularly a container
CN104379489B (en) Container crane
US20080044262A1 (en) Article storage facility and operation method thereof
JP2010530837A (en) Automatic loading system and loading method for carrier
WO2017207978A1 (en) Autonomous container transportation vehicle
US11970378B2 (en) Warehouse inspection system
US11591197B2 (en) Load handling module for a material handling vehicle
CN102077057A (en) Automatic transport loading system and method
CN109636272B (en) Intelligent detection device and detection method for goods shortage of goods shelf
JPH03252707A (en) Unmanned forklift with vision
KR20180069684A (en) Article transport vehicle
EP4111285B1 (en) Method for controlling an automatic guided vehicle and control system adapted to execute the method
CN218433070U (en) Container taking and returning device and transfer robot
US11299376B2 (en) Method for the positionally accurate receiving and depositing of a container using a gantry stacker and gantry stacker for this purpose
CN114084849A (en) Material box carrying robot
JP2003128395A (en) Cargo handling work support device in industrial vehicle and industrial vehicle
JP7471249B2 (en) Cargo Handling System
JP3443829B2 (en) Location management system and manned forklift used for it
CA2925566A1 (en) Dynamic sensor system and method
WO2024157301A1 (en) Transport system
US20230202817A1 (en) Control method for mobile object, mobile object, and computer-readable storage medium
WO2021000370A1 (en) Control method and automated guided vehicle
JPH1111683A (en) Device and method for detecting position of deck of truck and device and method for detecting position of container on deck
WO2024009342A1 (en) Conveyance device and control method thereof

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees