JP3900941B2 - Work view support device for forklift truck, forklift truck, work view support device for industrial vehicle, and industrial vehicle - Google Patents

Work view support device for forklift truck, forklift truck, work view support device for industrial vehicle, and industrial vehicle Download PDF

Info

Publication number
JP3900941B2
JP3900941B2 JP2002014734A JP2002014734A JP3900941B2 JP 3900941 B2 JP3900941 B2 JP 3900941B2 JP 2002014734 A JP2002014734 A JP 2002014734A JP 2002014734 A JP2002014734 A JP 2002014734A JP 3900941 B2 JP3900941 B2 JP 3900941B2
Authority
JP
Japan
Prior art keywords
work
fork
image
camera
cargo handling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002014734A
Other languages
Japanese (ja)
Other versions
JP2003212494A (en
Inventor
恒 一条
健一 片江
寅彦 山之内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2002014734A priority Critical patent/JP3900941B2/en
Priority to PCT/JP2002/001353 priority patent/WO2003008325A1/en
Priority to EP02712415.5A priority patent/EP1408001B1/en
Priority to US10/470,491 priority patent/US7219769B2/en
Publication of JP2003212494A publication Critical patent/JP2003212494A/en
Application granted granted Critical
Publication of JP3900941B2 publication Critical patent/JP3900941B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Forklifts And Lifting Vehicles (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、産業車両例えばフォークリフトトラック)において、荷取り又は荷置き作業時や、車両の走行時に、そのときの作業視野を補助するために用いられる作業画像を表示するフォークリフトトラックの作業視野支援装置及びフォークリフトトラック、産業車両の作業視野支援装置及び産業車両に関するものである。
【0002】
【従来の技術】
従来、この種の装置としては、実開平5−54496号公報に開示されたフォークリフトの前方視認性改善装置がある。この装置は、図15に示すように、マスト100の上部に設けられた前方監視用カメラ101と、フィンガバー102の下部に設けられたフォーク先端部監視用カメラ103と、マスト100の中間部に設けられた中間部正面監視用カメラ104とを備えている。また、これら各カメラ101,103,104の画像モニタ装置105とを備えている。そして、各カメラ101,103,104が撮像する画像は、画像モニタ装置105のカメラ選択スイッチを運転者(オペレータ)が操作することで選択的にモニタに表示される。
【0003】
例えば、荷取り時には、フォーク先端部監視用カメラ103を選択することで、画像モニタ装置105のモニタに表示されたフォーク106の上下左右の状況を見ながら、運転席よりも高い位置にあるパレットにフォーク106を容易に差し込むことができる。
【0004】
また、車高の高いトラックの荷台に対して荷置き又は荷取り作業を行うときには、中間部正面監視用カメラ104を選択することで、モニタに表示される荷台付近を見ながら、フォーク106上の荷やバックレスト107に遮られた荷台に対する荷置き又は荷取りを容易に行うことができる。
【0005】
さらに、走行時には、前方監視用カメラ101を選択することで、モニタに表示される車両前方の画像を見ながら、フォーク106上の荷によって遮られた車両前方への走行を容易に行うことができる。
【0006】
【発明が解決しようとする課題】
しかしながら、上記の装置では、荷取り作業の終了後、走行しようとするときに、運転者がカメラ選択スイッチを切換操作して、モニタに表示される画像をフォーク先端画像から車両前方画像に切り換える必要がある。同様に、走行からの停止後にトラックの荷台に荷置きしようとするときには、運転者が再びカメラ選択スイッチを切換操作して、表示される画像を車両前方から中間部正面に切り換える必要がある。
【0007】
このため、作業状況を切り換える度に、運転者がカメラ切換スイッチを切換操作してモニタの表示画像を切り換える必要があり、作業効率をより向上させる余地があった。
【0008】
本発明は、上記課題を解決するためになされたものであって、その目的は、複数の異なる作業毎に、その作業を行う運転者の作業視野を補助する作業画像を運転者に表示することができ、しかも、作業の切り換わり時に、表示する作業画像の切り換え操作を必要としないフォークリフトトラックの作業視野支援装置及びフォークリフトトラック、産業車両の作業視野支援装置及び産業車両を提供することにある。
【0012】
【課題を解決するための手段】
上記課題を解決するため、請求項に記載の発明は、フォークリフトトラックのマストを作動させる荷役作業に対する作業画像を撮像する荷役用カメラ、及びフォークリフトトラックを走行させる移動作業に対する作業画像を撮像する走行用カメラによってそれぞれ撮像され、その作業を行うときの運転者の作業視野を補助する各作業画像を運転者に表示するための作業画像表示手段と、前記作業画像表示手段を制御し、そのときの作業に対する作業画像を前記作業画像表示手段に表示させる表示制御手段とを備えたフォークリフトトラックの作業視野支援装置であって、前記荷役用カメラは、前記マストに備えられたフォーク、又は、このフォークと共に昇降する昇降部材に設けられて、フォークの前方画像を作業画像として撮像するものであり、前記表示制御手段は、そのときの作業が前記荷役作業及び移動作業のいずれであるかを判別する作業判別手段と、判別された作業が荷役作業のときには該荷役作業に対する作業画像を表示させ、また、判別された作業が移動作業のときには該移動作業に対する作業画像を表示させる表示切換手段とを備え、前記作業判別手段は、前記フォークの揚高位置が予め設定された基準揚高位置以下であるか否かを検出するための揚高検出手段を備え、前記表示切換手段は、検出された揚高位置が前記基準揚高位置以下のときには前記移動作業に対する作業画像を表示させ、また、前記基準揚高位置を越えるときには前記荷役作業に対する作業画像を表示させる
【0013】
の発明によれば、荷役用カメラ及び走行用カメラがそれぞれ撮像する作業画像を、作業画像表示手段が運転者に表示する。そして、そのときに行われる作業に対する作業画像を、表示制御手段が作業画像表示手段に表示させる。
【0015】
またフォークリフトトラックマストによる荷役作業時には、荷役作業を行うときの運転者の作業視野を補助する作業画像が表示される。また、フォークリフトトラックを走行させる移動作業時には、移動作業を行うときの作業視野を補助する作業画像が表示される。
【0017】
また、マストのフォークを位置決めするパレットや棚板の正面を含むフォークの前方画像を表示することができる。従って、パレットや棚板に対するフォークの位置決め作業を容易に行うことができる。
【0019】
また、高所の保管部に保管された荷を荷取りするときや、同保管部に荷置きするために基準揚高位置を越えてフォークを大きく揚高させたときには、フォークの前方画像が表示される。このため、運転者がフォークとの高さ関係を把握し難く、また、フォークやバックレスト等に遮られて直接目視し難い高所の保管部に対し、フォークの前方画像を見ながらフォークを容易に位置決めすることができる。一方、フォークリフトトラックを走行させるために基準揚高位置以下にフォークを下降させたときには、移動作業を行うときの作業視野を補助する、移動作業に対する作業画像が表示される。このため、例えばフォークリフトトラックを前進走行させるときに、マストのフォーク等の可動部や、フォーク上の荷に遮られて直接目視し難い車両の前方領域に対し、前方画像を見ながら車両を容易に前進走行させることができる。
【0020】
請求項に記載の発明は、請求項に記載の発明において、前記荷役用カメラが撮像する前記フォークの前方画像から該カメラに対する荷役対象の位置ずれ量を求め、この位置ずれ量をなくすようにフォークの位置を調節する位置制御手段を備えた。
【0021】
の発明によれば、例えば直接目視し難い保管棚の高所に保管されている荷等の荷役対象を間接的に見ながら例えばフォークの位置調節を行い、フォークの位置を荷役対象に凡そ位置合わせすることができる。この状態から、位置制御手段がフォークの前方画像に基づき、フォークの位置を荷役対象に対し自動で位置合わせする。従って、フォークの自動位置合わせをより容易に行わせることができる。
【0022】
請求項に記載の発明は、請求項1又は請求項に記載の発明において、前記走行用カメラは、フォークリフトトラックの前方画像を作業画像として撮像する。
の発明によれば、例えばフォーク上の荷に遮られて直接目視し難いフォークリフトトラックの前方領域を含む前方画像を見ながらフォークリフトトラックを容易に前進走行させることができる。
【0023】
請求項に記載の発明は、請求項1又は請求項に記載の発明において、前記走行用カメラは、フォークリフトトラックの後方画像を作業画像として撮像する。
の発明によれば、例えば車体後部に遮られて直接目視し難いフォークリフトトラックの後方領域を含む後方画像を見ながらフォークリフトトラックを容易に後退走行させることができる。
【0024】
請求項に記載の発明は、フォークリフトトラックは、請求項1〜請求項4のいずれか一項に記載のフォークリフトトラックの作業視野支援装置を備えている
【0026】
請求項に記載の発明は、車両の荷役機器を作動させる荷役作業及び車両を走行させる移動作業に対しその作業を行う運転者の作業視野を補助するための作業画像をそれぞれ撮像するための1台の作業用カメラの撮像方向を、そのときに行われる作業に対する作業画像を撮像する方向に切り換える撮像方向切換手段と、前記作業用カメラが撮像する作業画像を運転者に表示する画像表示手段とを備えた産業車両の作業視野支援装置であって、前記撮像方向切換手段は、前記作業用カメラの撮像方向を切換調節するための姿勢調節手段と、そのとき行われる作業が前記荷役作業及び移動作業のいずれかであるか判別するための作業判別手段と、前記作業判別手段の判別結果に基づいて前記姿勢調節手段を制御し、判別した作業が荷役作業のときには前記作業用カメラの撮像方向を荷役作業に対する作業画像を撮像する方向とし、また、判別した作業が移動作業のときには前記作業用カメラの撮像方向を移動作業に対する作業画像を撮像する方向とする切換制御手段とを備えている。
【0027】
の発明によれば、撮像方向切換手段が、荷役作業及び移動作業に対しその作業を行う運転者の作業視野を補助するための作業画像をそれぞれ撮像するための1台の作業用カメラの撮像方向を、そのときに行われる作業に対する作業画像を撮像する方向に切り換える。そして、画像表示手段が、作業用カメラが撮像する作業画像を運転者に表示する。
【0029】
また、車両の荷役機器による荷役作業時には、荷役作業を行うときの運転者の視野を補助する作業画像が表示される。また、車両を走行させる移動作業時には、移動作業を行うときの視野を補助する作業画像が表示される。
【0030】
請求項に記載の発明は、請求項に記載の発明において、産業車両はフォークリフトトラックであり、前記荷役機器はフルフリーマストであって、前記作業用カメラはそのインナマストに設けられ、前記作業判別手段は、フォークの揚高位置が予め設定されている基準揚高位置以下であるか否かを検出するための揚高検出手段であり、前記切換制御手段は、検出された揚高位置が前記基準揚高位置以下のときには前記作業用カメラの撮像方向を車両の前方画像を作業画像として撮像する方向とし、また、揚高位置が基準揚高位置を越えるときにはフォークの前方画像を作業画像として撮像する方向とする。
【0031】
の発明によれば、インナマストが最下降位置から上昇せずフォークのみが昇降する低揚高時には、車両の前方画像を車体に対する同一の視点高さから撮像することができ、また、インナマストがフォークと共に昇降する高揚高時には、フォークの前方画像をフォークに対する所定の位置関係で撮像することができる。
【0032】
請求項に記載の発明は、請求項に記載の発明において、前記作業用カメラが撮像する前記フォークの前方画像から、カメラに対する荷役対象の位置ずれ量を求め、この位置ずれ量をなくすようにフォークの位置を調節する位置制御手段を備えている。
【0033】
の発明によれば、例えば直接目視し難い保管棚の高所に保管されている荷等の荷役対象を間接的に見ながら例えばフォークの位置調節を行い、フォークの位置を荷役対象に凡そ位置合わせすることができる。この状態から、位置制御手段がフォークの前方画像に基づき、フォークの位置を荷役対象に対し自動で位置合わせする。従って、フォークの自動位置合わせをより容易に行わせることができる。
【0034】
請求項に記載の発明は、産業車両は、請求項〜請求項のいずれか一項に記載の産業車両の作業視野支援装置を備えている。
【0035】
【発明の実施の形態】
(第1実施形態)
以下、本発明をリーチ型フォークリフトトラックの作業視野支援装置に具体化した第1実施形態を図1〜図8に従って説明する。
【0036】
図1,2に示すように、産業車両としてのリーチ型フォークリフトトラック(以下、単にフォークリフトという。)10は、車体11の前部に左右一対のリーチレグ12を備え、車体11の後部に運転席13が設けられている。各リーチレグ12にはそれぞれ従動輪14が設けられ、運転席13の横側下部には駆動操舵輪15が、運転席13の下部には図示しないキャスター輪が設けられている。
【0037】
両リーチレグ12間には、荷役機器としてのマスト16が車両前後に移動可能に支持されている。マスト16は、車体11の下部に設けられたリーチシリンダ17によって前後動する。
【0038】
マスト16は三段のフルフリーマストであって、アウタマスト18、ミドルマスト19、インナマスト20、リフトシリンダ21、フォークシリンダ22、図示しないリフトブラケット、フォーク24等から構成されている。
【0039】
リフトブラケットは、インナマスト20に設けられたフォークシリンダ22の延出動作によってインナマスト20に対して上昇動作する。
ミドルマスト19は、アウタマスト18に設けられたリフトシリンダ21の延出動作によってアウタマスト18に対して上昇動作する。そして、その上端に設けられた図示しないチェーンホイールを経由するチェーンによってアウタマスト18の上部に連結されているインナマスト20をミドルマスト19自身に対して上昇動作させる。
【0040】
すなわち、マスト16は、フォーク24が最下降位置にある状態から、先ず、フォークシリンダ22を延出動作させることにより、フォーク24を最下降位置からアウタマスト18の上端付近にある第1揚高位置(基準揚高位置)まで上昇させる。即ち、このときには、ミドルマスト19及びインナマスト20をアウタマスト18に対して上昇させないままとする。この状態からさらにリフトシリンダ21を延出動作させ、ミドルマスト19及びインナマスト20をアウタマスト18に対して上昇させることによって、フォーク24をアウタマスト18の上端位置から最も高い第2揚高位置まで上昇させる。
【0041】
アウタマスト18のクロスビーム25には、インナマスト20が最下降位置から上昇した状態、すなわち、フォーク24が第1揚高位置を越えて上昇した高揚高状態を検出するための揚高スイッチ26(図2,7に図示する。)が設けられている。また、リフトシリンダ21には、フォーク24上の荷の荷重を検出するための荷重センサ(図7に図示する。)27が設けられている。揚高スイッチ26は、車体11の内部に設けられた表示制御装置28及び荷役制御装置29にそれぞれ電気接続され、荷重センサ27は、荷役制御装置29に電気接続されている。
【0042】
リフトブラケットとフォーク24との間には、車両前後方向に傾動可能にサイドシフタ30が設けられている。フォーク24は、サイドシフタ30の可動部に固定されたフィンガバー31にバックレスト32(昇降部材)と共に支持されている。リフトブラケットには、フォーク24のティルト角を検出するためのティルト角センサ33(図7に図示する。)が設けられている。
【0043】
サイドシフタ30は、ティルトシリンダ34(図7に図示する。)の伸縮動作によってリフトブラケットに対し車両前後方向に傾動し、フォーク24をマスト16に対し角度調節する。また、サイドシフタ30は、サイドシフトシリンダ35(図7に図示する。)の伸縮動作によってリフトブラケットに対し車両左右方向に相対移動し、フォーク24をマスト16に対し同左右方向に位置調節する。
【0044】
運転席13には、いずれも図示しない公知のリフトレバー、リーチレバー、ティルトレバー、サイドシフトレバーが設けられている。各レバーの操作量を検出するポテンショメータ36,37,38,39(図7に図示する。)は、荷役制御装置29にそれぞれ電気接続されている。リフトレバーのノブには、荷取り又は荷置き作業時に、荷役制御装置29にフォーク24の位置を自動で制御させるためのフォーク自動位置決めスイッチ41(図7に図示する。)が設けられている。フォーク自動位置決めスイッチ41は、荷役制御装置29に電気接続されている。
【0045】
図1,2に示すように、左側のアウタマスト18の外面には、車両の前進走行を支援するための車両の前方画像を撮像する走行用カメラ42が設けられている。走行用カメラ42は、図示しないハーネスを介して表示制御装置28に電気接続されている。
【0046】
走行用カメラ42は、第1揚高位置よりも低い位置に降ろされたフォーク24上の荷Wの左側方から、例えば図3に示すように、左右に保管棚Lが設けられた移動通路C等の車両の前方画像PDを撮像することができるように設けられている。走行用カメラ42が撮像する車両の前方画像PDは、車両を前進走行させるときに、フォーク24上の荷Wによって遮られる運転者の前方視界を補助し、車両の前進走行を支援することができる。
【0047】
図1,2に示すように、前記サイドシフタ30の前側には、荷置き及び荷取り作業を支援するためのフォーク24の前方画像を撮像する荷役用カメラユニット43が設けられている。
【0048】
荷役用カメラユニット43は、バックレスト32に組み込まれたケーシング44、このケーシング44に対し下方に出没可能に収容されたインナケース45、このインナケース45の下部に収容された荷役用カメラ46等からなる。荷役用カメラ46は、インナケース45の前面に設けられた撮影孔45aから、フォーク24の前方画像を撮像する。荷役用カメラ46は、表示制御装置28に電気接続されている。
【0049】
インナケース45は、ケーシング44の内部に設けられたカメラ昇降用モータ(図7に図示する。)47等からなる昇降機構によってケーシング44に対し昇降動作する。そして、インナケース45は、その全体がケーシング44の内部に収容された状態と、その下部がフォーク24の下方まで延出された状態とに切り換えられる。カメラ昇降用モータ47は、荷役制御装置29に電気接続されている。
【0050】
荷役用カメラ46は、インナケース45全体がケーシング44内に収容されたときに、フォーク24の上面よりも上方に位置する「格納位置」に配置される。また、図1に示すように、インナケース45の下部がケーシング44の下方に延出されたときに、フォーク24の下面よりも下方に位置する「下降位置」に配置される。
【0051】
荷役用カメラ46は、「荷取り作業」時のときには「格納位置」とされ、ケーシング44の下部前面に設けられた撮影窓44aを通じ、図4(a)に示すように、荷Wがない状態の左右のフォーク24の間からフォーク24の前方画像を撮像する。そして、図5に示すように、荷取りする荷Wが載置されているパレットPの前面を含む前方画像PWを撮像する。
【0052】
一方、荷役用カメラ46は、「荷置き作業」時のときには「下降位置」とされ、撮影孔45aから直接に、図4(b)に示すように、フォーク24上の荷Wの下方からフォーク24の前方画像を撮像する。そして、図6に示すように、保管棚Lにおいて荷置きする保管部L1の棚板L2の前面を含む前方画像PWを撮像する。
【0053】
図1,2に示すように、運転席13には、ヘッドガード48の下面に表示装置49が設けられている。表示装置49は例えば液晶表示装置であり、表示制御装置28に電気接続されている。表示装置49は、走行用カメラ42が撮像する車両の前方画像と、荷役用カメラユニット43が撮像するフォーク24の前方画像とのいずれか一方を運転席13の運転者に表示するために設けられている。
【0054】
本実施形態では、表示制御装置28及び表示装置49が作業画像表示手段を構成し、揚高スイッチ26及び表示制御装置28が作業判別手段を構成する。また、揚高スイッチ26が揚高検出手段であり、表示制御装置28が表示制御手段及び表示切換手段である。また、走行用カメラ42及び荷役用カメラ46がそれぞれ作業用カメラである。また、リフトシリンダ21、表示制御装置28、荷役制御装置29、サイドシフトシリンダ35、荷役用カメラ46、作動油制御弁50及び電磁切換弁52,55が位置制御手段を構成する。
【0055】
次に、上記のように構成された本実施形態の電気的構成を図7の電気ブロック図に従って説明する。
図7に示すように、揚高スイッチ26、荷重センサ27、ティルト角センサ33、フォーク自動位置決めスイッチ41、及び、各レバーのポテンショメータ36〜39は荷役制御装置29の入力側にそれぞれ電気接続され、カメラ昇降用モータ47はその出力側に電気接続されている。同じく出力側には、作動油制御弁50に設けられた各電磁切換弁51,52,53,54,55と、荷役用油圧ポンプ56を駆動する荷役用電動モータ57とがそれぞれ電気接続されている。
【0056】
揚高スイッチ26、走行用カメラ42及び荷役用カメラユニット43は表示制御装置28の入力側にそれぞれ電気接続され、表示装置49はその出力側に電気接続されている。
【0057】
表示制御装置28は、図8に示すように、フォーク24を位置決めしようとするパレットP又は棚板L2の前面に表示された各マークM1,M2を画像認識し、各マークM1,M2の左右及び上下方向での重心座標と、奥行き方向での距離情報とを求める。これは、車両を保管棚Lに正対させた状態で運転者が事前にフォーク24を手動で位置調節し、「荷取り作業」時には、図5に示すように、表示装置49に、荷Wが載置されたパレットPのマークM1を表示させた状態で行われる。同様に、「荷置き作業」時には、図6に示すように、荷Wが保管されている保管部L1の棚板L2のマークM2を表示させた状態で行われる。
【0058】
荷役制御装置29は、各レバーの操作量に基づく手動荷役制御と、荷役用カメラユニット43のカメラ昇降制御と、フォーク自動位置決めスイッチ41の操作に基づくフォーク自動位置決め制御とを行う。
【0059】
(手動荷役制御)
手動荷役制御として、荷役制御装置29は、各レバー毎の操作量に基づいて、そのレバーに対応する電磁切換弁51〜55の開度を制御するとともに、電動モータ57を駆動制御する。そして、荷役用油圧ポンプ56が供給する作動油を、リーチシリンダ17、リフトシリンダ21、フォークシリンダ22、ティルトシリンダ34、あるいは、サイドシフトシリンダ35に対し給排制御する。このことにより、各レバーの操作量に応じた作動速度で、各シリンダ17,21,22,34,35を伸張又は収縮動作させる。
【0060】
(カメラ昇降制御)
カメラ昇降制御として、荷役制御装置29は、フォーク24の揚高位置が最大下降位置から第1揚高位置までの範囲では、荷役用カメラ46を「格納位置」に保持する。また、荷役制御装置29は、フォーク24の揚高位置が第1揚高位置を越えているときには、フォーク24上の荷Wの荷重に応じて荷役用カメラ46を「格納位置」又は「下降位置」に切り換える。荷役制御装置29は、荷Wの荷重が、予め設定されている判定値以下であるときには、フォーク24上に荷Wがない状態であって「荷取り作業」を行う状態であるとし、荷役用カメラ46を「格納位置」とする。一方、荷Wの荷重が判定値を超えるときには、フォーク24上に荷Wがある状態であって「荷置き作業」を行う状態であるとし、荷役用カメラ46を「下降位置」とする。
【0061】
第1揚高位置以下の揚高で荷役用カメラ46を「格納位置」とするのは、フォーク24が最大下降位置まで下降したときに、荷役用カメラ46が床面に衝突しないようにするためである。一方、フォーク24を第1揚高位置を越えて揚高させた状態での「荷取り作業」時には、図4(a)に示すように、左右のフォーク24の間からフォーク24の前方画像PWを撮像する状態となる。同様に、「荷置き作業」時には、図4(b)に示すように、フォーク24上の荷Wの下方からフォーク24の前方画像PWを撮像する状態となる。
【0062】
(フォーク自動位置決め制御)
フォーク自動位置決め制御は、フォーク24が第1揚高位置を越えて上昇した高揚高状態においてフォーク自動位置決めスイッチ41が操作されたときに実行される。フォーク自動位置決め制御として、荷役制御装置29は、「荷取り作業」時には、図4(a)に示すように、荷Wが載置されたパレットPに対する荷取り目標位置にフォーク24を自動で位置決めする。また、「荷置き作業」時には、図4(b)に示すように、荷Wを置く保管部L1の棚板L2に対する荷置き目標位置にフォーク24を自動で位置決めする。
【0063】
荷役制御装置29は、「荷取り作業」時には、表示制御装置28からパレットPのマークM1の重心座標及び距離情報を取得する。重心座標は、荷役用カメラ46の左右方向及び上下方向の座標系におけるマークM1の重心座標であり、距離情報は、荷役用カメラ46とマークM1との距離情報である。そして、荷役制御装置29は、これらの情報から、荷役用カメラ46のマークM1に対する3次元相対位置座標(図8に示すように、左右Y方向、上下Z方向及び奥行きX方向)を求め、さらに、この3次元相対位置座標からフォーク24の荷取り目標位置に対する位置ずれ量を求める。
【0064】
そして、荷役制御装置29は、各電磁切換弁52,55を制御してリフトシリンダ21及びサイドシフトシリンダ35を伸張又は収縮動作させ、フォーク24の上下方向及び左右方向の位置を調節して荷取り目標位置に位置決めする。
【0065】
その結果、フォーク24が荷取りするパレットPに対し自動で位置決めされ、運転者がリーチレバーを操作してマスト16を車両前方にリーチ動作させるだけでパレットPの挿しこみ孔P1にフォーク24を差し込むことができる。
【0066】
同様に、荷役制御装置29は、「荷置き作業」時には、表示制御装置28から棚板L2のマークM2の重心座標及び距離情報を取得する。そして、これらの情報から、荷役用カメラ46のマークM2に対する3次元相対位置座標を求める。さらに、この3次元相対位置座標から、フォーク24の荷置き目標位置に対する位置ずれ量を求める。
【0067】
そして、荷役制御装置29は、各電磁切換弁52,55を制御してリフトシリンダ21及びサイドシフトシリンダ35を伸張又は収縮動作させ、フォーク24の上下方向及び左右方向の位置を調節して荷置き目標位置に位置決めする。
【0068】
その結果、フォーク24が荷置きする保管部L1の棚板L2に対し自動で位置決めされ、運転者がマスト16を車両前方にリーチ動作させるだけでパレットPを棚板L2の上方に配置することができる。
【0069】
(表示制御装置の制御)
前記表示制御装置28は、揚高スイッチ26の検出信号に基づき、表示装置49に表示する画像を、走行用カメラ42が撮像する車両の前方画像PDと、荷役用カメラ46が撮像するフォーク24の前方画像PWとで切り換える。
【0070】
表示制御装置28は、フォーク24の揚高が第1揚高位置以下のときには、走行用カメラ42が撮像する車両の前方画像PDを表示装置49に表示する。フォーク24の揚高が第1揚高位置以下の状態は、運転者が直接パレットP又は棚板L2を目視しながら荷取り又は荷置きを比較的容易に行うことができる一方、車両を前進走行させるときにフォーク24上の荷Wに遮られて車両前方を目視し難い状態である。表示制御装置28は、フォーク24の揚高が第1揚高位置以下のときには車両の前方画像PDを表示装置49に表示することで、運転者が表示装置49に表示される車両の前方画像PDを見ながら車両を前進走行させることができるようにする。
【0071】
一方、表示制御装置28は、フォーク24の揚高が第1揚高位置を超えるときには、荷役用カメラ46が撮像するフォーク24の前方画像PWを表示装置49に表示する。フォーク24の揚高が第1揚高位置を超える状態は、運転者が直接パレットP又は棚板L2を目視しながら荷取り又は荷置き作業を行うことが容易でなく、また、車両を前進走行させることが少ない状態である。表示制御装置28は、このことによって、手動によるフォーク24の位置決め時に、運転者が表示装置49に表示されるフォーク24の前方画像PWを見ながらフォーク24をパレットP又は棚板L2に位置決めできるようにする。また、フォーク自動位置決め制御によるにフォーク24の位置決め時には、運転者が表示装置49に表示されるフォーク24の前方画像PWを見ながらフォーク24をパレットP又は棚板L2に概略位置合わせできるようにする。
【0072】
次に、本実施形態の作用について説明する。
保管棚Lの高所にある保管部L1にパレットPごと保管された荷Wを荷取りするためにフォーク24を第1揚高位置を越えて上昇させると、荷役用カメラ46が撮像するフォーク24の前方画像PWを表示制御装置28が表示装置49に表示する。このため、運転者は、フォーク24との高さ関係が把握し難く、しかも、フォーク24やバックレスト32等によって遮られて目視し難い高所の保管部L1に保管された荷WのパレットPの前方画像を表示装置49で見ることができる。そして、フォーク24の前方画像PWを見ながら、パレットPに対してフォーク24を容易に手動で位置決めすることができる。
【0073】
そして、マスト16を車両前方にリーチ動作させるだけで、フォーク24をパレットPに差し込むことができる。あるいは、表示装置49に表示されるフォーク24の前方画像PWを見ながらフォーク24をパレットPに対し、容易に概略位置合わせすることができる。そして、自動制御によってフォーク24をパレットPに位置合わせすることができる。
【0074】
同様に、保管棚Lの高所にある保管部L1に荷WをパレットPごと荷置きするときにも、表示制御装置28がフォーク24の前方画像PWを表示装置49に表示する。このため、運転者は、直接目視し難い高所の保管部L1に対し、表示装置49に表示されるフォーク24の前方画像PWを見ながらフォーク24を容易に位置決め、又は、概略位置合わせすることができる。そして、マスト16を車両前方にリーチ動作させるだけで、荷Wをその保管部L1に差し入れて荷置きすることができる。
【0075】
一方、荷取り後に車両を前進走行させるためにフォーク24を第1揚高位置より下方に下降させると、荷役用カメラ46が撮像するフォークの前方画像PWに代えて走行用カメラ42が撮像する車両の前方画像PDを表示制御装置28が表示装置49に表示する。このため、運転者は、フォーク24上の荷Wに遮られて目視し難い車両の前方画像PDを表示装置49で見ながら容易に前進走行させることができる。
【0076】
以上詳述した本実施形態は、以下の各効果を有する。
(1) フォーク24を下降させて行う車両の前進走行に対する車両の前方画像PDを走行用カメラ42が撮像し、また、フォーク24を高く揚高して行う荷役作業に対する作業画像を荷役用カメラ46が撮像する。表示制御装置28が、そのときに行われる作業が荷役作業であるか前進移動であるかをフォーク24の揚高位置から判別し、その作業に応じて車両の前方画像PD又はフォーク24の前方画像PWを表示装置49に表示する。
【0077】
従って、車両の前進走行に対して設けられた走行用カメラ42、及び、荷役作業に設けられた荷役用カメラ46がそれぞれ撮像する作業画像がそのときの作業に応じて運転者に表示される。その結果、荷役作業と移動作業との切り換わり時に、表示する作業画像の切り換え操作を必要とせず、作業効率をより向上させることができる。
【0078】
(2) 車両を前進走行させるときに運転者の視野を補助する車両の前方画像を、アウタマスト18に設けた走行用カメラ42で荷Wの左側方から撮像する。このため、フォーク24上の荷に遮られて直接目視し難い車両の前方画像を表示装置49で見ながら、車両を容易に前進走行させることができる。
【0079】
(3) 「荷取り作業」又は「荷置き作業」時に運転者の視野を補助するフォーク24の前方画像を、フォーク24と共に昇降するフィンガバー31の前に設けた荷役用カメラ46で撮像する。このため、バックレスト32やフォーク24上の荷Wで遮られて直接目視し難い、パレットPや棚板L2の正面画像を表示装置49で見ながら、フォーク24を容易に位置決めすることができる。
【0080】
(4) 揚高スイッチ26で検出するフォーク24の揚高に基づき、インナマスト20が最下降位置にある第1揚高位置以下のときには車両を走行させる状態であると判別し、また、第1揚高位置を越えるときには荷役作業を行う状態であると判別する。このため、フォーク24を低揚高にして車両を前進走行させる状態と、フォーク24を高揚高にして荷役作業を行う状態とを、簡単な構成で判別することができる。
【0081】
(5) 荷役用カメラ46で撮像するフォーク24の前方画像PWから、荷役制御装置29がパレットPや棚板L2に対するフォーク24の位置ずれ量を求め、リフトシリンダ21及びサイドシフトシリンダ35を制御してフォーク24を荷取り又は荷置き目標位置に制御する。このため、フォーク24を高く揚高しても、荷取り及び荷置き作業を容易に行うことができる。
【0082】
(第2実施形態)
次に、本発明を第1実施形態と同様にリーチ型フォークリフトトラックの作業視野支援装置に具体化した第2実施形態を図9〜図12に従って説明する。尚、本実施形態は、前記第1実施形態の揚高スイッチ26、走行用カメラ42、荷役用カメラユニット43及び表示制御装置28を、揚高スイッチ70、作業用カメラユニット72及び表示制御装置77に変更したことのみが第1実施形態と異なる。従って、第1実施形態と同じ構成については、符号を同じにしてその説明を省略し、揚高スイッチ70、作業用カメラユニット72及び表示制御装置77のみについて詳述する。
【0083】
図9に示すように、アウタマスト18のクロスビーム25には、インナマスト20が最下降位置から上昇した状態であるか否か、即ち、フォーク24の揚高位置が第1揚高位置以下であるか否かを判別するための揚高スイッチ70が設けられている。
【0084】
左右のインナマスト20を連結するクロスビーム71には、車両の前進走行を支援するための車両の前方画像と、荷取り及び荷置き作業を支援するためのフォーク24の前方画像とを撮像するための作業用カメラユニット72が設けられている。作業用カメラユニット72は、フォークシリンダ22のピストンロッド22a(図10に図示)に対し、車両左右方向で重ならないようにクロスビーム71の下面右寄りに設けられている。
【0085】
図10に示すように、作業用カメラユニット72は、一対の支持部材73、ケーシング74、作業用カメラ75及びモータユニット76等から構成されている。両支持部材73はクロスビーム71に固定され、その間にケーシング74を車両左右方向を回転軸線として傾動可能に支持する。ケーシング74内には作業用カメラ75が収容されている。
【0086】
作業用カメラ75は、ケーシング74に設けられた撮影窓74aから車両の前方画像を撮像する。作業用カメラ75は、車体11の内部に設けられた表示制御装置77に電気接続されている。
【0087】
モータユニット76は、支持部材73に支持された作業用カメラ75を傾動させ、その撮像方向を、車両前方を見下ろす「走行モード」と、図10,11に示すように、ほぼ水平に車両前方を向く「荷役モード」とに切り換え可能である。モータユニット76は、表示制御装置77に電気接続されている。
【0088】
作業用カメラ75は、「走行モード」のときには、リーチレグ12付近まで降ろされたフォーク24上の荷Wの上方から車両の前方画像を撮像可能である。すなわち、本実施形態の作業用カメラ75は、運転者の位置よりも車両前方に位置することから、運転者がフォーク24上の荷Wに遮られて視認し難い車両の前方領域を含む前方画像を撮像する。
【0089】
また、作業用カメラ75は、マスト16がフルフリー型であることから、「荷役モード」時には、第1揚高位置よりも高く上昇されたフォーク24の揚高に関係なく、フォーク24の下方からその前方画像を撮像する。すなわち、フォーク24の揚高が第1揚高位置を超え、インナマスト20がアウタマスト18に対して上昇したときには、作業用カメラユニット72は第1揚高位置のときのフォーク24に対する位置関係のままでフォーク24と共に昇降動作する。第1揚高位置のときの位置関係は、図10,11に示すように、フォーク24の下方からその前方画像を撮像できる位置であって、前記第1実施形態における「下降位置」に相当する。
【0090】
本実施形態では、揚高スイッチ70、支持部材73、ケーシング74、モータユニット76及び表示制御装置77が撮像方向切換手段を構成する。また、表示制御装置77及び表示装置79が画像表示手段を構成する。また、支持部材73、ケーシング74、モータユニット76及び表示制御装置77が姿勢調節手段を構成し、揚高スイッチ70及び表示制御装置77が作業判別手段及び揚高検出手段を構成し、表示制御装置77が切換制御手段である。さらに、リフトシリンダ21、表示制御装置77、荷役制御装置29、サイドシフトシリンダ35、作動油制御弁50、電磁切換弁52,55及び作業用カメラ75が位置制御手段を構成する。
【0091】
次に、本実施形態の電気的構成を図12の電気ブロック図に従って説明する。
揚高スイッチ70及び作業用カメラ75は表示制御装置77の入力側にそれぞれ電気接続され、表示装置49及びモータユニット76はその出力側に電気接続されている。
【0092】
表示制御装置77は、揚高スイッチ70の検出信号に基づいてモータユニット76を制御し、作業用カメラ75の撮像方向を「走行モード」と「荷役モード」とで切り換える。
【0093】
詳述すると表示制御装置77は、フォーク24の揚高が第1揚高位置以下のときには、作業用カメラ75を「走行モード」とし、この状態で作業用カメラ75が撮像する車両の前方画像を表示装置49に表示させる。即ち、表示制御装置77は、フォーク24の揚高が第1揚高位置以下のときには車両の前方画像を表示装置49に表示することで、運転者が表示装置49に表示される車両の前方画像を見ながら車両を前進走行させることができるようにする。
【0094】
一方、表示制御装置77は、フォーク24の揚高が第1揚高位置を越えるときには、作業用カメラユニット72を「荷役モード」とし、この状態で作業用カメラ75が撮像するフォーク24の前方画像を表示装置49に表示させる。
【0095】
「荷役モード」の作業用カメラユニット72は、「荷置き作業」時にフォーク24が第1揚高位置を越えて揚高され、荷置きする保管部L1の棚板L2に対する荷置き目標位置付近に位置決めされたときに、その棚板L2のマークM2を含むフォーク24の前方画像を荷Wの下方から撮像する。同様に、「荷取り作業」時にフォーク24が荷取りする保管部L1の棚板L2上に載置されたパレットPに対する荷取り目標位置付近に位置決めされたときに、その棚板L2のマークM2を含むフォーク24の前方画像を撮像する。
【0096】
表示制御装置77は、フォーク24の揚高が第1揚高位置を超えるときにはフォーク24の前方画像を表示装置49に表示することで、運転者が表示装置49に表示されるフォーク24の前方画像PWを見ながらフォーク24をパレットP又は棚板L2に位置決めできるようにする。
【0097】
なお、本実施形態においても、前記第1実施形態と同様に、表示制御装置77は、パレットP又は棚板L2の正面に表示されたマークM1,M2を画像認識し、各マークM1,M2の重心座標及び距離情報を求める。そして、荷役制御装置29は、表示制御装置77から取得する重心座標及び距離情報に基づき、フォーク24を荷取り目標位置又は荷置き目標位置に自動で位置決めするフォーク自動位置決め制御を行う。但し、本実施形態では、作業用カメラ75がインナマスト20に設けられておりフォーク24と共に左右に移動しないことから、フォーク24と作業用カメラ75との左右方向(Y方向)の相対位置関係が変化する。このため、フォーク24のサイドシフト量を検出するサイドストロークセンサ78(図11に図示する。)が設けられ、この検出値に基づいて重心位置及び距離情報が求められる。
【0098】
次に、本実施形態の作用について説明する。
保管棚Lの高所にある保管部L1に保管されている荷Wを荷取りするためにフォーク24を第1揚高位置を越えて上昇させると、表示制御装置77が作業用カメラ75の撮像方向を「荷役モード」とし、作業用カメラ75が撮像するフォーク24の前方画像を表示装置49に表示させる。
【0099】
このため、運転者は、フォーク24との高さ関係が把握し難く、しかも、フォーク24やバックレスト32等によって遮られて目視し難い高所の保管部L1に保管された荷WのパレットPの正面を含むフォーク24の前方画像を表示装置49で見ることができる。そして、手動操作によってフォーク24を荷取り位置に容易に位置決めすることができる。
【0100】
同様に、保管棚Lの高所にある保管部L1に荷WをパレットPごと荷置きするときにも作業用カメラ75が「荷役モード」とされ、フォーク24の前方画像が表示装置49に表示される。このため、運転者は、目視し難い高所の保管部L1に対し、表示装置49に表示されるフォーク24の前方画像を見ながらフォーク24を容易に位置決めすることができる。
【0101】
一方、荷取り後に車両を前進走行させるために、フォーク24を第1揚高位置より下方に下降させると、表示制御装置77が作業用カメラ75の撮像方向を「荷役モード」から「走行モード」に切り換える。そして、表示装置49に、直前領域を含む車両の前方画像を表示させる。
【0102】
このため、運転者は、フォーク24上の荷Wに遮られて目視し難い直前領域を含む車両の前方画像を表示装置49で見ながら車両を容易に前進走行させることができる。
【0103】
以上詳述した本実施形態は、以下の各効果を有する。
(6) 車両の前方画像と、フォーク24の前方画像とを、1台の作業用カメラ75の撮像方向を切り換えることで撮像できるようにした。そして、表示制御装置77が、フォーク24の揚高位置に基づいてそのときの作業を判別し、判別した作業に応じて作業用カメラ75の撮像方向を切り換えるようにした。
【0104】
従って、1台の作業用カメラ75の撮像方向を切り換えることにより、そのときの作業を支援する作業画像が自動で切換表示される。その結果、作業の切り換わり時に、表示する作業画像の切り換えを必要とせず、作業効率をより向上させることができる。
【0105】
(7) 作業用カメラ75が、フルフリー型マスト16のインナマスト20のクロスビーム71に設けられている。そして、揚高スイッチ70によってフォーク24の揚高が検出され、フォーク24が第1揚高位置以下のときには撮像方向が車両の前方画像を撮像する方向とされ、また、第1揚高位置を越えるときには撮像方向がフォーク24の前方画像を撮像する方向とされる。
【0106】
このため、インナマスト20が最下降位置から上昇せずフォーク24のみが昇降する低揚高時には、車両の前方画像を車体11に対する同一の視点高さから撮像することができる。また、インナマスト20がフォーク24と共に昇降する高揚高時には、フォーク24の前方画像をフォーク24に対する所定の位置関係で撮像することができる。従って、第1実施形態と異なり、走行用カメラを荷役用カメラと別に設ける必要がない。
【0107】
(第3実施形態)
次に、本発明をカウンタバランス型フォークリフトトラックの作業視野支援装置に具体化した第3実施形態を図13,14に従って説明する。
【0108】
図13に示すように、カウンタバランス型フォークリフト(以下、単にフォークリフトという。)80は、車体81の前部に運転席82が設けられ、運転席82の前側にマスト83が備えられている。また、車体81の前部には駆動輪84が設けられ、同じく後部には操舵輪85が設けられている。
【0109】
マスト83は、車体81に対し前後方向に傾動可能に前輪車軸に支持され、ティルトシリンダ86の伸縮動作によって傾動動作する。
マスト83は二段のスライドマストであって、車体81に傾動可能に支持されたアウタマスト87と、アウタマスト87に昇降可能に支持されたインナマスト88とを備える。そして、アウタマスト87に固定された図示しないリフトシリンダの伸縮動作によってインナマスト88を昇降動作させ、インナマスト88に昇降可能に支持されたリフトブラケット89及びフォーク90を昇降動作させる。
【0110】
運転席82には、車両の前後進を切り換えるためのシフトレバー91が設けられている。シフトレバー91の切換位置、すなわち、前進状態又は後進状態は、シフトスイッチ92によって検出される。シフトスイッチ92は、車体81の内部に設けられた表示制御装置93に電気接続されている。
【0111】
左側のアウタマスト87の外面には、車両の前進走行を支援する車両の前方画像を撮像するための前進用カメラ94が設けられている。前進用カメラ94は、表示制御装置93に電気接続されている。
【0112】
前進用カメラ94は、運転者の前方視界を遮るフォーク90上の荷Wの左側方から、車両の手前領域を含む前方画像を撮像する。前進用カメラ94が撮像する車両の前方画像は、車両を前進走行させるときに、フォーク90上の荷によって遮られる運転者の前方視界を補助し、車両の前進走行を支援することができるものである。
【0113】
車体81の後部上面には、車両の後退走行を支援する車両の後方画像を撮像するための後退用カメラ95が設けられている。後退用カメラ95は、表示制御装置93に電気接続されている。
【0114】
後退用カメラ95は、運転者が視認し難い車両の後方領域を含む後方画像を撮像する。後退用カメラ95が撮像する車両の後方画像は、車両を後退走行させるときに運転者に無理な姿勢を取らせることなく、また、車体81の後部によって遮られる運転者の後方視界を補助し、車両の後退走行を支援することができるものである。
【0115】
運転席82にはヘッドガード96の下に、表示装置97が設けられている。表示装置97は表示制御装置93に電気接続され、前進用カメラ94が撮像する車両の前方画像、又は、後退用カメラ95が撮像する車両の後方画像を運転席82の運転者に表示するためのものである。
【0116】
また、本実施形態のフォークリフト80のバックレスト98には、第1実施形態と同様の、荷役用カメラを備えた荷役用カメラユニット43が設けられている。また、アウタマスト87には、フォーク90の揚高が、予め設定されている基準揚高位置以下であるか否かを検出するための揚高スイッチ99が設けられている。基準揚高位置は、前記第1実施形態の第1揚高位置に相当する。
【0117】
本実施形態では、表示制御装置93及び表示装置97が作業画像表示手段を構成し、揚高スイッチ99及び表示制御装置93が表示制御手段及び作業判別手段を構成する。また、表示制御装置93が表示切換手段であり、揚高スイッチ99が揚高検出手段である。また、荷役用カメラ46、前進用カメラ94及び後退用カメラ95がそれぞれ作業用カメラであり、前進用カメラ94及び後退用カメラ95が走行用カメラである。
【0118】
次に、本実施形態の電気的構成を図14の電気ブロック図に従って説明する。荷役用カメラ46、シフトスイッチ92、前進用カメラ94、後退用カメラ95及び揚高スイッチ99は表示制御装置93の入力側に電気接続され、表示装置97は同じくその出力側に電気接続されている。また、揚高スイッチ99は、荷役制御装置29の入力側にも電気接続されている。
【0119】
表示制御装置93は、揚高スイッチ99の検出信号に基づき、フォーク90の揚高位置が基準揚高位置を越えるときには、荷役用カメラ46が撮像するフォーク90の前方画像を表示装置97で表示する。
【0120】
また、表示制御装置93は、フォーク90の揚高位置が基準揚高位置以下のときには、シフトスイッチ92の切換状態に基づき、シフトレバー91が前進位置のときに、前進用カメラ94が撮像する車両の前方画像を表示装置97に表示する。一方、シフトレバー91が後退位置のときには後退用カメラ95が撮像する車両の後方画像を表示装置97に表示する。
【0121】
本実施形態においても、表示制御装置93は、前記第1実施形態と同様に、パレットP又は棚板L2の正面に表示されたマークM1,M2を画像認識し、各マークM1,M2の重心座標及び距離情報を求める。そして、荷役制御装置29は、表示制御装置93から取得する重心座標及び距離情報に基づき、図示しないリフトシリンダ及びサイドシフトシリンダを制御して、フォーク90を荷取り目標位置又は荷置き目標位置に自動で位置決めするフォーク自動位置決め制御を行う。
【0122】
次に、以上のように構成された本実施形態の作用について説明する。
フォーク90を基準揚高位置を越えて高く上昇させると、荷役用カメラ46が撮像するフォーク90の前方画像が表示装置97に表示される。このため、運転者は、フォーク90との高さ関係が把握し難く、又、フォーク90上の荷Wやバックレスト98等に遮られて直接目視し難いパレットPや棚板L2の正面を含むフォーク90の前方画像を表示装置97で見ることができる。そして、手動操作又は自動制御によって、フォーク90を荷取り目標位置又は荷置き目標位置に容易に位置決めすることができる。
【0123】
また、フォーク90を基準揚高位置以下に下降させた状態でシフトレバー91を前進位置に切換操作すると、前進用カメラ94が撮像する車両の前方画像が表示装置97に表示される。このため、運転者は、フォーク90上の荷Wに遮られて直接目視し難い車両の手前領域を含む前方画像を表示装置97で見ながら車両を容易に前進走行させることができる。
【0124】
同じく基準揚高位置以下の状態でシフトレバー91を後退位置に切換操作すると、後退用カメラ95が撮像する車両の後方画像が表示装置97に表示される。このため、運転者は、無理な姿勢を取ることなく、また、車体後部に遮られて直接目視し難い車両の後方画像を表示装置97で見ながら車両を容易に後退走行させることができる。
【0125】
以上詳述した本実施形態は、以下の各効果を有する。
(8) 荷役用カメラ46の他に、車両の前方画像を撮像する前進用カメラ94と、車両の後方画像を撮像する後退用カメラ95とが設けられている。そして、車両の前進走行時には車両の前方画像が表示され、また、後退走行時には車両の後方画像が表示される。従って、荷役作業、車両の前進走行、及び、車両の後退走行を容易に行うことができる。
【0126】
以下、上記実施形態以外の実施形態を列挙する。
○ 前記第1実施形態で、走行用カメラ42が、インナマスト20でなく、そのクロスビーム71に設けられ、前進走行時にはフォーク24上の荷Wの上方から車両の前方画像を撮像する構成とする。このような構成であっても、第1実施形態の各効果がある。
【0127】
○ 前記第1実施形態で、荷役用カメラユニット43の代わりに、小型の荷役用カメラがフォーク24の先端部前面に開口する凹部内に設けられ、フォーク24と一定の位置関係でフォーク24の前方画像を撮像する構成とする。このような構成であっても、第1実施形態の各効果がある。
【0128】
○ 前記第3実施形態で、前進用カメラ94が、アウタマスト87でなく、ヘッドガード96に設けられた構成とする。このような構成であっても、第3実施形態の効果がある。
【0129】
○ 前記第3実施形態で、後退用カメラ95が、車体81の後部でなく、ヘッドガード96に設けられた構成とする。このような構成であっても、第3実施形態の効果がある。
【0130】
○ 前記第1実施形態で、車両の前進時には、表示装置49の表示画面全体に表示した車両の前方画像の一部の領域に、フォーク24の前方画像を小さく表示する。同様に、荷役作業時には、フォーク24の前方画像の一部の領域に、車両の前方画像を小さく表示する構成とする。このような構成では、そのときの作業でない作業画像を撮像するカメラの撮像状態を監視することができる。第3実施形態でも同様である。
【0131】
以下、前述した各実施形態から把握される技術的思想をその効果とともに記載する。
(1) 記作業画像表示手段は、車両の運転台に設けられて運転者に作業画像を表示する表示装置(49,97)を備えている。このような構成によれば、運転台の運転者に対し、一般的な表示装置を用いて、作業画像を見やすく表示することができる。
【0132】
(2) 上記技術的思想(1)に記載の発明において、前記作業画像表示手段は、前記表示装置の表示画面全体にそのときの作業画像を表示するとともに、その作業画像の一部に他の作業画像を表示する作業視野支援装置。このような構成によれば、そのときに行っている作業の視野を補助する作業画像を見ながら、それ以外の作業に対する作業画像を撮像するカメラの撮像状態を監視することができる。
【0133】
(3) 記荷役用カメラは、前記荷役機器の可動部(バックレスト32)に設けられている。このような構成によれば、荷役作業時に、荷役を行う対象をより見やすい状態で撮像した作業画像を得ることができる。
【0134】
(4) 記画像表示手段は、運転台に設けられて運転者に作業画像を表示する表示装置(97)を備えている。このような構成によれば、運転台の運転者に対し、一般的な表示装置を用いて、作業画像を見やすく表示することができる。
【0135】
【発明の効果】
請求項に記載の発明によれば、複数の異なる作業毎に、その作業を行う運転者の作業視野を補助する作業画像を運転者に表示することができ、しかも、作業の切り換わり時に、表示する作業画像の切り換え操作を必要としない。
【0136】
また、請求項5,9に記載の発明によれば、作業効率を向上させることができる。
【図面の簡単な説明】
【図1】 第1実施形態の作業視野支援装置を備えたリーチ型フォークリフトを示す概略斜視図。
【図2】 同じくフォークリフトを示す概略斜視図。
【図3】 車両の前方画像を示す模式図。
【図4】 (a)は荷取り作業時、(b)は荷置き作業時のフォーク及び荷役用カメラを示す模式図。
【図5】 荷取り作業時におけるフォークの前方画像を示す模式図。
【図6】 荷置き作業時におけるフォークの前方画像を示す模式図。
【図7】 作業視野支援装置及び荷役制御系の電気ブロック図。
【図8】 保管棚の保管部、パレット及び荷を示す模式斜視図。
【図9】 第2実施形態の作業視野支援装置を備えたリーチ型フォークリフトを示す概略斜視図。
【図10】 フォークと作業用カメラを含むマストの一部概略正面図。
【図11】 荷取り作業時のフォーク及び作業用カメラを示す模式側面図。
【図12】 作業視野支援装置の電気ブロック図。
【図13】 第3実施形態の作業視野支援装置を備えたカウンタバランス型フォークリフトを示す概略側面図。
【図14】 作業視野支援装置の電気ブロック図。
【図15】 従来の前方視認性改善装置を備えたリーチ型フォークリフトの側面図。
【符号の説明】
10…産業車両としてのリーチ型フォークリフトトラック、16…荷役機器としてのマスト、18…アウタマスト、19…ミドルマスト、20…インナマスト、21…位置制御手段を構成するリフトシリンダ、22…フォークシリンダ、23…荷役機器の可動部及び昇降部材としてのリフトブラケット、24…荷役機器の可動部としてのフォーク、26…表示制御手段、作業判別手段を構成する揚高検出手段としての揚高スイッチ、28…作業画像表示手段、表示制御手段、作業判別手段、表示切換手段、位置制御手段を構成する表示制御装置、29…位置制御手段を構成する荷役制御手段、32…荷役機器の可動部、昇降部材としてのバックレスト、35…位置制御手段を構成するサイドシフトシリンダ、42…作業用カメラとしての走行用カメラ、46…位置制御手段を構成する作業用カメラとしての荷役用カメラ、49…作業画像表示手段を構成する表示手段としての表示装置、50…位置制御手段を構成する作動油制御弁、51,55…同じく電磁切換弁、70…撮像方向切換手段、作業判別手段を構成する揚高スイッチ、71…クロスビーム(インナマスト)、73…撮像方向切換手段、姿勢調節手段を構成する支持部材、74…同じくケーシング、75…位置制御手段を構成する作業用カメラ、76…撮像方向切換手段、姿勢調節手段を構成するモータユニット、77…撮像方向切換手段、画像表示手段、姿勢調節手段、作業判別手段、切換制御手段を構成する表示制御装置、80…産業車両としてのカウンタバランス型フォークリフトトラック、83…荷役機器としてのマスト、90…同じくフォーク、92…表示制御装置及び走行方向判別手段を構成するシフトスイッチ、93…作業画像表示手段、表示制御手段、作業判別手段、表示切換手段を構成する表示制御装置、94…走行用カメラとしての前進用カメラ、95…同じく後退用カメラ、97…作業画像表示手段を構成する表示手段としての表示装置、98…昇降部材としてのバックレスト、99…表示制御手段、作業判別手段を構成する揚高検出手段としての揚高スイッチ、PD…車両の前方画像、PW…フォークの前方画像。
[0001]
BACKGROUND OF THE INVENTION
The present invention is an industrial vehicle. ( For example, forklift truck) Display work images used to assist the work field of view at the time of loading or loading work or when the vehicle is traveling Forklift truck work vision support device and forklift truck, Industrial vehicle work vision support device as well as It relates to industrial vehicles.
[0002]
[Prior art]
Conventionally, as this type of device, there is a forklift forward visibility improving device disclosed in Japanese Utility Model Laid-Open No. 5-54496. As shown in FIG. 15, this apparatus includes a front monitoring camera 101 provided at the upper part of the mast 100, a fork tip monitoring camera 103 provided at the lower part of the finger bar 102, and an intermediate part of the mast 100. And an intermediate front-facing monitoring camera 104 provided. In addition, these cameras 101, 103, and 104 have an image monitor device 105. The images captured by the cameras 101, 103, and 104 are selectively displayed on the monitor when the driver (operator) operates the camera selection switch of the image monitor device 105.
[0003]
For example, at the time of unloading, by selecting the fork tip monitoring camera 103, the pallet is positioned higher than the driver's seat while observing the top, bottom, left, and right of the fork 106 displayed on the monitor of the image monitor device 105. The fork 106 can be easily inserted.
[0004]
In addition, when performing loading or unloading work on a truck bed with a high vehicle height, by selecting the middle part front monitoring camera 104, while watching the vicinity of the cargo bed displayed on the monitor, The loading or unloading with respect to the load or the loading platform blocked by the backrest 107 can be easily performed.
[0005]
Further, when traveling, by selecting the front monitoring camera 101, it is possible to easily travel forward of the vehicle blocked by the load on the fork 106 while viewing the image of the front of the vehicle displayed on the monitor. .
[0006]
[Problems to be solved by the invention]
However, in the above-described apparatus, when the vehicle is going to travel after the completion of the cargo collection operation, the driver needs to switch the camera selection switch to switch the image displayed on the monitor from the fork tip image to the vehicle front image. There is. Similarly, when attempting to place a load on the truck bed after stopping from running, the driver needs to switch the camera selection switch again to switch the displayed image from the front of the vehicle to the front of the middle part.
[0007]
For this reason, every time the work situation is switched, the driver needs to switch the camera changeover switch to switch the display image on the monitor, and there is room for further improving work efficiency.
[0008]
The present invention has been made to solve the above-described problems, and its purpose is to display a work image for assisting the driver's visual field of work for each of a plurality of different works to the driver. In addition, there is no need to change the displayed work image when switching work. Forklift truck work vision support device and forklift truck, Industrial vehicle work vision support device as well as To provide industrial vehicles.
[0012]
[Means for Solving the Problems]
To solve the above problem, Claim 1 The invention described in Cargo handling camera that captures a work image for a cargo handling operation that operates a mast of a forklift truck, and a traveling camera that captures a work image for a mobile operation that runs a forklift truck The work image display means for displaying each work image for assisting the driver's work field of view when performing the work, and the work image display means for controlling the work image display means. Display control means for displaying a work image on the work image display means A work visual field support device for a forklift truck, wherein the cargo handling camera is provided on a fork provided on the mast or an elevating member that moves up and down together with the fork, and takes a front image of the fork as a work image. The display control means displays a work determination means for determining whether the work at that time is the cargo handling work or the moving work, and displays a work image for the cargo handling work when the determined work is the cargo handling work. And a display switching means for displaying a work image corresponding to the moving work when the determined work is a moving work, wherein the work judging means has a reference lifting position in which the lifting position of the fork is set in advance. It is provided with a lifting height detecting means for detecting whether or not it is below, the display switching means, the detected lifting height position is below the reference lifting height position Sometimes displays a working image for the mobile work, also displays a working image for the cargo handling operation when exceeding the reference fork height position .
[0013]
This According to the invention of Cargo handling camera and traveling camera The work image display means displays a work image captured by each of the drivers to the driver. Then, the display control means causes the work image display means to display a work image for the work performed at that time.
[0015]
Also , Forklift truck of mast When the cargo handling work is performed, a work image for assisting the driver's work field of view when performing the cargo handling work is displayed. Also, Forklift truck When moving the vehicle, a work image that assists the work field of view when the mobile work is performed is displayed.
[0017]
Also The front image of the fork including the front of the pallet and shelf for positioning the fork of the mast can be displayed. Therefore, the fork positioning operation with respect to the pallet and the shelf board can be easily performed.
[0019]
Also When a load stored in a high-level storage unit is unloaded, or when the fork is lifted greatly beyond the standard lifting position for loading in the storage unit, a front image of the fork is displayed. The For this reason, it is difficult for the driver to grasp the height relationship with the fork, and the fork can be easily viewed while looking at the front image of the fork against a storage part in a high place where it is difficult to see directly by being blocked by the fork or backrest. Can be positioned. on the other hand, Forklift truck When the fork is lowered below the reference lifting position to travel the vehicle, a work image for the moving work that assists the work field of view when performing the moving work is displayed. For this reason, for example Forklift truck When traveling forward, the vehicle can easily travel forward while looking at the front image against the movable part such as the mast fork or the front area of the vehicle that is blocked by the load on the fork and difficult to see directly. .
[0020]
Claim 2 The invention described in claim 1 In the invention described in the above item, there is provided position control means for obtaining a position displacement amount of a cargo handling object with respect to the camera from a front image of the fork imaged by the cargo handling camera and adjusting the position of the fork so as to eliminate the displacement amount. It was.
[0021]
This According to the invention , Example For example, the position of the fork can be adjusted to approximately the position of the cargo handling object by adjusting the position of the fork, for example, while indirectly viewing the cargo handling object such as the cargo stored in the high place of the storage shelf that is difficult to see directly. From this state, the position control means automatically aligns the position of the fork with the cargo handling object based on the front image of the fork. Therefore, automatic fork alignment can be performed more easily.
[0022]
Claim 3 The invention described in claim 1 or Claim 2 In the invention described in claim 1, the traveling camera is Forklift truck Is taken as a work image.
This According to the invention , Example For example, it is difficult to see directly because it is blocked by the load on the fork. Forklift truck While viewing the front image including the front area of Forklift truck Can be easily moved forward.
[0023]
Claim 4 The invention described in claim 1 or Claim 2 In the invention described in claim 1, the traveling camera is Forklift truck Is taken as a work image.
This According to the invention , Example For example, it is difficult to see directly because it is blocked by the rear of the car body. Forklift truck While viewing the back image including the back area of Forklift truck Can be easily moved backward.
[0024]
Claim 5 The invention described in A forklift truck includes the work visual field support device for a forklift truck according to any one of claims 1 to 4. .
[0026]
Claim 6 The invention described in Cargo handling work to operate vehicle handling equipment and moving work to run the vehicle On the other hand, the imaging direction of one work camera for capturing a work image for assisting the work visual field of the driver who performs the work is switched to a direction for capturing the work image for the work performed at that time. Imaging direction switching means, and image display means for displaying a work image captured by the work camera to the driver. In addition, the imaging direction switching means includes an attitude adjustment means for switching and adjusting the imaging direction of the work camera, and the work to be performed at that time includes the cargo handling work and the movement work. A work discriminating means for discriminating between the work and the posture adjusting means based on the discrimination result of the work discriminating means, and when the discriminated work is a cargo handling work, the imaging direction of the work camera is set to the cargo handling work And a switching control means for setting the imaging direction of the work camera to the direction for capturing the work image for the moving work when the determined work is the moving work. ing.
[0027]
This According to the invention, the imaging direction switching means is Handling and moving work On the other hand, the imaging direction of one work camera for capturing a work image for assisting the work visual field of the driver who performs the work is switched to a direction for capturing the work image for the work performed at that time. . Then, the image display means displays a work image captured by the work camera to the driver.
[0029]
Also At the time of cargo handling work by the cargo handling equipment of the vehicle, a work image that assists the driver's field of view when performing the cargo handling work is displayed. In addition, during the moving work for running the vehicle, a work image that assists the field of view when the moving work is performed is displayed.
[0030]
Claim 7 The invention described in claim 6 The industrial vehicle is a forklift truck, the cargo handling device is a full free mast, the work camera is provided on the inner mast, and the work determination means sets the lift position of the fork in advance. A lifting height detecting means for detecting whether or not the detected lifting height position is equal to or lower than the reference lifting height position, and the switching control means is configured to detect the working camera when the detected lifting height position is equal to or lower than the reference lifting height position. The imaging direction is a direction in which the front image of the vehicle is captured as a work image, and when the lift position exceeds the reference lift position, the front image of the fork is captured as a work image.
[0031]
This According to the invention ,I At low elevation when the nama mast does not rise from the lowest position and only the fork moves up and down, the front image of the vehicle can be taken from the same viewpoint height with respect to the vehicle body, A front image of the fork can be taken with a predetermined positional relationship with respect to the fork.
[0032]
Claim 8 The invention described in claim 7 In the invention described in the above item, there is provided position control means for obtaining a position shift amount of a cargo handling object with respect to the camera from a front image of the fork captured by the work camera and adjusting a position of the fork so as to eliminate the position shift amount. ing.
[0033]
This According to the invention , Example For example, the position of the fork can be adjusted to approximately the position of the cargo handling object by adjusting the position of the fork, for example, while indirectly viewing the cargo handling object such as the cargo stored in the high place of the storage shelf that is difficult to see directly. From this state, the position control means automatically aligns the position of the fork with the cargo handling object based on the front image of the fork. Therefore, automatic fork alignment can be performed more easily.
[0034]
Claim 9 The invention described in claim 1 is an industrial vehicle. 6 ~ Claim 8 The industrial vehicle work visual field support device according to any one of the above.
[0035]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A first embodiment in which the present invention is embodied in a reach type forklift truck work visual field support device will be described with reference to FIGS.
[0036]
As shown in FIGS. 1 and 2, a reach-type forklift truck (hereinafter simply referred to as a forklift) 10 as an industrial vehicle includes a pair of left and right reach legs 12 at the front of a vehicle body 11, and a driver seat 13 at the rear of the vehicle body 11. Is provided. Each reach leg 12 is provided with a driven wheel 14, a driving steering wheel 15 is provided at the lower side of the driver seat 13, and a caster wheel (not shown) is provided at the lower portion of the driver seat 13.
[0037]
A mast 16 serving as a cargo handling device is supported between the two reach legs 12 so as to be movable forward and backward. The mast 16 is moved back and forth by a reach cylinder 17 provided at the lower part of the vehicle body 11.
[0038]
The mast 16 is a three-stage full free mast, and includes an outer mast 18, a middle mast 19, an inner mast 20, a lift cylinder 21, a fork cylinder 22, a lift bracket (not shown), a fork 24, and the like.
[0039]
The lift bracket moves up with respect to the inner mast 20 by the extension operation of the fork cylinder 22 provided on the inner mast 20.
The middle mast 19 moves upward with respect to the outer mast 18 by the extension operation of the lift cylinder 21 provided on the outer mast 18. Then, the inner mast 20 connected to the upper portion of the outer mast 18 is moved upward with respect to the middle mast 19 itself by a chain passing through a chain wheel (not shown) provided at the upper end.
[0040]
That is, the mast 16 first extends the fork cylinder 22 from the state in which the fork 24 is at the lowest position, so that the fork 24 is moved from the lowest position to a first lift position (near the upper end of the outer mast 18). Raise to the standard lift position. That is, at this time, the middle mast 19 and the inner mast 20 are not raised with respect to the outer mast 18. From this state, the lift cylinder 21 is further extended to raise the middle mast 19 and the inner mast 20 relative to the outer mast 18, thereby raising the fork 24 from the upper end position of the outer mast 18 to the highest second lifting position.
[0041]
The cross beam 25 of the outer mast 18 has a lift switch 26 (FIG. 2) for detecting a state in which the inner mast 20 is lifted from the lowest position, that is, a lift state in which the fork 24 is lifted beyond the first lift position. , 7). The lift cylinder 21 is provided with a load sensor (shown in FIG. 7) 27 for detecting the load of the load on the fork 24. The lift switch 26 is electrically connected to a display control device 28 and a cargo handling control device 29 provided inside the vehicle body 11, and the load sensor 27 is electrically connected to the cargo handling control device 29.
[0042]
A side shifter 30 is provided between the lift bracket and the fork 24 so as to be tiltable in the vehicle front-rear direction. The fork 24 is supported by a finger bar 31 fixed to the movable part of the side shifter 30 together with a backrest 32 (elevating member). The lift bracket is provided with a tilt angle sensor 33 (shown in FIG. 7) for detecting the tilt angle of the fork 24.
[0043]
The side shifter 30 tilts in the vehicle front-rear direction with respect to the lift bracket by the expansion and contraction operation of the tilt cylinder 34 (shown in FIG. 7), and adjusts the angle of the fork 24 with respect to the mast 16. Further, the side shifter 30 moves relative to the lift bracket in the left-right direction of the vehicle by the expansion / contraction operation of the side shift cylinder 35 (shown in FIG. 7), and adjusts the position of the fork 24 in the left-right direction relative to the mast 16.
[0044]
The driver's seat 13 is provided with a known lift lever, reach lever, tilt lever, and side shift lever that are not shown. Potentiometers 36, 37, 38, 39 (shown in FIG. 7) for detecting the operation amount of each lever are electrically connected to the cargo handling control device 29, respectively. The knob of the lift lever is provided with a fork automatic positioning switch 41 (shown in FIG. 7) for causing the cargo handling control device 29 to automatically control the position of the fork 24 during loading or loading operation. The automatic fork positioning switch 41 is electrically connected to the cargo handling control device 29.
[0045]
As shown in FIGS. 1 and 2, on the outer surface of the left outer mast 18, a traveling camera 42 that captures a front image of the vehicle for supporting forward traveling of the vehicle is provided. The traveling camera 42 is electrically connected to the display control device 28 via a harness (not shown).
[0046]
The traveling camera 42 moves from the left side of the load W on the fork 24 lowered to a position lower than the first lift position, for example, as shown in FIG. It is provided so that a front image PD of a vehicle such as can be taken. The front image PD of the vehicle imaged by the traveling camera 42 can assist the driver in the forward view of the vehicle that is blocked by the load W on the fork 24 when the vehicle is traveling forward, and can support the vehicle traveling forward. .
[0047]
As shown in FIGS. 1 and 2, a cargo handling camera unit 43 that captures a front image of the fork 24 for supporting loading and unloading work is provided on the front side of the side shifter 30.
[0048]
The cargo handling camera unit 43 includes a casing 44 incorporated in the backrest 32, an inner case 45 accommodated in the casing 44 so as to be able to protrude and retract downward, a cargo handling camera 46 accommodated in a lower portion of the inner case 45, and the like. Become. The cargo handling camera 46 captures a front image of the fork 24 from a photographing hole 45 a provided in the front surface of the inner case 45. The cargo handling camera 46 is electrically connected to the display control device 28.
[0049]
The inner case 45 moves up and down with respect to the casing 44 by an elevating mechanism including a camera elevating motor (shown in FIG. 7) 47 provided inside the casing 44. The inner case 45 is switched between a state in which the entire inner case 45 is accommodated in the casing 44 and a state in which the lower part extends to the lower side of the fork 24. The camera elevating motor 47 is electrically connected to the cargo handling control device 29.
[0050]
The cargo handling camera 46 is disposed at a “storage position” positioned above the upper surface of the fork 24 when the entire inner case 45 is accommodated in the casing 44. Further, as shown in FIG. 1, when the lower portion of the inner case 45 is extended below the casing 44, the inner case 45 is disposed at a “lowering position” positioned below the lower surface of the fork 24.
[0051]
The cargo handling camera 46 is in the “retracted position” at the time of “loading work”, and there is no load W as shown in FIG. 4A through the photographing window 44 a provided on the lower front surface of the casing 44. A front image of the fork 24 is taken from between the left and right forks 24. Then, as shown in FIG. 5, a front image PW including the front surface of the pallet P on which the load W to be unloaded is placed is captured.
[0052]
On the other hand, the cargo handling camera 46 is set to the “lowering position” at the time of “loading work”, and directly from the photographing hole 45a, as shown in FIG. 24 front images are taken. And as shown in FIG. 6, the front image PW containing the front surface of the shelf L2 of the storage part L1 loaded in the storage shelf L is imaged.
[0053]
As shown in FIGS. 1 and 2, the driver's seat 13 is provided with a display device 49 on the lower surface of the head guard 48. The display device 49 is, for example, a liquid crystal display device, and is electrically connected to the display control device 28. The display device 49 is provided to display either the front image of the vehicle captured by the traveling camera 42 or the front image of the fork 24 captured by the cargo handling camera unit 43 to the driver of the driver's seat 13. ing.
[0054]
In the present embodiment, the display control device 28 and the display device 49 constitute a work image display means, and the lift switch 26 and the display control device 28 constitute a work determination means. Further, the lift switch 26 is a lift detection means, and the display control device 28 is a display control means and a display switching means. The traveling camera 42 and the cargo handling camera 46 are work cameras, respectively. Further, the lift cylinder 21, the display control device 28, the cargo handling control device 29, the side shift cylinder 35, the cargo handling camera 46, the hydraulic oil control valve 50, and the electromagnetic switching valves 52 and 55 constitute position control means.
[0055]
Next, the electrical configuration of the present embodiment configured as described above will be described with reference to the electrical block diagram of FIG.
As shown in FIG. 7, the lift switch 26, load sensor 27, tilt angle sensor 33, fork automatic positioning switch 41, and potentiometers 36 to 39 of each lever are electrically connected to the input side of the cargo handling control device 29, respectively. The camera elevating motor 47 is electrically connected to the output side. Similarly, on the output side, electromagnetic switching valves 51, 52, 53, 54, 55 provided in the hydraulic oil control valve 50 and a cargo handling electric motor 57 for driving the cargo handling hydraulic pump 56 are electrically connected to each other. Yes.
[0056]
The lift switch 26, the traveling camera 42, and the cargo handling camera unit 43 are each electrically connected to the input side of the display control device 28, and the display device 49 is electrically connected to the output side thereof.
[0057]
As shown in FIG. 8, the display control device 28 recognizes the images of the marks M1 and M2 displayed on the front surface of the pallet P or the shelf board L2 where the fork 24 is to be positioned. The center-of-gravity coordinates in the vertical direction and the distance information in the depth direction are obtained. This is because the driver manually adjusts the position of the fork 24 in advance with the vehicle facing the storage shelf L, and during the “loading operation”, as shown in FIG. Is performed in a state where the mark M1 of the pallet P on which is placed is displayed. Similarly, at the time of “loading work”, as shown in FIG. 6, the mark M2 of the shelf L2 of the storage unit L1 in which the load W is stored is displayed.
[0058]
The cargo handling control device 29 performs manual cargo handling control based on the operation amount of each lever, camera lifting control of the camera unit 43 for cargo handling, and automatic fork positioning control based on the operation of the fork automatic positioning switch 41.
[0059]
(Manual cargo handling control)
As manual cargo handling control, the cargo handling control device 29 controls the opening degree of the electromagnetic switching valves 51 to 55 corresponding to the levers based on the operation amount for each lever, and drives and controls the electric motor 57. Then, the hydraulic oil supplied by the cargo handling hydraulic pump 56 is supplied / discharged to the reach cylinder 17, lift cylinder 21, fork cylinder 22, tilt cylinder 34, or side shift cylinder 35. As a result, the cylinders 17, 21, 22, 34, 35 are extended or contracted at an operating speed corresponding to the operation amount of each lever.
[0060]
(Camera elevating control)
As the camera lifting control, the cargo handling control device 29 holds the cargo handling camera 46 at the “storage position” when the lifting position of the fork 24 is in the range from the maximum lowered position to the first lifting position. Further, when the lifting position of the fork 24 exceeds the first lifting position, the cargo handling control device 29 moves the handling camera 46 to the “storage position” or “lowering position” according to the load of the load W on the fork 24. To "". When the load of the load W is equal to or less than a predetermined determination value, the cargo handling control device 29 assumes that there is no load W on the fork 24 and is in a state of performing “loading work”. The camera 46 is set as a “storage position”. On the other hand, when the load of the load W exceeds the determination value, it is assumed that the load W is on the fork 24 and the “loading operation” is performed, and the cargo handling camera 46 is set to the “lowering position”.
[0061]
The reason why the loading camera 46 is set to the “retracted position” at a lifting height equal to or lower than the first lifting position is to prevent the loading camera 46 from colliding with the floor surface when the fork 24 is lowered to the maximum lowered position. It is. On the other hand, at the time of “loading work” in a state where the fork 24 is lifted beyond the first lifting position, as shown in FIG. 4A, a front image PW of the fork 24 from between the left and right forks 24 is obtained. It will be in the state which images. Similarly, at the time of “loading work”, as shown in FIG. 4B, the front image PW of the fork 24 is captured from below the load W on the fork 24.
[0062]
(Fork automatic positioning control)
The fork automatic positioning control is executed when the fork automatic positioning switch 41 is operated in a high lift state in which the fork 24 is lifted beyond the first lift position. As the automatic fork positioning control, the cargo handling control device 29 automatically positions the fork 24 at the loading target position with respect to the pallet P on which the load W is placed, as shown in FIG. To do. Further, at the time of “loading operation”, as shown in FIG. 4B, the fork 24 is automatically positioned at the load storage target position with respect to the shelf L2 of the storage unit L1 where the load W is placed.
[0063]
The cargo handling control device 29 acquires the center-of-gravity coordinates and distance information of the mark M1 on the pallet P from the display control device 28 during the “loading operation”. The barycentric coordinates are the barycentric coordinates of the mark M1 in the horizontal and vertical coordinate systems of the cargo handling camera 46, and the distance information is the distance information between the cargo handling camera 46 and the mark M1. Then, the cargo handling control device 29 obtains the three-dimensional relative position coordinates (left and right Y direction, vertical Z direction and depth X direction as shown in FIG. 8) with respect to the mark M1 of the cargo handling camera 46 from these pieces of information. Then, the amount of displacement of the fork 24 with respect to the target loading position is obtained from the three-dimensional relative position coordinates.
[0064]
Then, the cargo handling control device 29 controls the electromagnetic switching valves 52 and 55 to extend or contract the lift cylinder 21 and the side shift cylinder 35, and adjust the position of the fork 24 in the vertical direction and the horizontal direction to load the cargo. Position to the target position.
[0065]
As a result, the fork 24 is automatically positioned with respect to the pallet P to be unloaded, and the driver inserts the fork 24 into the insertion hole P1 of the pallet P simply by operating the reach lever to move the mast 16 forward of the vehicle. be able to.
[0066]
Similarly, the cargo handling control device 29 acquires the center-of-gravity coordinates and distance information of the mark M2 of the shelf board L2 from the display control device 28 at the time of “loading work”. From these pieces of information, the three-dimensional relative position coordinates of the cargo handling camera 46 with respect to the mark M2 are obtained. Further, the amount of displacement of the fork 24 relative to the load storage target position is obtained from the three-dimensional relative position coordinates.
[0067]
The cargo handling control device 29 controls the electromagnetic switching valves 52 and 55 to expand or contract the lift cylinder 21 and the side shift cylinder 35 and adjust the vertical and horizontal positions of the fork 24 to load the cargo. Position to the target position.
[0068]
As a result, the fork 24 is automatically positioned with respect to the shelf L2 of the storage unit L1 on which the cargo is loaded, and the driver can arrange the pallet P above the shelf L2 only by reaching the mast 16 forward of the vehicle. it can.
[0069]
(Control of display control device)
The display control device 28, based on the detection signal of the lift switch 26, displays the image displayed on the display device 49, the front image PD of the vehicle captured by the traveling camera 42, and the fork 24 captured by the cargo handling camera 46. Switching with the front image PW.
[0070]
When the lift of the fork 24 is equal to or lower than the first lift position, the display control device 28 displays a front image PD of the vehicle captured by the traveling camera 42 on the display device 49. When the lift of the fork 24 is equal to or lower than the first lift position, the driver can carry out loading or loading relatively easily while observing the pallet P or the shelf L2 directly, while driving the vehicle forward. It is in a state where it is difficult to see the front of the vehicle because it is obstructed by the load W on the fork 24 when the vehicle is moved. The display control device 28 displays the vehicle front image PD on the display device 49 when the lift of the fork 24 is equal to or lower than the first lift position, so that the driver can display the vehicle front image PD displayed on the display device 49. The vehicle can be made to travel forward while watching.
[0071]
On the other hand, when the lifting height of the fork 24 exceeds the first lifting position, the display control device 28 displays a front image PW of the fork 24 captured by the cargo handling camera 46 on the display device 49. When the lift of the fork 24 exceeds the first lift position, it is not easy for the driver to perform loading or loading work while directly viewing the pallet P or the shelf board L2, and the vehicle travels forward. This is a state where there is little to be caused. In this way, the display control device 28 enables the driver to position the fork 24 on the pallet P or the shelf board L2 while viewing the front image PW of the fork 24 displayed on the display device 49 when the fork 24 is manually positioned. To. Further, when the fork 24 is positioned by the automatic fork positioning control, the driver can roughly align the fork 24 with the pallet P or the shelf board L2 while looking at the front image PW of the fork 24 displayed on the display device 49. .
[0072]
Next, the operation of this embodiment will be described.
When the fork 24 is lifted beyond the first lift position in order to unload the load W stored together with the pallet P in the storage section L1 at the high position of the storage shelf L, the fork 24 captured by the cargo handling camera 46 is picked up. The display control device 28 displays the forward image PW on the display device 49. For this reason, it is difficult for the driver to grasp the height relationship with the fork 24, and the pallet P of the load W stored in the storage part L1 in the high place that is blocked by the fork 24, the backrest 32, etc. and difficult to see. Can be viewed on the display device 49. Then, the fork 24 can be easily manually positioned with respect to the pallet P while viewing the front image PW of the fork 24.
[0073]
Then, the fork 24 can be inserted into the pallet P simply by causing the mast 16 to reach the front of the vehicle. Alternatively, the fork 24 can be easily roughly aligned with the pallet P while viewing the front image PW of the fork 24 displayed on the display device 49. The fork 24 can be aligned with the pallet P by automatic control.
[0074]
Similarly, when the load W is loaded together with the pallet P in the storage unit L1 at the high position of the storage shelf L, the display control device 28 displays the front image PW of the fork 24 on the display device 49. For this reason, the driver can easily position or roughly align the fork 24 while looking at the front image PW of the fork 24 displayed on the display device 49 with respect to the high storage part L1 that is difficult to see directly. Can do. Then, the load W can be inserted into the storage portion L1 and loaded only by causing the mast 16 to reach the front of the vehicle.
[0075]
On the other hand, when the fork 24 is lowered below the first lift position in order to move the vehicle forward after unloading, the vehicle captured by the traveling camera 42 instead of the fork front image PW captured by the cargo handling camera 46. Is displayed on the display device 49 by the display control device 28. For this reason, the driver can easily travel forward while viewing the front image PD of the vehicle which is blocked by the load W on the fork 24 and is difficult to see with the display device 49.
[0076]
The embodiment described above in detail has the following effects.
(1) The traveling camera 42 captures a front image PD of the vehicle with respect to the forward traveling of the vehicle performed by lowering the fork 24, and a working image for the cargo handling operation performed by raising and lowering the fork 24 is performed. Images. The display control device 28 determines from the lifted position of the fork 24 whether the work performed at that time is a cargo handling work or a forward movement, and the front image PD of the vehicle or the front image of the fork 24 according to the work. The PW is displayed on the display device 49.
[0077]
Therefore, a work image captured by the traveling camera 42 provided for the forward traveling of the vehicle and the cargo handling camera 46 provided for the cargo handling work is displayed to the driver according to the work at that time. As a result, when switching between the cargo handling work and the moving work, it is not necessary to switch the displayed work image, and the work efficiency can be further improved.
[0078]
(2) A front image of the vehicle that assists the driver's visual field when the vehicle travels forward is captured from the left side of the load W by the traveling camera 42 provided on the outer mast 18. For this reason, the vehicle can be easily moved forward while viewing the front image of the vehicle that is blocked by the load on the fork 24 and is difficult to see directly on the display device 49.
[0079]
(3) A front image of the fork 24 that assists the driver's visual field during “loading work” or “loading work” is captured by a cargo handling camera 46 provided in front of the finger bar 31 that moves up and down together with the fork 24. For this reason, the fork 24 can be easily positioned while viewing the front image of the pallet P or the shelf L2 on the display device 49, which is blocked by the load W on the backrest 32 or the fork 24 and is not directly visible.
[0080]
(4) Based on the lift of the fork 24 detected by the lift switch 26, when the inner mast 20 is below the first lift position at the lowest position, it is determined that the vehicle is running, and the first lift When exceeding the high position, it is determined that the cargo handling operation is being performed. For this reason, it is possible to distinguish between a state in which the fork 24 is lowered and the vehicle is traveling forward and a state in which the fork 24 is lifted and the cargo handling operation is performed with a simple configuration.
[0081]
(5) From the forward image PW of the fork 24 captured by the cargo handling camera 46, the cargo handling control device 29 obtains the amount of displacement of the fork 24 with respect to the pallet P and the shelf board L2, and controls the lift cylinder 21 and the side shift cylinder 35. Then, the fork 24 is controlled to the loading or loading target position. For this reason, even if the fork 24 is raised and raised, loading and loading operations can be easily performed.
[0082]
(Second Embodiment)
Next, a second embodiment in which the present invention is embodied in a work visual field support device for a reach-type forklift truck as in the first embodiment will be described with reference to FIGS. In the present embodiment, the elevation switch 26, the traveling camera 42, the cargo handling camera unit 43, and the display control device 28 of the first embodiment are replaced with the elevation switch 70, the work camera unit 72, and the display control device 77. Only the change to the first embodiment is different from the first embodiment. Accordingly, the same components as those of the first embodiment are denoted by the same reference numerals and the description thereof is omitted, and only the lift switch 70, the work camera unit 72, and the display control device 77 will be described in detail.
[0083]
As shown in FIG. 9, whether or not the inner mast 20 is lifted from the lowest position in the cross beam 25 of the outer mast 18, that is, whether the lifted position of the fork 24 is equal to or lower than the first lifted position. An elevation switch 70 is provided for determining whether or not.
[0084]
A cross beam 71 that connects the left and right inner masts 20 is used to capture a front image of the vehicle for supporting forward traveling of the vehicle and a front image of the fork 24 for supporting loading and loading operations. A work camera unit 72 is provided. The work camera unit 72 is provided on the right side of the lower surface of the cross beam 71 so as not to overlap the piston rod 22a (shown in FIG. 10) of the fork cylinder 22 in the left-right direction of the vehicle.
[0085]
As shown in FIG. 10, the work camera unit 72 includes a pair of support members 73, a casing 74, a work camera 75, a motor unit 76, and the like. Both support members 73 are fixed to the cross beam 71, and support the casing 74 in such a manner that the casing 74 can be tilted about the vehicle left-right direction as a rotation axis. A working camera 75 is accommodated in the casing 74.
[0086]
The work camera 75 captures a front image of the vehicle from a photographing window 74 a provided in the casing 74. The work camera 75 is electrically connected to a display control device 77 provided inside the vehicle body 11.
[0087]
The motor unit 76 tilts the working camera 75 supported by the support member 73, and “shooting mode” in which the imaging direction looks down at the front of the vehicle, as shown in FIGS. It is possible to switch to the appropriate “handling mode”. The motor unit 76 is electrically connected to the display control device 77.
[0088]
When in the “traveling mode”, the work camera 75 can capture a front image of the vehicle from above the load W on the fork 24 lowered to the vicinity of the reach leg 12. That is, since the work camera 75 of the present embodiment is positioned in front of the vehicle relative to the driver's position, the front image includes a front region of the vehicle that is difficult for the driver to see due to being blocked by the load W on the fork 24. Image.
[0089]
Further, since the mast 16 is a fully free type, the work camera 75 can be viewed from below the fork 24 in the “loading mode” regardless of the lift of the fork 24 that has been raised higher than the first lift position. The front image is taken. That is, when the lift of the fork 24 exceeds the first lift position and the inner mast 20 is raised with respect to the outer mast 18, the work camera unit 72 remains in the positional relationship with respect to the fork 24 at the first lift position. It moves up and down together with the fork 24. As shown in FIGS. 10 and 11, the positional relationship at the first lift position is a position where the front image can be taken from below the fork 24, and corresponds to the “down position” in the first embodiment. .
[0090]
In the present embodiment, the elevation switch 70, the support member 73, the casing 74, the motor unit 76, and the display control device 77 constitute an imaging direction switching unit. Further, the display control device 77 and the display device 79 constitute image display means. Further, the support member 73, the casing 74, the motor unit 76, and the display control device 77 constitute posture adjusting means, and the elevation switch 70 and the display control device 77 constitute work discriminating means and elevation detection means, and the display control device. 77 is a switching control means. Further, the lift cylinder 21, the display control device 77, the cargo handling control device 29, the side shift cylinder 35, the hydraulic oil control valve 50, the electromagnetic switching valves 52 and 55, and the work camera 75 constitute a position control means.
[0091]
Next, the electrical configuration of this embodiment will be described with reference to the electrical block diagram of FIG.
The lift switch 70 and the work camera 75 are electrically connected to the input side of the display control device 77, respectively, and the display device 49 and the motor unit 76 are electrically connected to the output side thereof.
[0092]
The display control device 77 controls the motor unit 76 based on the detection signal of the lift switch 70 and switches the imaging direction of the work camera 75 between the “traveling mode” and the “loading mode”.
[0093]
More specifically, when the lift of the fork 24 is equal to or lower than the first lift position, the display control device 77 sets the work camera 75 to the “travel mode”, and in this state, displays the front image of the vehicle captured by the work camera 75. It is displayed on the display device 49. That is, the display control device 77 displays a front image of the vehicle on the display device 49 when the lift of the fork 24 is equal to or lower than the first lift position, so that the driver displays the front image of the vehicle displayed on the display device 49. The vehicle can be made to travel forward while watching.
[0094]
On the other hand, when the lift of the fork 24 exceeds the first lift position, the display control device 77 sets the work camera unit 72 to the “loading mode”, and the front image of the fork 24 taken by the work camera 75 in this state. Is displayed on the display device 49.
[0095]
The working camera unit 72 in the “loading mode” is lifted beyond the first lifting position during the “loading operation”, and is close to the loading target position for the shelf L2 of the storage unit L1 for loading. When positioned, a front image of the fork 24 including the mark M2 of the shelf board L2 is taken from below the load W. Similarly, when the fork 24 is positioned near the loading target position with respect to the pallet P placed on the shelf L2 of the storage unit L1 where the fork 24 unloads during the “loading operation”, the mark M2 on the shelf L2 is placed. A front image of the fork 24 including is taken.
[0096]
The display control device 77 displays the front image of the fork 24 on the display device 49 when the lift height of the fork 24 exceeds the first lift position, so that the driver can display the front image of the fork 24 displayed on the display device 49. The fork 24 can be positioned on the pallet P or the shelf L2 while looking at the PW.
[0097]
Also in the present embodiment, as in the first embodiment, the display control device 77 recognizes the images of the marks M1 and M2 displayed on the front surface of the pallet P or the shelf board L2, and sets the marks M1 and M2. Find barycentric coordinates and distance information. Then, the cargo handling control device 29 performs automatic fork positioning control for automatically positioning the fork 24 at the load pickup target position or the load storage target position based on the barycentric coordinates and distance information acquired from the display control device 77. However, in the present embodiment, the working camera 75 is provided on the inner mast 20 and does not move to the left and right together with the fork 24. Therefore, the relative positional relationship in the left-right direction (Y direction) between the fork 24 and the working camera 75 changes. To do. For this reason, a side stroke sensor 78 (shown in FIG. 11) for detecting the amount of side shift of the fork 24 is provided, and the center of gravity position and distance information are obtained based on the detected value.
[0098]
Next, the operation of this embodiment will be described.
When the fork 24 is lifted beyond the first lift position in order to unload the load W stored in the storage unit L1 at the high position of the storage shelf L, the display control device 77 takes an image of the work camera 75. The direction is set to the “loading mode”, and a front image of the fork 24 captured by the work camera 75 is displayed on the display device 49.
[0099]
For this reason, it is difficult for the driver to grasp the height relationship with the fork 24, and the pallet P of the load W stored in the storage part L1 in the high place that is blocked by the fork 24, the backrest 32, etc. and difficult to see. A front image of the fork 24 including the front of the image can be viewed on the display device 49. Then, the fork 24 can be easily positioned at the loading position by manual operation.
[0100]
Similarly, when loading the load W together with the pallet P into the storage unit L1 at the high position of the storage shelf L, the work camera 75 is set to the “loading mode” and the front image of the fork 24 is displayed on the display device 49. Is done. For this reason, the driver can easily position the fork 24 while looking at the front image of the fork 24 displayed on the display device 49 with respect to the high storage part L1 that is difficult to see.
[0101]
On the other hand, when the fork 24 is lowered below the first lifting position to move the vehicle forward after unloading, the display control device 77 changes the imaging direction of the work camera 75 from the “loading mode” to the “traveling mode”. Switch to. Then, the front image of the vehicle including the immediately preceding region is displayed on the display device 49.
[0102]
For this reason, the driver can easily advance the vehicle while viewing the front image of the vehicle including the immediately preceding region that is blocked by the load W on the fork 24 and difficult to see, on the display device 49.
[0103]
The embodiment described above in detail has the following effects.
(6) The front image of the vehicle and the front image of the fork 24 can be captured by switching the imaging direction of one work camera 75. Then, the display control device 77 discriminates the work at that time based on the lifted position of the fork 24, and switches the imaging direction of the work camera 75 according to the discriminated work.
[0104]
Accordingly, by switching the imaging direction of one work camera 75, a work image supporting the work at that time is automatically switched and displayed. As a result, it is not necessary to switch the work image to be displayed when the work is switched, and the work efficiency can be further improved.
[0105]
(7) The work camera 75 is provided on the cross beam 71 of the inner mast 20 of the full free mast 16. Then, the lift of the fork 24 is detected by the lift switch 70, and when the fork 24 is below the first lift position, the imaging direction is set to the direction in which the front image of the vehicle is captured, and exceeds the first lift position. Sometimes the imaging direction is the direction in which the front image of the fork 24 is captured.
[0106]
Therefore, the front image of the vehicle can be taken from the same viewpoint height with respect to the vehicle body 11 when the inner mast 20 does not rise from the lowest position and only the fork 24 moves up and down. Further, when the inner mast 20 moves up and down together with the fork 24, a front image of the fork 24 can be taken with a predetermined positional relationship with respect to the fork 24. Therefore, unlike the first embodiment, it is not necessary to provide a traveling camera separately from the cargo handling camera.
[0107]
(Third embodiment)
Next, a third embodiment in which the present invention is embodied as a counterbalance type forklift truck work visual field support device will be described with reference to FIGS.
[0108]
As shown in FIG. 13, a counterbalance forklift (hereinafter simply referred to as “forklift”) 80 is provided with a driver seat 82 in the front part of a vehicle body 81 and a mast 83 on the front side of the driver seat 82. A driving wheel 84 is provided at the front part of the vehicle body 81, and a steering wheel 85 is provided at the rear part.
[0109]
The mast 83 is supported on the front wheel axle so as to be tiltable in the front-rear direction with respect to the vehicle body 81, and tilts by the expansion and contraction of the tilt cylinder 86.
The mast 83 is a two-stage slide mast, and includes an outer mast 87 that is supported by the vehicle body 81 so as to be tiltable, and an inner mast 88 that is supported by the outer mast 87 so as to be movable up and down. Then, the inner mast 88 is moved up and down by an expansion and contraction operation of a lift cylinder (not shown) fixed to the outer mast 87, and the lift bracket 89 and the fork 90 supported by the inner mast 88 so as to be moved up and down are moved up and down.
[0110]
The driver seat 82 is provided with a shift lever 91 for switching between forward and backward travel of the vehicle. The switching position of the shift lever 91, that is, the forward state or the reverse state is detected by the shift switch 92. The shift switch 92 is electrically connected to a display control device 93 provided inside the vehicle body 81.
[0111]
A forward camera 94 is provided on the outer surface of the left outer mast 87 for capturing a front image of the vehicle that supports the forward traveling of the vehicle. The forward camera 94 is electrically connected to the display control device 93.
[0112]
The forward camera 94 captures a forward image including a front area of the vehicle from the left side of the load W on the fork 90 that blocks the driver's forward view. The forward image of the vehicle imaged by the forward camera 94 can assist the driver's forward field of view, which is blocked by the load on the fork 90, when the vehicle is traveling forward, and can support the forward traveling of the vehicle. is there.
[0113]
On the rear upper surface of the vehicle body 81, a backward camera 95 for capturing a rear image of the vehicle that supports the backward running of the vehicle is provided. The backward camera 95 is electrically connected to the display control device 93.
[0114]
The reverse camera 95 captures a rear image including a rear region of the vehicle that is difficult for the driver to visually recognize. The rear image of the vehicle imaged by the reverse camera 95 assists the driver's rear view that is obstructed by the rear portion of the vehicle body 81 without causing the driver to take an unreasonable posture when the vehicle is driven backward. It is possible to support the backward running of the vehicle.
[0115]
The driver's seat 82 is provided with a display device 97 under the head guard 96. The display device 97 is electrically connected to the display control device 93, and displays a front image of the vehicle captured by the forward camera 94 or a rear image of the vehicle captured by the reverse camera 95 to the driver of the driver seat 82. Is.
[0116]
Further, the backrest 98 of the forklift 80 according to the present embodiment is provided with a cargo handling camera unit 43 including a cargo handling camera, similar to the first embodiment. Further, the outer mast 87 is provided with a lifting height switch 99 for detecting whether or not the lifting height of the fork 90 is equal to or lower than a preset reference lifting position. The reference lift position corresponds to the first lift position of the first embodiment.
[0117]
In the present embodiment, the display control device 93 and the display device 97 constitute work image display means, and the elevation switch 99 and the display control device 93 constitute display control means and work determination means. The display control device 93 is a display switching means, and the elevation switch 99 is an elevation detection means. In addition, the cargo handling camera 46, the forward camera 94, and the backward camera 95 are work cameras, respectively, and the forward camera 94 and the backward camera 95 are travel cameras.
[0118]
Next, the electrical configuration of the present embodiment will be described with reference to the electrical block diagram of FIG. The cargo handling camera 46, shift switch 92, forward camera 94, reverse camera 95 and lift switch 99 are electrically connected to the input side of the display control device 93, and the display device 97 is also electrically connected to its output side. . The lift switch 99 is also electrically connected to the input side of the cargo handling control device 29.
[0119]
The display control device 93 displays a front image of the fork 90 captured by the cargo handling camera 46 on the display device 97 when the lifting position of the fork 90 exceeds the reference lifting position based on the detection signal of the lifting switch 99. .
[0120]
In addition, the display control device 93 is a vehicle that the forward camera 94 captures when the shift lever 91 is in the forward position based on the switching state of the shift switch 92 when the lift position of the fork 90 is equal to or lower than the reference lift position. Is displayed on the display device 97. On the other hand, when the shift lever 91 is in the reverse position, the rear image of the vehicle captured by the reverse camera 95 is displayed on the display device 97.
[0121]
Also in the present embodiment, the display control device 93 recognizes the images of the marks M1 and M2 displayed on the front surface of the pallet P or the shelf board L2 and centroid coordinates of the marks M1 and M2 as in the first embodiment. And obtain distance information. Then, the cargo handling control device 29 controls the lift cylinder and the side shift cylinder (not shown) based on the barycentric coordinates and distance information acquired from the display control device 93, and automatically sets the fork 90 to the loading target position or the loading target position. Fork automatic positioning control is performed.
[0122]
Next, the operation of the present embodiment configured as described above will be described.
When the fork 90 is raised higher than the reference lifting position, a front image of the fork 90 captured by the cargo handling camera 46 is displayed on the display device 97. For this reason, it is difficult for the driver to grasp the height relationship with the fork 90, and includes the front of the pallet P and the shelf board L2 that are difficult to see directly by being blocked by the load W, the backrest 98, etc. on the fork 90. A front image of the fork 90 can be viewed on the display device 97. Then, the fork 90 can be easily positioned at the loading target position or the loading target position by manual operation or automatic control.
[0123]
Further, when the shift lever 91 is switched to the forward position while the fork 90 is lowered below the reference lift position, a front image of the vehicle captured by the forward camera 94 is displayed on the display device 97. For this reason, the driver can easily drive the vehicle forward while viewing the front image including the front area of the vehicle which is blocked by the load W on the fork 90 and is difficult to see directly on the display device 97.
[0124]
Similarly, when the shift lever 91 is switched to the reverse position in the state of the reference lift or lower position, the rear image of the vehicle captured by the reverse camera 95 is displayed on the display device 97. For this reason, the driver can easily make the vehicle move backward without taking an unreasonable posture and viewing the rear image of the vehicle that is blocked by the rear portion of the vehicle body and difficult to see directly on the display device 97.
[0125]
The embodiment described above in detail has the following effects.
(8) In addition to the cargo handling camera 46, a forward camera 94 that captures a front image of the vehicle and a backward camera 95 that captures a rear image of the vehicle are provided. A front image of the vehicle is displayed when the vehicle is traveling forward, and a rear image of the vehicle is displayed when the vehicle is traveling backward. Accordingly, cargo handling work, forward traveling of the vehicle, and backward traveling of the vehicle can be easily performed.
[0126]
Hereinafter, embodiments other than the above-described embodiment will be listed.
In the first embodiment, the traveling camera 42 is provided not on the inner mast 20 but on its cross beam 71 and captures a front image of the vehicle from above the load W on the fork 24 during forward traveling. Even with such a configuration, the effects of the first embodiment are obtained.
[0127]
In the first embodiment, in place of the cargo handling camera unit 43, a small cargo handling camera is provided in a recess opened in front of the front end of the fork 24, and the front of the fork 24 is in a fixed positional relationship with the fork 24. It is configured to capture an image. Even with such a configuration, the effects of the first embodiment are obtained.
[0128]
In the third embodiment, the forward camera 94 is provided on the head guard 96 instead of the outer mast 87. Even such a configuration has the effect of the third embodiment.
[0129]
In the third embodiment, the reverse camera 95 is provided not on the rear part of the vehicle body 81 but on the head guard 96. Even such a configuration has the effect of the third embodiment.
[0130]
In the first embodiment, when the vehicle moves forward, the front image of the fork 24 is displayed small in a partial area of the front image of the vehicle displayed on the entire display screen of the display device 49. Similarly, during cargo handling work, the front image of the vehicle is displayed in a small area in a partial area of the front image of the fork 24. With such a configuration, it is possible to monitor the imaging state of the camera that captures a work image that is not the current work. The same applies to the third embodiment.
[0131]
Hereinafter, the technical idea grasped from each embodiment mentioned above is described with the effect.
(1) in front The work image display means includes a display device (49, 97) that is provided on the cab of the vehicle and displays the work image to the driver. The According to such a configuration, it is possible to display the work image in an easy-to-view manner using a general display device for the driver of the cab.
[0132]
(2) In the invention described in the technical idea (1), the work image display means displays the work image at that time on the entire display screen of the display device, and another part of the work image. A work visual field support device for displaying work images. According to such a configuration, it is possible to monitor the imaging state of the camera that captures the work image for other work while viewing the work image that assists the visual field of the work being performed at that time.
[0133]
(3) in front The cargo handling camera is provided on the movable part (backrest 32) of the cargo handling equipment. The According to such a configuration, it is possible to obtain a work image obtained by capturing an object to be handled in a state in which it is easier to see at the time of the cargo handling work.
[0134]
(4) in front The image display means includes a display device (97) provided on the cab to display a work image to the driver. The According to such a configuration, it is possible to display the work image in an easy-to-view manner using a general display device for the driver of the cab.
[0135]
【The invention's effect】
each Claim In terms According to the described invention, for each of a plurality of different works, a work image that assists the work field of view of the driver performing the work can be displayed to the driver, and the work image to be displayed when the work is switched. No switching operation is required.
[0136]
Claims 5,9 According to the invention described in, work efficiency can be improved.
[Brief description of the drawings]
FIG. 1 is a schematic perspective view showing a reach-type forklift provided with a work visual field support device according to a first embodiment.
FIG. 2 is a schematic perspective view showing the forklift.
FIG. 3 is a schematic diagram showing a front image of the vehicle.
FIGS. 4A and 4B are schematic diagrams showing a fork and a loading camera during loading operation, and FIG. 4B during loading operation.
FIG. 5 is a schematic diagram showing a front image of a fork at the time of unloading work.
FIG. 6 is a schematic diagram showing a front image of a fork during loading work.
FIG. 7 is an electric block diagram of a work visual field support device and a cargo handling control system.
FIG. 8 is a schematic perspective view showing a storage unit, a pallet, and a load of a storage shelf.
FIG. 9 is a schematic perspective view showing a reach-type forklift provided with a work visual field support device according to a second embodiment.
FIG. 10 is a partial schematic front view of a mast including a fork and a working camera.
FIG. 11 is a schematic side view showing a fork and a working camera during loading operation.
FIG. 12 is an electrical block diagram of the work visual field support device.
FIG. 13 is a schematic side view showing a counterbalance forklift provided with a work visual field support device according to a third embodiment.
FIG. 14 is an electrical block diagram of the work visual field support device.
FIG. 15 is a side view of a reach-type forklift provided with a conventional forward visibility improving device.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Reach type forklift truck as an industrial vehicle, 16 ... Mast as cargo handling equipment, 18 ... Outer mast, 19 ... Middle mast, 20 ... Inner mast, 21 ... Lift cylinder constituting position control means, 22 ... Fork cylinder, 23 ... Lift bracket as moving part and lifting member of cargo handling equipment, 24 ... Fork as movable part of cargo handling equipment, 26 ... Lift control switch as lift detection means constituting display control means, work discrimination means, 28 ... Work image Display means, display control means, work discrimination means, display switching means, display control device constituting position control means, 29... Cargo handling control means constituting position control means, 32... Movable part of cargo handling equipment, back as lifting member Rest, 35 ... side shift cylinder constituting position control means, 42 ... traveling as a working camera 46, a handling camera as a working camera constituting the position control means, 49 ... a display device as a display means constituting the work image display means, 50 ... a hydraulic oil control valve constituting the position control means, 51, 55 ... same electromagnetic switching valve, 70 ... imaging direction switching means, lift switch constituting work discrimination means, 71 ... cross beam (inner mast), 73 ... imaging direction switching means, support member constituting posture adjusting means, 74 ... Similarly, casing 75, working camera constituting position control means, 76 ... imaging direction switching means, motor unit constituting posture adjusting means, 77 ... imaging direction switching means, image display means, posture adjusting means, work determining means, Display control device constituting switching control means, 80 ... counterbalance type forklift truck as industrial vehicle, 83 ... cargo handling equipment 90 ... same fork, 92 ... shift switch constituting display control device and traveling direction discrimination means, 93 ... work image display means, display control means, work discrimination means, display control device constituting display switching means, 94 DESCRIPTION OF REFERENCE SYMBOLS: Forward camera as travel camera, 95 ... Reverse camera, 97 ... Display device as display means constituting work image display means, 98 ... Backrest as lifting member, 99 ... Display control means, work discrimination Lifting height switch as a lifting height detecting means constituting the means, PD: front image of the vehicle, PW: front image of the fork.

Claims (9)

フォークリフトトラックのマストを作動させる荷役作業に対する作業画像を撮像する荷役用カメラ、及びフォークリフトトラックを走行させる移動作業に対する作業画像を撮像する走行用カメラによってそれぞれ撮像され、その作業を行うときの運転者の作業視野を補助する各作業画像を運転者に表示するための作業画像表示手段と、
前記作業画像表示手段を制御し、そのときの作業に対する作業画像を前記作業画像表示手段に表示させる表示制御手段とを備えたフォークリフトトラックの作業視野支援装置であって、
前記荷役用カメラは、前記マストに備えられたフォーク、又は、このフォークと共に昇降する昇降部材に設けられて、フォークの前方画像を作業画像として撮像するものであり、
前記表示制御手段は、そのときの作業が前記荷役作業及び移動作業のいずれであるかを判別する作業判別手段と、判別された作業が荷役作業のときには該荷役作業に対する作業画像を表示させ、また、判別された作業が移動作業のときには該移動作業に対する作業画像を表示させる表示切換手段とを備え、
前記作業判別手段は、前記フォークの揚高位置が予め設定された基準揚高位置以下であるか否かを検出するための揚高検出手段を備え、
前記表示切換手段は、検出された揚高位置が前記基準揚高位置以下のときには前記移動作業に対する作業画像を表示させ、また、前記基準揚高位置を越えるときには前記荷役作業に対する作業画像を表示させるフォークリフトトラックの作業視野支援装置
Images taken by a cargo handling camera that captures a work image for a cargo handling operation that operates a mast of a forklift truck, and a traveling camera that captures a work image for a moving operation that travels a forklift truck, respectively, Work image display means for displaying to the driver each work image that assists the work field of view;
A work visual field support device for a forklift truck, comprising: display control means for controlling the work image display means and displaying the work image for the work at that time on the work image display means,
The cargo handling camera is provided on a fork provided in the mast, or an elevating member that moves up and down together with the fork, and takes a front image of the fork as a work image,
The display control means displays a work determination means for determining whether the work at that time is the cargo handling work or the moving work, and displays a work image for the cargo handling work when the determined work is the cargo handling work. And a display switching means for displaying a work image for the moving work when the determined work is a moving work,
The work determination means includes a lift detection means for detecting whether the lift position of the fork is equal to or lower than a preset reference lift position,
The display switching means displays a work image for the moving work when the detected lift position is equal to or lower than the reference lift position, and displays a work image for the cargo handling work when exceeding the reference lift position. Work vision support device for forklift trucks .
前記荷役用カメラが撮像する前記フォークの前方画像から該カメラに対する荷役対象の位置ずれ量を求め、この位置ずれ量をなくすようにフォークの位置を調節する位置制御手段を備えた請求項1に記載のフォークリフトトラックの作業視野支援装置。 The position control means which calculates | requires the positional offset amount of the cargo handling object with respect to this camera from the front image of the said fork which the said camera for cargo handling images, and adjusts the position of a fork so that this positional offset amount may be eliminated. Visual field support device for forklift trucks . 前記走行用カメラは、フォークリフトトラックの前方画像を作業画像として撮像する請求項1又は請求項2に記載のフォークリフトトラックの作業視野支援装置。 3. The work visual field support device for a forklift truck according to claim 1, wherein the traveling camera captures a front image of the forklift truck as a work image . 前記走行用カメラは、フォークリフトトラックの後方画像を作業画像として撮像する請求項1又は請求項2に記載のフォークリフトトラックの作業視野支援装置。 The traveling camera work field support device for a forklift truck according to claim 1 or claim 2 for capturing the rear image of the truck as a working image. 請求項1〜請求項4のいずれか一項に記載のフォークリフトトラックの作業視野支援装置を備えたフォークリフトトラック Forklift trucks with a working field support device for a forklift truck according to any one of claims 1 to 4. 車両の荷役機器を作動させる荷役作業及び車両を走行させる移動作業に対しその作業を行う運転者の作業視野を補助するための作業画像をそれぞれ撮像するための1台の作業用カメラの撮像方向を、そのときに行われる作業に対する作業画像を撮像する方向に切り換える撮像方向切換手段と、
前記作業用カメラが撮像する作業画像を運転者に表示する画像表示手段とを備えた産業車両の作業視野支援装置であって、
前記撮像方向切換手段は、
前記作業用カメラの撮像方向を切換調節するための姿勢調節手段と、
そのとき行われる作業が前記荷役作業及び移動作業のいずれかであるか判別するための作業判別手段と、
前記作業判別手段の判別結果に基づいて前記姿勢調節手段を制御し、判別した作業が荷役作業のときには前記作業用カメラの撮像方向を荷役作業に対する作業画像を撮像する方向とし、また、判別した作業が移動作業のときには前記作業用カメラの撮像方向を移動作業に対する作業画像を撮像する方向とする切換制御手段とを備えた産業車両の作業視野支援装置。
An imaging direction of one work camera for capturing a work image for assisting a driver's work field of view with respect to a cargo handling operation for operating a vehicle cargo handling device and a moving operation for traveling the vehicle. Imaging direction switching means for switching to a direction for capturing a work image for the work performed at that time;
An industrial vehicle work visual field support device comprising image display means for displaying a work image captured by the work camera to a driver,
The imaging direction switching means is
Attitude adjusting means for switching and adjusting the imaging direction of the working camera;
Work discriminating means for discriminating whether the work performed at that time is either the cargo handling work or the moving work;
The posture adjusting means is controlled based on the determination result of the work determination means, and when the determined work is a cargo handling work, the imaging direction of the work camera is set as a direction for capturing a work image for the cargo handling work, and the determined work A work visual field support device for an industrial vehicle, comprising: a switching control means for setting the image capturing direction of the work camera to a direction for capturing a work image for the moving work when is a moving work .
産業車両はフォークリフトトラックであり、
前記荷役機器はフルフリーマストであって、
前記作業用カメラはそのインナマストに設けられ、
前記作業判別手段は、フォークの揚高位置が予め設定されている基準揚高位置以下であるか否かを検出するための揚高検出手段であり、
前記切換制御手段は、検出された揚高位置が前記基準揚高位置以下のときには前記作業用カメラの撮像方向を車両の前方画像を作業画像として撮像する方向とし、また、揚高位置が基準揚高位置を越えるときにはフォークの前方画像を作業画像として撮像する方向とする請求項に記載の産業車両の作業視野支援装置。
Industrial vehicles are forklift trucks,
The cargo handling device is a full free mast,
The working camera is provided on the inner mast,
The work determination means is a lift detection means for detecting whether or not the lift position of the fork is equal to or lower than a preset reference lift position,
When the detected lift position is equal to or lower than the reference lift position, the switching control means sets the imaging direction of the work camera as a direction for capturing a front image of the vehicle as a work image, and the lift position is the reference lift position. The industrial vehicle work visual field support device according to claim 6, wherein when the vehicle is over a high position, the front image of the fork is taken as a work image .
前記作業用カメラが撮像する前記フォークの前方画像から、カメラに対する荷役対象の位置ずれ量を求め、この位置ずれ量をなくすようにフォークの位置を調節する位置制御手段を備えた請求項に記載の産業車両の作業視野支援装置。 From the front image of the fork the working camera imaging, determine the amount of positional shift handling subject to the camera, according to claim 7 having a position control means for adjusting the position of the fork so as to eliminate the positional deviation amount Visual field support device for industrial vehicles. 求項〜請求項のいずれか一項に記載の産業車両の作業視野支援装置を備えた産業車両 Motomeko 6 ~ industrial vehicle equipped with a work field support device for industrial vehicle according to any one of claims 8.
JP2002014734A 2001-07-17 2002-01-23 Work view support device for forklift truck, forklift truck, work view support device for industrial vehicle, and industrial vehicle Expired - Fee Related JP3900941B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002014734A JP3900941B2 (en) 2002-01-23 2002-01-23 Work view support device for forklift truck, forklift truck, work view support device for industrial vehicle, and industrial vehicle
PCT/JP2002/001353 WO2003008325A1 (en) 2001-07-17 2002-02-18 Industrial vehicle equipped with material handling work controller
EP02712415.5A EP1408001B1 (en) 2001-07-17 2002-02-18 Industrial vehicle equipped with material handling work controller
US10/470,491 US7219769B2 (en) 2001-07-17 2002-02-18 Industrial vehicle equipped with load handling operation control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002014734A JP3900941B2 (en) 2002-01-23 2002-01-23 Work view support device for forklift truck, forklift truck, work view support device for industrial vehicle, and industrial vehicle

Publications (2)

Publication Number Publication Date
JP2003212494A JP2003212494A (en) 2003-07-30
JP3900941B2 true JP3900941B2 (en) 2007-04-04

Family

ID=27651329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002014734A Expired - Fee Related JP3900941B2 (en) 2001-07-17 2002-01-23 Work view support device for forklift truck, forklift truck, work view support device for industrial vehicle, and industrial vehicle

Country Status (1)

Country Link
JP (1) JP3900941B2 (en)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005298180A (en) * 2004-04-14 2005-10-27 Nippon Yusoki Co Ltd Material handling vehicle
JP2005298177A (en) * 2004-04-14 2005-10-27 Nippon Yusoki Co Ltd Material handling vehicle
JP2006069778A (en) * 2004-09-06 2006-03-16 Nissan Motor Co Ltd Load recognizing device for forklift
JP4915822B2 (en) * 2009-05-27 2012-04-11 日本輸送機株式会社 Cargo handling vehicle
KR101739256B1 (en) 2014-12-31 2017-05-25 주식회사 심지 Apparatus for displaying working object of forklift
JP2017036102A (en) * 2015-08-06 2017-02-16 株式会社豊田自動織機 Forklift work assisting system
JP6551284B2 (en) * 2016-04-04 2019-07-31 株式会社豊田自動織機 Forklift control method
JP6467616B1 (en) * 2017-08-03 2019-02-13 アールアンドピー株式会社 Forklift working unit visual recognition device
JP6967958B2 (en) * 2017-12-07 2021-11-17 株式会社クボタ Field work support terminal, field work machine, and field work support program
JP2019189381A (en) * 2018-04-23 2019-10-31 株式会社豊田自動織機 Remote operation system for industrial vehicle, industrial vehicle, remote operation program for industrial vehicle, remote operation method of industrial vehicle, and remote operation device
JP6959532B2 (en) * 2018-05-30 2021-11-02 株式会社豊田自動織機 Remote control system for industrial vehicles
JP7200682B2 (en) * 2019-01-11 2023-01-10 株式会社豊田自動織機 Vehicle imaging device
JP7247812B2 (en) * 2019-08-20 2023-03-29 株式会社豊田自動織機 Operation support device for cargo handling vehicle
IT202000023812A1 (en) * 2020-10-09 2022-04-09 Toyota Mat Handling Manufacturing Italy S P A INDUSTRIAL TROLLEY WITH IMPROVED VISUALIZATION FUNCTION
CN114634133B (en) * 2022-05-17 2022-09-09 江苏智库智能科技有限公司 Narrow roadway omnidirectional AGV (automatic guided vehicle) forklift and control method thereof
CN116963991A (en) * 2022-06-08 2023-10-27 桐乡市倍特科技有限公司 Electric fork truck operating mode visual system based on fodder is transported
KR102583666B1 (en) * 2022-12-13 2023-10-04 주식회사 아이자랩 Trailer monitoring system with wireless communication between tracker and trailer
US20240308826A1 (en) * 2023-03-14 2024-09-19 Bastian Solutions, Llc Drop camera assembly

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE7804927L (en) * 1978-04-28 1979-10-29 Volvo Ab DEVICE FOR ORIENTATING, FOR EXAMPLE, A LIFTING RELATION IN RELATION TO A LOAD
JPH0295605A (en) * 1988-10-03 1990-04-06 Daifuku Co Ltd Automatic warehouse and total stock control method for automatic warehouse
FR2667027B1 (en) * 1990-09-21 1995-06-30 Ppm MOBILE HANDLING MACHINE, SUCH AS A HANDLING MACHINE FOR CONTAINERS.
JPH06239410A (en) * 1993-02-10 1994-08-30 Hitachi Ltd Crane control for stocking and delivering operation in warehouse
US5586620A (en) * 1995-05-12 1996-12-24 Crown Equipment Corporation Remote viewing apparatus for fork lift trucks
DE19613386A1 (en) * 1996-04-03 1997-10-09 Fiat Om Carrelli Elevatori Industrial truck, which can be operated either manually or automatically
JPH11278799A (en) * 1998-03-24 1999-10-12 Mitsubishi Electric Corp Loading control device for unmanned fork lift, and loading control method for unmanned fork lift

Also Published As

Publication number Publication date
JP2003212494A (en) 2003-07-30

Similar Documents

Publication Publication Date Title
JP3900941B2 (en) Work view support device for forklift truck, forklift truck, work view support device for industrial vehicle, and industrial vehicle
US5586620A (en) Remote viewing apparatus for fork lift trucks
WO2003062127A1 (en) Position control device and position control method of stevedoring apparatus in industrial vehicle
KR102012705B1 (en) A Front Monitoring Apparatus for Safety Work of Forklift Truck
JP5137209B2 (en) forklift
JP3855728B2 (en) Cargo work support device for industrial vehicle and industrial vehicle
JP3900942B2 (en) Automatic position control device for cargo handling equipment in industrial vehicles, industrial vehicle and automatic position control method for cargo handling equipment
JP3932811B2 (en) Camera lifting device in industrial vehicle
JP2001002395A (en) Cargo handling auxiliary device of forklift
JP4961643B2 (en) Cargo handling control device and industrial vehicle in industrial vehicle
WO2020095602A1 (en) Remote operating system for forklift
JP3858703B2 (en) Cargo work support device for industrial vehicle and industrial vehicle
JP7099399B2 (en) Cargo handling support system
JP4304606B2 (en) Elevating device for vehicle
JP2003312995A (en) Fork-lift
JP7087737B2 (en) Remote control system for forklifts
JP7095553B2 (en) Forklift remote control system
WO2020085068A1 (en) Remote control system for forklift
JP2006069778A (en) Load recognizing device for forklift
JP3900887B2 (en) Industrial vehicle work mode switching device and industrial vehicle
JP3835594B2 (en) forklift
JP6091998B2 (en) Work machine
JP2024074644A (en) Display System
AU711964B2 (en) Fork level indicator for fork lift trucks
JP6724864B2 (en) Forward confirmation device for cargo handling vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061225

R151 Written notification of patent or utility model registration

Ref document number: 3900941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140112

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees