JP3855728B2 - Cargo work support device for industrial vehicle and industrial vehicle - Google Patents

Cargo work support device for industrial vehicle and industrial vehicle Download PDF

Info

Publication number
JP3855728B2
JP3855728B2 JP2001326656A JP2001326656A JP3855728B2 JP 3855728 B2 JP3855728 B2 JP 3855728B2 JP 2001326656 A JP2001326656 A JP 2001326656A JP 2001326656 A JP2001326656 A JP 2001326656A JP 3855728 B2 JP3855728 B2 JP 3855728B2
Authority
JP
Japan
Prior art keywords
camera
cargo handling
carriage
industrial vehicle
fork
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001326656A
Other languages
Japanese (ja)
Other versions
JP2003128395A (en
Inventor
恒 一条
健一 片江
寅彦 山之内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2001326656A priority Critical patent/JP3855728B2/en
Priority to DE60235963T priority patent/DE60235963D1/en
Priority to PCT/JP2002/001351 priority patent/WO2002064490A1/en
Priority to EP02712413A priority patent/EP1361190B1/en
Priority to US10/470,394 priority patent/US7320385B2/en
Publication of JP2003128395A publication Critical patent/JP2003128395A/en
Application granted granted Critical
Publication of JP3855728B2 publication Critical patent/JP3855728B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Forklifts And Lifting Vehicles (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、フォークリフト等の産業車両において、フォーク等の荷役機器の作業エリアを撮影するカメラを備えた産業車両における荷役作業支援装置及び産業車両に関するものである。
【0002】
【従来の技術】
例えば、この種の産業車両であるフォークリフトは、多段式のマストを車体に備え、フォーク等の荷役機器を有したキャリッジがマストに沿って昇降可能に設けられている。例えば棚の高所で荷取りや荷置きをする際は、運手者は高所(例えば3〜6メートル)を仰ぎ見ながらフォークが荷役対象(棚面またはパレット)に位置合わせされたかどうかを目視で確認しつつ荷役レバーを操作する必要がある。しかし、高所を下方から仰ぎ見ながらフォークが荷役対象に位置合わせされたかを目視で判断することは非常に困難で、熟練者でもこの位置合わせに時間を要し作業効率がかなり低下するという問題があった。
【0003】
例えば米国特許5586620号には、フォークリフトのキャリッジにカメラを取り付け、フォーク正面に見える棚やパレット等の様子を撮影した画像を、運転席の表示装置の画面で見られるようにし、高所でのフォークの位置合わせ作業を支援する装置が開示されている。カメラはキャリッジに対し昇降機構を介して昇降変位可能かつバネで下方に付勢された状態で取り付けられていた。キャリッジが最下降位置付近まで下降するとマスト側に設けられたプレートに当たってカメラがバネの付勢力に抗して上昇して保護位置に格納される。このため、フォークが最下降位置から少し上昇するとカメラがキャリッジから下降してフォーク正面の撮影ができ、フォーク下降時には最下降位置に達する前にカメラが上昇して保護位置に格納され、カメラが床面に衝突することが回避される。
【0004】
【発明が解決しようとする課題】
上記従来装置では、フォークが最下降位置に下降する過程でプレートに当たってカメラを保護位置に格納する機械的構造を採用していたため、カメラが保護位置から下降するときの高さ(フォーク最下降位置より少し上方の高さ)以上の揚高では、常にカメラがキャリッジから下方に突出した状態にあった。つまり、カメラの撮影位置は、荷取作業でも荷置作業でもフォークに対して所定距離下方の位置に固定であった。カメラをフォークから所定距離下方に配置するのは、荷置作業時にフォーク上の荷に遮られることなくフォーク正面を撮影するためである。
【0005】
ところで、フォークの位置合わせを支援する観点からは、フォークの差込部と同じ高さの視点で撮影された画像が提供されることが望ましい。特にカメラの撮影を遮る荷がフォーク上に無い荷取作業では、フォークの差込部と同じ高さにカメラを配置することが望ましい。しかし、従来装置では上述したようにカメラの撮影位置が固定であったため、荷取作業時にもカメラがフォークの下方から荷置作業時と同じだけ突出した状態にあった。カメラが下方に突出した状態にあると、荷役作業時にカメラが周辺物と干渉する恐れがあり、この発生頻度はカメラのキャリッジからの突出量および突出頻度(又は突出時間)が多いほど増すことになる。このため、従来装置では、カメラが周辺物と干渉し易いうえ、荷取作業時にフォーク下方の低いアングルからの撮影を余儀なくされていたという問題があった。なお、荷役作業に応じた適切な撮影アングルが確保されないという問題は、カメラがキャリッジ等から突出する構成であるか否かに拘わらず起こり得る問題である。
【0006】
本発明は前記課題を解決するためになされたものであって、その第1の目的は、カメラを荷役作業に応じた撮影位置に移動配置することで、荷役作業に応じた適切な撮影画像を提供し、提供した撮影画像を通して荷役作業を効果的に支援できる産業車両における荷役作業支援装置及び産業車両を提供することにある。
【0007】
第2の目的は、第1の目的を達成するに当たり、荷役作業時にカメラが周辺物と干渉することをなるべく回避することを可能とすることにある。
【0008】
【課題を解決するための手段】
本発明は、荷役機器が移動可能に設けられた産業車両に適用される。特に請求項3〜11の発明では、荷役機器を有するキャリッジがマストに沿って昇降可能に設けられた産業車両に適用される。
【0009】
前記第1の目的を達成するため、請求項1に記載の荷役作業支援装置では、移動機構によって、カメラを荷役作業に応じた撮影位置に移動可能に支持する。カメラを移動配置するためのアクチュエータと、荷役作業を判別するための検出を行う検出手段と、アクチュエータを駆動制御する制御手段とを設ける。制御手段は、検出手段の検出結果から判別される荷役作業に応じた撮影位置にカメラが配置されるようにアクチュエータを駆動制御するように構成される。なお、「荷役作業に応じた撮影位置」とは、荷役作業に適したアングル(例えば撮影対象を撮影するのに都合のよいアングル)から撮影できるように撮影アングルの適切化を目的として設定された撮影位置である場合と、荷役作業の様子や対象(撮影対象)を何らかの障害物等に遮られることなく目標箇所の撮影を確実にする目的で設定された撮影位置である場合とを含む。荷役作業に応じて撮影位置が決まるのであればどちらのケースでも構わないし、それ以外の理由で荷役作業に応じた撮影位置を決めるものであってもよい。また、荷役作業毎に撮影位置がすべて異なる必要はなく、二つの異なる撮影位置が少なくとも設定されていれば、複数(3つ以上)の荷役作業の中に撮影位置が一致するものがあっても構わない。以下の請求項についても同様である。また運搬作業には空荷時の走行作業も含まれる。
【0010】
この発明によれば、検出手段の検出結果から判別される、運搬作業を含む荷役作業に応じた撮影位置にカメラは配置される。よって、荷役作業に応じた適切な撮影画像を提供することにより荷役作業を効果的に支援できる。
【0011】
前記第1の目的を達成するため、請求項2に記載の荷役作業支援装置では、移動機構によって、荷役機器の作業エリアを撮影するカメラを、車両に移動可能に支持する。カメラを移動させるためのアクチュエータと、荷役作業を判別するための検出を行う検出手段と、アクチュエータを駆動制御する制御手段とを設ける。制御手段は、検出手段の検出結果から判別される荷役作業に応じた撮影位置にカメラが配置されるようにアクチュエータを駆動制御するように構成される。
【0012】
この発明によれば、検出手段の検出結果から判別される荷役作業に応じた撮影位置にカメラは配置される。よって、荷役作業に応じた適切な撮影画像を提供することにより荷役作業を効果的に支援できる。
【0013】
前記第1及び第2の目的を達成するため、請求項3に記載の荷役作業支援装置では、移動機構によって、荷役機器の作業エリアを撮影するカメラを、マストを昇降するキャリッジに対し移動可能に支持する。カメラをキャリッジに対し移動させるアクチュエータと、荷役作業が荷取作業か荷置作業かを判別するための検出を行う検出手段と、アクチュエータを駆動制御する制御手段とを設ける。制御手段は、検出手段の検出結果から荷取作業と判別されたときにはカメラをキャリッジから突出しない格納位置に配置し、荷置作業と判別されたときにはカメラをキャリッジから突出する突出位置に配置するようアクチュエータを駆動制御するように構成される。突出位置は、荷置きすべき荷に遮られることなくカメラの撮影エリアが必要なだけ確保されるように設定される。ここで、「必要なだけ」とは、必要箇所(例えば目標箇所)が撮影されれば足りる意味であり、例えば必要箇所が撮影され得るのであれば、カメラの撮影画像の例えば半分以上の部分が荷に遮られても構わない。
【0014】
この発明によれば、検出手段の検出結果から荷取作業と判別されたときにはカメラがキャリッジから突出しない格納位置に配置される。一方、荷置作業と判別されたときにはカメラがキャリッジから突出する突出位置に配置される。従って、カメラは荷置作業のときだけキャリッジ18から突出するのみで、その突出する頻度が少なく済むので、カメラが周辺物と干渉することをなるべく回避することが可能となる。
【0015】
前記第1及び第2の目的を達成するため、請求項4に記載の荷役作業支援装置では、昇降機構によって、荷役機器の作業エリアを撮影するカメラを、キャリッジから下方に突出しない格納位置と、キャリッジから下方に突出する下降位置との間をキャリッジに対し昇降可能に支持する。カメラをキャリッジに対し昇降させるアクチュエータと、荷役作業が荷取作業か荷置作業かを判別するための検出を行う検出手段と、荷役機器の揚高を検出する揚高検出手段と、アクチュエータを駆動制御する制御手段とを設ける。制御手段は、揚高検出手段の検出結果により荷役機器の揚高が所定閾値未満の低揚高にあると判断されたときはカメラを格納位置に配置するようにアクチュエータを駆動制御するように構成される。また荷役機器の揚高が所定閾値以上の揚高にあると判断されたときは、検出手段の検出結果から荷取作業と判別されたときにカメラを格納位置に配置し、荷置作業と判別されたときにカメラを下降位置に配置するようにアクチュエータを駆動制御するように構成される。ここで、制御手段が行うカメラの移動配置制御は、カメラの所定位置(格納位置・下降位置)への配置が完了することが必須な訳ではなく、カメラの所定位置への配置のための始動を含むものである。例えば揚高が所定閾値を超えたらカメラの下降位置への下降を開始したり、揚高が所定閾値未満になったらカメラの格納位置への上昇を開始するものであってもよい。
【0016】
この発明によれば、揚高検出手段の検出結果により荷役機器の揚高が所定閾値未満の低揚高にあると判断されたときには、荷役作業内容に依らずカメラは格納位置に配置される。つまり、荷役機器が低揚高にあるときは、カメラはキャリッジから突出する状態に配置されない。そして、荷役機器が所定閾値以上の揚高になって始めてカメラは荷役作業に応じた撮影位置に移動配置される。すなわち、荷役作業が荷取作業であればカメラは格納位置に配置され、荷置作業であればカメラは下降位置に配置される。従って、カメラがキャリッジから突出状態に配置されるのは、荷役機器が所定閾値を超える揚高にあるときに限られるので、カメラがキャリッジから突出する頻度をなるべく減らすことが可能となる。よって、カメラが周辺物と干渉する不都合をなるべく少なくすることができる。また荷役機器が高所にあるときに必要となるカメラ撮影による荷役作業の支援は適切になされる。また、荷役機器が所定閾値未満の低揚高になると、カメラはキャリッジから突出しない格納位置に格納されるように駆動されるので、例えばキャリッジを最下降させたときにカメラが床面などに衝突することが回避される。
【0017】
請求項5に記載の荷役作業支援装置では、請求項4に記載の発明において、所定閾値は、荷役機器が所定閾値の揚高から最下降位置に下降し終わるまでに、カメラが下降位置から格納位置へ格納完了し得る揚高値に設定されている。
【0018】
この発明によれば、請求項4に記載の発明の作用において、荷役機器が所定閾値未満の低揚高になるとカメラが格納位置に配置されるようにアクチュエータが駆動制御され、キャリッジが最下降位置に下降し終わるまでに、カメラの格納位置への移動が完了する。
【0019】
前記第1及び第2の目的を達成するため、請求項6に記載の荷役作業支援装置では、移動機構によって、荷役機器の作業エリアを撮影するカメラを、キャリッジから突出しない格納位置と、キャリッジから突出する突出位置との間をキャリッジに対し移動可能に支持する。荷役作業が荷取作業か荷置作業かを判別するための検出を行う検出手段と、カメラが荷役対象に接近したことを検出する接近検出手段と、カメラをキャリッジに対し移動させるアクチュエータを駆動制御する制御手段とを設ける。制御手段は、検出手段の検出結果から荷取作業と判別されたときにはカメラを格納位置に配置し、荷置作業と判別されたときにはカメラを突出位置に配置するとともに、接近検出手段の検出結果によりカメラが荷役対象に設定距離以内に接近したと判断されたときはカメラを格納位置に配置するように、アクチュエータを駆動制御する。
【0020】
この発明によれば、検出手段の検出結果から荷取作業と判別されたときにはカメラはキャリッジから突出しない格納位置に配置される。一方、荷置作業と判別されたときにはカメラはキャリッジから突出する突出位置に配置される。接近検出手段の検出結果によりカメラが荷役対象に設定距離以内に接近したと判断されたときは、カメラは格納位置に配置される。従って、カメラが荷役対象に近づいたときに荷役対象やその周辺物と干渉することがなるべく回避される。
【0021】
請求項7に記載の荷役作業支援装置では、請求項3又は6に記載の発明において、移動機構はカメラをキャリッジに対し昇降可能に支持する昇降機構である。アクチュエータはカメラをキャリッジに対し昇降させるために駆動される。突出位置は、荷役機器に積載又は把持された荷に遮られず荷役対象を必要なだけ撮影可能に前記キャリッジから下方に突出する下降位置である。ここで、「必要なだけ」とは、荷役対象の必要な箇所が撮影されれば足りる意味であり、例えば必要な箇所が撮影され得るのであれば、カメラの撮影画像のかなりの部分が荷に遮られても構わない。
【0022】
この発明によれば、荷置作業時にはカメラが下降位置に配置されることで、荷役機器に積載または把持された荷に遮られず荷役対象の少なくとも必要箇所が撮影され、荷取作業時にはカメラはキャリッジに格納される。
【0023】
請求項8に記載の荷役作業支援装置では、請求項4、5及び7のいずれか一項に記載の発明において、昇降機構は、カメラを荷役機器の幅方向中央部において上下方向に昇降可能に支持するリニアスライド機構である。
【0024】
この発明によれば、請求項4、5及び7のいずれか一項に記載の発明の作用に加え、カメラは荷役機器の幅方向中央位置をリニアガイド機構により昇降するので、カメラの昇降位置によらずその撮影位置が荷役機器の幅方向中央位置に保たれる。例えばカメラの撮影画像を用いると荷役機器の位置合わせがし易い。
【0025】
請求項9に記載の荷役作業支援装置では、請求項8に記載の発明において、昇降機構は、カメラをアクチュエータと作動連結された状態で吊り下げ支持する可撓性動力伝達部材と、カメラを下方へ付勢する付勢手段とを備えている。
【0026】
この発明によれば、請求項8に記載の発明の作用に加え、カメラが突出状態にあるときに周辺物に衝突したり、アクチュエータが故障などで万一格納できなくなってカメラが床面に仮に衝突しても、その衝突時にカメラを吊り下げている可撓性動力伝達部材が撓むことによってカメラに伝わる衝撃が緩和される。またアクチュエータにも衝撃が伝わりにくくなる。また付勢手段によって下方へ付勢されることでカメラに必要な下降速度が確保され易くなる。さらに付勢手段が弾性的に付勢するもの(例えばガスダンパやゴム、バネ等)である場合、付勢手段によっても衝撃が吸収されるので、カメラに衝撃が伝わりにくくなる。なお、ここでいう「付勢手段」は、カメラを下方へ付勢するものであれば足り、弾性付勢するものである必要は必ずしもなく、例えば重力によって下方へ付勢するウェイト(錘)の類でも構わない。
【0027】
請求項10に記載の荷役作業支援装置では、請求項3〜9のいずれか一項に記載の発明において、キャリッジはマストに沿って昇降する昇降部材と、昇降部材に対し傾動可能に設けられた傾動部材と、傾動部材に対し車幅方向に移動可能に設けられたサイドシフタと、傾動部材に対しサイドシフタを車幅方向に移動させるサイドシフト駆動手段とを備える。カメラは、荷役機器が一体に取り付けられているサイドシフタに対し昇降可能に設けられている。
【0028】
この発明によれば、請求項3〜9のいずれか一項に記載の発明の作用に加え、カメラは荷役機器が一体に取付けられているサイドシフタと共に左右に移動し、サイドシフタに対し昇降するので、荷役機器の左右方向においては常に同じ位置から作業エリアを撮影できる。このため、例えばカメラが撮影した撮影画像を用いて荷役機器の位置合わせ支援をするときには位置合わせがし易くなる。
【0029】
請求項11に記載の荷役作業支援装置では、請求項1〜10のいずれか一項に記載の発明において、検出手段には、荷役機器に積載又は把持された荷の有無を検出する荷検出手段を用いる。制御手段は、荷検出手段により荷が検出されれば荷置作業と判別し、荷が検出されなければ荷取作業と判別し、その判別結果に応じてアクチュエータを駆動制御する。
【0030】
この発明によれば、荷検出手段により荷役機器における荷の有無を検出することにより、荷置作業か荷取作業かを判別するので、荷役作業の判別を比較的簡単に行える。
【0031】
請求項12に記載の荷役作業支援装置では、請求項1〜11のいずれか一項に記載の発明において、カメラが撮影した画像を表示する表示手段を備えている。この発明によれば、請求項1〜11のいずれか一項に記載の発明の作用に加え、カメラにより撮影された画像を表示手段で見ることができる。よって、撮影画像を見ることで荷役作業を効果的に支援できる。
【0032】
請求項13に記載の荷役作業支援装置では、請求項1〜12のいずれか一項に記載の発明において、カメラが撮影した画像データを基に荷役作業支援のための画像処理を行う画像処理手段を備えている。
【0033】
この発明によれば、請求項1〜12のいずれか一項に記載の発明の作用に加え、カメラにより撮影された画像データが画像処理手段により画像処理され、この画像処理結果を用いて荷役作業の支援が行われる。
【0034】
請求項14に記載の荷役作業支援装置では、請求項1〜12のいずれか一項に記載の発明において、カメラは、荷役対象を位置検出するために作業エリアに設けられたマークを撮影するものである。カメラが撮影した画像データを基にマークの画像認識処理をすることにより荷役対象の位置を割り出す位置検出手段を備えている。
【0035】
この発明によれば、請求項1〜12のいずれか一項に記載の発明の作用に加え、カメラによって荷役対象を位置検出するために作業エリアに設けられたマークが撮影される。カメラにより撮影された画像データを基に位置検出手段によってマークの画像認識処理がなされ、この画像認識処理により荷役対象の位置が割り出される。そして、割り出された荷役対象の位置(位置データ)を用いて荷役作業の支援が行われる。
【0036】
請求項15に記載の産業車両は、請求項1〜14のいずれか一項に記載の荷役作業支援装置を備えている。
この発明によれば、産業車両は請求項1〜14のいずれか一項に記載の荷役作業支援装置を備えるので、請求項1〜14のいずれか一項に記載の発明と同様の作用が得られる。
【0037】
【発明の実施の形態】
(第1の実施形態)
以下、本発明を産業車両としてのフォークリフトに具体化した第1の実施形態を図面に従って説明する。
【0038】
図1に示すように、産業車両としてのリーチ型フォークリフト(以下、フォークリフトという)1は、例えば工場内での荷役作業をするために使用される。荷役作業として、例えば工場内に立設された棚に対して荷役機器としてのフォーク2を昇降させて荷取りおよび荷置き作業を行う。荷取り作業は、棚に格納された荷を載せたパレットにフォーク2を差し込んで荷取りする作業で、フォーク2をパレットの差込穴に位置合わせする必要がある。また荷置き作業は、フォーク2上に載せた荷(パレット)を棚の棚面に置く作業で、フォーク2を棚面の上方所定高さ(棚面から例えば10〜20cm上方の高さ)に位置合わせする必要がある。
【0039】
このフォークリフト1は前二輪・後一輪駆動の3輪車タイプであり、左右の前輪(従動輪)4は、車体3の前部から前方へ延出する左右一対のリーチレグ5の先端部にそれぞれ取付けられている。後側一輪は操舵輪を兼ねた駆動輪(以下、駆動操舵輪という)6となっており、駆動操舵輪6は車体3に配備されたバッテリ7を電源として駆動される走行用モータ8の動力により走行駆動される。なお、後輪として駆動操舵輪6を補助するキャスタ(図示せず)も設けられている。
【0040】
車体3の後部右部分には立席タイプの運転席9が設けられている。運転席9の側方(左隣)に立設された収容ボックス3Aの上面にはハンドル(ステアリングホイール)10が設けられている。ハンドル10を操作することで駆動操舵輪6は操舵される。
【0041】
車体3の前部には、荷役装置(マスト装置)11が左右一対のリーチレグ5に沿って前後方向に移動可能に装備されている。荷役装置11には車体3の底部に配設されたリーチシリンダ(油圧シリンダ)12のピストンロッド12aが連結されており、リーチシリンダ12の駆動により荷役装置11は前後方向に移動(リーチ動作)する。すなわち、従来技術で述べた米国特許に開示の車両ではパンタグラフリーチ式であったのに対し、本実施形態の車両は、マストリーチ式を採用している。
【0042】
荷役装置11は多段式(本例では3段式)マスト13と、リフトシリンダ14(片側のみ図示)とを備えている。マスト13はアウタマスト15、ミドルマスト16およびインナマスト17の3段がスライド可能に係合されてなる。各マスト15,16,17は左右一対のマスト材と両マスト材を連結するビーム材から構成されている。
【0043】
マスト13には、荷役用のキャリッジ18が昇降可能に装備されている。キャリッジ18はインナマスト17に案内されると共にチェーン機構(図示せず)を介してインナマスト17に吊り下げられた状態にある。マスト13の背後に配設された左右一対のリフトシリンダ14が駆動されることにより、マスト13のスライド伸縮を伴ってキャリッジ18がマスト13に沿って昇降する。但し、このマスト13はテレスコピック式であり、キャリッジ18が最下降位置からマスト上端位置まで上昇した後、はじめて多段式マスト13の伸長動作が開始される。フォーク2は最高約6メートルまで上昇する。
【0044】
フォークリフト1には、高所(高揚高範囲)でのフォーク2の位置合わせ操作を支援する荷役操作支援装置(フォーク位置決め操作支援装置)20が設けられている。荷役操作支援装置20は、キャリッジ18の前面中央部に装備されたカメラ昇降装置21を備える。カメラ昇降装置21は、そのハウジング22の下端から下方へ出没する昇降式のカメラユニット23を備えている。ハウジング22はキャリッジ18の幅方向中央部に縦長に延びた状態に組付けられ、その前面はバックレスト24の前面とほぼ面一となっている。カメラユニット23はそのケース25の下端部にカメラ(CCDカメラ)26を内蔵し、ケース25の前面下端部に撮影部(レンズ部)26Aを有している。
【0045】
カメラユニット23はハウジング22内に格納された格納位置(図2参照)と、図1に示す下降位置(図3参照)との二位置間を昇降する。ハウジング22の前面下部には、格納位置に配置されたカメラユニット23の撮影部26Aと相対する位置に撮影窓22Aが形成されており、格納位置からでもカメラ26によってフォーク2の前面(作業エリア)の画像を撮影できるようになっている。つまりカメラ昇降装置21ではカメラ26によって格納位置と下降位置の二位置からフォーク2の真正面(前正面)の画像を撮影できる。
【0046】
ルーフ27には運転席9に立つ運転者からよく見える位置に表示装置(液晶ディスプレイ装置(LCD))28が取り付けられている。荷役作業時にカメラ26によって撮影されたフォーク真正面の棚やパレットの画像が、表示装置28の画面に映し出されるようになっている。
【0047】
以下、キャリッジ18およびカメラ昇降装置21の構成について説明する。ここで、図2,3はキャリッジの正面視を示し、図2はカメラユニットの格納状態、図3はカメラユニットの下降状態をそれぞれ示す。また図4はキャリッジの側断面視、図5はカメラ昇降装置の一部分解斜視をそれぞれ示す。
【0048】
まずカメラ昇降装置21が取付けられているキャリッジ18の構造について、図4に基づいて説明する。
キャリッジ18は、リフトブラケット(昇降部材)30、フィンガバー(傾動部材)31、サイドシフタ32、バックレスト24およびフォーク2から構成される。なお、フォーク2はアタッチメントであるため、荷役作業の用途に応じて他のアタッチメントと交換可能である。
【0049】
リフトブラケット30はマスト13間に昇降可能に配備されている。すなわちリフトブラケット30はインナマスト17の案内面(内面)上を転動するローラ30A(図4に示す)をその両側面に複数個(2個)ずつ備え、チェーン(図示せず)により昇降可能に吊り下げ支持されている。フィンガバー31はリフトブラケット30に対し前後に傾動可能な状態で支持されている。
【0050】
サイドシフタ32はフィンガバー31に対し左右にスライド可能な状態で取付けられている。すなわちフィンガバー31の上下両端に固定された車幅方向に延びる上下一対の支持レール33に対し、サイドシフタ32の二本のガイドレール34がそれぞれ係合することで、サイドシフタ32はレール33に沿って車幅方向(左右方向)にスライド可能となっている。バックレスト24はサイドシフタ32の上部に固定されている。またフォーク2はサイドシフタ32に着脱可能に取り付けられている。
【0051】
リフトブラケット30には、フィンガバー31を傾動させるティルトシリンダ35が配設されている。ティルトシリンダ35が駆動されることでフィンガバー31は傾動動作し、これによってフォーク2がティルト動作する。またフィンガバー31の上部にはサイドシフト駆動手段としてのサイドシフトシリンダ36が設けられており、そのピストンロッド36Aはサイドシフタ32と連結されている。サイドシフトシリンダ36が駆動されることにより、サイドシフタ32はフィンガバー31に対してその幅中心(図3における▼印)から左右に一定距離(例えば50〜100mm内の設定値)ずつ相対移動可能となっている。
【0052】
次に、カメラ昇降装置21の構成を、図2〜図5に基づいて詳述する。
カメラ昇降装置21は、サイドシフタ32の幅中央部に組付けられた左右一対のガイドレール40A,40Bを備えている。カメラユニット23は、左右のガイドレール40A,40Bに案内されて昇降可能に支持されている。カメラユニット23のケース25は断面コ字形の柱状で、その底部にカメラ26の収容空間を区画する隔壁25Aが形成されている。
【0053】
ケース25の左右側壁には、それぞれ上下2個ずつのローラ(ローラベアリング)41が回転可能に設けられている。各ローラ41はガイドレール40A,40B上を転動する。ケース25の左右側壁において上下一対のローラ41間に固定されている樹脂ブロック42は、スラスト荷重を受けたときの軸受として機能し、ローラ41にスラスト荷重がかからないようにガイドレール40A,40Bの内壁と摺接する。
【0054】
バックレスト24には、左右のレール40A,40Bの上側領域にアクチュエータとしての電動モータユニット(電動アクチュエータ)43が配設されている。電動モータユニット43は、電動モータ44、ギヤボックス45およびドラム46を備えている。ドラム46内には可撓性動力伝達部材としてのワイヤ47が巻回されている。ドラム46から下方へ延びるワイヤ47はケース25の幅中心線上に位置し、その下端はテンショナー48を介してケース25の内壁に連結されている。電動モータ44が正逆転駆動されることにより、ギヤボックス45を介してドラム46が正逆転をし、ドラム46に巻回されたワイヤ47が巻き取りおよび繰り出しされることにより、ケース25(カメラユニット23)が昇降する。
【0055】
またケース25内には付勢手段としてのガスダンパ49が配設されている。ガスダンパ49の基端部は、左右のガイドレール40A,40Bの上端部を連結するビーム材50(図4参照)に固定されている。ガスダンパ49はケース25の幅中心位置に上下に延びる状態に配置され、その下端側に位置するピストンロッド51がケース25の隔壁25Aに連結固定されている。ガスダンパ49はケース25を下方へ押圧付勢する。
【0056】
また図4に示すように、サイドシフタ32には、カメラユニット23が格納位置(上昇位置)に配置されたことを検知する上限位置検知スイッチ55と、カメラユニット23が下降位置に配置されたことを検知する下限位置検知スイッチ56とがそれぞれ配設されている。2つの位置検知スイッチ55,56は、ケース25の左右の側壁背面に高低差(凹凸)をつけた加工面の被検知部(凸面)を検知し、カメラユニット23の上限位置と下限位置とをそれぞれ検知する。電動モータユニット43は、各位置検知スイッチ55,56の検知信号を基に停止制御される。なお、ケース25にドグを取り付けて被検知部とすることもできる。
【0057】
ケース25内にはケーブルベア57が設けられており、カメラ26の電気配線はケーブルベア57の中を通って配線されている。カメラ26の電気配線は電動モータユニット43や各種スイッチ55,56などの他の電気配線と共に、インナマスト17に取着されたプーリ(図示せず)を経由して車体3内のコントローラ58と接続されている。なお、ガイドレール40A,40B、ローラ41、ワイヤ47、ガスダンパ49などにより、リニアスライド機構、移動機構及び昇降機構が構成される。
【0058】
カメラ昇降機構(リニアスライド機構)として、電動モータユニット43とカメラユニット23をワイヤ47とダンパ49を使用して連結する連結構造を採用している。このため、フォーク2を最下降する際に、万一電源故障等でカメラユニット23が下降位置に配置されたままになあってカメラユニット23が床面に衝突したとしても、その際の衝撃力はワイヤ47が弛むこととガスダンパ49の衝撃吸収作用により小さく緩和される。よって、カメラ26および電動モータ44に加わる衝撃が極力小さく抑えられ、カメラ26および電動モータ44の破損の心配がなくなる。
【0059】
また、電動モータユニット43からワイヤ47が繰り出される際、カメラユニット23はその自重加速に加えガスダンパ49の付勢力によって速やかに下降する。カメラユニット23の昇降速度はガスダンパ49のストローク速度により制御されるためほぼ一定となる。また、ワイヤ47とケース25との連結部に介装されたテンショナー48によってワイヤ47は常に張力が付与された状態に保たれる。このため、ワイヤ47の弛みが原因で電動モータユニット43のドラム46内で起こるワイヤ47の乱巻きなどの不具合が発生し難くなっている。
【0060】
運転席9の前部に設置されたインストルメントパネル上には、図6に示す操作レバー(マルチレバー)61が設けられている。操作レバー61は、これ1つで走行操作と荷役操作の全ての操作を可能とするもので複数種類の操作部を備えている。
【0061】
操作レバー61は、インストルメントパネル上の所定箇所に形成されたスロット62に沿って前後方向に傾動するレバー本体63を備えている。レバー本体63は操作しない状態では同図に示す中立位置にバネ(図示せず)の付勢力により復帰する。レバー本体63の上端部にはグリップ64が車幅方向に対し30度〜60度程度の角度をもって傾斜する姿勢に取付けられている。
グリップ64の左端部には、略円筒形のノブ65が軸線Cを中心に回転可能に設けられている。またグリップ64の左部分前縁にシーソースイッチ66が、グリップ64の左部分背面に十字スイッチ67が、グリップ64の左部分前面に作動スイッチ68がそれぞれ設けられている。グリップ64は、運転者が右肘を付いた状態で右手により握られる。グリップ64を握った状態では、親指でノブ65と十字スイッチ67を操作でき、人差し指でシーソースイッチ66を操作でき、中指で作動スイッチ68を操作できる。なお、同図における円内がA方向から見た十字スイッチ67である。
【0062】
グリップ64を握った右手でレバー本体63を前方に傾けるとフォークリフト1が前進し、レバー本体63を後方に傾けるとフォークリフト1が後進する。ノブ65に形成された突起65Aを親指で上方へ押してノブ65を上側に回すとフォーク2が上昇し、親指で突起65Aを下方へ押してノブ65を下側に回すとフォーク2が下降する。また、人差し指でシーソースイッチ66の前端を押すと荷役装置11が前方に移動し、人差し指でシーソースイッチ66の後端を押すと荷役装置11が後方に移動する。十字スイッチ67は上下・左右の4方向に操作可能になっており、上下方向の操作でマスト13のティルトを操作し、左右方向の操作でサイドシフトを操作する。親指で十字スイッチ67の上端部を押すとマスト13が前傾し、十字スイッチ67の下端部を押すとマスト13が後傾する。また親指で十字スイッチ67の右端部を押すとフォーク2が右方向に移動し、十字スイッチ67の左端部を押すとフォーク2が左方向に移動する。なお、作動スイッチ68は、後述するフォーク自動位置合わせ制御を行うときに運転者が操作するためのものである。
【0063】
図7に示すように、荷役対象である棚70とパレット71には、フォーク2を荷取位置または荷置位置に位置合わせするときの位置目標に用いられるマークM1,M2が付されている。パレット71に付されたマークM1はパレット位置検出用で、パレット71の2つの差込穴71A間の中央部に付されている。一方、棚70に付されたマークM2は棚位置検出用で、棚部(ビーム)72の正面中央部に付されている。ここで、マークM1とマークM2は同図から分かるように白黒模様の図形からなり、互いに白黒が反転しただけの同じ図形となっている。カメラ26により撮影されたマークM1(またはM2)の画面上の位置からフォーク2と荷役対象(パレット71または棚部72)の左右(Y方向)・上下(Z方向)のずれ量を算出し、そのずれ量を無くすようにフォーク2を荷役対象に自動で位置合わせするフォーク自動位置合わせ制御が行われる。なお、パレット71に載置された荷73を含めて荷役対象となる。
【0064】
次に、荷役操作支援装置20の電気的構成を図8に基づいて説明する。
荷役操作支援装置20は、制御手段としてのコントローラ58を備える。コントローラ58は、画像制御部76、荷役制御部77、駆動回路78,79およびソレノイド駆動回路80を備えている。
【0065】
画像制御部76には入力側にカメラ26が接続され、その出力側には表示装置28およびスピーカ81が接続されている。画像制御部76は、カメラ26から入力される映像信号(画像信号)を基に表示装置28の画面にカメラ26が撮影した画像を表示させる。また画像制御部76は、マークM1,M2を画像認識する画像認識処理(テンプレートマッチング処理)をし、表示装置28の画面に設定された画面座標系におけるマークM1,M2の位置座標を求め、この位置座標データを基に幾何学変換を行ってカメラ26とマークM1,M2の相対位置座標(実座標系)を求める。そして、この相対位置座標データを基にフォーク2を荷取位置または荷置位置に位置合わせするために必要な上下方向および左右方向の各移動量をそれぞれ算出する。このフォーク自動位置合わせ処理については後で詳述する。また、スピーカ81は所定の情報を音声ガイドで知らせるために用いられる。
【0066】
一方、荷役制御部77には、上限位置検知スイッチ55、下限位置検知スイッチ56、マルチレバー61のレバー用ポテンショメータ82、ノブ用ポテンショメータ83およびスイッチ66,67,68、さらに揚高検出手段としての揚高センサ84、荷検出手段としての荷重センサ85、ティルト角センサ86などが接続されている。また荷役制御部77には、駆動回路78,79を介して電動アクチュエータ43および荷役モータ(電動モータ)87がそれぞれ接続されるとともに、ソレノイド駆動回路80を介してオイルコントロールバルブ88に組付けられた各種電磁比例弁89〜92のソレノイドが接続されている。
【0067】
荷役制御部77は、各ポテンショメータ82,83、スイッチ66,67からの信号を基に電磁比例弁89〜92の電流値制御と荷役モータ87の駆動制御を行う。荷役モータ87の作動により荷役ポンプ(油圧ポンプ)93が駆動されることでオイルコントロールバルブ88に作動油が供給される。マルチレバー61からの各操作信号を基に各電磁比例弁89〜92が比例制御され、リフトシリンダ14、リーチシリンダ12、サイドシフトシリンダ36、ティルトシリンダ35が油圧制御されることで、マルチレバー61によりフォーク2の昇降操作、リーチ操作、サイドシフト操作、ティルト操作が可能となっている。
【0068】
荷役制御部77は、マルチレバー操作時の荷役制御の他、カメラユニット23の昇降制御と、フォーク自動位置合わせ制御とを司る。フォーク自動位置合わせ制御は、フォーク2が一定揚高(設定揚高(例えば約2メートル))以上にある高所での荷役作業時のみ実行される。
【0069】
揚高センサ84は、フォーク2が設定揚高以上の高さ(揚高)にあるか否かを検出するもので、例えば設定揚高でオン・オフが切換わる揚高スイッチからなる。揚高センサ84の検出揚高が設定揚高(所定閾値Ho )以上のときに限りフォーク自動位置合わせ制御は行われる。なお、揚高センサ84は、フォーク2の揚高を連続的に検出可能なセンサであってもよい。例えば揚高センサ84として、キャリッジ18の昇降に合わせてワイヤが繰出し・巻取りされるリールの回転量を検出するリール型揚高センサや、リフトシリンダ14内の油中を伝播する超音波がピストンに反射して戻るまでの時間計測からシリンダストロークを検出する超音波式揚高センサを採用することができる。
【0070】
荷重センサ85は、フォーク2に積載された荷73の重量(荷重)を検出するもので、本実施形態ではリフトシリンダ14内の油圧を検出する圧力センサからなる。荷重センサ85はフォーク2上の荷73の重量に応じた電圧値の検出信号を出力する。
【0071】
ティルト角センサ86は、フォーク2の水平姿勢にあるときの角度(水平角)を基準とした傾斜角を検出するもので、例えばポテンショメータからなる。フォーク自動位置合わせ制御が行われるときには、荷役制御部77はティルト角センサ86の検出値を基にフォーク2が水平姿勢に配置されるようにティルトシリンダ35を駆動制御する。
【0072】
荷役制御部77は荷重センサ85の検出値Wが閾値Wo 以下であると「荷無し」と判定し、その検出値Wが所定の閾値Wo を超えると「荷有り」と判定する。つまり、荷役制御部77は、荷の有無から荷役作業を判定し、W≦Wo が成立するときはフォーク2が荷無し状態で行われる「荷取作業」であると判定し、W>Wo が成立するときはフォーク2が荷有り状態で行われる「荷置作業」であると判定する。荷役制御部77は、荷重センサ85の検出値を基に判定される荷役作業が「荷取作業」であると判断したときは「荷取りモード」を設定し、「荷置作業」であると判断したときは「荷置きモード」を設定する。この荷役モードの設定処理は一定時間(例えば数10msec. )ごとに実行される。荷重センサ85の検出値Wにはキャリッジ18等の重量分も含まれるので、空荷のときの検出値またはその検出値に少し余裕をみた値が閾値Wo に設定されている。例えばパレット71のみを積んだときに「荷有り」と判定される閾値Wo を設定することが望ましい。
【0073】
荷役制御部77は、揚高センサ84の検出値から把握されるフォーク2の揚高Hが所定閾値Ho (例えば約2メートル)を超える揚高条件(揚高H>Ho )成立と判断したときに限り、フォーク自動位置合わせ制御の起動準備モードに入る。起動準備モードに入ると、荷役作業に応じた撮影位置にカメラ26を配置するカメラユニット23の昇降制御の開始が許可される。
【0074】
カメラユニット23はフォーク2の揚高Hが所定閾値Ho (=2m)未満のときは格納位置に配置されている。揚高Hが所定閾値Ho (=2m)を超え起動準備モードに入ると、カメラユニット23は「荷取りモード」であれば格納位置に配置され、「荷置きモード」であれば下降位置に配置される。一方、揚高Hが所定閾値Ho (=2m)以下になって起動準備モードから抜けると、カメラユニット23は格納位置に配置される。
【0075】
起動準備モードに入る揚高条件(H>Ho (=2メートル))を設定しているのは、フォーク2が最下降位置に達するまでにカメラユニット23の格納位置への上昇を完了させるためである。カメラユニット23を確実に格納させるため上昇を開始しなければならない最低の揚高Hmin は、カメラユニット23の格納所要時間T1秒、フォーク2の最大下降速度V1とすると、揚高Hmin =V1×T1で表され、この揚高Hmin に少し余裕をみた揚高Ho (=Hmin +ΔH)以下では、カメラユニット23の上昇動作を強制し、カメラユニット23の床面への衝突を回避するよう設定している。よって、所定閾値Ho 以下の揚高ではフォーク自動位置合わせ制御が行われないが、フォーク2の低揚高時は、運転者の目線からでもフォーク2が棚やパレットに対して位置合わせされたかどうかをある適度正確に判断できるため、荷役作業上特に不都合はない。
【0076】
本実施形態では、荷役モードに応じて撮影位置を切り替える理由は、以下のとおりである。荷取作業(荷取モード)時は、フォーク2の差込部(荷載置部)と略同じ高さからの視点で撮影できるように、図2に示すようにカメラ26をフォーク2の根元付近に配置する。このフォーク2の根元付近にカメラ26が配置される「格納位置」では、カメラ26(カメラユニット23)はフォーク2(つまりキャリッジ18)の下方へは突出しないようにフォーク2より上方位置に格納される。一方、荷置作業(荷置モード)時は、格納位置からではフォーク2上の荷が邪魔になって作業エリアを撮影できないので、荷が撮影の邪魔にならないアングルから撮影できるように、図3に示すようにカメラ26をフォーク2の下方所定距離の位置(下降位置)に配置する。この「下降位置」では、カメラ26(カメラユニット23)がフォーク2(つまりキャリッジ18)の下方へ突出した状態にある。
【0077】
フォーク自動位置合わせ制御は、フォーク2の揚高Hが所定閾値Ho (=2m)を超える高所での荷役作業に利用される。運転者はマルチレバー61のノブ65を操作してフォーク2を上昇させ、表示装置28の画面を見ながら目標とする荷役対象71(72)に対しフォーク2を大雑把に位置合わせする。この際、揚高Hが所定閾値Ho を超えた時点で起動準備モードに入り、荷取モードであればカメラユニット23はそのまま格納位置に保持され、荷置モードであればカメラユニット23は下降位置に下降する。起動準備モードでは荷役対象71(72)に付されたマークM1(M2)の画像認識処理による位置検出が逐次行われ、フォーク2の大雑把な位置合わせを完了したときには、目標とする荷役対象71(72)とフォーク2とのずれ量が演算されている。この状態で作動スイッチ68を操作すると、フォーク2を荷役対象71(72)に対して位置合わせするフォーク自動位置合わせ制御が始動される。
【0078】
荷役制御部77は、作動スイッチ68が操作された操作信号を入力すると、フォーク自動位置合わせ制御を始動させる旨を画像制御部76に通信により伝える。画像制御部76は、画像認識処理の開始の旨の始動指令データと、荷取りモードか荷置きモードかを知らせる荷役モードデータなどを荷役制御部77から入力する。
【0079】
画像制御部76は、表示処理部95、画像処理部96、描画表示部97、描画データ記憶部98および音声合成部99を備える。表示処理部95は、カメラ26により撮影された画像が画面に映し出されるようにカメラ26から入力した映像信号を同期をとって表示装置28に出力する。また音声合成部99は、音声アナウンスなどのための音声合成処理を行ってスピーカ81に音声信号を出力する。また表示処理部95からの画像データが画像処理部96に入力される。
【0080】
画像処理部96は、画面上のマークM1,M2の位置を割り出す画像認識処理と、その割り出したマーク位置を基に車両(フォーク2)と荷役対象との位置関係を演算する。画像処理部96は、画像認識処理部101、テンプレート記憶部102、画像演算部103および表示位置決定部104を備えている。
【0081】
画像認識処理部101は、テンプレート記憶部102に記憶されたテンプレートデータを用いたパターンマッチング法による画像認識処理を行う。画像演算部103は、画像認識処理の結果から画面座標系におけるマークM1(M2)の位置座標を演算する。
【0082】
表示位置決定部104は、表示装置28の画面上に描画を表示する表示位置(描画位置)を算出する処理を行う。例えばマークの輪郭枠を描く描画位置や、フォーク2を荷役対象に位置合わせするうえで画面上でマークM1(M2)の位置合わせ目標とすべき目標マーク(移動目標点)の描画位置を計算する。描画表示部97は表示位置決定部104から描画位置データを受け付けると、描画データ記憶部98からその描画内容に対応する描画データ(画像データ等)を読み出し、表示処理部95に描画信号を送りその描画の画像を撮影画像上の指定された描画位置に重ね合わせるように表示させる。音声合成部99は、描画のタイミングに同期して必要であれば運転者に音声アナウンスをスピーカ81から発生させる。
【0083】
画像認識処理部101は、荷役モードデータに基づき認知される荷役モードが、荷取モードであればパレット位置検出用マークM1を認識対象とするパターンマッチング処理を行い、荷置モードであれば棚位置検出用マークM2を認識対象とするパターンマッチング処理を行う。テンプレート記憶部102には、マークM1を認識対象とする際のテンプレートT1と、マークM2を認識対象とする際のテンプレートT2(いずれも図9を参照)とが記憶されている。画像認識処理部101は、パターンマッチング処理を行う際、荷取モードであればテンプレートT1を使用し、荷置モードであればテンプレートT2を使用する。
【0084】
図9は、マークとテンプレートを示す。同図(a)はパレット位置検出用マークM1を示し、同図(c)は棚位置検出用マークM2を示す。また同図(b)がマークM1用のテンプレートT1、同図(d)がマークM2用のテンプレートT2である。
【0085】
マークM1はパターンP1,P1を2個並べて構成され、マークM2はパターンP2,P2を2個並べて構成されている。2つのマークM1,M2の各パターンP1,P2は、互いに白と黒が反転した模様となっている。パターンマッチング処理に使うテンプレートT1,T2は、パターンP1,P2と同じ模様を有する。
【0086】
各パターンP1,P2は、一点を中心として放射状に真っ直ぐ延びる複数本の境界線によって白と黒に色分けされた模様である。本実施形態の各パターンP1,P2は、正方形の2本の対角線を境界線として区画された4つの領域を白と黒で色分けした模様である。但し、テンプレートの四角形の辺に相当する外形線は模様の一部ではない。マークM1,M2とカメラ26の距離の違いに応じて画面28A上に映し出されるマークM1,M2の大きさが変化しても、その撮影されたパターンP1,P2の中心部分には常にテンプレートT1,T2と同サイズのパターンが存在することになる。よって、1つのテンプレートT1,T2を用いただけのパターンマッチング処理によりマークM1,M2を画像認識できるようになっている。
【0087】
図10は画面上に設定された画面座標系を示す。画面座標系では座標を画素の単位で取り扱い、同図におけるHは画面28Aの横方向画素数であり、Vは画面28Aの縦方向画素数である。画像認識処理部101は、同図(b)に示すように、画像データ上のマークM1を構成する2つのパターンP1,P1(P2,P2)に対しテンプレートT1(T2)により2箇所でマッチングし、各パターンP1,P1を認識する。画像演算部103は、画像認識処理部101が認識した各パターンP1,P1の中心点(放射中心点)の座標(I1 ,J1 ),(I2 ,J2 )を算出し、これら2つの座標値を基にマークM1の重心(I,J)とパターンP1,P1の中心間距離Dを求める。
【0088】
画像演算部103にて算出されたデータ(I,J,D)は、画像制御部76から荷役制御部77に送られる。荷役制御部77は相対座標算出部105および制御量算出部106を備え、フォーク2を荷役対象に位置合わせするために必要なフォーク2の制御量(YおよびZ方向移動量)を算出する。
【0089】
相対座標算出部105は、データ(I,J,D)を用いて、幾何変換を行って図7に示す実座標系(XYZ座標系)におけるカメラ26とマークMとの3次元相対位置座標(Xc,Yc,Zc)を計算する。マークの重心を原点Oとするカメラ26の座標(Xc ,Yc ,Zc )は、次式より算出される。
Xc ==−Hd/(2Dtan α)
Yc =d/D(I−H/2)
Zc =d/D(J−V/2)
ここで、「α」はカメラ26の水平画角の2分の1、dは実座標系においてマークM1の2つのパターンP1,P1の中心間距離である。H,V,α,d値は既知の値であるため、I,J,D値を算出すれば、座標(Xc,Yc,Zc)が求まる。そしてこの実座標系で求めたカメラ26の相対座標(Xc,Yc,Zc)を基にフォーク2の位置ずれ量(制御量)を算出する。ここでXc はマークMとカメラ26との距離Xocに相当し、本実施形態では、荷置作業時にカメラ26がマークM2に所定距離Xo 以内に接近したことを判断するために、Xc 値が使用される。なお、カメラ26、画像認識処理部101、テンプレート記憶部102、画像演算部103および相対座標算出部105により、カメラと荷役対象の接近を検出する接近検出手段、並びに荷役対象の位置を検出する画像処理手段及び位置検出手段が構成される。
【0090】
相対座標算出部105は、データ(I,J,D)を基にカメラ26とマークM1(M2)との相対座標(Xc,Yc,Zc)を算出する。ここで、カメラ26とフォーク2の位置関係は既知であり、パレット71とマークM1,M2の位置関係も既知である。制御量算出部106は、相対座標(Xc,Yc,Zc)および既知情報を用いて、フォーク2を荷役対象71(72)の目標位置(荷取位置または荷置位置)に位置合わせするのに必要なフォーク2の上下方向(Y方向)および左右方向(Z方向)の各移動量(各制御量)を算出する。
【0091】
そして、荷役制御部77は、フォーク2の上下・左右方向の各移動量を制御量指令値としてソレノイド駆動回路80に対し指令する。つまり、荷役制御部77は、上下・左右方向の各制御量データを基にリフト用電磁比例弁89とサイドシフト用電磁比例弁91を電流値制御し、リフトシリンダ14とサイドシフトシリンダ36を駆動制御する。
【0092】
この結果、リフトシリンダ14およびサイドシフトシリンダ36が駆動制御され、フォーク2は上下・左右方向に自動で位置合わせされる。このため、荷取モードの際はフォーク2はパレット71の差込穴71Aに位置決めされ、荷置モードの際はフォーク2は棚面72Aから所定距離上方の目標位置に位置合わせされる。本実施形態では、フォーク2の上下・左右方向についてのみ自動位置制御を行い、前後方向(リーチ方向)については運転者の操作に任せている。もちろん、フォーク2のリーチ動作も自動制御で行ってもよい。なお、各制御部76,77は、マイクロコンピュータおよびメモリ(ROM等)に格納されたプログラムデータなどによって構成される。
【0093】
荷役制御部77は、図11,図12にフローチャートで各々示す荷役作業判定ルーチンおよびカメラ昇降制御ルーチンの各プログラムをメモリに記憶している。各ルーチンは、荷役制御部77内のCPUにより実行される。このCPUは、各ルーチンでの判定結果に応じて、カメラ昇降制御およびフォーク自動位置合わせ制御を実行する。CPUは荷役作業判定ルーチンにおいて、これから行う荷役作業が荷取作業か荷置作業であるかを判定する。そしてCPUはカメラ昇降制御ルーチンにおいて、その荷役作業の種別に応じた位置にカメラ26を配置するとともに、カメラ26(カメラユニット23)を所定条件(揚高条件・接近条件)成立時に格納位置に格納する制御を実行する。そして揚高Hが所定閾値Ho を超える高揚高範囲で作動スイッチ68が操作されたときにフォーク自動位置合わせ制御を実行する。
【0094】
以下、上記各ルーチンについて説明する。まず荷役作業判定ルーチンについて、図11に基づいて説明する。
まずステップ(以下、単に「S」と記す)10では、荷重センサ85の検出値を取得する。
【0095】
S20では、荷重Wが閾値Wo を超えるか否かを判断する。荷重W≦Wo が成立すればS30に進み。荷重W>Wo が成立すればS40に進む。
S30では、これから行う荷役作業が「荷取作業」であると判定する。
【0096】
S40では、これから行う荷役作業が「荷置作業」であると判定する。
CPUはこのルーチンを所定時間間隔毎に実行することで荷役作業の内容を常時判定している。
【0097】
次にカメラ昇降制御ルーチンについて、図12に基づいて説明する。
まずS110では、揚高センサ84の検出値を取得する。
S120では、揚高Hが閾値Ho を超える(H>Ho )か否かを判断する。揚高H>Ho が成立すればS130に進み、揚高H≦Ho が成立すればS150に進む。
【0098】
S130では、荷役作業を判別する。荷置作業であればS140に進み、荷取作業であればS150に進む。
S140では、マークMとの距離Xocが所定閾値Xo 以下(Xoc≦Xo )であるか否かを判断する。Xoc≦Xo が成立したときはS150に進み、Xoc>Xo が成立するときはS160に進む。
【0099】
S150では、カメラユニット23を格納位置に配置するように電動モータユニット43を制御する。
S160では、カメラユニット23を下降位置に配置するように電動モータユニット43を制御する。
【0100】
図13はカメラ昇降制御およびフォーク自動位置合わせ制御の荷役動作を示すもので、同図(a)はフォークが荷取位置に配置された状態、同図(b)はフォークが荷置位置に配置された状態を示す。荷重センサ85の検出値(荷重)Wが閾値Wo 以下であるときは(W≦Wo )、これから行う荷役作業が「荷取作業(荷取モード)」であると判定される。一方、荷重センサ85の検出値(荷重)Wが閾値Wo を超えるときは(W>Wo )、これから行う荷役作業が「荷置作業(荷置モード)」であると判定される。
【0101】
フォーク2の揚高Hが閾値Ho を超えて起動準備モードに入ったときに、カメラ昇降制御が開始されている。カメラ昇降制御は、フォーク2が揚高Hが閾値Ho (=2m)に達したときに揚高センサ84から入力される信号を指令信号として開始される。このとき、これから行う荷役作業が荷取作業か荷置作業であるかが荷重センサ85の検出値を基に判定される。すなわち荷取モード(荷重W<Wo )のときは、カメラ26は同図(a)に示す格納位置に配置される。一方、荷置モード(荷重W≧Wo )のときは、カメラ26は同図(b)に示す下降位置に配置される。このとき、カメラユニット23を移動させる必要があるときに限り、電動モータユニット43は駆動される。
【0102】
荷取モードではテンプレートT1を読出してパレット位置検出用マークM1の画像認識処理を行ってマークM1の位置を求めるとともに、そのマーク位置から決まるデータ(I,J,D)を基に、マークM1とカメラ26の相対座標(Xc ,Yc ,Zc )を求める。そして、この相対座標(Xc ,Yc ,Zc )から決まる上下および左右方向の各制御量をコントロールバルブ88に指令する。この結果、同図(a)に示すように、フォーク2はパレット71の差込穴71Aに相対する状態(揚高はHt )に配置される。
【0103】
一方、荷置モードではテンプレートT2を読出して棚位置検出用マークM2の画像認識処理を行ってマークM2の位置を求めるとともに、そのマーク位置から決まるデータ(I,J,D)を基に、マークM2とカメラ26の相対座標(Xc ,Yc ,Zc )を求める。そして、フォーク2を棚部72に対する荷置位置に配置するためにこの相対座標(Xc ,Yc ,Zc )から決まる、上下および左右方向の各制御量をコントロールバルブ88に指令する。この結果、同図(b)に示すように、フォーク2は棚面72Aから所定距離ΔLだけ上方に位置する揚高Hp に配置される。
【0104】
図13(c)に示すように、荷置位置にフォーク2が位置合わせされた後、荷置作業のためにマスト13をリーチさせる。このとき、カメラ26とマークM2の距離が設定距離Lo(例えば50〜80cmの範囲内の値)以下に接近すると、カメラ26は上昇する。この結果、カメラ26が棚部72と干渉することが回避される。そして、荷73が棚面72Aに置かれると、荷重Wが閾値Wo 以下になるので荷取モードとなり、カメラ26は上昇して格納位置に配置される。一方、荷取作業を終えたときは、荷重Wが閾値Wo を超えるので荷置モードとなり、カメラ26は下降位置に配置される。
【0105】
図13(d)に示すように、フォーク2上に荷73を載せた荷置きモードで、フォーク2を下降させるときは、揚高Hが閾値Ho 以下になると、カメラ26の上昇が開始される。そして、フォーク2が最下降位置に達するまでにカメラ26は格納位置に格納される。従って、カメラ26が床面に当たることから保護される。なお、運搬作業(走行作業)中であっても空荷のときには、格納位置に配置されたカメラ26によって走行先前方エリアが撮影され、その撮影画像が表示装置28の画面28A上に表示される。
【0106】
この実施の形態では、以下の効果が得られる。
(1)荷重センサ85の検出結果から荷取作業か荷置作業かを判別し、カメラ26を荷取作業のときに格納位置に配置し、荷置作業のときに下降位置に配置する。カメラ26は荷役作業に応じた撮影位置に配置されるため、荷役作業に応じた適切な撮影位置から作業エリアを撮影できる。この結果、フォーク2の位置合わせ作業をするうえで適切な画像を画面28A上で見たり、その適切な画像データを使って荷役作業支援に的確な画像処理を行うことができる。
【0107】
(2)カメラユニット23を荷置作業時の必要時のみ下降させるので、カメラ26がキャリッジ18から突出状態に配置される頻度をなるべく少なくすることができる。よって、キャリッジ18から突出状態(下降位置)にあるカメラユニット23を、例えば運転者が誤って周辺物(棚など)に当てる不具合をなるべく減らすことができる。
【0108】
(3)荷取作業時の格納位置では、フォーク2の差込部とほぼ同じ高さからパレット71の差込穴71Aへの挿入方向(荷取操作方向(水平方向))に見たカメラ視点で撮影することができる。よって、表示装置28の画面28A上を通してフォーク2の差込部とほぼ同じ高さの視点からパレット71の差込穴71Aを見ることができるので、表示装置28の画面28Aを通して行われるフォーク2の位置合わせ作業を正確かつ短時間に行うことができる。一方、荷置作業時の下降位置では、フォーク2上の荷73に遮られず作業エリアを撮影することができる。よって、いずれの荷役作業でも作業エリアを適切に撮影できる。
【0109】
(4)フォーク間中央位置(フォーク幅方向中央位置)から正面を撮影することでマークM1,M2をなるべく幅方向中央に据えて撮影することが可能である。さらにカメラ26は荷取作業時にフォーク2の根本部近傍高さに位置してマークM1をほぼ正面に捉えマークM1をなるべく上下方向中央に据えて撮影することができ、またカメラ26は荷置作業時にフォーク2から所定距離下方に位置してマークM2をほぼ正面に捉えマークM2をなるべき上下方向中央に据えて撮影することができる。よって、目標物(撮影対象)であるマークM1,M2をほぼ中央に据えた広い領域を見ることができる。例えばフォーク2を目視などによりおおよそ位置合わせした際にマークM1,M2が画面28A中に捉えられる頻度が多くなる。
【0110】
(5)自動位置合わせ制御を実行する揚高範囲を2メートルを超える範囲に設定したので、荷置作業時であってもHo (=2m)の高さでまではカメラユニット23が格納されたまま保持され、Ho (=2m)を超えて始めてカメラユニット23が下降するので、この点からもカメラ26が突出した状態に配置される頻度を少なくすることができる。フォーク2の低揚高時は、運転者の目線からでもフォーク2が棚やパレットに対して位置合わせされたかどうかをある適度正確に判断できるため、荷役作業上特に不都合はない。
【0111】
(6)また揚高HがHo (=2m)以下になるとカメラユニット23の格納位置への移動(上昇)を開始するので、フォーク2が最下降位置に達するまでにカメラユニット23の格納を確実に完了することができる。この結果、カメラユニット23が床面に衝突することを確実に回避できる。よって、フォーク2の最下降時にカメラユニット23が自動格納されることにより、カメラ26の破損を防止できる。
【0112】
(7)荷置作業のためマスト13をリーチさせたときにカメラ26と棚部72(マークM2)との距離Xocが設定距離Xo 以内に接近したことが検出されると(Xoc≦Xo )、カメラユニット23を格納位置に格納する。よって、荷置作業時にカメラ26が棚部72と干渉するなどの不都合を防ぐことができる。
【0113】
(8)一対のフォーク2の幅方向中央部(フォーク間中央部)に、カメラユニット23を上下方向にスライドさせるリニアスライド機構を採用するので、カメラユニット23の昇降位置によらず、常にカメラ26をフォーク2の幅方向中央部に配置することができる。よって、画面28Aを通してフォーク2の位置合わせを確認し易いうえ、カメラ26がマークMを撮影するときに斜めからではなくほぼ真正面でマークMを捉えることができるので、マークMの位置検出処理に誤差が含まれにくくなり、パレット71や棚部72などの荷役対象の位置検出精度をよくすることができる。
【0114】
(9) ワイヤ47を介して吊り下げるとともにガスダンパ49により下方へ押圧付勢した構成を採用している。万一、電動モータユニット43が故障し、フォーク2を最下降させる際にカメラユニット23が下降位置から上昇しなかったとしても、カメラユニット23が床面に当たったときのカメラ26の衝撃はワイヤ47の撓みとガスダンパ49によって吸収されるため、カメラ26の破損を防ぐことができる。また、この際の衝撃は電動モータユニット43には伝わらず、電動モータユニット43の破損も防止できる。
【0115】
(10)荷役作業の判別処理は、荷重センサ85の検出値を基に行うので、例えばリミットスイッチなどの接触式スイッチにより荷の有無を判断する構成に比べ、センサ85が壊れ難く信頼性が高い。
【0116】
(第2の実施形態)
次に第2の実施形態を図14,図15に従って説明する。前記第1の実施形態では、カメラユニット23が上下方向に直線上に昇降する昇降機構(リニアスライド機構)を採用したが、本実施形態では、カメラ26を回動機構により昇降させる昇降機構を採用する。また、本実施形態では、荷役作業だけでなく運搬作業を支援する目的でカメラ26によって走行方向前方を撮影するようにしており、運搬作業に応じたカメラ26の撮影位置が設定されている。なお、荷役操作支援装置20は、昇降機構の具体方式が異なること以外は基本的に前記第1の実施形態と同様の構成であるので、特に異なる部分についてのみ説明する。
【0117】
図14に示すよう、キャリッジ18にはカメラ26が先端に配置された所定長さの支持体110がサイドシフタ32の端部を回動中心として回動可能に支持されている。サイドシフタ32の背面にはギヤボックス111およびアクチュエータとしての電動モータ(電動アクチュエータ)112が組付けられており、ギヤボックス111の出力軸113に支持体110の基部が連結されている。モータ112が駆動されることで支持体110は基部を中心に回動するようになっている。支持体110の回動位置には作業内容に応じて三位置が設定されている。支持体110は、荷取作業のときに配置される荷取撮影位置(同図実線位置A)と、荷置作業のときに配置される荷置撮影位置(同図実線位置B)と、運搬作業のときに配置される運搬位置(同図鎖線位置C)との三位置の間を動く。
【0118】
荷取撮影位置では、カメラ26はフォーク2の差込部とほぼ同じ高さに配置される。また荷置撮影位置では、カメラ26はフォーク2から所定距離下方に配置され、フォーク2上の荷に遮られず作業エリアをカメラ26により撮影することが可能である。さらに運搬位置では、カメラ26はサイドシフタ32の上方かつキャリッジ18から突出しない位置に配置される。荷取撮影位置と荷置撮影位置では、カメラ26はキャリッジ18から突出状態にある。また、荷取撮影位置Aからカメラ26がキャリッジ8から突出しない位置まで上昇したところに待機位置が設定されている。
【0119】
モータ112が正転駆動されると、支持体110が運搬位置から同図における時計回り方向に回動することでカメラ26は順次下降する。一方、モータ112が逆転駆動されると、支持体110が荷置撮影位置から同図における反時計回り方向に回動することでカメラ26は順次上昇する。
【0120】
図15は荷役操作支援装置20の電気的構成を示し、前記第1の実施形態と基本的に同様の構成である。但し、車速センサ115およびエンコーダ116が追加されている。車速センサ115は運搬作業を判別するために加えられたもので、エンコーダ116は支持体110の回動角度を検出するために設けられたものである。
【0121】
コントローラ58は、荷重センサ85の検出結果に基づき荷取作業と判別したときは、支持体110を荷取撮影位置に配置するように電動モータ112を駆動制御する。一方、荷重センサ85の検出結果に基づき荷置作業と判別したときは、支持体110を荷置撮影位置に配置するように電動モータ112を駆動制御する。本実施形態でも、揚高Hが所定閾値Ho を超えてから支持体110はA,B位置に下降する。またカメラ26とマークMの距離Xocが所定距離Xo 以内に接近すると、支持体110が上方へ回動するように電動モータ112を駆動し、カメラ26はA,B位置からキャリッジ18から突出しない待機位置に移動配置される。
【0122】
コントローラ58はエンコーダ116から入力した検出パルスをカウントして支持体110の回動角度を求めている。そしてカメラ26の撮影した画像データをその回動角度に応じて角度変換処理することで正規の向きの画像に変換する。またマークMを位置検出するための画像認識処理は角度変換処理後の画像データを基に行われる。このときカメラ26の座標を求めるときには回動角度のデータが用いられる。
【0123】
フォーク2を下降させて揚高Hが閾値Ho 以下になると、コントローラ58は荷取撮影位置または荷置撮影位置の回動姿勢にある支持体110を上方へ回動させるように電動モータ112を駆動し、カメラ26をキャリッジ18から突出しない待機位置まで上昇させる。またコントローラ58は、車速センサ115の検出結果に基づく車速Vが設定速度を超えると、荷役作業から運搬作業に移行したと判断し、支持体110を待機位置から上方へ回動させてカメラ26を運搬位置Cに配置する。運搬作業中はカメラ26によって運搬位置から走行先前方エリアが撮影され、画面28A上にその撮影画像が表示される。なお、運搬中の荷がカメラ26を遮って走行先前方エリアの撮影に支障をきたすときは、支持体110を運搬位置からさらに図14における反時計回り方向に回動して例えばキャリッジ18の上部側方からカメラ26を突出させた撮影位置から走行先前方エリアを撮影する。なお、運搬作業であることを判別するために用いられる車速センサ115は、検出手段を構成する。もちろん、フォーク2が最下降に近い所定閾値HL 未満に下降したことをもって荷役作業が終了して運搬作業に移行したと判断して運搬作業の撮影位置にカメラ26を配置することも可能でる。この場合は、揚高センサ84が検出手段を構成することになる。
【0124】
なお、この実施形態では、支持体110の回動中心をキャリッジ18の幅方向端部に設定したが、例えばキャリッジ18の中央部に回動中心を設定することもできる。例えば支持体110が鉛直に垂下してカメラ26をフォーク2の下方に突出させた位置を例えば荷置作業時の撮影位置とし、支持体110を水平に配置してキャリッジ18の側方からカメラ26を突出させた位置を荷取作業時の撮影位置とする。またキャリッジ18の側方からカメラ26を突出させた位置を、運搬作業時の撮影位置とすることもできる。
【0125】
この実施の形態では、以下の効果が得られる。
(11)昇降機構として支持体110を回動させることによってカメラ26を昇降させる回動機構を採用し、カメラ26を荷取作業と荷置作業のそれぞれに応じた撮影位置に配置する構成であるので、前記第1の実施形態で記載した前記(1)〜(3),(5),(6),(10)の効果が同様に得られる。但し、効果(3)では、荷取作業時の撮影位置でカメラ26がキャリッジ18から少し突出はするが、極力少ない突出量なので周辺物との干渉はほとんど心配ない。
【0126】
(12)運搬作業時は、カメラ26によって走行先前方エリアが撮影されて表示装置28の画面28A上で見ることができるので、画面28A上の画像が走行支援(運搬支援)として役に立つ。
【0127】
なお、実施の形態は上記に限定されず、次の態様で実施することもできる。
○ カメラ26の移動変位は昇降に限定されない。例えばカメラ26を左右(車幅方向)にスライドさせることで複数の撮影位置に移動配置させる構成でも構わない。例えばキャリッジ18に左右方向(車幅方向)のスライド機構を設け、このスライド機構に沿ってカメラ26をフォーク幅中央位置とキャリッジ18の側方から突出する荷置時の撮影位置とに移動配置可能とする。この場合、スライド機構により移動機構が構成される。
【0128】
○ 前記各実施形態では、荷役作業の種別毎にカメラの配置位置(撮影位置)が1箇所に固定であったが、1つの荷役作業に対しカメラの配置位置(撮影位置)を連続的に可変させることも可能である。例えばフォーク上の荷のサイズに応じてカメラの配置位置を可変させてもよい。荷が前後方向に長いほど、カメラの撮影視界が遮られるので、荷が前後方向に長いほどカメラをより低い位置に下降させるようにする。すなわち、荷置作業のときにフォーク上の荷に遮られず目標箇所を撮影可能でなるべく必要最小限の下降量(突出量)で済む撮影位置を、別途用意した第2検出手段の検出結果を用いて求める。そしてこの求めた撮影位置にカメラを移動配置するようアクチュエータを駆動制御することにより、荷置作業時のカメラ位置(撮影位置)をなるべく必要最小限の突出量で済ませられるようにカメラの格納位置からの下降量を可変とする。フォーク上の荷に遮られず目標箇所を撮影可能な撮影位置を求めるための検出は、例えば測長センサを用いて荷の前後方向長さを求め、荷の前後方向長さが長いほどカメラの下降量を多くする。また、画像データを画像処理することによって画面領域内における荷の領域を認識し、現カメラ位置と荷に遮られた画像上の領域とから、荷に遮られることなくマークを撮影可能な撮影位置を幾何学的な演算で求め、カメラの格納位置からの下降量を求める方法を採ることもできる。また例えば運転者がキー操作で入力した荷の長さデータに基づいてカメラの下降位置を決定することも可能である。
【0129】
また荷置作業時は、カメラ26をなるべく下降させて配置した方が撮影視界をより広く確保できるので、フォーク上昇時のマーク発見タイミングをより早くしスピーディな制御を実現できる。この点を考慮し、高揚高ほどカメラ26をより低く配置するように、揚高センサにより検出される揚高Hに応じてカメラ26の配置位置を可変とすることも可能である。但し、カメラ下降位置はフォーク2を最高速で下降させてもフォーク2が最下降位置に達するまでにカメラ26を十分格納し得る下降量であることを条件とする。
【0130】
○ カメラの配置位置を決める荷役作業の種別は、荷取作業と荷置作業に限定されない。フォークリフト以外の産業車両では、荷役機器が担当する荷役作業の種類に応じてカメラ位置を設定することができ、例えば荷役機器が担当する荷役作業の種別は3つ以上であってもよい。
【0131】
○ カメラ26は画像処理目的で作業エリアを撮影するものであることに限定されない。カメラ26は運転者が作業エリアを表示装置の画面上で見る目的で作業エリアを撮影するだけであっても構わない。
【0132】
○ カメラ26が画像処理目的で作業エリアを撮影する場合、その画像処理は荷役対象の位置認識のための画像処理に限定されない。
○ カメラ26による撮影目的が荷役対象の画像認識処理である場合、その画像認識処理の使用目的がフォークの自動位置合わせ制御のためであることに限定されない。例えば画像認識処理結果に基づき表示装置28の画面上に位置合わせのためのガイド表示を表示させるものであってもよい。また画像認識処理結果に基づきスピーカ81から音声ガイドを行うものであってもよい。また表示ガイドとしては、フォークを位置合わせのために移動すべき方向を指示するものであってもよいし、移動目標位置に目標表示(目標マーク)を表示させるものであってもよい。
【0133】
○ 位置検出用のマークを放射状の図形としたが、丸(●)、三角(▲)や四角(■)などの単純図形でもよい。この場合、パターンマッチングによりテンプレートを多数用意すればよい。またパターンマッチング以外の画像認識処理方法を採用し、荷役対象の位置検出を行ってもよい。
【0134】
○ カメラ26の設置個所はキャリッジ18に限定されない。例えばインナマスト17に対しカメラ26を昇降可能に設けることもできる。テレスコピック型のマスト13であれば、キャリッジ18がインナマスト17の最上端位置に達した位置より高揚高側では、キャリッジ18とインナマスト17が常に一定の位置関係に定まるので、インナマスト17にカメラ26を設置しても、フォーク2に対するカメラ26の位置調整が比較的簡単となる。キャリッジ18がインナマスト17の最上端位置に達したときのフォーク2(フォーク差込部)に対し、カメラ26はフォーク2とほぼ同一高さに位置する上昇位置と、フォーク2より所定距離下降した下降位置との二位置間を昇降できるようにインナマスト17に設けられる。
【0135】
○ カメラ26の配置位置は位置合わせに適した撮影位置であることに限定されない。例えば高揚高での作業エリアの様子を見るだけの目的でカメラを設置した構成も含む。この場合も、荷取作業と荷置作業とでカメラの撮影位置を切り替える。このような撮影目的であれば、カメラ26をフォーク上の荷の上方へ突出させることも可能である。
【0136】
○ 撮影位置の一つが格納位置であることに限定されない。前記第1の実施形態において、荷取作業時のカメラ位置は格納位置に限定されず、例えばフォーク2(差込部)と同一高さから撮影できるように、カメラユニット23を格納位置から少し下降させた位置を荷取作業時の撮影位置とすることもできる。このときのカメラ26の位置がフォーク2の底面から下方へ突出する位置、つまりキャリッジ18から下方へ突出する突出位置であっても構わない。荷役作業に応じた複数の撮影位置が設けられ、荷役作業終了時にカメラが格納位置に格納される構成であっても構わない。つまり格納位置は必ずしも撮影位置である必要はなく、撮影の必要がないときにカメラを格納する位置であっても構わない。
【0137】
○ カメラの移動は昇降・左右スライドに限定されない。例えばカメラを前後方向に移動できるようにしてもよい。例えばカメラをフォーク2(パレット71)の下方を通る経路で前後方向に出退させられる移動機構を設け、荷置作業のときにはカメラを前方へ移動させるようにアクチュエータを駆動する。さらに複数のスライド機構を組み合わせて例えばカメラユニットからカメラがスライドによって出没する機構や、スライド機構と回動機構を組み合わせて例えば支持体110からカメラがスライドによって出没する機構を採用することもできる。
【0138】
○ 検出手段は、荷重センサ85に限定されない。検出手段は、例えばフォーク上に設置したリミットスイッチでもよい。またフォーク上に載置された荷を検知するその他のセンサを用いることもできる。例えば荷を非接触で検出する近接センサなどの非接触式センサを使用することもできる。またカメラにより撮影した画像を基にフォーク上における荷の有無を画像認識処理により検出する荷検出手段を使用することもできる。例えば、フォークの底面形状を画像認識で認識し、フォークの底面形状を認識できれば荷無し(荷取作業)と判定し、フォークの底面が荷で隠れてフォークの底面形状を認識できなければ荷有り(荷置作業)と判定する。なお、リミットスイッチや近接スイッチを使用したときは、スイッチから出力される信号が、例えば荷を検知したオン信号であれば荷置作業と判定し、荷を検知できないオフ信号であれば荷取作業と判定する。
【0139】
○ アクチュエータは電動アクチュエータに限定されない。キャリッジに取り付けられた油圧シリンダ又は空圧シリンダをアクチュエータとして使用することもできる。カメラはシリンダのピストンロッドに連結され、シリンダが油圧又は空圧により伸縮駆動されることにより、カメラは移動機構により撮影位置を移動する。
【0140】
○ カメラを下方へ付勢するための付勢手段としてガスダンパを設けたが、付勢手段は、ガスダンパに限らず、ゴム、バネ等であってもよい。さらに付勢手段は、ガスダンパ、ゴム、バネ等のように弾性付勢をするものである必要は必ずしもなく、例えば重力(自重)によってカメラを下方へ付勢するウェイト(錘)の類でも構わない。例えばカメラユニットのケースにウェイトを取付けたり、ケース自体にウェイト部(厚肉部)を形成するなどして、カメラと一体に移動する部分の質量を増やし、重力の付勢によりカメラの下降速度を確保するようにしても構わない。
【0141】
○ フォークが車幅方向に移動可能に設けられた産業車両に限定されない。例えばサイドシフト機能を備えないフォークリフトに適用することもできる。
○ 荷役機器はフォークに限定されない。フォーク以外のアタッチメントでもよい。またクランプ装置でもよい。さらにバケットでもよい。また、荷とは、パレットやパレットで取り扱われる荷物に限定されず、丸太、ロール紙、コンテナ、土砂など産業車両が作業で扱う対象であればよい。またパレット以外の荷載置用部材や荷収容箱をも含む。なお、「積載」とは、フォーク、バケットなど、荷を支えて持つもの、また「把持」とは、クランプなどのように荷役機器が変位することで荷の面に圧をかけて持つことである。荷の面に把持圧のかかる磁着も含まれる。
【0142】
○ 産業車両はリーチ型フォークリフトに限定されない。カウンタバランス型フォークリフトでもよい。また産業車両はフォークリフトに限定されない。例えばパワーショベルでもよい。なお荷役作業の対象とされる荷は、荷物、パレット、丸太、土砂、セメント、人などが含まれる。人とは高所作業車の場合である。
【0143】
前記実施形態及び別例等から把握される技術的思想を、以下に記載する。
(1)請求項1又は2に記載の発明において、前記荷役機器を有するキャリッジがマストに沿って昇降可能に設けられた産業車両であって、前記荷役作業に応じた撮影位置では、前記カメラの前記キャリッジからの突出量が荷役作業に応じてそれぞれ異なることを特徴とする。この構成によれば、荷役作業に応じた適切な撮影位置にカメラが配置されることで、カメラのキャリッジからの突出量がなるべく必要最小限度に抑えられ(撮影位置によっては全く突出しないこともあり得る)、例えばカメラが周辺物と干渉するなどの不都合をなるべく回避することができる。
【0144】
(2)請求項1又は2の発明において、前記移動機構は、前記カメラを荷役作業に応じた撮影位置に昇降可能に支持する昇降機構である。
(3)請求項4、5、7のいずれか一項の発明において、前記格納位置は、前記荷役機器を荷役対象に位置合わせするときの位置合わせ箇所をほぼ荷取操作方向の視点から撮影可能な位置に設定されている。この構成によれば、荷役機器を荷役対象に位置合わせする位置合わせ箇所をほぼ荷取操作方向の視点から撮影できるので、例えばカメラで撮影した画像を表示手段で見ながら位置合わせ作業をする際に、その位置合わせを正確に行える。
【0145】
(4)請求項7に記載の発明において、前記荷役機器の揚高を検出する揚高検出手段を備え、前記制御手段は、前記揚高検出手段の検出結果により前記荷役機器の揚高が所定閾値未満の低揚高にあると判断されたときは前記カメラを格納位置に配置するとともに、前記荷役機器の揚高が所定閾値以上の揚高にあると判断されたときは、前記検出手段の検出結果から荷取作業と判別されたときに前記カメラを前記格納位置に配置し、荷置作業と判別されたときに前記カメラを前記下降位置に配置するように、前記アクチュエータを駆動制御することを特徴とする。
【0146】
(5)請求項9に記載の発明において、前記アクチュエータは、その駆動によって正逆転駆動されると共に前記可撓性動力伝達部材を巻回する回転体を備え、前記アクチュエータの駆動によって前記回転体が正逆転駆動されることで該回転体から前記可撓性動力伝達部材が繰り出し及び巻き取りされることにより前記カメラは吊り下げ支持された状態で昇降動することを特徴とする。
【0147】
(6)請求項11に記載の発明において、前記荷検出手段は、前記荷役機器に積載又は把持された荷の荷重に応じた重量を検出する荷重検出手段であって、前記制御手段は、前記荷重検出手段により検出された荷重が所定の閾値を超えると荷置作業と判別し、荷重が所定の閾値未満であると荷取作業と判別することを特徴とする。
【0148】
(7)請求項1〜14のいずれか一項に記載の発明において、前記カメラは、荷役機器の幅中央位置に配置されていることを特徴とする。
(8)請求項6〜7のいずれか一項に記載の発明において、前記格納位置とは、前記カメラの撮影部が前記荷役機器の荷取部と略同一の高さに配置される位置であることを特徴とする。
【0149】
(9)請求項1〜14のいずれか一項に記載の発明において、前記移動機構又は前記昇降機構は、前記カメラを昇降可能な回動機構であることを特徴とする。
(10)請求項1において、前記荷役作業のうち少なくとも一つは運搬作業であり、該運搬作業と判別されたときには、前記カメラは、運搬中の前方視野領域を撮影可能な撮影位置に配置されることを特徴とする。
【0150】
(11)請求項4又は5において、前記閾値は、該閾値の高さ距離を、前記荷役機器の最大下降速度で割って得られる時間が、前記カメラが下降位置から格納位置に配置されるまでの所要時間よりも長くなるように設定されていることを特徴とする。
【0151】
(12)請求項1〜14のいずれか一項に記載の発明において、前記アクチュエータは、電動アクチュエータである。
(13)請求項1〜14のいずれか一項に記載の発明において、前記アクチュエータは、前記キャリッジに取り付けられた油圧シリンダ又は空圧シリンダであり、前記カメラは当該シリンダのピストンロッドに連結されている。
【0152】
【発明の効果】
以上詳述したように請求項1〜15に記載の発明によれば、カメラを荷役作業に応じた撮影位置に移動配置することで、荷役作業に応じた適切な撮影画像を提供し、提供した撮影画像を通して荷役作業を効果的に支援することができる。
【0153】
請求項3〜15に記載の発明によれば、さらに荷役作業時にカメラが周辺物と干渉することをなるべく回避することができる。
【図面の簡単な説明】
【図1】 第1の実施形態におけるフォークリフトの斜視図。
【図2】 カメラが格納位置にあるときのキャリッジの正面図。
【図3】 カメラが下降位置にあるときのキャリッジの正面図。
【図4】 キャリッジの側断面図。
【図5】 カメラ昇降装置の分解斜視図。
【図6】 操作レバーの平面図。
【図7】 棚に対する荷役作業の様子を示す斜視図。
【図8】 荷役操作支援装置の電気的構成を示すブロック図。
【図9】 マークとテンプレートを示す正面図。
【図10】 画面座標系を説明する画面図。
【図11】 荷役作業判定ルーチンのフローチャート。
【図12】 カメラ昇降制御のフローチャート。
【図13】 カメラ昇降制御をを説明する模式側面図。
【図14】 第2の実施形態におけるキャリッジの正面図。
【図15】 荷役操作支援装置の電気的構成を示すブロック図。
【符号の説明】
1…産業車両としてのフォークリフト、2…荷役機器としてのフォーク、3…車体、11…荷役装置、13…マスト、18…キャリッジ、23…カメラユニット、25…移動機構、昇降機構及びリニアスライド機構を構成するケース、26…接近検出手段を構成するカメラ、28…表示装置、30…昇降部材としてのリフトブラケット、31…傾動部材としてのフィンガバー、32…サイドシフタ、36…サイドシフト駆動手段としてのサイドシフトシリンダ、40A,40B…移動機構、昇降機構及びリニアスライド機構を構成するガイドレール、41…移動機構、昇降機構及びリニアスライド機構を構成するローラ、43…アクチュエータとしての電動モータユニット、44…アクチュエータを構成する電動モータ、47…昇降機構及びリニアスライド機構を構成するとともに可撓性動力伝達部材としてのワイヤ、49…昇降機構及びリニアスライド機構を構成するとともに付勢手段としてのガスダンパ、58…制御手段としてのコントローラ、70…棚、72…荷役対象としての棚部、71…荷役対象としてのパレット、71A…差込穴、84…揚高検出手段としての揚高センサ、85…荷検出手段としての荷重センサ、95…表示処理部、96…接近検出手段、画像処理手段及び位置検出手段としての画像処理部、101…接近検出手段及び位置検出手段を構成する画像認識処理部、102…接近検出手段及び位置検出手段を構成するテンプレート記憶部、103…演算手段としての画像演算部、104…接近検出手段及び位置検出手段を構成する表示位置決定部、110…移動機構及び昇降機構を構成する支持体、112…アクチュエータとしての電動モータ、Ho …所定閾値、M1,M2…マーク。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a loading / unloading work support apparatus and an industrial vehicle for an industrial vehicle including a camera for photographing a work area of a loading / unloading device such as a fork in an industrial vehicle such as a forklift.
[0002]
[Prior art]
For example, a forklift, which is an industrial vehicle of this type, includes a multistage mast on a vehicle body, and a carriage having a cargo handling device such as a fork is provided so as to be able to move up and down along the mast. For example, when loading or unloading at the height of a shelf, the operator checks whether the fork is aligned with the object to be handled (shelf surface or pallet) while looking up at the height (eg 3 to 6 meters). It is necessary to operate the cargo handling lever while visually checking. However, it is very difficult to visually determine whether the fork has been aligned with the cargo handling object while looking up at the high place from below, and even a skilled person takes time for this alignment and the work efficiency is considerably reduced. was there.
[0003]
For example, in US Pat. No. 5,586,620, a camera is attached to a carriage of a forklift so that an image of a shelf, a pallet or the like that can be seen in front of the fork can be seen on the screen of a driver's display device. An apparatus for supporting the alignment operation is disclosed. The camera is attached to the carriage in a state that can be moved up and down via a lifting mechanism and is biased downward by a spring. When the carriage is lowered to the vicinity of the lowest position, the camera hits against the plate provided on the mast side and rises against the urging force of the spring and is stored in the protected position. For this reason, when the fork is slightly raised from the lowest position, the camera is lowered from the carriage and the front of the fork can be photographed. When the fork is lowered, the camera is raised before reaching the lowest position and stored in the protective position. Colliding with a surface is avoided.
[0004]
[Problems to be solved by the invention]
In the above-described conventional apparatus, a mechanical structure is employed in which the camera is stored in the protection position by hitting the plate while the fork is lowered to the lowest position. Therefore, the height when the camera is lowered from the protection position (from the lowest position of the fork) At a lift above (a little higher height), the camera always protruded downward from the carriage. That is, the photographing position of the camera is fixed at a position below a predetermined distance with respect to the fork in both the loading operation and the loading operation. The reason why the camera is arranged at a predetermined distance below the fork is to photograph the front of the fork without being blocked by the load on the fork during loading work.
[0005]
By the way, from the viewpoint of assisting the positioning of the fork, it is desirable to provide an image taken from the viewpoint of the same height as the insertion part of the fork. It is desirable to arrange the camera at the same height as the insertion part of the fork, especially in the unloading work where there is no load on the fork that blocks the camera shooting. However, in the conventional apparatus, since the photographing position of the camera is fixed as described above, the camera protruded from the lower side of the fork as much as the loading operation even during the loading operation. If the camera protrudes downward, the camera may interfere with surrounding objects during handling operations, and the frequency of occurrence increases as the amount of protrusion and protrusion frequency (or protrusion time) from the carriage of the camera increases. Become. For this reason, the conventional apparatus has a problem that the camera easily interferes with surrounding objects and that the camera is forced to shoot from a low angle below the fork during the loading operation. The problem that an appropriate shooting angle corresponding to the cargo handling operation cannot be secured is a problem that may occur regardless of whether the camera protrudes from the carriage or the like.
[0006]
The present invention has been made to solve the above-mentioned problems, and a first object of the present invention is to move and arrange a camera at a shooting position corresponding to a cargo handling operation, thereby obtaining an appropriate captured image corresponding to the cargo handling operation. An object of the present invention is to provide a cargo handling work support device and an industrial vehicle in an industrial vehicle that can provide and effectively support cargo handling work through the provided captured images.
[0007]
The second object is to make it possible to avoid the camera from interfering with surrounding objects as much as possible when carrying out the cargo handling work in achieving the first object.
[0008]
[Means for Solving the Problems]
The present invention is applied to an industrial vehicle in which cargo handling equipment is movably provided. In particular, the invention of claims 3 to 11 is applied to an industrial vehicle in which a carriage having a cargo handling device is provided so as to be movable up and down along the mast.
[0009]
In order to achieve the first object, in the cargo handling work support apparatus according to claim 1, the moving mechanism supports the camera so as to be movable to a photographing position corresponding to the cargo handling work. An actuator for moving and arranging the camera, a detection means for performing detection for discriminating the cargo handling work, and a control means for driving and controlling the actuator are provided. The control means is configured to drive and control the actuator so that the camera is disposed at the photographing position corresponding to the cargo handling operation determined from the detection result of the detection means. The “shooting position according to the cargo handling work” is set for the purpose of optimizing the shooting angle so that it can be taken from an angle suitable for the cargo handling work (for example, an angle convenient for shooting the shooting target). It includes a case where the position is a shooting position and a case where the position is a shooting position set for the purpose of ensuring the shooting of the target location without obstructing the state or object (shooting target) of the cargo handling work by some obstacle or the like. Either case may be used as long as the shooting position is determined according to the cargo handling work, and the shooting position according to the cargo handling work may be determined for other reasons. In addition, it is not necessary for the shooting positions to be different for each cargo handling work. If at least two different shooting positions are set, even if there are multiple (three or more) cargo handling works that have the same shooting position. I do not care. The same applies to the following claims. In addition, the transporting work includes traveling work when empty.
[0010]
According to this invention, a camera is arrange | positioned in the imaging position according to the cargo handling operation | work including a conveyance operation | work discriminated from the detection result of a detection means. Therefore, the cargo handling work can be effectively supported by providing an appropriate captured image corresponding to the cargo handling work.
[0011]
In order to achieve the first object, in the cargo handling work support apparatus according to claim 2, a camera that captures a work area of the cargo handling equipment is movably supported on the vehicle by the moving mechanism. An actuator for moving the camera, detection means for performing detection for discriminating cargo handling work, and control means for driving and controlling the actuator are provided. The control means is configured to drive and control the actuator so that the camera is disposed at the photographing position corresponding to the cargo handling operation determined from the detection result of the detection means.
[0012]
According to the present invention, the camera is arranged at the photographing position corresponding to the cargo handling work determined from the detection result of the detection means. Therefore, the cargo handling work can be effectively supported by providing an appropriate captured image corresponding to the cargo handling work.
[0013]
In order to achieve the first and second objects, in the cargo handling work support apparatus according to claim 3, the camera for photographing the work area of the cargo handling equipment can be moved with respect to the carriage that raises and lowers the mast by the moving mechanism. To support. An actuator for moving the camera with respect to the carriage, a detecting means for detecting whether the cargo handling work is a loading work or a loading work, and a control means for driving and controlling the actuator are provided. The control means arranges the camera in a retracted position where it does not protrude from the carriage when it is determined as a loading operation from the detection result of the detecting means, and arranges the camera in a protruding position where it protrudes from the carriage when it is determined as a loading operation. The actuator is configured to drive and control. The protruding position is set so as to secure a necessary shooting area of the camera without being blocked by the load to be loaded. Here, “only necessary” means that it is sufficient if a necessary part (for example, a target part) is photographed. For example, if a necessary part can be photographed, for example, more than half of the photographed image of the camera is captured. You may be blocked by the load.
[0014]
According to the present invention, the camera is disposed at the storage position where it does not protrude from the carriage when it is determined that the work is a cargo pick-up operation from the detection result of the detection means. On the other hand, when it is determined that the loading operation is performed, the camera is disposed at a projecting position that projects from the carriage. Therefore, the camera only protrudes from the carriage 18 during loading work, and the frequency of the protrusion can be reduced. Therefore, it is possible to avoid the camera from interfering with surrounding objects as much as possible.
[0015]
In order to achieve the first and second objects, in the cargo handling work support apparatus according to claim 4, a storage position that does not protrude downward from the carriage by a lifting mechanism, the camera that photographs the work area of the cargo handling equipment, A lower position protruding downward from the carriage is supported to be movable up and down with respect to the carriage. Actuator that drives the actuator, the actuator that raises and lowers the camera with respect to the carriage, the detection means that detects whether the cargo handling operation is the loading operation or the loading operation, the lift detection device that detects the lifting height of the cargo handling equipment And control means for controlling. The control means is configured to drive and control the actuator so that the camera is disposed at the storage position when it is determined from the detection result of the lift detection means that the lift of the cargo handling equipment is at a low lift below a predetermined threshold. Is done. If it is determined that the lifting height of the cargo handling equipment is higher than a predetermined threshold, the camera is placed at the storage position when it is determined that the loading operation is based on the detection result of the detection means, and the loading operation is determined. The actuator is driven and controlled to place the camera in the lowered position. Here, the camera movement arrangement control performed by the control means does not necessarily require that the arrangement of the camera at the predetermined position (storage position / lowering position) is completed, but the start for the arrangement of the camera at the predetermined position. Is included. For example, when the lift height exceeds a predetermined threshold value, the camera may start to descend to the lowered position, or when the lift height becomes less than the predetermined threshold value, the camera may begin to rise to the storage position.
[0016]
According to the present invention, when it is determined from the detection result of the lift detection means that the lift of the cargo handling equipment is at a low lift lower than the predetermined threshold, the camera is placed at the storage position regardless of the content of the cargo handling work. That is, when the cargo handling device is at a low lift, the camera is not arranged to protrude from the carriage. Then, the camera is moved and arranged at the photographing position corresponding to the cargo handling work only when the cargo handling device is raised above a predetermined threshold. That is, if the cargo handling operation is a cargo handling operation, the camera is disposed at the storage position, and if the cargo handling operation is a loading operation, the camera is disposed at the lowered position. Therefore, since the camera is disposed in a protruding state from the carriage only when the cargo handling device is at a height higher than a predetermined threshold, the frequency with which the camera protrudes from the carriage can be reduced as much as possible. Therefore, the inconvenience that the camera interferes with surrounding objects can be reduced as much as possible. In addition, support for cargo handling work by camera photography, which is necessary when the cargo handling equipment is at a high place, is appropriately provided. In addition, when the cargo handling device becomes a low elevation less than a predetermined threshold, the camera is driven so as to be stored in a storage position that does not protrude from the carriage. For example, when the carriage is lowered, the camera collides with the floor surface or the like. Is avoided.
[0017]
In the cargo handling work support apparatus according to claim 5, in the invention according to claim 4, the predetermined threshold is stored from the lowered position until the cargo handling device finishes descending from the predetermined threshold lift to the lowest lowered position. It is set to a lift value that can be stored in the position.
[0018]
According to this invention, in the operation of the invention according to claim 4, when the cargo handling device becomes a low lift less than a predetermined threshold value, the actuator is driven and controlled so that the camera is disposed at the retracted position, and the carriage is at the lowest lowered position. The movement of the camera to the storage position is completed by the time when the movement is finished.
[0019]
In order to achieve the first and second objects, in the cargo handling work support apparatus according to claim 6, the camera that photographs the work area of the cargo handling equipment is moved from the carriage by the moving mechanism to the storage position that does not protrude from the carriage. It is supported so as to be movable relative to the carriage between the protruding positions. Drive control of detection means for detecting whether the cargo handling work is a loading work or a loading work, an approach detection means for detecting that the camera has approached the cargo handling object, and an actuator for moving the camera relative to the carriage And a control means. The control means arranges the camera at the storage position when it is determined as the loading operation from the detection result of the detection means, and arranges the camera at the protruding position when it is determined as the loading operation, and determines the result according to the detection result of the approach detection means. When it is determined that the camera has approached the cargo handling object within the set distance, the actuator is driven and controlled so that the camera is placed at the storage position.
[0020]
According to the present invention, the camera is arranged at the storage position where it does not protrude from the carriage when it is determined that the operation is a cargo picking operation from the detection result of the detection means. On the other hand, when it is determined that the loading operation is performed, the camera is arranged at a protruding position protruding from the carriage. When it is determined by the detection result of the approach detection means that the camera has approached the cargo handling object within the set distance, the camera is placed at the storage position. Therefore, when the camera approaches the cargo handling object, it is avoided as much as possible that it interferes with the cargo handling object and its surroundings.
[0021]
In the cargo handling work support device according to claim 7, in the invention according to claim 3 or 6, the moving mechanism is a lifting mechanism that supports the camera to be movable up and down with respect to the carriage. The actuator is driven to raise and lower the camera relative to the carriage. The protruding position is a lowered position that protrudes downward from the carriage so as to be able to photograph a cargo handling object as much as necessary without being blocked by the cargo loaded or gripped on the cargo handling device. Here, “only necessary” means that it is sufficient if the necessary part of the cargo handling object is photographed. For example, if a necessary part can be photographed, a considerable part of the photographed image of the camera is loaded. You may be blocked.
[0022]
According to the present invention, at the time of loading work, the camera is arranged at the lowered position, so that at least a necessary portion of the cargo handling object is photographed without being blocked by the load loaded or gripped on the cargo handling device. Stored in the carriage.
[0023]
In the cargo handling work support device according to claim 8, in the invention according to any one of claims 4, 5, and 7, the lifting mechanism can lift and lower the camera in the vertical direction at the center in the width direction of the cargo handling equipment. It is the linear slide mechanism to support.
[0024]
According to this invention, in addition to the operation of the invention according to any one of claims 4, 5 and 7, the camera moves up and down at the center position in the width direction of the cargo handling device by the linear guide mechanism. Regardless, the shooting position is kept at the center in the width direction of the cargo handling equipment. For example, using a photographed image of a camera makes it easy to position the cargo handling equipment.
[0025]
In the cargo handling work support device according to claim 9, in the invention according to claim 8, the elevating mechanism includes a flexible power transmission member that supports the camera in a suspended state in a state of being operatively connected to the actuator, and the camera downward. And an urging means for urging the
[0026]
According to the present invention, in addition to the action of the invention according to claim 8, when the camera is in a protruding state, it collides with a peripheral object, or the actuator cannot be stored due to a failure or the like, and the camera is temporarily placed on the floor surface. Even when a collision occurs, the impact transmitted to the camera is mitigated by bending of the flexible power transmission member that suspends the camera at the time of the collision. In addition, the impact is difficult to be transmitted to the actuator. Further, the lowering speed necessary for the camera is easily ensured by being biased downward by the biasing means. Further, when the urging means is elastically urged (for example, a gas damper, rubber, spring, etc.), the impact is absorbed by the urging means, so that the impact is hardly transmitted to the camera. The “biasing means” here is sufficient if it biases the camera downward, and does not necessarily have to be elastically biased. For example, a weight (weight) that biases downward by gravity is used. It doesn't matter.
[0027]
In the cargo handling work support device according to claim 10, in the invention according to any one of claims 3 to 9, the carriage is provided so as to move up and down along the mast and to be tiltable with respect to the lift member. A tilting member; a side shifter provided to be movable in the vehicle width direction with respect to the tilting member; and a side shift driving means for moving the side shifter in the vehicle width direction with respect to the tilting member. The camera is provided so as to be movable up and down with respect to a side shifter to which cargo handling equipment is integrally attached.
[0028]
According to this invention, in addition to the operation of the invention according to any one of claims 3 to 9, the camera moves to the left and right together with the side shifter to which the cargo handling device is integrally attached, and moves up and down with respect to the side shifter. The work area can always be taken from the same position in the left-right direction of the cargo handling equipment. For this reason, for example, when assisting the positioning of the cargo handling equipment using the photographed image taken by the camera, the positioning becomes easy.
[0029]
In the cargo handling work support apparatus according to claim 11, in the invention according to any one of claims 1 to 10, the detection means includes a load detection means for detecting the presence or absence of a load loaded or gripped on the cargo handling equipment. Is used. The control means discriminates a loading operation when a load is detected by the load detecting means, discriminates a loading operation if no load is detected, and drives and controls the actuator according to the discrimination result.
[0030]
According to the present invention, since the load detection means detects whether or not there is a load in the cargo handling device, it is discriminated whether it is a loading operation or a loading operation. Therefore, the cargo handling operation can be determined relatively easily.
[0031]
A cargo handling work support apparatus according to a twelfth aspect is the invention according to any one of the first to eleventh aspects, further comprising display means for displaying an image taken by a camera. According to this invention, in addition to the operation of the invention according to any one of claims 1 to 11, an image photographed by the camera can be viewed on the display means. Therefore, the cargo handling work can be effectively supported by looking at the captured image.
[0032]
In the cargo handling work support device according to claim 13, in the invention according to any one of claims 1 to 12, image processing means for performing image processing for cargo handling work support based on image data captured by a camera. It has.
[0033]
According to the present invention, in addition to the operation of the invention according to any one of claims 1 to 12, image data photographed by the camera is subjected to image processing by the image processing means, and cargo handling work is performed using the image processing result. Support is provided.
[0034]
In the cargo handling work support apparatus according to claim 14, in the invention according to any one of claims 1 to 12, the camera photographs a mark provided in the work area in order to detect a position of the cargo handling object. It is. Position detection means for determining the position of the cargo handling object by performing image recognition processing of the mark based on image data photographed by the camera is provided.
[0035]
According to this invention, in addition to the operation of the invention according to any one of claims 1 to 12, a mark provided in the work area is photographed in order to detect the position of the cargo handling object by the camera. An image recognition process of the mark is performed by the position detection unit based on the image data photographed by the camera, and the position of the cargo handling target is determined by this image recognition process. Then, the loading operation is supported using the determined position (position data) of the loading object.
[0036]
The industrial vehicle of Claim 15 is provided with the cargo handling work assistance apparatus as described in any one of Claims 1-14.
According to this invention, since the industrial vehicle includes the cargo handling work support device according to any one of claims 1 to 14, the same operation as the invention according to any one of claims 1 to 14 is obtained. It is done.
[0037]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
Hereinafter, a first embodiment in which the present invention is embodied in a forklift as an industrial vehicle will be described with reference to the drawings.
[0038]
As shown in FIG. 1, a reach-type forklift (hereinafter referred to as a forklift) 1 as an industrial vehicle is used, for example, to perform a cargo handling operation in a factory. As the cargo handling operation, for example, the fork 2 as a cargo handling device is lifted and lowered with respect to a shelf erected in the factory to perform cargo loading and loading work. The loading operation is an operation in which the fork 2 is inserted into a pallet on which a load stored in a shelf is placed, and the fork 2 needs to be aligned with the insertion hole of the pallet. The loading operation is an operation of placing a load (pallet) placed on the fork 2 on the shelf surface of the shelf. The fork 2 is placed at a predetermined height above the shelf surface (for example, 10-20 cm above the shelf surface). Need to align.
[0039]
The forklift 1 is a front two-wheel / rear one-wheel drive three-wheeled vehicle type, and left and right front wheels (driven wheels) 4 are attached to the front ends of a pair of left and right reach legs 5 extending forward from the front portion of the vehicle body 3, respectively. It has been. The rear wheel is a driving wheel (hereinafter referred to as a driving steering wheel) 6 that also serves as a steering wheel. The driving steering wheel 6 is powered by a battery 8 that is disposed on the vehicle body 3 and powered by a battery 7. Is driven by. A caster (not shown) for assisting the drive steering wheel 6 is also provided as a rear wheel.
[0040]
A standing seat type driver's seat 9 is provided on the right rear portion of the vehicle body 3. A handle (steering wheel) 10 is provided on the upper surface of the storage box 3 </ b> A that is erected on the side of the driver's seat 9 (next to the left). The drive steering wheel 6 is steered by operating the handle 10.
[0041]
A cargo handling device (mast device) 11 is mounted on the front portion of the vehicle body 3 so as to be movable in the front-rear direction along a pair of left and right reach legs 5. A piston rod 12a of a reach cylinder (hydraulic cylinder) 12 disposed at the bottom of the vehicle body 3 is connected to the cargo handling device 11, and the cargo handling device 11 moves in the front-rear direction (reach operation) by driving the reach cylinder 12. . That is, the vehicle disclosed in the US patent described in the prior art is of the pantograph reach type, whereas the vehicle of the present embodiment employs the mass reach type.
[0042]
The cargo handling device 11 includes a multistage (three-stage in this example) mast 13 and a lift cylinder 14 (only one side is shown). The mast 13 is formed by slidably engaging three stages of an outer mast 15, a middle mast 16, and an inner mast 17. Each mast 15, 16, 17 is composed of a pair of left and right mast materials and a beam material that connects both mast materials.
[0043]
The mast 13 is equipped with a carriage 18 for cargo handling so as to be movable up and down. The carriage 18 is guided by the inner mast 17 and is suspended from the inner mast 17 via a chain mechanism (not shown). By driving the pair of left and right lift cylinders 14 disposed behind the mast 13, the carriage 18 moves up and down along the mast 13 as the mast 13 slides and expands. However, the mast 13 is a telescopic type, and the extension operation of the multistage mast 13 is started only after the carriage 18 is raised from the lowest position to the mast upper end position. Fork 2 rises up to about 6 meters.
[0044]
The forklift 1 is provided with a cargo handling operation support device (fork positioning operation support device) 20 that supports the positioning operation of the fork 2 at a high place (high lift height range). The cargo handling operation support device 20 includes a camera lifting device 21 provided at the center of the front surface of the carriage 18. The camera elevating device 21 includes an elevating camera unit 23 that protrudes downward from the lower end of the housing 22. The housing 22 is assembled in a vertically extending state at the center in the width direction of the carriage 18, and the front surface thereof is substantially flush with the front surface of the backrest 24. The camera unit 23 incorporates a camera (CCD camera) 26 at the lower end of the case 25, and has a photographing unit (lens unit) 26 </ b> A at the lower front end of the case 25.
[0045]
The camera unit 23 moves up and down between two positions, a storage position (see FIG. 2) stored in the housing 22 and a lowered position (see FIG. 3) shown in FIG. A photographing window 22A is formed at a lower portion of the front surface of the housing 22 at a position facing the photographing unit 26A of the camera unit 23 disposed at the storage position. The camera 26 also uses the camera 26 from the front position (working area) from the storage position. You can shoot images. That is, in the camera lifting / lowering device 21, the camera 26 can take an image of the front (front front) of the fork 2 from the storage position and the lowering position.
[0046]
A display device (liquid crystal display device (LCD)) 28 is attached to the roof 27 at a position that can be easily seen by the driver standing in the driver's seat 9. An image of a shelf or pallet right in front of the fork taken by the camera 26 during the cargo handling operation is displayed on the screen of the display device 28.
[0047]
Hereinafter, the configurations of the carriage 18 and the camera lifting device 21 will be described. 2 and 3 show a front view of the carriage, FIG. 2 shows a retracted state of the camera unit, and FIG. 3 shows a lowered state of the camera unit. 4 shows a side sectional view of the carriage, and FIG. 5 shows a partially exploded perspective view of the camera lifting device.
[0048]
First, the structure of the carriage 18 to which the camera lifting device 21 is attached will be described with reference to FIG.
The carriage 18 includes a lift bracket (elevating member) 30, a finger bar (tilting member) 31, a side shifter 32, a backrest 24, and the fork 2. In addition, since the fork 2 is an attachment, it can be replaced with another attachment depending on the use of the cargo handling work.
[0049]
The lift bracket 30 is disposed between the masts 13 so as to be movable up and down. That is, the lift bracket 30 includes a plurality (two) of rollers 30A (shown in FIG. 4) that roll on the guide surface (inner surface) of the inner mast 17 on both side surfaces thereof, and can be moved up and down by a chain (not shown). Suspended and supported. The finger bar 31 is supported so as to be tiltable forward and backward with respect to the lift bracket 30.
[0050]
The side shifter 32 is attached to the finger bar 31 so as to be slidable to the left and right. That is, the two side rails 32 of the side shifter 32 are engaged with a pair of upper and lower support rails 33 that are fixed to the upper and lower ends of the finger bar 31 and extend in the vehicle width direction. It can slide in the vehicle width direction (left-right direction). The backrest 24 is fixed to the upper part of the side shifter 32. The fork 2 is detachably attached to the side shifter 32.
[0051]
The lift bracket 30 is provided with a tilt cylinder 35 for tilting the finger bar 31. When the tilt cylinder 35 is driven, the finger bar 31 tilts, whereby the fork 2 tilts. Further, a side shift cylinder 36 as a side shift driving means is provided on the upper portion of the finger bar 31, and the piston rod 36 </ b> A is connected to the side shifter 32. By driving the side shift cylinder 36, the side shifter 32 can be moved relative to the finger bar 31 by a certain distance (for example, a set value within 50 to 100 mm) from the width center (marked with ▼ in FIG. 3) to the left and right. It has become.
[0052]
Next, the configuration of the camera lifting device 21 will be described in detail with reference to FIGS.
The camera lifting / lowering device 21 includes a pair of left and right guide rails 40A and 40B assembled to the center of the width of the side shifter 32. The camera unit 23 is supported by the left and right guide rails 40A and 40B so as to be movable up and down. The case 25 of the camera unit 23 has a columnar shape with a U-shaped cross section, and a partition wall 25 </ b> A that partitions a housing space for the camera 26 is formed at the bottom thereof.
[0053]
Two upper and lower rollers (roller bearings) 41 are rotatably provided on the left and right side walls of the case 25. Each roller 41 rolls on the guide rails 40A and 40B. The resin block 42 fixed between the pair of upper and lower rollers 41 on the left and right side walls of the case 25 functions as a bearing when receiving a thrust load, and the inner walls of the guide rails 40A and 40B so that the thrust load is not applied to the roller 41. And slid.
[0054]
The backrest 24 is provided with an electric motor unit (electric actuator) 43 as an actuator in the upper region of the left and right rails 40A and 40B. The electric motor unit 43 includes an electric motor 44, a gear box 45, and a drum 46. A wire 47 as a flexible power transmission member is wound around the drum 46. A wire 47 extending downward from the drum 46 is located on the width center line of the case 25, and a lower end thereof is connected to an inner wall of the case 25 via a tensioner 48. When the electric motor 44 is driven forward / reversely, the drum 46 rotates forward / reversely via the gear box 45, and the wire 47 wound around the drum 46 is taken up and fed out. 23) goes up and down.
[0055]
In the case 25, a gas damper 49 as an urging means is disposed. The base end portion of the gas damper 49 is fixed to a beam member 50 (see FIG. 4) that connects the upper end portions of the left and right guide rails 40A and 40B. The gas damper 49 is disposed in a state extending vertically at the center position of the width of the case 25, and a piston rod 51 positioned on the lower end side thereof is connected and fixed to the partition wall 25 </ b> A of the case 25. The gas damper 49 presses and urges the case 25 downward.
[0056]
Further, as shown in FIG. 4, the side shifter 32 has an upper limit position detection switch 55 for detecting that the camera unit 23 is disposed at the storage position (upward position), and that the camera unit 23 is disposed at the lowered position. A lower limit position detection switch 56 for detection is provided. The two position detection switches 55 and 56 detect the detected part (convex surface) of the processed surface with a difference in height (unevenness) on the left and right side wall back surfaces of the case 25, and set the upper limit position and the lower limit position of the camera unit 23. Detect each. The electric motor unit 43 is controlled to stop based on detection signals from the position detection switches 55 and 56. Note that a dog may be attached to the case 25 to form a detected portion.
[0057]
A cable bear 57 is provided in the case 25, and the electrical wiring of the camera 26 is routed through the cable bear 57. The electrical wiring of the camera 26 is connected to the controller 58 in the vehicle body 3 via a pulley (not shown) attached to the inner mast 17 together with other electrical wiring such as the electric motor unit 43 and various switches 55 and 56. ing. The guide rails 40A and 40B, the roller 41, the wire 47, the gas damper 49, and the like constitute a linear slide mechanism, a moving mechanism, and an elevating mechanism.
[0058]
As the camera elevating mechanism (linear slide mechanism), a connection structure that connects the electric motor unit 43 and the camera unit 23 using the wire 47 and the damper 49 is employed. For this reason, when the fork 2 is moved down to the lowest position, even if the camera unit 23 remains in the lowered position due to a power failure or the like and the camera unit 23 collides with the floor surface, the impact force at that time Is relaxed to a small extent by the loosening of the wire 47 and the shock absorbing action of the gas damper 49. Therefore, the impact applied to the camera 26 and the electric motor 44 is suppressed as much as possible, and there is no fear of the camera 26 and the electric motor 44 being damaged.
[0059]
Further, when the wire 47 is drawn out from the electric motor unit 43, the camera unit 23 is quickly lowered by the urging force of the gas damper 49 in addition to its own weight acceleration. The ascending / descending speed of the camera unit 23 is almost constant because it is controlled by the stroke speed of the gas damper 49. The wire 47 is always kept in a tensioned state by the tensioner 48 interposed at the connecting portion between the wire 47 and the case 25. For this reason, it is difficult for problems such as the winding of the wire 47 to occur in the drum 46 of the electric motor unit 43 due to the slack of the wire 47.
[0060]
An operation lever (multi-lever) 61 shown in FIG. 6 is provided on the instrument panel installed in front of the driver's seat 9. The single operation lever 61 enables all the operations of the traveling operation and the cargo handling operation and includes a plurality of types of operation units.
[0061]
The operation lever 61 includes a lever body 63 that tilts in the front-rear direction along a slot 62 formed at a predetermined position on the instrument panel. When the lever main body 63 is not operated, the lever main body 63 returns to the neutral position shown in the figure by the urging force of a spring (not shown). A grip 64 is attached to an upper end portion of the lever body 63 so as to be inclined at an angle of about 30 to 60 degrees with respect to the vehicle width direction.
A substantially cylindrical knob 65 is provided at the left end of the grip 64 so as to be rotatable about the axis C. A seesaw switch 66 is provided at the front edge of the left portion of the grip 64, a cross switch 67 is provided at the back of the left portion of the grip 64, and an operation switch 68 is provided at the front of the left portion of the grip 64. The grip 64 is gripped by the right hand while the driver is wearing the right elbow. When the grip 64 is held, the knob 65 and the cross switch 67 can be operated with the thumb, the seesaw switch 66 can be operated with the index finger, and the operation switch 68 can be operated with the middle finger. In the figure, the circle switch 67 is a cross switch 67 viewed from the A direction.
[0062]
When the lever body 63 is tilted forward with the right hand holding the grip 64, the forklift 1 moves forward, and when the lever body 63 is tilted rearward, the forklift 1 moves backward. When the projection 65A formed on the knob 65 is pushed upward with the thumb and the knob 65 is turned upward, the fork 2 is raised, and when the projection 65A is pushed downward with the thumb and the knob 65 is turned downward, the fork 2 is lowered. Further, when the front end of the seesaw switch 66 is pushed with the index finger, the cargo handling device 11 moves forward, and when the rear end of the seesaw switch 66 is pushed with the index finger, the cargo handling device 11 moves backward. The cross switch 67 can be operated in four directions, up and down, left and right, and the tilt of the mast 13 is operated by the up and down operation, and the side shift is operated by the left and right operation. When the upper end of the cross switch 67 is pushed with the thumb, the mast 13 tilts forward, and when the lower end of the cross switch 67 is pushed, the mast 13 tilts backward. Further, when the right end of the cross switch 67 is pushed with the thumb, the fork 2 moves in the right direction, and when the left end of the cross switch 67 is pushed, the fork 2 moves in the left direction. The operation switch 68 is for the driver to operate when performing fork automatic alignment control described later.
[0063]
As shown in FIG. 7, marks M <b> 1 and M <b> 2 that are used for position targets when the fork 2 is aligned with the loading position or the loading position are attached to the shelves 70 and the pallets 71 that are cargo handling targets. The mark M1 attached to the pallet 71 is for detecting the pallet position, and is attached to the central portion between the two insertion holes 71A of the pallet 71. On the other hand, the mark M <b> 2 attached to the shelf 70 is for detecting the shelf position, and is attached to the front center portion of the shelf (beam) 72. Here, as can be seen from the figure, the mark M1 and the mark M2 are made up of black and white patterns, and are the same figure with black and white reversed. From the position on the screen of the mark M1 (or M2) photographed by the camera 26, the amount of shift between the left and right (Y direction) and up and down (Z direction) between the fork 2 and the cargo handling object (pallet 71 or shelf 72) is calculated, Fork automatic alignment control for automatically aligning the fork 2 with the cargo handling target so as to eliminate the deviation amount is performed. In addition, it becomes a cargo handling object including the load 73 mounted on the pallet 71.
[0064]
Next, the electrical configuration of the cargo handling operation support device 20 will be described with reference to FIG.
The cargo handling operation support apparatus 20 includes a controller 58 as control means. The controller 58 includes an image control unit 76, a cargo handling control unit 77, drive circuits 78 and 79, and a solenoid drive circuit 80.
[0065]
The camera 26 is connected to the image control unit 76 on the input side, and the display device 28 and the speaker 81 are connected to the output side. The image control unit 76 displays an image captured by the camera 26 on the screen of the display device 28 based on the video signal (image signal) input from the camera 26. The image control unit 76 performs image recognition processing (template matching processing) for recognizing the marks M1 and M2, and obtains the position coordinates of the marks M1 and M2 in the screen coordinate system set on the screen of the display device 28. Geometric transformation is performed based on the position coordinate data to obtain the relative position coordinates (actual coordinate system) between the camera 26 and the marks M1 and M2. Then, based on the relative position coordinate data, respective movement amounts in the vertical direction and the horizontal direction necessary for aligning the fork 2 with the loading position or the loading position are calculated. This automatic fork alignment process will be described in detail later. The speaker 81 is used for notifying predetermined information by voice guidance.
[0066]
On the other hand, the cargo handling control unit 77 includes an upper limit position detection switch 55, a lower limit position detection switch 56, a lever potentiometer 82 for the multi-lever 61, a knob potentiometer 83 and switches 66, 67, 68, and a lifting height detecting means. A high sensor 84, a load sensor 85 as a load detection means, a tilt angle sensor 86, and the like are connected. In addition, an electric actuator 43 and a cargo handling motor (electric motor) 87 are connected to the cargo handling control unit 77 via drive circuits 78 and 79, respectively, and assembled to an oil control valve 88 via a solenoid drive circuit 80. Solenoids of various electromagnetic proportional valves 89 to 92 are connected.
[0067]
The cargo handling control unit 77 performs current value control of the electromagnetic proportional valves 89 to 92 and drive control of the cargo handling motor 87 based on signals from the potentiometers 82 and 83 and the switches 66 and 67. When the cargo handling motor 87 is operated, the cargo handling pump (hydraulic pump) 93 is driven to supply hydraulic oil to the oil control valve 88. Based on the operation signals from the multi-lever 61, the proportional solenoid valves 89 to 92 are proportionally controlled, and the lift cylinder 14, the reach cylinder 12, the side shift cylinder 36, and the tilt cylinder 35 are hydraulically controlled. As a result, the raising / lowering operation, reach operation, side shift operation, and tilt operation of the fork 2 are possible.
[0068]
The cargo handling control unit 77 manages the lifting / lowering control of the camera unit 23 and the automatic fork alignment control in addition to the cargo handling control during the multi-lever operation. The automatic fork alignment control is executed only during a cargo handling operation at a high place where the fork 2 is at or above a certain lift (set lift (for example, about 2 meters)).
[0069]
The lift height sensor 84 detects whether or not the fork 2 is at a height (lift height) equal to or higher than a set lift height, and includes, for example, a lift switch that is switched on / off at the set lift height. Fork automatic alignment control is performed only when the detected lift of the lift sensor 84 is equal to or higher than the set lift (predetermined threshold Ho). The lift sensor 84 may be a sensor that can continuously detect the lift of the fork 2. For example, as the lift sensor 84, a reel-type lift sensor that detects the amount of rotation of the reel in which the wire is fed and wound as the carriage 18 moves up and down, or an ultrasonic wave that propagates through the oil in the lift cylinder 14 is a piston. It is possible to employ an ultrasonic lift sensor that detects the cylinder stroke from the time until the light is reflected and returned.
[0070]
The load sensor 85 detects the weight (load) of the load 73 loaded on the fork 2, and in the present embodiment, includes a pressure sensor that detects the hydraulic pressure in the lift cylinder 14. The load sensor 85 outputs a detection signal having a voltage value corresponding to the weight of the load 73 on the fork 2.
[0071]
The tilt angle sensor 86 detects an inclination angle based on an angle (horizontal angle) when the fork 2 is in a horizontal posture, and is composed of, for example, a potentiometer. When automatic fork alignment control is performed, the cargo handling control unit 77 drives and controls the tilt cylinder 35 so that the fork 2 is disposed in a horizontal posture based on the detection value of the tilt angle sensor 86.
[0072]
The cargo handling control unit 77 determines “no load” if the detection value W of the load sensor 85 is equal to or less than the threshold value Wo, and determines that “load exists” if the detection value W exceeds a predetermined threshold value Wo. That is, the cargo handling control unit 77 determines the cargo handling operation from the presence or absence of the cargo, and when W ≦ Wo is established, determines that the fork 2 is a “loading operation” performed in the absence of cargo, and W> Wo is satisfied. When it is established, it is determined that the fork 2 is “loading work” performed in a loaded state. When the cargo handling control unit 77 determines that the cargo handling operation determined based on the detection value of the load sensor 85 is the “loading operation”, the cargo handling control unit 77 sets the “loading mode” and determines that the operation is “loading operation”. When judged, the “loading mode” is set. The setting process of the cargo handling mode is executed every certain time (for example, several tens of milliseconds). Since the detected value W of the load sensor 85 includes the weight of the carriage 18 and the like, the detected value at the time of empty load or a value with a little margin in the detected value is set as the threshold Wo. For example, it is desirable to set a threshold value Wo for determining that “load is present” when only the pallet 71 is loaded.
[0073]
When the cargo handling control unit 77 determines that the lifting condition (lifting height H> Ho) where the lifting height H of the fork 2 ascertained from the detection value of the lifting height sensor 84 exceeds a predetermined threshold Ho (for example, about 2 meters) is established. Only in this case, the start preparation mode of the automatic fork alignment control is entered. When the start preparation mode is entered, the start of the raising / lowering control of the camera unit 23 in which the camera 26 is arranged at the photographing position corresponding to the cargo handling work is permitted.
[0074]
The camera unit 23 is disposed at the storage position when the lift height H of the fork 2 is less than a predetermined threshold value Ho (= 2 m). When the lift height H exceeds a predetermined threshold Ho (= 2 m) and enters the start-up preparation mode, the camera unit 23 is placed in the storage position if it is “loading mode” and placed in the lowered position if it is “loading mode”. Is done. On the other hand, when the lift height H falls below the predetermined threshold value Ho (= 2 m) and the start preparation mode is exited, the camera unit 23 is placed at the storage position.
[0075]
The reason for setting the lifting condition (H> Ho (= 2 meters)) to enter the start preparation mode is to complete the raising of the camera unit 23 to the retracted position before the fork 2 reaches the lowest position. is there. Assuming that the minimum lift Hmin that must start to rise in order to securely store the camera unit 23 is the required storage time T1 seconds of the camera unit 23 and the maximum descending speed V1 of the fork 2, the lift height Hmin = V1 × T1. Below the lifting height Ho (= Hmin + ΔH) with a slight margin in the lifting height Hmin, the ascending operation of the camera unit 23 is forced to avoid the collision of the camera unit 23 with the floor surface. Yes. Therefore, automatic fork alignment control is not performed at a lift below the predetermined threshold Ho, but at the time of low lift of the fork 2, whether the fork 2 is aligned with the shelf or pallet even from the driver's perspective. Therefore, there is no particular inconvenience in cargo handling work.
[0076]
In the present embodiment, the reason for switching the shooting position according to the cargo handling mode is as follows. At the time of unloading work (unloading mode), the camera 26 is located near the base of the fork 2 as shown in FIG. 2 so that it can be photographed from a viewpoint from substantially the same height as the insertion portion (loading portion) of the fork 2. To place. In the “storage position” where the camera 26 is arranged near the base of the fork 2, the camera 26 (camera unit 23) is stored at a position above the fork 2 so as not to protrude below the fork 2 (that is, the carriage 18). The On the other hand, during loading operation (loading mode), the work area cannot be photographed from the storage position because the load on the fork 2 is in the way, so that the load can be photographed from an angle that does not interfere with photographing. As shown in FIG. 2, the camera 26 is disposed at a position (lowering position) at a predetermined distance below the fork 2. At this “lowering position”, the camera 26 (camera unit 23) is in a state of protruding downward from the fork 2 (that is, the carriage 18).
[0077]
The automatic fork alignment control is used for a cargo handling operation at a high place where the lift height H of the fork 2 exceeds a predetermined threshold Ho (= 2 m). The driver operates the knob 65 of the multi-lever 61 to raise the fork 2, and roughly aligns the fork 2 with the target cargo handling object 71 (72) while viewing the screen of the display device 28. At this time, when the lifting height H exceeds a predetermined threshold Ho, the start preparation mode is entered. If the loading mode is selected, the camera unit 23 is held in the storage position as it is, and if the lifting mode is set, the camera unit 23 is moved to the lowered position. To descend. In the start-up preparation mode, the position of the mark M1 (M2) attached to the cargo handling object 71 (72) is sequentially detected by image recognition processing, and when the rough positioning of the fork 2 is completed, the target cargo handling object 71 ( 72) and the fork 2 are calculated. When the operation switch 68 is operated in this state, automatic fork alignment control for aligning the fork 2 with the cargo handling object 71 (72) is started.
[0078]
When receiving an operation signal indicating that the operation switch 68 is operated, the cargo handling control unit 77 notifies the image control unit 76 that the automatic fork alignment control is to be started. The image control unit 76 receives from the cargo handling control unit 77 input start command data indicating the start of the image recognition process, cargo handling mode data notifying whether the mode is the loading mode or the loading mode.
[0079]
The image control unit 76 includes a display processing unit 95, an image processing unit 96, a drawing display unit 97, a drawing data storage unit 98, and a voice synthesis unit 99. The display processing unit 95 synchronizes and outputs the video signal input from the camera 26 to the display device 28 so that the image captured by the camera 26 is displayed on the screen. The voice synthesizer 99 performs voice synthesis processing for voice announcement and the like and outputs a voice signal to the speaker 81. Further, image data from the display processing unit 95 is input to the image processing unit 96.
[0080]
The image processing unit 96 calculates the positional relationship between the vehicle (fork 2) and the cargo handling object based on the image recognition processing for determining the positions of the marks M1 and M2 on the screen and the determined mark positions. The image processing unit 96 includes an image recognition processing unit 101, a template storage unit 102, an image calculation unit 103, and a display position determination unit 104.
[0081]
The image recognition processing unit 101 performs image recognition processing by a pattern matching method using template data stored in the template storage unit 102. The image calculation unit 103 calculates the position coordinates of the mark M1 (M2) in the screen coordinate system from the result of the image recognition process.
[0082]
The display position determination unit 104 performs a process of calculating a display position (drawing position) for displaying a drawing on the screen of the display device 28. For example, the drawing position for drawing the outline of the mark and the drawing position of the target mark (moving target point) to be the alignment target of the mark M1 (M2) on the screen when aligning the fork 2 with the cargo handling target are calculated. . When the drawing display unit 97 receives the drawing position data from the display position determining unit 104, the drawing display unit 97 reads out drawing data (image data or the like) corresponding to the drawing contents from the drawing data storage unit 98, and sends a drawing signal to the display processing unit 95. The drawing image is displayed so as to be superimposed on the designated drawing position on the photographed image. The voice synthesizing unit 99 causes the driver to generate a voice announcement from the speaker 81 if necessary in synchronization with the drawing timing.
[0083]
If the cargo handling mode recognized based on the cargo handling mode data is the cargo handling mode, the image recognition processing unit 101 performs pattern matching processing for recognizing the pallet position detection mark M1. Pattern matching processing is performed with the detection mark M2 as a recognition target. The template storage unit 102 stores a template T1 when the mark M1 is a recognition target and a template T2 when the mark M2 is a recognition target (both see FIG. 9). When performing the pattern matching process, the image recognition processing unit 101 uses the template T1 in the loading mode, and uses the template T2 in the loading mode.
[0084]
FIG. 9 shows marks and templates. FIG. 4A shows the pallet position detection mark M1, and FIG. 4C shows the shelf position detection mark M2. FIG. 4B shows a template T1 for the mark M1, and FIG. 4D shows a template T2 for the mark M2.
[0085]
The mark M1 is configured by arranging two patterns P1 and P1, and the mark M2 is configured by arranging two patterns P2 and P2. The patterns P1 and P2 of the two marks M1 and M2 are patterns in which white and black are reversed from each other. The templates T1 and T2 used for the pattern matching process have the same pattern as the patterns P1 and P2.
[0086]
Each of the patterns P1 and P2 is a pattern that is color-coded into white and black by a plurality of boundary lines that extend radially around one point. Each of the patterns P1 and P2 of the present embodiment is a pattern in which four regions divided by using two square diagonal lines as boundaries are color-coded in white and black. However, the outline corresponding to the square side of the template is not a part of the pattern. Even if the size of the marks M1 and M2 displayed on the screen 28A changes according to the difference in the distance between the marks M1 and M2 and the camera 26, the central portion of the captured patterns P1 and P2 always has the template T1, A pattern having the same size as T2 exists. Therefore, the images of the marks M1 and M2 can be recognized by the pattern matching process using only one template T1 and T2.
[0087]
FIG. 10 shows a screen coordinate system set on the screen. In the screen coordinate system, coordinates are handled in units of pixels. In the figure, H is the number of pixels in the horizontal direction of the screen 28A, and V is the number of pixels in the vertical direction of the screen 28A. As shown in FIG. 5B, the image recognition processing unit 101 matches the two patterns P1, P1 (P2, P2) constituting the mark M1 on the image data at two locations by using the template T1 (T2). Recognize each pattern P1, P1. The image calculation unit 103 calculates the coordinates (I1, J1), (I2, J2) of the center points (radiation center points) of the patterns P1, P1 recognized by the image recognition processing unit 101, and uses these two coordinate values. Based on the center of gravity (I, J) of the mark M1 and the distance D between the centers of the patterns P1, P1.
[0088]
Data (I, J, D) calculated by the image calculation unit 103 is sent from the image control unit 76 to the cargo handling control unit 77. The cargo handling control unit 77 includes a relative coordinate calculation unit 105 and a control amount calculation unit 106, and calculates the control amount (Y and Z direction movement amount) of the fork 2 necessary for aligning the fork 2 with the cargo handling target.
[0089]
The relative coordinate calculation unit 105 performs geometric transformation by using the data (I, J, D), and performs the three-dimensional relative position coordinates (in the actual coordinate system (XYZ coordinate system) shown in FIG. Xc, Yc, Zc) is calculated. The coordinates (Xc, Yc, Zc) of the camera 26 with the center of gravity of the mark as the origin O are calculated from the following equations.
Xc ==-Hd / (2Dtan α)
Yc = d / D (I-H / 2)
Zc = d / D (J-V / 2)
Here, “α” is a half of the horizontal angle of view of the camera 26, and d is the distance between the centers of the two patterns P1 and P1 of the mark M1 in the real coordinate system. Since the H, V, α, and d values are known values, the coordinates (Xc, Yc, Zc) can be obtained by calculating the I, J, and D values. Then, based on the relative coordinates (Xc, Yc, Zc) of the camera 26 obtained in this real coordinate system, the positional deviation amount (control amount) of the fork 2 is calculated. Here, Xc corresponds to the distance Xoc between the mark M and the camera 26, and in this embodiment, the Xc value is used to determine that the camera 26 has approached the mark M2 within a predetermined distance Xo during the loading operation. Is done. The camera 26, the image recognition processing unit 101, the template storage unit 102, the image calculation unit 103, and the relative coordinate calculation unit 105 detect an approach detection unit that detects the approach between the camera and the cargo handling target, and an image that detects the position of the cargo handling target. Processing means and position detection means are configured.
[0090]
The relative coordinate calculation unit 105 calculates relative coordinates (Xc, Yc, Zc) between the camera 26 and the mark M1 (M2) based on the data (I, J, D). Here, the positional relationship between the camera 26 and the fork 2 is known, and the positional relationship between the pallet 71 and the marks M1 and M2 is also known. The control amount calculation unit 106 uses the relative coordinates (Xc, Yc, Zc) and the known information to align the fork 2 with the target position (loading position or loading position) of the cargo handling object 71 (72). The required movement amounts (control amounts) of the fork 2 in the vertical direction (Y direction) and the horizontal direction (Z direction) are calculated.
[0091]
Then, the cargo handling control unit 77 instructs the solenoid drive circuit 80 using the movement amounts of the fork 2 in the vertical and horizontal directions as control amount command values. That is, the cargo handling control unit 77 controls the current value of the lift electromagnetic proportional valve 89 and the side shift electromagnetic proportional valve 91 based on the control amount data in the vertical and horizontal directions, and drives the lift cylinder 14 and the side shift cylinder 36. Control.
[0092]
As a result, the lift cylinder 14 and the side shift cylinder 36 are driven and controlled, and the fork 2 is automatically aligned vertically and horizontally. For this reason, in the loading mode, the fork 2 is positioned in the insertion hole 71A of the pallet 71, and in the loading mode, the fork 2 is aligned to a target position above the shelf surface 72A by a predetermined distance. In this embodiment, automatic position control is performed only in the vertical and horizontal directions of the fork 2, and the front-rear direction (reach direction) is left to the driver's operation. Of course, the reach operation of the fork 2 may also be performed by automatic control. Each of the control units 76 and 77 is configured by a microcomputer and program data stored in a memory (ROM or the like).
[0093]
The cargo handling control unit 77 stores each program of the cargo handling operation determination routine and the camera lifting control routine shown in the flowcharts of FIGS. 11 and 12 in the memory. Each routine is executed by the CPU in the cargo handling control unit 77. This CPU executes camera up / down control and fork automatic alignment control according to the determination result in each routine. In the loading / unloading work determination routine, the CPU determines whether the loading / unloading work to be performed is a loading work or a loading work. In the camera up / down control routine, the CPU arranges the camera 26 at a position corresponding to the type of the cargo handling work, and stores the camera 26 (camera unit 23) in the storage position when a predetermined condition (lifting condition / approaching condition) is established. Execute control to Then, fork automatic alignment control is executed when the operation switch 68 is operated in a high lift range where the lift height H exceeds a predetermined threshold value Ho.
[0094]
Hereafter, each said routine is demonstrated. First, the cargo handling work determination routine will be described with reference to FIG.
First, in step (hereinafter simply referred to as “S”) 10, the detection value of the load sensor 85 is acquired.
[0095]
In S20, it is determined whether or not the load W exceeds a threshold value Wo. If the load W ≦ Wo is satisfied, the process proceeds to S30. If the load W> Wo is established, the process proceeds to S40.
In S30, it is determined that the cargo handling work to be performed is “loading work”.
[0096]
In S40, it is determined that the cargo handling work to be performed is “loading work”.
The CPU always determines the content of the cargo handling work by executing this routine at predetermined time intervals.
[0097]
Next, the camera elevation control routine will be described with reference to FIG.
First, in S110, the detection value of the lift height sensor 84 is acquired.
In S120, it is determined whether or not the lift height H exceeds a threshold value Ho (H> Ho). If the lift height H> Ho is established, the process proceeds to S130, and if the lift height H≤Ho is established, the process proceeds to S150.
[0098]
In S130, the cargo handling work is determined. If it is a loading operation, the process proceeds to S140, and if it is a loading operation, the process proceeds to S150.
In S140, it is determined whether or not the distance Xoc to the mark M is equal to or less than a predetermined threshold value Xo (Xoc ≦ Xo). When Xoc ≦ Xo is satisfied, the process proceeds to S150, and when Xoc> Xo is satisfied, the process proceeds to S160.
[0099]
In S150, the electric motor unit 43 is controlled so that the camera unit 23 is disposed at the storage position.
In S160, the electric motor unit 43 is controlled so that the camera unit 23 is disposed at the lowered position.
[0100]
FIG. 13 shows the loading / unloading operation of the camera lifting / lowering control and fork automatic positioning control. FIG. 13 (a) shows a state in which the fork is arranged at the loading position, and FIG. Indicates the state that has been performed. When the detected value (load) W of the load sensor 85 is equal to or less than the threshold value Wo (W ≦ Wo), it is determined that the cargo handling operation to be performed from now on is “loading operation (loading mode)”. On the other hand, when the detected value (load) W of the load sensor 85 exceeds the threshold value Wo (W> Wo), it is determined that the cargo handling operation to be performed is “loading operation (loading mode)”.
[0101]
When the lift height H of the fork 2 exceeds the threshold Ho and the start preparation mode is entered, the camera lifting control is started. The camera elevation control is started by using a signal input from the elevation sensor 84 when the elevation height H of the fork 2 reaches the threshold value Ho (= 2 m) as a command signal. At this time, it is determined based on the detection value of the load sensor 85 whether the cargo handling work to be performed is a cargo picking work or a loading work. That is, in the unloading mode (load W <Wo), the camera 26 is disposed at the storage position shown in FIG. On the other hand, in the loading mode (load W ≧ Wo), the camera 26 is disposed at the lowered position shown in FIG. At this time, the electric motor unit 43 is driven only when the camera unit 23 needs to be moved.
[0102]
In the unloading mode, the template T1 is read and image recognition processing of the pallet position detection mark M1 is performed to determine the position of the mark M1, and the mark M1 is determined based on the data (I, J, D) determined from the mark position. The relative coordinates (Xc, Yc, Zc) of the camera 26 are obtained. Then, the control valve 88 is commanded to control amounts in the vertical and horizontal directions determined from the relative coordinates (Xc, Yc, Zc). As a result, as shown in FIG. 5A, the fork 2 is arranged in a state (lifting height is Ht) facing the insertion hole 71A of the pallet 71.
[0103]
On the other hand, in the loading mode, the template T2 is read and image recognition processing of the shelf position detection mark M2 is performed to obtain the position of the mark M2, and the mark is determined based on data (I, J, D) determined from the mark position. The relative coordinates (Xc, Yc, Zc) between M2 and the camera 26 are obtained. Then, in order to place the fork 2 at the loading position with respect to the shelf 72, the control valve 88 is commanded to control amounts in the vertical and horizontal directions determined from the relative coordinates (Xc, Yc, Zc). As a result, as shown in FIG. 5B, the fork 2 is disposed at a lifting height Hp located above the shelf surface 72A by a predetermined distance ΔL.
[0104]
As shown in FIG. 13C, after the fork 2 is aligned with the loading position, the mast 13 is reached for loading operation. At this time, when the distance between the camera 26 and the mark M2 approaches a set distance Lo (for example, a value in the range of 50 to 80 cm) or less, the camera 26 rises. As a result, it is avoided that the camera 26 interferes with the shelf 72. When the load 73 is placed on the shelf surface 72A, the load W becomes equal to or less than the threshold value Wo, so that the load pickup mode is set, and the camera 26 is raised and placed at the storage position. On the other hand, when the loading operation is completed, since the load W exceeds the threshold Wo, the loading mode is set, and the camera 26 is placed at the lowered position.
[0105]
As shown in FIG. 13 (d), when the fork 2 is lowered in the loading mode in which the load 73 is placed on the fork 2, the raising of the camera 26 is started when the lift height H becomes equal to or less than the threshold Ho. . The camera 26 is stored in the storage position until the fork 2 reaches the lowest position. Therefore, the camera 26 is protected from hitting the floor surface. Even when the vehicle is being transported (traveling), when the vehicle is empty, the area ahead of the destination is photographed by the camera 26 disposed at the storage position, and the photographed image is displayed on the screen 28A of the display device 28. .
[0106]
In this embodiment, the following effects can be obtained.
(1) From the detection result of the load sensor 85, it is determined whether it is a loading operation or a loading operation, and the camera 26 is disposed at the storage position during the loading operation, and is disposed at the lowered position during the loading operation. Since the camera 26 is arranged at a photographing position corresponding to the cargo handling work, the work area can be photographed from an appropriate photographing position corresponding to the cargo handling work. As a result, it is possible to view an appropriate image on the screen 28A for aligning the fork 2 and to perform accurate image processing to support the cargo handling operation using the appropriate image data.
[0107]
(2) Since the camera unit 23 is lowered only when necessary during loading work, the frequency with which the camera 26 is arranged in a protruding state from the carriage 18 can be reduced as much as possible. Therefore, for example, it is possible to reduce as much as possible the trouble that the driver accidentally hits the peripheral object (such as a shelf) with the camera unit 23 in the protruding state (lowering position) from the carriage 18.
[0108]
(3) At the storage position at the time of unloading work, the camera viewpoint as viewed in the insertion direction (the unloading operation direction (horizontal direction)) into the insertion hole 71A of the pallet 71 from substantially the same height as the insertion portion of the fork You can shoot with Therefore, since the insertion hole 71A of the pallet 71 can be seen from the viewpoint of almost the same height as the insertion portion of the fork 2 through the screen 28A of the display device 28, the fork 2 performed through the screen 28A of the display device 28 can be seen. Positioning work can be performed accurately and in a short time. On the other hand, at the lowered position during the loading operation, the work area can be photographed without being blocked by the load 73 on the fork 2. Therefore, the work area can be appropriately photographed in any cargo handling work.
[0109]
(4) By photographing the front face from the center position between the forks (the center position in the fork width direction), it is possible to photograph the marks M1 and M2 with the center in the width direction as much as possible. Further, the camera 26 can be positioned at the height near the root of the fork 2 during the loading operation to capture the mark M1 almost in front and set the mark M1 at the center in the vertical direction as much as possible, and the camera 26 can be loaded. Sometimes, it is possible to take a picture by placing the mark M2 almost in front of the fork 2 at a predetermined distance and setting the mark M2 at the center in the vertical direction. Therefore, it is possible to see a wide area in which the marks M1 and M2 that are the target objects (photographing targets) are set substantially at the center. For example, when the fork 2 is roughly aligned by visual observation or the like, the frequency with which the marks M1 and M2 are captured in the screen 28A increases.
[0110]
(5) Since the lifting height range for executing the automatic alignment control is set to a range exceeding 2 meters, the camera unit 23 is stored up to a height of Ho (= 2 m) even during loading work. Since the camera unit 23 is lowered only after exceeding Ho (= 2 m), the frequency at which the camera 26 is arranged in a protruding state can be reduced from this point as well. When the fork 2 is raised and lowered, it is possible to determine whether or not the fork 2 is aligned with respect to the shelf or the pallet even from the driver's point of view.
[0111]
(6) When the lift height H is equal to or lower than Ho (= 2 m), the camera unit 23 starts to move (up) to the storage position, so that the camera unit 23 is securely stored before the fork 2 reaches the lowest position. Can be completed. As a result, it is possible to reliably avoid the camera unit 23 from colliding with the floor surface. Therefore, the camera unit 23 is automatically stored when the fork 2 is lowered to prevent the camera 26 from being damaged.
[0112]
(7) When it is detected that the distance Xoc between the camera 26 and the shelf 72 (mark M2) approaches within the set distance Xo when the mast 13 is reached for loading work (Xoc ≦ Xo), The camera unit 23 is stored in the storage position. Therefore, inconveniences such as the camera 26 interfering with the shelf 72 during loading work can be prevented.
[0113]
(8) Since a linear slide mechanism that slides the camera unit 23 in the vertical direction is adopted at the center in the width direction (the center between the forks) of the pair of forks 2, the camera 26 is always used regardless of the lift position of the camera unit 23. Can be arranged at the center in the width direction of the fork 2. Therefore, it is easy to confirm the alignment of the fork 2 through the screen 28A, and when the camera 26 captures the mark M, the mark M can be captured almost directly in front of the mark M. And the position detection accuracy of cargo handling objects such as the pallet 71 and the shelf 72 can be improved.
[0114]
(9) A structure is used in which it is suspended through the wire 47 and pressed downward by the gas damper 49. Even if the electric motor unit 43 breaks down and the camera unit 23 does not rise from the lowered position when the fork 2 is lowered, the impact of the camera 26 when the camera unit 23 hits the floor is a wire. 47 is absorbed by the gas damper 49, and the camera 26 can be prevented from being damaged. Further, the impact at this time is not transmitted to the electric motor unit 43, and the electric motor unit 43 can be prevented from being damaged.
[0115]
(10) Since the discrimination process of the cargo handling work is performed based on the detection value of the load sensor 85, for example, the sensor 85 is less likely to break and has high reliability compared to a configuration in which the presence or absence of a load is determined by a contact switch such as a limit switch. .
[0116]
(Second Embodiment)
Next, a second embodiment will be described with reference to FIGS. In the first embodiment, an elevating mechanism (linear slide mechanism) in which the camera unit 23 moves up and down in a straight line is adopted. However, in this embodiment, an elevating mechanism in which the camera 26 is raised and lowered by a rotating mechanism is adopted. To do. Further, in the present embodiment, the camera 26 is photographed in the traveling direction for the purpose of supporting not only the cargo handling work but also the carrying work, and the photographing position of the camera 26 corresponding to the carrying work is set. The cargo handling operation support device 20 has basically the same configuration as that of the first embodiment except that the specific method of the lifting mechanism is different, and therefore only different parts will be described.
[0117]
As shown in FIG. 14, a support body 110 of a predetermined length with a camera 26 disposed at the tip is supported on the carriage 18 so as to be rotatable about the end of the side shifter 32. A gear box 111 and an electric motor (electric actuator) 112 as an actuator are assembled on the back surface of the side shifter 32, and a base portion of the support 110 is connected to an output shaft 113 of the gear box 111. When the motor 112 is driven, the support 110 rotates about the base. Three positions are set as the rotation position of the support 110 according to the work content. The support 110 has a load taking photographing position (solid line position A in the figure) arranged during the loading operation, a loading photographing position (solid line position B in the figure) arranged during the loading work, and a transport. It moves between three positions with the transport position (chain line position C in the figure) arranged at the time of work.
[0118]
At the unloading photographing position, the camera 26 is disposed at substantially the same height as the insertion portion of the fork 2. At the loading and shooting position, the camera 26 is disposed a predetermined distance below the fork 2 so that the work area can be shot by the camera 26 without being blocked by the load on the fork 2. Further, in the transport position, the camera 26 is disposed above the side shifter 32 and at a position that does not protrude from the carriage 18. The camera 26 protrudes from the carriage 18 at the cargo taking photographing position and the cargo placing photographing position. In addition, the standby position is set at a position where the camera 26 is lifted from the unloading photographing position A to a position where it does not protrude from the carriage 8.
[0119]
When the motor 112 is driven to rotate in the forward direction, the support body 110 rotates in the clockwise direction in FIG. On the other hand, when the motor 112 is driven in the reverse direction, the support body 110 rotates counterclockwise in FIG.
[0120]
FIG. 15 shows an electrical configuration of the cargo handling operation support apparatus 20, which is basically the same configuration as that of the first embodiment. However, a vehicle speed sensor 115 and an encoder 116 are added. The vehicle speed sensor 115 is added to discriminate the carrying work, and the encoder 116 is provided to detect the rotation angle of the support 110.
[0121]
When the controller 58 determines that the work is a picking-up operation based on the detection result of the load sensor 85, the controller 58 controls the drive of the electric motor 112 so that the support 110 is placed at the picking-up photographing position. On the other hand, when it is determined that the loading operation is based on the detection result of the load sensor 85, the electric motor 112 is driven and controlled so that the support 110 is placed at the loading photographing position. Also in the present embodiment, the support 110 is lowered to the A and B positions after the lift height H exceeds the predetermined threshold value Ho. Further, when the distance Xoc between the camera 26 and the mark M approaches within the predetermined distance Xo, the electric motor 112 is driven so that the support 110 rotates upward, and the camera 26 does not protrude from the carriage 18 from the A and B positions. Moved to position.
[0122]
The controller 58 counts the detection pulses input from the encoder 116 to obtain the rotation angle of the support 110. Then, the image data captured by the camera 26 is converted into an image of a normal orientation by performing angle conversion processing according to the rotation angle. The image recognition process for detecting the position of the mark M is performed based on the image data after the angle conversion process. At this time, the rotation angle data is used to obtain the coordinates of the camera 26.
[0123]
When the fork 2 is lowered and the lift height H falls below the threshold value Ho, the controller 58 drives the electric motor 112 so as to rotate the support body 110 that is in the rotation posture of the cargo taking photographing position or the loading photographing position. Then, the camera 26 is raised to a standby position where it does not protrude from the carriage 18. Further, when the vehicle speed V based on the detection result of the vehicle speed sensor 115 exceeds the set speed, the controller 58 determines that the cargo handling work has shifted to the carrying work, and rotates the support 110 upward from the standby position to move the camera 26. It arranges in the conveyance position C. During the transportation work, the area ahead of the destination is photographed from the transportation position by the camera 26, and the photographed image is displayed on the screen 28A. If the load being transported obstructs the camera 26 and hinders photographing of the front area of the destination, the support 110 is further rotated counterclockwise in FIG. The traveling front area is photographed from the photographing position where the camera 26 protrudes from the side. In addition, the vehicle speed sensor 115 used for discriminating that it is a carrying work constitutes a detection means. Of course, it is also possible to determine that the fork 2 has fallen below a predetermined threshold value HL which is close to the lowest drop and that the cargo handling operation has been completed and has shifted to the transportation operation, and the camera 26 can be arranged at the photographing position of the transportation operation. In this case, the elevation sensor 84 constitutes a detection means.
[0124]
In this embodiment, the center of rotation of the support 110 is set at the end of the carriage 18 in the width direction. However, the center of rotation can be set at the center of the carriage 18, for example. For example, a position where the support body 110 is vertically dropped and the camera 26 protrudes below the fork 2 is set as a photographing position at the time of loading work, for example, and the support body 110 is disposed horizontally and the camera 26 is viewed from the side of the carriage 18. The position where the bulge protrudes is taken as the photographing position at the time of unloading work. Further, the position where the camera 26 protrudes from the side of the carriage 18 can be set as the photographing position during the transporting operation.
[0125]
In this embodiment, the following effects can be obtained.
(11) A rotation mechanism that raises and lowers the camera 26 by rotating the support body 110 as the raising and lowering mechanism is employed, and the camera 26 is arranged at a photographing position corresponding to each of the loading operation and the loading operation. Therefore, the effects (1) to (3), (5), (6), and (10) described in the first embodiment can be obtained similarly. However, in the effect (3), the camera 26 slightly protrudes from the carriage 18 at the photographing position at the time of unloading work. However, since the protrusion amount is as small as possible, there is little concern about interference with surrounding objects.
[0126]
(12) During transportation work, the area ahead of the travel destination is photographed by the camera 26 and can be viewed on the screen 28A of the display device 28. Therefore, the image on the screen 28A is useful as travel support (transport support).
[0127]
In addition, embodiment is not limited above, It can also implement in the following aspect.
○ The movement displacement of the camera 26 is not limited to elevation. For example, a configuration may be adopted in which the camera 26 is slid left and right (in the vehicle width direction) and moved to a plurality of shooting positions. For example, the carriage 18 is provided with a slide mechanism in the left-right direction (vehicle width direction), and the camera 26 can be moved and arranged along the slide mechanism to a fork width center position and a shooting position at the time of loading projecting from the side of the carriage 18. And In this case, the moving mechanism is configured by the slide mechanism.
[0128]
In each of the above embodiments, the camera placement position (photographing position) is fixed at one location for each type of cargo handling work, but the camera placement position (photographing position) is continuously variable for one cargo handling work. It is also possible to make it. For example, the arrangement position of the camera may be varied according to the size of the load on the fork. The longer the load is in the front-rear direction, the more the camera field of view is blocked. Therefore, the longer the load is in the front-rear direction, the lower the camera is lowered. That is, the detection result of the second detection means separately prepared for the shooting position where the target position can be photographed without being blocked by the load on the fork during loading work and the minimum amount of descent (projection amount) as much as possible is required. Use to find. Then, by driving and controlling the actuator so that the camera is moved to the obtained photographing position, the camera position (photographing position) at the time of loading operation is reduced from the storage position of the camera so that it can be completed with the minimum necessary amount of protrusion. The amount of descending is variable. The detection for obtaining the photographing position where the target location can be photographed without being blocked by the load on the fork is obtained by, for example, obtaining the length of the load in the longitudinal direction using a length measuring sensor. Increase the amount of descent. In addition, it recognizes the area of the load in the screen area by performing image processing on the image data, and can capture the mark without being blocked by the load from the current camera position and the area on the image blocked by the load. Can be obtained by geometrical calculation, and the amount of descent from the storage position of the camera can be obtained. For example, it is possible to determine the descent position of the camera based on the load length data input by the driver through key operations.
[0129]
Further, during loading work, it is possible to secure a wider field of view by arranging the camera 26 as low as possible, so that the mark discovery timing when the fork is raised can be made earlier and speedy control can be realized. In consideration of this point, it is also possible to make the arrangement position of the camera 26 variable according to the lift height H detected by the lift sensor so that the camera 26 is disposed at a lower height as the height is higher. However, the camera lowering position is a condition that even if the fork 2 is lowered at the highest speed, it is a lowering amount that can sufficiently store the camera 26 until the fork 2 reaches the lowest lowering position.
[0130]
○ The types of cargo handling operations that determine camera placement positions are not limited to loading operations and loading operations. In industrial vehicles other than forklifts, the camera position can be set according to the type of cargo handling work handled by the cargo handling equipment. For example, the number of types of cargo handling work handled by the cargo handling equipment may be three or more.
[0131]
The camera 26 is not limited to capturing a work area for image processing purposes. The camera 26 may only photograph the work area for the purpose of the driver viewing the work area on the screen of the display device.
[0132]
When the camera 26 captures a work area for the purpose of image processing, the image processing is not limited to image processing for position recognition of a cargo handling target.
O When the purpose of photographing by the camera 26 is the image recognition process of the cargo handling object, the purpose of use of the image recognition process is not limited to the automatic position adjustment control of the fork. For example, a guide display for alignment may be displayed on the screen of the display device 28 based on the image recognition processing result. Further, voice guidance may be performed from the speaker 81 based on the image recognition processing result. In addition, the display guide may indicate a direction in which the fork should be moved for alignment, or may display a target display (target mark) at the movement target position.
[0133]
○ Although the position detection mark is a radial figure, it may be a simple figure such as a circle (●), triangle (▲), or square (■). In this case, a large number of templates may be prepared by pattern matching. Alternatively, an image recognition processing method other than pattern matching may be employed to detect the position of the cargo handling target.
[0134]
The installation location of the camera 26 is not limited to the carriage 18. For example, the camera 26 can be provided so as to be movable up and down relative to the inner mast 17. In the case of the telescopic mast 13, the carriage 18 and the inner mast 17 are always in a fixed positional relationship on the higher elevation side than the position where the carriage 18 reaches the uppermost end position of the inner mast 17. Even so, the position adjustment of the camera 26 with respect to the fork 2 is relatively easy. With respect to the fork 2 (fork insertion portion) when the carriage 18 reaches the uppermost end position of the inner mast 17, the camera 26 is moved up to a position substantially at the same height as the fork 2 and moved down by a predetermined distance from the fork 2. It is provided in the inner mast 17 so that it can move up and down between two positions.
[0135]
The arrangement position of the camera 26 is not limited to a photographing position suitable for alignment. For example, it includes a configuration in which a camera is installed only for the purpose of viewing the state of the working area at high elevation. Also in this case, the photographing position of the camera is switched between the loading operation and the loading operation. For such a photographing purpose, the camera 26 can be protruded above the load on the fork.
[0136]
○ One of the shooting positions is not limited to the storage position. In the first embodiment, the camera position at the time of unloading work is not limited to the storage position. For example, the camera unit 23 is slightly lowered from the storage position so that photographing can be performed from the same height as the fork 2 (insertion portion). The taken position can also be used as a photographing position at the time of unloading work. The position of the camera 26 at this time may be a position protruding downward from the bottom surface of the fork 2, that is, a protruding position protruding downward from the carriage 18. A plurality of photographing positions corresponding to the cargo handling work may be provided, and the camera may be stored in the storage position when the cargo handling work is finished. In other words, the storage position is not necessarily the shooting position, and may be a position where the camera is stored when shooting is not necessary.
[0137]
○ The movement of the camera is not limited to lifting and sliding left and right. For example, the camera may be moved in the front-rear direction. For example, a moving mechanism for moving the camera back and forth in a path passing under the fork 2 (pallet 71) is provided, and the actuator is driven to move the camera forward during loading work. Further, for example, a mechanism in which a camera appears and disappears from a camera unit by combining a plurality of slide mechanisms, or a mechanism in which a camera appears and disappears from a support 110 by combining a slide mechanism and a rotation mechanism can be employed.
[0138]
The detection means is not limited to the load sensor 85. The detection means may be a limit switch installed on a fork, for example. Other sensors that detect the load placed on the fork can also be used. For example, a non-contact type sensor such as a proximity sensor that detects a load in a non-contact manner can also be used. It is also possible to use load detection means for detecting the presence or absence of a load on the fork by image recognition processing based on an image taken by the camera. For example, if the bottom shape of the fork is recognized by image recognition, if the bottom shape of the fork is recognized, it is determined that there is no load (unloading work), and if the bottom surface of the fork is hidden by the load and the bottom shape of the fork cannot be recognized, there is a load. Determine (loading work). When a limit switch or proximity switch is used, if the signal output from the switch is, for example, an on signal that detects a load, it is determined that the load is placed. Is determined.
[0139]
○ Actuators are not limited to electric actuators. A hydraulic cylinder or pneumatic cylinder attached to the carriage can also be used as an actuator. The camera is connected to a piston rod of the cylinder, and the camera is moved in a telescopic manner by hydraulic pressure or pneumatic pressure, so that the camera moves a photographing position by a moving mechanism.
[0140]
O Although a gas damper is provided as an urging means for urging the camera downward, the urging means is not limited to a gas damper, and may be a rubber, a spring, or the like. Further, the biasing means does not necessarily have to be elastically biased, such as a gas damper, rubber, spring, or the like, and may be, for example, a weight (weight) that biases the camera downward by gravity (self-weight). . For example, by attaching a weight to the case of the camera unit or forming a weight part (thick part) on the case itself, the mass of the part that moves together with the camera is increased, and the lowering speed of the camera is increased by the force of gravity. You may make it secure.
[0141]
○ It is not limited to industrial vehicles provided with forks movable in the vehicle width direction. For example, the present invention can be applied to a forklift that does not have a side shift function.
○ Handling equipment is not limited to forks. Attachments other than forks may be used. A clamp device may also be used. Furthermore, a bucket may be sufficient. Further, the load is not limited to a pallet or a baggage handled by the pallet, but may be any object handled by an industrial vehicle such as a log, a roll paper, a container, or earth and sand. In addition, a load mounting member other than a pallet and a load storage box are also included. “Loading” means holding a load such as a fork or bucket, and “gripping” means holding a load by applying pressure to the surface of the load due to the displacement of a cargo handling device such as a clamp. is there. Also included is magnetic attachment in which gripping pressure is applied to the surface of the load.
[0142]
○ Industrial vehicles are not limited to reach-type forklifts. A counterbalance forklift may be used. Industrial vehicles are not limited to forklifts. For example, a power shovel may be used. The cargo to be handled by the cargo handling work includes luggage, pallets, logs, earth and sand, cement, people, and the like. A person is an aerial work vehicle.
[0143]
The technical idea grasped from the embodiment and other examples will be described below.
(1) In the invention according to claim 1 or 2, the carriage having the cargo handling device is an industrial vehicle provided so as to be movable up and down along the mast, and at a shooting position corresponding to the cargo handling operation, The amount of protrusion from the carriage differs depending on the cargo handling operation. According to this configuration, since the camera is arranged at an appropriate shooting position according to the cargo handling operation, the protrusion amount of the camera from the carriage can be minimized as much as possible (there may not protrude at all depending on the shooting position). For example, it is possible to avoid problems such as the camera interfering with surrounding objects as much as possible.
[0144]
(2) In the first or second aspect of the invention, the moving mechanism is an elevating mechanism that supports the camera so that the camera can be moved up and down to a photographing position corresponding to a cargo handling operation.
(3) In the invention according to any one of claims 4, 5, and 7, the storage position can be photographed from the viewpoint of the unloading operation direction when aligning the cargo handling device with the cargo handling object. Is set to the correct position. According to this configuration, it is possible to shoot the position where the cargo handling device is aligned with the cargo handling object from almost the viewpoint of the cargo handling operation direction. For example, when performing the alignment work while viewing the image captured by the camera on the display means , It can be accurately aligned.
[0145]
(4) In the invention described in claim 7, there is provided a height detecting means for detecting the height of the cargo handling equipment, and the control means determines whether the height of the cargo handling equipment is predetermined based on a detection result of the height detecting means. When it is determined that the lift is lower than the threshold, the camera is placed in the storage position, and when it is determined that the lift of the cargo handling equipment is higher than a predetermined threshold, the detection means The actuator is driven and controlled so that the camera is disposed at the retracted position when it is determined as a loading operation from the detection result, and the camera is disposed at the lowered position when it is determined as a loading operation. It is characterized by.
[0146]
(5) In the invention described in claim 9, the actuator includes a rotating body that is driven forward and backward by the drive and winds the flexible power transmission member, and the rotating body is driven by the actuator. When the flexible power transmission member is fed out and wound up from the rotating body by being driven forward and backward, the camera moves up and down while being supported in a suspended state.
[0147]
(6) In the invention according to claim 11, the load detecting means is a load detecting means for detecting a weight according to a load of a load loaded or gripped on the cargo handling device, and the control means includes the When the load detected by the load detection unit exceeds a predetermined threshold, it is determined that the load is placed, and when the load is less than the predetermined threshold, it is determined that the load is taken.
[0148]
(7) In the invention according to any one of claims 1 to 14, the camera is arranged at a central position in the width of the cargo handling equipment.
(8) In the invention according to any one of claims 6 to 7, the storage position is a position at which the imaging unit of the camera is disposed at substantially the same height as the cargo pickup unit of the cargo handling device. It is characterized by being.
[0149]
(9) In the invention according to any one of claims 1 to 14, the moving mechanism or the elevating mechanism is a rotating mechanism capable of elevating and lowering the camera.
(10) In claim 1, at least one of the cargo handling operations is a transportation operation, and when determined to be the transportation operation, the camera is disposed at a photographing position capable of photographing a front visual field area during transportation. It is characterized by that.
[0150]
(11) In claim 4 or 5, the threshold value is obtained by dividing the height distance of the threshold value by the maximum descending speed of the cargo handling equipment until the camera is arranged from the descending position to the storage position. It is set so that it may become longer than the required time.
[0151]
(12) In the invention according to any one of claims 1 to 14, the actuator is an electric actuator.
(13) In the invention according to any one of claims 1 to 14, the actuator is a hydraulic cylinder or a pneumatic cylinder attached to the carriage, and the camera is connected to a piston rod of the cylinder. Yes.
[0152]
【The invention's effect】
As described above in detail, according to the first to fifteenth aspects of the present invention, an appropriate captured image corresponding to the cargo handling operation is provided and provided by moving the camera to the imaging position corresponding to the cargo handling operation. Cargo handling work can be effectively supported through the photographed image.
[0153]
According to the third to fifteenth aspects of the present invention, it is possible to prevent the camera from interfering with surrounding objects as much as possible during cargo handling work.
[Brief description of the drawings]
FIG. 1 is a perspective view of a forklift according to a first embodiment.
FIG. 2 is a front view of the carriage when the camera is in the storage position.
FIG. 3 is a front view of the carriage when the camera is in a lowered position.
FIG. 4 is a side sectional view of a carriage.
FIG. 5 is an exploded perspective view of the camera lifting device.
FIG. 6 is a plan view of an operation lever.
FIG. 7 is a perspective view showing a state of cargo handling work on a shelf.
FIG. 8 is a block diagram showing an electrical configuration of the cargo handling operation support apparatus.
FIG. 9 is a front view showing a mark and a template.
FIG. 10 is a screen diagram illustrating a screen coordinate system.
FIG. 11 is a flowchart of a cargo handling work determination routine.
FIG. 12 is a flowchart of camera elevation control.
FIG. 13 is a schematic side view illustrating camera up / down control.
FIG. 14 is a front view of a carriage according to a second embodiment.
FIG. 15 is a block diagram showing an electrical configuration of the cargo handling operation support apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Forklift as an industrial vehicle, 2 ... Fork as cargo handling equipment, 3 ... Car body, 11 ... Cargo handling device, 13 ... Mast, 18 ... Carriage, 23 ... Camera unit, 25 ... Moving mechanism, lifting mechanism and linear slide mechanism A case constituting 26: a camera constituting an approach detecting means, 28 ... a display device, 30 ... a lift bracket as an elevating member, 31 ... a finger bar as a tilting member, 32 ... a side shifter, 36 ... a side as a side shift driving means Shift cylinders, 40A, 40B: guide rails constituting the moving mechanism, lifting mechanism and linear slide mechanism, 41: rollers constituting the moving mechanism, lifting mechanism and linear slide mechanism, 43: electric motor unit as an actuator, 44 ... actuator Electric motor, 47, elevating mechanism and Wire constituting a near-slide mechanism and a flexible power transmission member, 49... Elevating mechanism and linear slide mechanism and gas damper serving as a biasing means, 58. Controller as a control means, 70. Shelves as cargo handling objects, 71 ... pallets as cargo handling objects, 71A ... insertion holes, 84 ... lift sensor as lift detection means, 85 ... load sensors as load detection means, 95 ... display processing section, 96 ... an image processing unit as an approach detection unit, an image processing unit and a position detection unit, 101 ... an image recognition processing unit constituting an approach detection unit and a position detection unit, 102 ... a template storage unit constituting an approach detection unit and a position detection unit , 103... Image calculating section as calculating means, 104... Display position determining section constituting approach detecting means and position detecting means, 110 Support constituting the moving mechanism and the lift mechanism, 112 ... electric motor as an actuator, Ho ... predetermined threshold, M1, M2 ... mark.

Claims (15)

荷役機器が車体に対し移動可能に設けられ、運搬を含む複数種の荷役作業を行う産業車両において、
前記荷役作業に適した撮影エリアを撮影するカメラと、
前記カメラを荷役作業に応じた撮影位置に移動可能に支持する移動機構と、
前記カメラを前記撮影位置に移動配置するために駆動されるアクチュエータと、
前記荷役作業を判別するための検出を行う検出手段と、
前記検出手段の検出結果から判別される荷役作業に応じた撮影位置に前記カメラを配置するように前記アクチュエータを駆動制御する制御手段と
を備えたことを特徴とする産業車両における荷役作業支援装置。
In industrial vehicles in which cargo handling equipment is movably provided with respect to the vehicle body and performs multiple types of cargo handling operations including transportation,
A camera for shooting a shooting area suitable for the cargo handling work;
A moving mechanism that movably supports the camera to a shooting position corresponding to a cargo handling operation;
An actuator driven to move and position the camera to the shooting position;
Detecting means for performing detection for determining the cargo handling work;
A loading / unloading work support apparatus for an industrial vehicle, comprising: control means for driving and controlling the actuator so that the camera is disposed at a photographing position corresponding to a loading / unloading work determined from a detection result of the detection means.
荷役作業をするために車体に対し移動可能に設けられた荷役機器を備えた産業車両において、
荷役機器の作業エリアを撮影するカメラと、
前記カメラを移動可能に車両に支持する移動機構と、
前記カメラを移動させるために駆動されるアクチュエータと、
荷役作業を判別するための検出を行う検出手段と、
前記検出手段の検出結果から判別される荷役作業に応じた撮影位置に前記カメラを配置させるように前記アクチュエータを駆動制御する制御手段と
を備えた産業車両における荷役作業支援装置。
In an industrial vehicle equipped with a cargo handling device movably provided with respect to the vehicle body for carrying out the cargo handling work,
A camera that captures the work area of the cargo handling equipment;
A moving mechanism for movably supporting the camera on the vehicle;
An actuator driven to move the camera;
Detection means for performing detection for determining the cargo handling work;
A cargo handling work support apparatus in an industrial vehicle, comprising: control means for driving and controlling the actuator so that the camera is arranged at a photographing position corresponding to a cargo handling work determined from a detection result of the detection means.
荷役機器を有するキャリッジがマストに沿って昇降可能に設けられた産業車両において、
前記荷役機器の作業エリアを撮影するカメラと、
前記カメラを前記キャリッジに対し移動可能に支持する移動機構と、
前記カメラを前記キャリッジに対し移動させるために駆動されるアクチュエータと、
荷役作業が荷取作業か荷置作業かを判別するための検出を行う検出手段と、
前記検出手段の検出結果から荷取作業と判別されたときには前記カメラを前記キャリッジから突出しない格納位置に配置し、荷置作業と判別されたときには前記カメラを撮影エリアが荷置きすべき荷に遮られず必要なだけ確保されるように前記キャリッジから突出する突出位置に配置するよう前記アクチュエータを駆動制御する制御手段と
を備えた産業車両における荷役作業支援装置。
In an industrial vehicle in which a carriage having a cargo handling device is provided so as to be movable up and down along the mast,
A camera for photographing a work area of the cargo handling device;
A moving mechanism for movably supporting the camera with respect to the carriage;
An actuator driven to move the camera relative to the carriage;
Detection means for performing detection to determine whether the cargo handling operation is a loading operation or a loading operation;
The camera is placed in a storage position that does not protrude from the carriage when it is determined that the load is picked up from the detection result of the detection means, and when it is determined that it is a load work, the camera is blocked by the photographing area in the load to be loaded. A cargo handling work support device in an industrial vehicle, comprising: a control unit that drives and controls the actuator so as to be disposed at a protruding position protruding from the carriage so as to be secured as much as necessary.
荷役機器を有するキャリッジがマストに沿って昇降可能に設けられた産業車両において、
前記荷役機器の作業エリアを撮影するカメラと、
前記カメラを前記キャリッジから下方に突出しない格納位置と、前記キャリッジから下方に突出する下降位置との間を前記キャリッジに対し昇降可能に支持する昇降機構と、
前記カメラを前記キャリッジに対し昇降させるために駆動されるアクチュエータと、
荷役作業が荷取作業か荷置作業かを判別するための検出を行う検出手段と、
前記荷役機器の揚高を検出する揚高検出手段と、
前記揚高検出手段の検出結果により前記荷役機器の揚高が所定閾値未満の低揚高にあると判断されたときは前記カメラを格納位置に配置するとともに、前記荷役機器の揚高が所定閾値以上の揚高にあると判断されたときは、前記検出手段の検出結果から荷取作業と判別されたときに前記カメラを前記格納位置に配置し、荷置作業と判別されたときに前記カメラを前記下降位置に配置するように、前記アクチュエータを駆動制御する制御手段と
を備えた産業車両における荷役作業支援装置。
In an industrial vehicle in which a carriage having a cargo handling device is provided so as to be movable up and down along the mast,
A camera for photographing a work area of the cargo handling device;
An elevating mechanism for supporting the camera so that it can be raised and lowered with respect to the carriage between a storage position that does not protrude downward from the carriage and a lowered position that protrudes downward from the carriage;
An actuator driven to raise and lower the camera relative to the carriage;
Detection means for performing detection to determine whether the cargo handling operation is a loading operation or a loading operation;
A lift detection means for detecting a lift of the cargo handling device;
When it is determined from the detection result of the lifting height detection means that the lifting height of the handling equipment is at a lower lifting height that is less than a predetermined threshold, the camera is disposed at a storage position, and the lifting height of the loading equipment is determined to be a predetermined threshold. When it is determined that the height is above, the camera is placed at the storage position when it is determined as a loading operation from the detection result of the detection means, and when it is determined as a loading operation, the camera is A loading / unloading work support apparatus for an industrial vehicle, comprising: a control unit that drives and controls the actuator so as to be disposed at the lowered position.
請求項4に記載の産業車両における荷役作業支援装置において、
前記所定閾値は、前記荷役機器が前記所定閾値の揚高から最下降位置に下降し終わるまでに、前記カメラが下降位置から格納位置へ格納完了し得る揚高値に設定されている産業車両における荷役作業支援装置。
In the cargo handling work support device for an industrial vehicle according to claim 4,
The predetermined threshold value is set to a lift value at which the camera can be stored from the lowered position to the retracted position before the cargo handling device finishes descending from the lift height of the predetermined threshold value to the lowest lowered position. Work support device.
荷役機器を有するキャリッジがマストに沿って昇降可能に設けられた産業車両において、
前記荷役機器の作業エリアを撮影するカメラと、
前記カメラを前記キャリッジから突出しない格納位置と、前記キャリッジから突出する突出位置との間を前記キャリッジに対し移動可能に支持する移動機構と、
前記カメラを前記キャリッジに対し移動させるために駆動されるアクチュエータと、
荷役作業が荷取作業か荷置作業かを判別するための検出を行う検出手段と、
前記カメラが荷役対象に接近したことを検出する接近検出手段と、
前記検出手段の検出結果から荷取作業と判別されたときには前記カメラを前記格納位置に配置し、荷置作業と判別されたときには前記カメラを前記突出位置に配置するとともに、前記接近検出手段の検出結果により前記カメラが前記荷役対象に設定距離以内に接近したと判断されたときは前記カメラを格納位置に配置するように、前記アクチュエータを駆動制御する制御手段と
を備えた産業車両における荷役作業支援装置。
In an industrial vehicle in which a carriage having a cargo handling device is provided so as to be movable up and down along the mast,
A camera for photographing a work area of the cargo handling device;
A moving mechanism that movably supports the camera between a storage position that does not protrude from the carriage and a protruding position that protrudes from the carriage;
An actuator driven to move the camera relative to the carriage;
Detection means for performing detection to determine whether the cargo handling operation is a loading operation or a loading operation;
An approach detecting means for detecting that the camera has approached a cargo handling object;
The camera is placed in the storage position when it is determined as a loading operation from the detection result of the detection means, and the camera is placed in the protruding position when it is determined as a loading operation, and the approach detection means detects When it is determined that the camera has approached the cargo handling object within a set distance as a result, cargo handling work support in an industrial vehicle provided with control means for driving and controlling the actuator so that the camera is disposed at a storage position apparatus.
請求項3又は6に記載の産業車両における荷役作業支援装置において、
前記移動機構は前記カメラを前記キャリッジに対し昇降可能に支持する昇降機構であり、前記アクチュエータは前記カメラを前記キャリッジに対し昇降させるために駆動されるものであって、
前記突出位置は、前記荷役機器に積載又は把持された荷に遮られず荷役対象を必要なだけ撮影可能に前記キャリッジから下方に突出する下降位置である産業車両における荷役作業支援装置。
In the cargo handling work support device for an industrial vehicle according to claim 3 or 6,
The moving mechanism is an elevating mechanism that supports the camera to be movable up and down with respect to the carriage, and the actuator is driven to raise and lower the camera with respect to the carriage,
The projecting position is a cargo handling work support device in an industrial vehicle that is a lowered position that projects downward from the carriage so as to be able to photograph a cargo handling object as much as necessary without being blocked by a load loaded or gripped on the cargo handling device.
請求項4、5及び7のいずれか一項に記載の産業車両における荷役作業支援装置において、
前記昇降機構は、前記カメラを前記荷役機器の幅方向中央部において上下方向に昇降可能に支持するリニアスライド機構である産業車両における荷役作業支援装置。
In the cargo handling work support device for an industrial vehicle according to any one of claims 4, 5 and 7,
The lifting mechanism is a cargo handling work support device in an industrial vehicle that is a linear slide mechanism that supports the camera so that the camera can be lifted up and down in the center in the width direction of the cargo handling equipment.
請求項8に記載の産業車両における荷役作業支援装置において、
前記昇降機構は、前記カメラを前記アクチュエータと作動連結された状態で吊り下げ支持する可撓性動力伝達部材と、
前記カメラを下方へ付勢する付勢手段と
を備えている産業車両における荷役作業支援装置。
In the cargo handling work support device for an industrial vehicle according to claim 8,
The elevating mechanism includes a flexible power transmission member that suspends and supports the camera while being operatively connected to the actuator.
A cargo handling work support apparatus in an industrial vehicle, comprising: an urging means for urging the camera downward.
請求項3〜9のいずれか一項に記載の産業車両における荷役作業支援装置において、
前記キャリッジは前記マストに沿って昇降する昇降部材と、該昇降部材に対し傾動可能に設けられた傾動部材と、該傾動部材に対し車幅方向に移動可能に設けられたサイドシフタと、前記傾動部材に対し前記サイドシフタを車幅方向に移動させるサイドシフト駆動手段とを備え、
前記荷役機器は前記サイドシフタに一体に取り付けられ、
前記カメラは、前記サイドシフタに対し昇降可能に設けられている産業車両における荷役作業支援装置。
In the cargo handling work support apparatus in the industrial vehicle according to any one of claims 3 to 9,
The carriage includes a lifting member that moves up and down along the mast, a tilting member that is tiltable with respect to the lifting member, a side shifter that is movable with respect to the tilting member in the vehicle width direction, and the tilting member Side shift drive means for moving the side shifter in the vehicle width direction,
The cargo handling device is integrally attached to the side shifter,
The said camera is a cargo handling work assistance apparatus in the industrial vehicle provided so that raising / lowering was possible with respect to the said side shifter.
請求項1〜10のいずれか一項に記載の産業車両における荷役作業支援装置において、
前記検出手段は、前記荷役機器に積載又は把持された荷の有無を検出する荷検出手段であって、
前記制御手段は、前記荷検出手段により荷が検出されたときは荷置作業と判別し、荷が検出されないときは荷取作業と判別して、前記アクチュエータを駆動制御する産業車両における荷役作業支援装置。
In the cargo handling work support apparatus in the industrial vehicle according to any one of claims 1 to 10,
The detection means is a load detection means for detecting the presence or absence of a load loaded or gripped on the cargo handling device,
The control means discriminates a loading operation when a load is detected by the load detecting means, and determines a loading operation when no load is detected, and supports a cargo handling operation in an industrial vehicle that drives and controls the actuator. apparatus.
前記カメラが撮影した画像を表示する表示手段を備えている請求項1〜11のいずれか一項に記載の産業車両における荷役作業支援装置。The cargo handling work support apparatus for an industrial vehicle according to any one of claims 1 to 11, further comprising display means for displaying an image captured by the camera. 前記カメラが撮影した画像データを基に荷役作業支援のための画像処理を行う画像処理手段を備えている請求項1〜12のいずれか一項に記載の産業車両における荷役作業支援装置。The cargo handling work support apparatus for an industrial vehicle according to any one of claims 1 to 12, further comprising image processing means for performing image processing for cargo handling work support based on image data captured by the camera. 請求項1〜12のいずれか一項に記載の産業車両における荷役作業支援装置において、
前記カメラは、荷役対象を位置検出するために作業エリアに設けられたマークを撮影するものであって、
前記カメラが撮影した画像データを基に前記マークの画像認識処理をすることにより前記荷役対象の位置を割り出す位置検出手段を備えている産業車両における荷役作業支援装置。
In the cargo handling work support apparatus in the industrial vehicle according to any one of claims 1 to 12,
The camera shoots a mark provided in a work area for detecting a position of a cargo handling object,
A cargo handling work support apparatus in an industrial vehicle, comprising position detection means for determining the position of the cargo handling object by performing image recognition processing of the mark based on image data captured by the camera.
請求項1〜14のいずれか一項に記載の荷役作業支援装置を備えている産業車両。The industrial vehicle provided with the cargo handling work assistance apparatus as described in any one of Claims 1-14.
JP2001326656A 2001-02-16 2001-10-24 Cargo work support device for industrial vehicle and industrial vehicle Expired - Fee Related JP3855728B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001326656A JP3855728B2 (en) 2001-10-24 2001-10-24 Cargo work support device for industrial vehicle and industrial vehicle
DE60235963T DE60235963D1 (en) 2001-02-16 2002-02-18 CAMERA LIFTING DEVICE AND LOAD HANDLING ARRANGEMENT OF A LIFTING WAGON AND LIFTING WAGON
PCT/JP2002/001351 WO2002064490A1 (en) 2001-02-16 2002-02-18 Camera lifting device and load handling support device of industrial vehicle, and industrial vehicle
EP02712413A EP1361190B1 (en) 2001-02-16 2002-02-18 Camera lifting device and load handling support device of industrial vehicle, and industrial vehicle
US10/470,394 US7320385B2 (en) 2001-02-16 2002-02-18 Camera lifting apparatus and cargo handling operation aiding apparatus in industrial vehicle and industrial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001326656A JP3855728B2 (en) 2001-10-24 2001-10-24 Cargo work support device for industrial vehicle and industrial vehicle

Publications (2)

Publication Number Publication Date
JP2003128395A JP2003128395A (en) 2003-05-08
JP3855728B2 true JP3855728B2 (en) 2006-12-13

Family

ID=19143004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001326656A Expired - Fee Related JP3855728B2 (en) 2001-02-16 2001-10-24 Cargo work support device for industrial vehicle and industrial vehicle

Country Status (1)

Country Link
JP (1) JP3855728B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6217472B2 (en) * 2014-03-13 2017-10-25 株式会社豊田自動織機 Forklift work support device
JP6880884B2 (en) 2017-03-22 2021-06-02 日本電気株式会社 In-vehicle devices, cargo handling machines, control circuits, control methods, and programs
CN107203804B (en) * 2017-05-19 2021-04-09 苏州易信安工业技术有限公司 Data processing method, device and system
CN108974951B (en) * 2018-07-16 2023-08-18 玖龙纸业(重庆)有限公司 Stacking machine
JP7135629B2 (en) * 2018-09-13 2022-09-13 株式会社豊田自動織機 Operation support device for forklift
US20220189055A1 (en) * 2019-03-19 2022-06-16 Kabushiki Kaisha Toyota Jidoshokki Item detection device, item detection method, and industrial vehicle
CN110203854A (en) * 2019-05-05 2019-09-06 乳源瑶族自治县东阳光高纯新材料有限公司 A kind of connecting elements and the lengthening prong with it
CN110980288B (en) * 2020-01-09 2024-08-16 中铁宝桥集团有限公司 Device for realizing adsorption of non-planar object by electromagnetic chuck
JP7251906B2 (en) * 2021-05-11 2023-04-04 三菱ロジスネクスト株式会社 container truck
CN113968552B (en) * 2021-10-25 2023-03-31 江苏锦竹工业用布有限公司 Nylon cord fabric production hoisting device that convenience is strong

Also Published As

Publication number Publication date
JP2003128395A (en) 2003-05-08

Similar Documents

Publication Publication Date Title
EP1361190B1 (en) Camera lifting device and load handling support device of industrial vehicle, and industrial vehicle
US7010404B2 (en) Position control apparatus and position control method for cargo carrying apparatus in industrial vehicle
EP1408001B1 (en) Industrial vehicle equipped with material handling work controller
US20080011554A1 (en) Movable sensor device on the loading means of a forklift
JP3855728B2 (en) Cargo work support device for industrial vehicle and industrial vehicle
US11111121B2 (en) Conveyance apparatus
JP2003171094A (en) Industrial vehicle handle knob and industrial vehicle
JP3900941B2 (en) Work view support device for forklift truck, forklift truck, work view support device for industrial vehicle, and industrial vehicle
JP3932811B2 (en) Camera lifting device in industrial vehicle
JP5765577B2 (en) Stacker crane
JP3900942B2 (en) Automatic position control device for cargo handling equipment in industrial vehicles, industrial vehicle and automatic position control method for cargo handling equipment
JP7287231B2 (en) Operation support device for cargo handling vehicle
JP4961643B2 (en) Cargo handling control device and industrial vehicle in industrial vehicle
JP3858703B2 (en) Cargo work support device for industrial vehicle and industrial vehicle
JP2005104652A (en) Cargo handling supporting device, and monitoring device
EP3984857A1 (en) Multi-stage load adjustment type moving cart
WO2020095602A1 (en) Remote operating system for forklift
JP3900902B2 (en) Cargo work support device for industrial vehicle and industrial vehicle
JP2003155199A (en) Voice annunciator for industrial vehicle and industrial vehicle
JP3900887B2 (en) Industrial vehicle work mode switching device and industrial vehicle
JP3941521B2 (en) Industrial vehicle sign selection device and industrial vehicle
JP2003312995A (en) Fork-lift
JP2003089500A (en) Loading lever and industrial vehicle
WO2020085067A1 (en) Remote control system for forklift
JP2020083520A (en) Forklift and forward part detection device of forklift

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060904

R151 Written notification of patent or utility model registration

Ref document number: 3855728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees