JP7436130B2

JP7436130B2 - 遠隔操作システム

Info

Publication number: JP7436130B2
Application number: JP2021205794A
Authority: JP
Inventors: 彰卯路
Original assignee: Mitsubishi Logisnext Co Ltd
Current assignee: Mitsubishi Logisnext Co Ltd
Priority date: 2021-12-20
Filing date: 2021-12-20
Publication date: 2024-02-21
Anticipated expiration: 2041-12-20
Also published as: JP2023091182A

Description

本発明は、フォークリフトを遠隔から操作するための遠隔操作システムに関する。

フォークリフトは、オペレータが搭乗して荷物を運搬及び積み降ろしする作業を行うものである。そのため、オペレータが迅速かつ的確にフォークリフトを操作するためには、長年の経験が必要である。一方、熟練のオペレータの人数は限られていることから、人口の少ない地方においては、熟練のオペレータの人数が足りないことがある。そのため、熟練のオペレータが多い地域から、熟練のオペレータが遠隔で地方のフォークリフトを操作することが要望されている。

また、人体に悪影響を及ぼすガスが充填されたタンクや、落下すると爆発する爆発物を荷役する場合等には、オペレータは、荷役場所である倉庫から離れて遠隔でフォークリフトを操作することが好ましい。

そのため、フォークリフトを遠隔から操作するための遠隔操作システムが知られている（例えば、特許文献１参照）。遠隔操作システムでは、フォークリフトが荷役を行う倉庫から離れた遠隔の基地局に操作装置が設けられており、オペレータが操作装置を使って遠隔の基地局からフォークリフトを操作するように構成されている。

フォークリフトは、制御装置、無線通信装置、カメラ、センサ、車両の走行及び昇降等を作動する駆動装置等を備える。基地局の操作装置は、ハンドル、レバー、ペダル、制御部、表示部等を備える。例えば、表示部は、表示モニタが２つ設けられており、一方の表示モニタには、フォークリフトに搭載されたカメラで撮影される車両前方の画像が表示されて、他方の表示モニタには、センサで検出される情報等が表示される。

フォークリフトで運搬及び積み降ろしを行う際、オペレータは、表示部の画像に基づいて車両前方の荷役対象物を確認しながらハンドルやレバー等を使ってフォークリフトを操作する。一方、従来の遠隔操作システムでは、効率的に対象物を荷役するための順序を案内する手段はなく、オペレータは効率的に対象物を荷役することができないという問題がある。

特開２０１４－１１５１８号公報

そこで、本発明が解決しようとする課題は、フォークリフトを遠隔で操作する際に、オペレータが効率的に対象物を荷役するための順序を把握することができる遠隔操作システムを提供することである。

上記課題を解決するために、本発明は、フォークリフトを遠隔から操作する遠隔操作システムにおいて、フォークリフトに設けられたカメラと、カメラによって撮影される画像を表示する表示部と、荷役される対象物である荷役対象物の順序を決定する荷役順序決定部と、荷役順序決定部に基づいて、複数の荷役対象物の順序を案内するための複数の順序ガイドを同時に表示部に表示する順序ガイド表示部と、を備える。

好ましくは、順序ガイドは、フォークリフトと荷役対象物とを結ぶ帯状体で構成されると共に、荷役対象物の順序を示す番号が帯状体上に表示されている。

また、遠隔操作システムは、さらに、対象物の特徴を記憶する対象物情報記憶部を備え、荷役順序決定部は、荷役対象物の特徴に基づいて、荷役対象物の順序を決定することが好ましい。

また、荷役順序決定部は、対象物の特徴に基づいて複数の荷役対象物を積み重ねることができるように、荷役対象物の順序を決定してもよい。

また、好ましくは、荷役対象物の特徴は、荷役対象物の上面幅、上面形状及び重量からなる。

また、荷役順序決定部は、所定の時間の範囲内に出荷時間が設定されている所定の数の範囲内の荷役対象物に基づいて、荷役対象物の順序を決定することが望ましい。

本発明に係る遠隔操作システムによると、フォークリフトを遠隔で操作する際に、オペレータが効率的に対象物を荷役するための順序を把握することができる。

遠隔操作システムを示す平面図。フォークリフトを示す側面図。フォークリフトの構成を示すブロック図。操作装置の構成を示すブロック図。順序ガイドが表示された表示部の画像図。遠隔操作システムの制御フローを示すフローチャート図。

以下、図面に基づいて、本発明に係る遠隔操作システムの一実施形態を説明する。

[遠隔操作システム]
図１のとおり、遠隔操作システムは、施設１００において走行および荷役作業を行うためのフォークリフト１を備えている。そして、遠隔操作システムは、施設１００から離れた遠隔地に設けられた基地局２００が設けられている。基地局２００には、操作装置２が設けられており、オペレータが操作装置２を用いて、所定のフォークリフト１を遠隔で操作することができる。

本実施形態では、施設１００は、倉庫であるが、工場等でもよい。また、本実施形態では、フォークリフト１は、リーチ式フォークリフトであるが、カウンターバランス式フォークリフト等でもよい。例えば、オペレータが遠隔の基地局２００からフォークリフト１を操作することで、施設１００において、人体に悪影響を及ぼすガスが充填されたタンクや、落下すると爆発する爆発物を荷役することができる。

施設１００内には、複数の対象物（荷物）１１０が床面に直置きされており、「平置き」又は「平積み」と呼ばれる方法で複数の対象物１１０が保管されている。平置き等は、対象物１１０が大きい場合や、対象物１１０が載置されたパレットごとにフォークリフト１で運ぶ必要がある場合に用いられ、毎日出荷があるような動きが早いものを扱う場合に適している。

[フォークリフト]
図２のとおり、フォークリフト１は、カメラ１０、レーザースキャナ１２、駆動装置１３、制御部１４、無線通信部１５等を備える。図３のとおり、制御部１４は、画像処理部１４１、フォークリフト位置取得部１４２、駆動コントロール部１４３等を備える。制御部１４は、ＣＰＵ（中央処理装置）、入出力インターフェース、ＲＯＭ、ＲＡＭ等で構成されており、情報を処理するためのプログラムが記憶される。制御部１４には、カメラ１０、レーザースキャナ１２、駆動装置１３、無線通信部１５が接続されている。

駆動装置１３は、車体の後部に設けられた駆動輪１６を駆動するための走行モータ、車体の前部に設けられたフォーク１７を昇降・傾動・進退するための複数の油圧シリンダー等からなる。基地局２００に設けられた操作装置２からの操作信号が無線通信部１５を介して制御部１４に送られて、この操作信号が駆動コントロール部１４３で処理されて、操作装置２の操作に基づいて、走行モータ及び油圧シリンダーの駆動装置１３が駆動されるようになっている。これにより、オペレータによる操作装置２の操作に連動して、走行モータ及び油圧シリンダー等の駆動装置１３が駆動して、フォークリフト１を操作することができる。

カメラ１０は、フォークリフト１に搭乗して操作するオペレータの目線の位置に配置されており、オペレータの目線の位置からフォークリフト１の前方を撮影するようになっている。カメラ１０は、例えば、ＣＣＤイメージセンサ又はＣ－ＭＯＳイメージセンサを備えている。カメラ１０で撮影される画像は、制御部１４の画像処理部１４１で画像処理されて、操作装置２に設けられた表示部２０（図４）に表示されるようになっている。これにより、基地局２００で操作装置２を用いてフォークリフト１を遠隔操作するオペレータは、表示部２０によって、フォークリフト１に搭乗して操作するときと同じ目線でフォークリフト１の前方を確認することができる。

フォークリフト１は、レーザースキャナ１２を備えており、施設１００内には、複数の反射部１０１が設置される。レーザースキャナ１２は、レーザーを水平に３６０度回転しながら反射部１０１に送受信する。その結果、フォークリフト１は、施設１００内の走行経路に沿って配置された複数の反射部１０１をレーザースキャナ１２で認識することができる。ここで、反射部１０１は、施設１００内の壁面等に固定されており、その位置情報が、制御部１４のフォークリフト位置取得部１４２のマップ上に記憶されている。フォークリフト１は、複数の反射部１０１をレーザースキャナ１２で認識することで、フォークリフト位置取得部１４２が、三角測量の原理に基づいて、フォークリフト１の位置を計測および取得することができる。

[操作装置]
図４のとおり、操作装置２は、表示部２０、操作部２１、制御部２３、無線通信部２４等を備える。制御部２３は、画像処理部２３１、対象物情報記憶部２３２、荷役順序決定部２３３、順序ガイド表示部２３４等を備える。制御部２３は、ＣＰＵ（中央処理装置）、入出力インターフェース、ＲＯＭ、ＲＡＭ等で構成されており、情報を処理するためのプログラムが記憶される。制御部２３には、表示部２０、操作部２１、無線通信部２４が接続されている。

表示部２０は、例えば、２つの表示モニタからなり、一方の表示モニタには、フォークリフト１に搭載されたカメラ１０で撮影されている車両の前方の画像が表示されて、他方の表示モニタには、各種センサ類で検出される情報や操作に必要な情報等が表示されるようになっている。

操作部２１は、ハンドル、レバー、ペダル等を備えており、オペレータが、フォークリフト１を実際に搭乗して操作する場合と同様に操作できるようになっている。操作部２１からの操作信号は、制御部２３を介して無線通信部２４で送信されて、フォークリフト１の無線通信部１５で受信される。そして、オペレータが操作部２１のハンドルやレバー等を操作することで、上述したとおり、フォークリフト１の駆動装置１３等を遠隔から操作することができる。

対象物情報記憶部２３２は、施設１００に保管されている各対象物１１０の位置及び特徴が記憶されている。対象物１１０は施設１００に平置きされていることから、対象物１１０の位置は水平座標（ＸＹ座標）によって記憶されている。例えば、対象物１１０が施設１００に入荷されて、対象物１１０がフォークリフト１で施設１００の所定位置に置かれると、対象物情報記憶部２３２は、フォークリフト位置取得部１４２によるフォークリフト１の位置に基づいて、各対象物１１０の位置をマップ情報として記憶するようになっている。

また、対象物情報記憶部２３２は、フォークリフト１に設けられたカメラ１０及び重量センサ（不図示）に基づいて、各対象物１１０の特徴である上面幅、上面形状及び重量を記憶するようになっている。

荷役順序決定部２３３は、対象物情報記憶部２３２に記憶された各対象物１１０における出荷時間、上面幅、上面形状及び重量等に応じて、プログラム又は機械学習等によって、フォークリフト１で荷役する対象物となる荷役対象物１１０の順序を決定するようになっている。なお、フォークリフト１で荷役される対象物は荷役対象物１１０と呼ばれる。

複数の荷役対象物１１０が出荷される際、荷役順序決定部２３３は、所定の時間の範囲内（例えば、１４時３０分から１４時５０分まで）に出荷時間が設定されている所定限度の数の範囲内（例えば、３個まで）の荷役対象物１１０を選択して、選択された各荷役対象物１１０の特徴である上面幅、上面形状及び重量に基づいて、荷役対象物１１０を積み重ねることができるように、荷役対象物１１０の順序を決定するようになっている。

荷役順序決定部２３３は、記憶されているプログラム又は機械学習等に基づいて、所定の時間の範囲内に出荷時間が設定されている所定限度の数の範囲内の荷役対象物１１０のうち、重量が小さく安定性の低い上面幅及び上面形状の荷役対象物１１０が上から下に配置されて積み重ねられるよう、荷役対象物１１０の順序を決定する。

例えば、所定の時間の範囲に出荷時間が設定されている荷役対象物１１０が５個であり、所定限度の数の範囲が３個である場合、荷役順序決定部２３３は、３個の荷役対象物１１０のうち、重量が小さく、上面幅が小さく、上面形状で凹凸や傾斜が多い荷役対象物１１０から順に１番目、２番目、３番目と決定する。換言すると、荷役順序決定部２３３は、重量が大きく、上面幅が大きく、上面形状で凹凸や傾斜が少ない荷役対象物１１０から順に３番目、２番目、１番目と決定する。

そして、１番目の荷役対象物１１０がフォークリフト１で運搬されて、２番目の荷役対象物１１０の上に１番目の荷役対象物１１０が積み重ねられ、積み重ねられた１番目及び２番目の２個の荷役対象物１１０がフォークリフト１で運搬されて、３番目の荷役対象物１１０の上に１番目及び２番目の荷役対象物１１０が積み重ねられて、積み重ねられた１番目、２番目及び３番目の３個の荷役対象物１１０がフォークリフト１で運搬及び出荷される。

所定限度の数の範囲の荷役対象物１１０において、重量が小さく安定性の低い上面幅及び上面形状の荷役対象物１１０が上に配置されて、重量が大きく安定性の高い上面幅及び上面形状の荷役対象物１１０が下に配置されて積み重ねられることから、フォークリフト１で積み重ねられた荷役対象物１１０を運搬する際に、荷崩れする可能性が非常に低くなり安定して複数の荷役対象物１１０を同時に運搬することができる。そのため、複数の荷役対象物１１０を効率的かつ安定的に運搬及び出荷することができる。

図５のとおり、荷役順序決定部２３３で決定された荷役対象物１１０に対して、順序ガイド表示部２３４は、記憶されているプログラムによって、荷役対象物１１０の順序を案内するための順序ガイドＧＲ１，ＧＲ２，ＧＲ３を表示するようになっている。本実施形態では、順序ガイドＧＲ１，ＧＲ２，ＧＲ３は、表示部２０に表示される画像上の水平方向（ＸＹ方向）にフォークリフト１と荷役対象物１１０とを結ぶと共に、フォークリフト１の幅と同一幅の帯状体で表示されており、オペレータがフォークリフト１を操作する際に、フォークリフト１が走行する経路を想定しやすいようになっている。そして、荷役対象物１１０の順序が、帯状体の順序ガイドＧＲ１，ＧＲ２，ＧＲ３上に表示されるようになっている。

荷役順序決定部２３３によって決定された荷役対象物１１０が３個である場合、順序ガイド表示部２３４は、１番目、２番目及び３番目を示す順序ガイドＧＲ１，ＧＲ２，ＧＲ３を表示部２０に表示するようになっている。そして、順序ガイド表示部２３４は、荷役対象物１１０の順序を示す番号Ｎが付された順序ガイドＧＲ１，ＧＲ２，ＧＲ３を表示部２０に表示して、オペレータが、荷役対象物１１０の順序を直感的に認識できるようになっている。

［制御フロー］
図６に基づいて、遠隔操作システムにおける制御部１４，２３が行う制御フローについて説明する。

フォークリフト位置取得部１４２によって、常時、フォークリフト１の位置が計測および取得される（ステップＳ１）。そして、表示部２０には、常時、カメラ１０によって撮影される画像が表示されている。オペレータは、表示部２０に表示された画像に基づいて、操作部２１でフォークリフト１を遠隔操作する。

対象物情報記憶部２３２によって、各対象物１１０の位置及び特徴が記憶される（ステップＳ２）。対象物情報記憶部２３２は、各対象物１１０の位置と共に、各対象物１１０の特徴である上面幅、上面形状及び重量を記憶する。

そして、荷役順序決定部２３３によって、対象物情報記憶部２３２に記憶された各対象物１１０における出荷時間、上面幅、上面形状及び重量等に応じて、プログラム又は機械学習等によって、フォークリフト１で荷役する対象物となる荷役対象物１１０の順序を決定する（ステップＳ３）。

さらに、荷役順序決定部２３３で決定された荷役対象物１１０に対して、順序ガイド表示部２３４は、表示部２０に表示される画像上の水平方向（ＸＹ方向）にフォークリフト１と荷役対象物１１０とを結ぶと共に、荷役対象物１１０の順序を案内するための順序ガイドＧＲ１，ＧＲ２，ＧＲ３を表示する（ステップＳ４）。

そして、フォークリフト位置取得部１４２及び対象物情報記憶部２３２によって、フォークリフト１が、１番目の順序ガイドＧＲ１で案内された１番目の荷役対象物１１０に到達したと認識されると（ステップＳ５）、順序ガイド表示部２３４は、フォークリフト１が到達した１番目の順序ガイドＧＲ１を非表示にする（ステップＳ６）。そして、オペレータは、フォークリフト１で１番目の荷役対象物１１０を運搬する。

その後、表示部２０に２番目の順序ガイドＧＲ２が表示されていることから、上記ステップＳ５に戻り（ステップＳ７）、オペレータは、フォークリフト１を２番目の荷役対象物１１０に走行させて、１番目の荷役対象物１１０を２番目の荷役対象物１１０に積み重ねる。

そして、フォークリフト１が、２番目の順序ガイドＧＲ２で案内された２番目の荷役対象物１１０に到達したと認識されると（ステップＳ５）、順序ガイド表示部２３４は、フォークリフト１が到達した２番目の順序ガイドＧＲ２を非表示にする（ステップＳ６）。そして、オペレータは、フォークリフト１で１番目及び２番目の荷役対象物１１０を運搬する。

その後、表示部２０に３番目の順序ガイドＧＲ３が表示されていることから、上記ステップＳ５に戻り（ステップＳ７）、オペレータは、フォークリフト１を３番目の荷役対象物１１０に走行させて、１番目及び２番目の荷役対象物１１０を３番目の荷役対象物１１０に積み重ねて出荷する。

以上、本発明の好ましい実施形態を説明したが、本発明の構成はこれらの実施形態に限定されない。例えば、以下のように変更することもできる。
・上記実施形態では、荷役対象物１１０の特徴に基づいて荷役対象物１１０の順序が決定されているが、対象物１１０が同一の形状及び重量である場合、荷役対象物１１０の位置等に応じて、効率的に運搬できるよう、荷役対象物１１０の順序が決定されてもよい。
・上記実施形態では、順序ガイドＧＲ１，ＧＲ２，ＧＲ３が、フォークリフト１と荷役対象物１１０とを結ぶ帯状体で構成されると共に、荷役対象物１１０の順序を示す番号Ｎが帯状体上に表示されるが、荷役対象物１１０の正面や上方等に番号が表示される態様であってもよい。
・上記実施形態では、複数の荷役対象物１１０が積み重ねられるよう、荷役対象物１１０の順序が決定されるが、荷役対象物１１０の位置等に応じて、効率的に運搬できるよう、荷役対象物１１０の順序が決定されてもよい。
・上記実施形態では、順序ガイドＧＲ１，ＧＲ２，ＧＲ３は、フォークリフト１の幅と同一幅を有する帯状体であるが、矢印、一定周期で点滅する線、細線等であってもよい。
・上記実施形態では、荷役対象物１１０の順序を示すために、番号Ｎが付された順序ガイドＧＲ１，ＧＲ２，ＧＲ３が表示されているが、順序に応じて、順序ガイドの色、形状等が設定されていてもよい。

本発明の効果について説明する。

本発明は、フォークリフト１を遠隔から操作する遠隔操作システムにおいて、フォークリフト１に設けられたカメラ１０と、カメラ１０によって撮影される画像を表示する表示部２０と、荷役される対象物である荷役対象物１１０の順序を決定する荷役順序決定部２３３と、荷役順序決定部２３３に基づいて、複数の荷役対象物１１０の順序を案内するための複数の順序ガイドＧＲ１，ＧＲ２，ＧＲ３を同時に表示部２０に表示する順序ガイド表示部２３４と、を備えている。

これによって、オペレータは、表示部２０に表示される画像に基づいて、フォークリフト１を遠隔から操作することができる。そして、表示部２０の画像に表示される順序ガイドＧＲ１，ＧＲ２，ＧＲ３で、オペレータに対して、荷役対象物１１０の順序を直感的に案内することができるので、オペレータは、フォークリフト１で荷役対象物１１０を順番通りに運搬することで、効率的に運搬することができるようになっている。

また、順序ガイドＧＲ１，ＧＲ２，ＧＲ３は、フォークリフト１と荷役対象物１１０とを結ぶ帯状体で構成されると共に、荷役対象物１１０の順序を示す番号が帯状体上に表示されていることが望ましい。

これによって、オペレータは、帯状体の順序ガイドＧＲ１，ＧＲ２，ＧＲ３に沿って、フォークリフト１を走行することができるので、荷役対象物１１０の位置を見失うことなく認識することができるようになっている。

好ましくは、遠隔操作システムは、さらに、対象物１１０の特徴を記憶する対象物情報記憶部２３２を備えており、荷役順序決定部２３３は、荷役対象物１１０の特徴に基づいて、荷役対象物１１０の順序を決定するようになっている。

これによって、オペレータは、表示部２０の画像に表示される順序ガイドＧＲ１，ＧＲ２，ＧＲ３に従って、オペレータがフォークリフト１で荷役対象物１１０を順番に運搬することで、効率的に運搬することができるようになっている。

さらに、荷役順序決定部２３３は、対象物１１０の特徴に基づいて複数の荷役対象物１１０を積み重ねることができるように、荷役対象物１１０の順序を決定することが望ましい。

そのため、荷役対象物１１０を積み重ねる際に、荷崩れする可能性が非常に低くなり安定して複数の荷役対象物１１０を同時に運搬することができることから、複数の荷役対象物１１０を効率的かつ安定的に運搬及び出荷することができる。

また、荷役対象物１１０の特徴は、荷役対象物１１０の上面幅、上面形状及び重量からなっていてもよい。

これによって、重量が小さく安定性の低い上面幅及び上面形状の荷役対象物１１０が上に配置されて、重量が大きく安定性の高い上面幅及び上面形状の荷役対象物１１０が下に配置されて積み重ねられることから、フォークリフト１で積み重ねられた荷役対象物１１０を運搬する際に、荷崩れする可能性が非常に低くなり安定して複数の荷役対象物１１０を同時に運搬することができる。

そして、荷役順序決定部２３３は、所定の時間の範囲内に出荷時間が設定されている所定の数の範囲内の荷役対象物１１０に基づいて、荷役対象物１１０の順序を決定することが好ましい。

このように、所定の時間の範囲内に出荷時間が設定されている所定の数の範囲内の荷役対象物１１０を対象としていることから、効率的かつ安定的に複数の荷役対象物１１０を積み重ねて出荷することができるようになっている。

１フォークリフト
１０カメラ
１４制御部
１４１画像処理部
２操作装置
２０表示部
２１操作部
２３制御部
２３１画像処理部
２３２対象物情報記憶部
２３３荷役順序決定部
２３４順序ガイド表示部
ＧＲ１，ＧＲ２，ＧＲ３順序ガイド
Ｎ番号

Claims

フォークリフトを遠隔から操作する遠隔操作システムにおいて、
前記フォークリフトに設けられたカメラと、
前記カメラによって撮影される画像を表示する表示部と、
荷役される対象物である荷役対象物の順序を決定する荷役順序決定部と、
前記荷役順序決定部に基づいて、複数の前記荷役対象物の順序を案内するための複数の順序ガイドを同時に前記表示部に表示する順序ガイド表示部と、
前記荷役対象物の特徴を記憶する対象物情報記憶部と、を備え、
前記荷役対象物の特徴は、前記荷役対象物の上面幅、上面形状及び重量からなり、
前記荷役順序決定部は、前記荷役対象物の特徴に基づいて複数の前記荷役対象物を積み重ねることができると共に、所定の時間の範囲内に出荷時間が設定されている所定の数の範囲内の前記荷役対象物に基づいて、前記荷役対象物の順序を決定する
ことを特徴とする遠隔操作システム。
前記順序ガイドは、前記フォークリフトと前記荷役対象物とを結ぶ帯状体で構成されると共に、前記荷役対象物の順序を示す番号が前記帯状体上に表示されている
ことを特徴とする請求項１に記載の遠隔操作システム。