JP7381181B2 - 遠隔操作システム - Google Patents

Description

本発明は、フォークリフトを遠隔から操作するための遠隔操作システムに関する。

フォークリフトは、オペレータが搭乗して荷物を運搬及び積み降ろしする作業を行うものである。そのため、オペレータが迅速かつ的確にフォークリフトを操作するためには、長年の経験が必要である。一方、熟練のオペレータの人数は限られていることから、人口の少ない地方においては、熟練のオペレータの人数が足りないことがある。そのため、熟練のオペレータが多い地域から、熟練のオペレータが遠隔で地方のフォークリフトを操作することが要望されている。

また、人体に悪影響を及ぼすガスが充填されたタンクや、落下すると爆発する爆発物を荷役する場合等には、オペレータは、荷役場所である倉庫から離れて遠隔でフォークリフトを操作することが好ましい。

そのため、フォークリフトを遠隔から操作するための遠隔操作システムが知られている（例えば、特許文献１参照）。遠隔操作システムでは、フォークリフトが荷役を行う倉庫から離れた遠隔の基地局に操作装置が設けられており、オペレータが操作装置を使って遠隔の基地局からフォークリフトを操作するように構成されている。

フォークリフトは、制御装置、無線通信装置、カメラ、センサ、車両の走行及び昇降等を作動する駆動装置等を備える。基地局の操作装置は、ハンドル、レバー、ペダル、制御部、表示部等を備える。例えば、表示部は、表示モニタが２つ設けられており、一方の表示モニタには、フォークリフトに搭載されたカメラで撮影される車両前方の画像が表示されて、他方の表示モニタには、センサで検出される情報等が表示される。

フォークリフトで運搬及び積み降ろしを行う際、オペレータは、表示部の画像に基づいて車両前方の荷役対象物を確認しながらハンドルやレバー等を使ってフォークリフトを操作する。一方、フォークリフトの方向によっては、荷役対象物が表示部から見えなくなることがあるため、フォークリフトの操作が難しいという問題がある。さらに、フォークリフトと対象物との間に障害物があると、対象物及び障害物の双方の位置を確認しながら、障害物を避けるように対象物に近づく必要があるため、フォークリフトの操作が難しいという問題がある。

特開２０１４－１１５１８号公報

そこで、本発明が解決しようとする課題は、フォークリフトを遠隔で操作する際に、フォークリフトと対象物との間に障害物があっても、フォークリフトの操作を直感的かつ容易に行うことができる遠隔操作システムを提供することである。

上記課題を解決するために、本発明に係る遠隔操作システムは、フォークリフトを遠隔から操作する遠隔操作システムにおいて、フォークリフトに設けられたカメラと、カメラによって撮影される画像を表示する表示部と、フォークリフトの座標を取得するフォークリフト座標取得部と、指定された対象物の座標を取得する対象物座標取得部とを備えている。さらに、遠隔操作システムは、フォークリフトと対象物との間に形成される第１判定領域において障害物の有無を判定する第１判定部と、フォークリフトと対象物との間に形成される第２判定領域において障害物の有無を判定する第２判定部とを備えている。
そして、遠隔操作システムは、案内ルート表示部を備えており、案内ルート表示部は、第１判定部によって障害物が有ると判定されたとき、障害物を避けるようにフォークリフトと対象物とを結ぶ案内ルートを表示部に表示し、第１判定部によって障害物が無いと判定されたとき、直線でフォークリフトと対象物とを結ぶ案内ルートを表示部に表示するように構成されている。
また、遠隔操作システムは、報知線表示部を備えており、報知線表示部は、第２判定部によって障害物が有ると判定されたとき、フォークリフトと障害物とを結ぶ報知線を表示部に表示し、第２判定部によって障害物が無いと判定されたとき、報知線を表示部に表示しないように構成されている。
また、遠隔操作システムは、障害物識別部、報知線決定部を備えている。障害物識別部は、障害物の種別を識別するように構成されている。また、報知線決定部は、障害物の種別に応じて、複数種類の報知線の中から表示部に表示される報知線を決定するように構成されている。

好ましくは、障害物識別部は、収集部、学習モデル生成部、取得部、処理部を備える。収集部は、障害物の特徴と種別との関係に基づく教師データを収集するように構成されている。学習モデル生成部は、収集部に収集された教師データから機械学習を行い、機械学習により学習モデルを生成および記憶するように構成されている。取得部は、現時点の障害物の特徴を所定時間ごとに取得するように構成されている。処理部は、学習モデル生成部で生成された学習モデルを、取得部から取得される現時点の障害物の特徴に適用することで、障害物の種別を決定するように構成されている。

また、教師データは、入力データと出力データとからなり、入力データは、障害物の形状及び大きさを含み、出力データは、フォークリフト、人、荷物及びパレットを含むことが望ましい。

複数種類の報知線は、点滅する報知線を含むことが好ましい。

また、第１判定部は、フォークリフトと対象物とを直線で結びフォークリフトの幅に相当する幅を有する仮想ルートを第１判定領域とし、第１判定領域の内側において、障害物の全部又は一部が存在しないとき、障害物が無いと判定して、障害物の全部又は一部が存在するとき、障害物が有ると判定し、案内ルート表示部は、案内ルートの内側に障害物の全部又は一部が存在しないように案内ルートを表示することが望ましい。

好ましくは、第２判定部は、フォークリフトと対象物とを結ぶ直線を直径とする仮想円を第２判定領域とし、第２判定領域の内側において、障害物の全部又は一部が存在しないとき、障害物が無いと判定して、障害物の全部又は一部が存在するとき、障害物が有ると判定する。

そして、案内ルート表示部は、フォークリフトの幅に相当する幅を有する案内ルートを表示することが望ましい。

また、好ましくは、案内ルート表示部は、障害物の右側へ避ける第１の案内ルートと、障害物の左側へ避ける第２の案内ルートと、を表示する。

本発明に係る遠隔操作システムによると、フォークリフトを遠隔で操作する際に、フォークリフトと対象物との間に障害物があっても、フォークリフトの操作を直感的かつ容易に行うことができる。

遠隔操作システムを示す平面図。 フォークリフトを示す側面図。 フォークリフトの構成を示すブロック図。 操作装置の構成を示すブロック図。 障害物識別部の構成を示すブロック図。 遠隔操作システムの制御フローを示すフローチャート図。 図６の続きを示すフローチャート図。 直線の案内ルートが表示された表示部を示す画像図。 直線の案内ルートを説明するための平面図。 曲線の案内ルートが表示された表示部を示す画像図。 曲線の案内ルートを説明するための平面図。 障害物がフォークリフトの場合の報知線を説明するための画像図。 障害物が人の場合の報知線を説明するための画像図。 第１及び第２の案内ルートが表示された表示部を示す画像図。 第１及び第２の案内ルートを説明するための平面図。

以下、図面に基づいて、本発明に係る遠隔操作システムの一実施形態を説明する。

[遠隔操作システム]
図１のとおり、遠隔操作システムは、施設１００において走行および荷役作業を行うためのフォークリフト１を備える。そして、遠隔操作システムは、施設１００から離れた遠隔地に設けられた基地局２００が設けられる。基地局２００には、操作装置２が設けられており、オペレータが操作装置２を用いて、所定のフォークリフト１を遠隔で操作することができる。

本実施形態では、施設１００は、倉庫であるが、工場、屋外作業場等でもよい。また、本実施形態では、フォークリフト１は、リーチ式フォークリフトであるが、カウンターバランス式フォークリフト等でもよい。例えば、オペレータが遠隔の基地局２００からフォークリフト１を操作することで、施設１００において、人体に悪影響を及ぼすガスが充填されたタンクや、落下すると爆発する爆発物を荷役することができる。

[フォークリフト]
図２のとおり、フォークリフト１は、カメラ１０、障害物センサ１１、レーザースキャナ１２、駆動装置１３、制御部１４、無線通信部１５等を備える。図３のとおり、制御部１４は、画像処理部１４１、フォークリフト座標取得部１４２、駆動コントロール部１４３、障害物座標取得部１４４等を備える。制御部１４は、ＣＰＵ（中央処理装置）、入出力インターフェース、ＲＯＭ、ＲＡＭ等で構成されており、情報を処理するためのプログラムが記憶される。制御部１４には、カメラ１０、障害物センサ１１、レーザースキャナ１２、駆動装置１３、無線通信部１５が接続されている。

駆動装置１３は、車体の後部に設けられた駆動輪１６を駆動するための走行モータ、車体の前部に設けられたフォーク１７を昇降・傾動・進退するための複数の油圧シリンダー等からなる。基地局２００に設けられた操作装置２からの操作信号が無線通信部１５を介して制御部１４に送られて、この操作信号が駆動コントロール部１４３で処理されて、操作装置２の操作に基づいて、走行モータ及び油圧シリンダーの駆動装置１３が駆動されるようになっている。これにより、オペレータによる操作装置２の操作に連動して、走行モータ及び油圧シリンダー等の駆動装置１３が駆動して、フォークリフト１を操作することができる。

カメラ１０は、フォークリフト１に搭乗して操作するオペレータの目線の位置に配置されており、オペレータの目線の位置からフォークリフト１の前方を撮影するようになっている。カメラ１０は、例えば、ＣＣＤイメージセンサ又はＣ－ＭＯＳイメージセンサを備えている。カメラ１０で撮影される画像は、制御部１４の画像処理部１４１で画像処理されて、操作装置２に設けられた表示部２０（図４）に表示されるようになっている。これにより、基地局２００で操作装置２を用いてフォークリフト１を遠隔操作するオペレータは、表示部２０によって、フォークリフト１に搭乗して操作するときと同じ目線でフォークリフト１の前方を確認することができる。

フォークリフト１は、レーザースキャナ１２を備えており、施設１００内には、複数の反射部１０１が設置される。レーザースキャナ１２は、レーザーを水平に３６０度回転しながら反射部１０１に送受信する。その結果、フォークリフト１は、施設１００内の走行経路に沿って配置された複数の反射部１０１をレーザースキャナ１２で認識することができる。ここで、反射部１０１は、施設１００内の壁に固定されており、その位置情報が、制御部１４のフォークリフト座標取得部１４２のマップ上に記憶されている。フォークリフト１は、複数の反射部１０１をレーザースキャナ１２で認識することで、フォークリフト座標取得部１４２が、三角測量の原理に基づいて、フォークリフト１の位置座標を計測および取得することができる。

また、フォークリフト１は、障害物センサ１１が設けられている。障害物センサ１１は、例えば光学系センサからなる。障害物センサ１１は、フォークリフト１の前方の所定エリアに存在する障害物を検知すると共に、フォークリフト１から障害物までの距離及び方向を計測することができる。制御部１４の障害物座標取得部１４４は、障害物センサ１１の検知信号とフォークリフト１の位置座標とに基づいて、障害物の位置座標を計測および取得することができる。

[操作装置]
図４のとおり、操作装置２は、表示部２０、操作部２１、対象物指定部２２、制御部２３、無線通信部２４等を備える。制御部２３は、画像処理部２３１、対象物座標取得部２３２、第１判定部２３４、第２判定部２３５、案内ルート表示部２３６、報知線表示部２３７、障害物認識部２３８、報知線決定部２３９等を備える。制御部２３は、ＣＰＵ（中央処理装置）、入出力インターフェース、ＲＯＭ、ＲＡＭ等で構成されており、情報を処理するためのプログラムが記憶される。制御部２３には、表示部２０、操作部２１、対象物指定部２２、無線通信部２４が接続されている。

表示部２０は、例えば、２つの表示モニタからなり、一方の表示モニタには、フォークリフト１に搭載されたカメラ１０で撮影されている車両の前方の画像が表示されて、他方の表示モニタには、各種センサ類で検出される情報や操作に必要な情報等が表示されるようになっている。

操作部２１は、ハンドル、レバー、ペダル等を備えており、オペレータが、フォークリフトを実際に搭乗して操作する場合と同様に操作できるようになっている。操作部２１からの操作信号は、制御部２３を介して無線通信部２４で送信されて、フォークリフト１の無線通信部１５で受信される。そして、オペレータが操作部２１のハンドルやレバー等を操作することで、上述したとおり、フォークリフト１の駆動装置１３等を遠隔から操作することができる。

対象物指定部２２は、例えば、マウスからなる。後述するとおり、オペレータが、対象物指定部２２であるマウスを用いて、表示部２０に表示されたポインタ２２０で対象物１１０を指定すると、案内ルート表示部２３６が、指定された対象物１１０とフォークリフト１とを結ぶ案内ルートＧＲ，ＧＲ１，ＧＲ２（図８，図９，図１０，図１１，図１２，図１３，図１４，図１５）を表示部２０に表示するようになっている。オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される案内ルートＧＲ，ＧＲ１，ＧＲ２に沿って走行することができるので、フォークリフト１の操作を直感的かつ容易に行うことができる。

また、指定された対象物１１０以外の障害物１２０について、報知線表示部２３７が、障害物１２０とフォークリフト１とを結ぶ報知線ＤＬ（図１０，図１１，図１２，図１３，図１４，図１５）を表示部２０に表示するようになっている。オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される報知線ＤＬによって直感的に障害物１２０の位置を認識することができるので、障害物１２０を避けながら、フォークリフト１の操作を直感的かつ安全に行うことができる。

そして、図５のとおり、障害物識別部２３８は、収集部２４０、学習モデル生成部２４１、処理部２４２、取得部２４３を備える。収集部２４０は、障害物１２０の特徴と種別との関係に基づく教師データ５を収集するようになっている。学習モデル生成部２４１は、収集部２４０に収集された教師データ５から機械学習を行い、機械学習により学習モデルを生成及び記憶するようになっている。本実施の形態の学習モデル生成部２４１は、教師あり学習を実施するようになっている。教師あり学習では、教師データ５、すなわち、入力データＩＤと出力データＯＤとの組を大量に学習モデル生成部２４１に入力する。

入力データＩＤは、例えば、障害物１２０の特徴となる形状及び大きさ等を含み、画像処理による物体領域の画素数、エッジ量、色等の特徴量によって決定される。出力データＯＤは、障害物１２０の種別であるフォークリフト、人、荷物、パレット等である。なお、実際に、障害物１２０の特徴である形状及び大きさ等によって、障害物１２０の種別であるフォークリフト、作業者等の人、荷物、パレット等が認識されることから、障害物１２０の特徴と種別との間に相関関係等の一定の関係が存在することは推認できる。

学習モデル生成部２４１は、一般的なニューラルネットワーク等の機械学習アルゴリズムを用いる。学習モデル生成部２４１は、相関関係を有する入力データＩＤと出力データＯＤを教師データ５として機械学習を行うことにより、入力から出力を推定するモデル（学習モデル）、すなわち、入力データＩＤを入力すると、出力データＯＤを出力するモデルを生成する。

障害物識別部２３８は、現時点の入力データＩＤを所定時間ごとに取得する取得部２４３を備える。上記の通り、入力データＩＤは、障害物１２０の特徴となる形状及び大きさである。入力データＩＤは、所定時間（例えば５秒）ごとに取得される。

障害物識別部２３８は、学習モデル生成部２４１で生成された学習モデルを、取得部２４３から取得される現時点の入力データＩＤに適用することで、障害物１２０の種別を決定する処理部２４２を備える。

報知線決定部２３９は、障害物１２０の種別に応じて、複数種類の報知線ＤＬが準備されており、処理部２４２によって決定された障害物１２０の種別（出力データＯＤ）に応じて、複数種類の報知線ＤＬの中から表示部２０に表示される報知線ＤＬを決定する。そして、報知線表示部２３７は、報知線決定部２３９で決定された報知線ＤＬを表示部２０に表示する。

このように、障害物識別部２３８が、障害物１２０の種別を識別して、そして、報知線決定部２３９が、障害物１２０の種別に応じて、複数種類の報知線ＤＬの中から表示部２０に表示される報知線ＤＬを決定するようになっている。障害物１２０は、施設１００にあるフォークリフト、作業者等の人、荷物、パレット等であって、フォークリフトや人は移動することがあり、また、人に接触すると非常に危険であること等から、荷物やパレットに比べて一層の注意が必要である。そのため、障害物１２０の種別に応じて、報知線ＤＬの種類を変更及び決定することで、オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される報知線ＤＬによって直感的に障害物１２０の種別を認識することができ、その結果、注意の度合をコントロールしながら、フォークリフト１の操作を直感的かつ安全に行うことができる。

[第１実施形態]
遠隔操作システムの第１実施形態について説明する。

図６及び図７のとおり、フォークリフト座標取得部１４２によって、常時、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が計測および取得される（ステップＳ１）。そして、表示部２０には、常時、カメラ１０によって撮影される画像が表示されている。オペレータは、表示部２０に表示された画像に基づいて、操作部２１でフォークリフト１を遠隔操作する。

図８のとおり、オペレータは、荷役対象となる対象物１１０が表示部２０に表示されると、対象物指定部２２であるマウスを使って、表示部２０に表示されるポインタ２２０で対象物１１０を指定する（ステップＳ２）。具体的には、オペレータは、ポインタ２２０を対象物１１０に重ねてマウスをクリックすると、対象物１１０が指定される。

画像処理部２３１は、床面や壁面等との境界を識別して、指定された対象物１１０の形状を認識する（ステップＳ３）。そして、対象物座標取得部２３２は、表示部２０に表示された対象物１１０のカメラ座標を取得して、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に基づいて、対象物１１０の絶対座標（Ｏｘ，Ｏｙ）が計測および取得される（ステップＳ４）。

図９のとおり、第１判定部２３４は、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）と対象物１１０の絶対座標（Ｏｘ，Ｏｙ）とを結び、フォークリフト１の幅Ｗに相当する幅を有する仮想ルートＶＲを形成する。さらに、第１判定部２３４は、仮想ルートＶＲを第１判定領域ＡＲ１とする（ステップＳ５）。また、第２判定部２３５は、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）と対象物１１０の絶対座標（Ｏｘ，Ｏｙ）とを結ぶ直線を直径とする仮想円を第２判定領域ＡＲ２とする（ステップＳ６）。

そして、障害物センサ１１が、障害物１２０の絶対座標（Ｓｘ，Ｓｙ）を計測および取得すると共に、画像処理部２３１が、床面や壁面等との境界を識別することで、対象物１１０以外で存在する障害物１２０の形状を認識する（ステップＳ７）。その後、第１判定部２３４及び第２判定部２３５は、フォークリフト１と対象物１１０との間における障害物１２０の有無を判定する（ステップＳ８，Ｓ１１）。障害物１２０の有無の判定は、以下のとおり行われる。

[案内ルート]
第１判定部２３４は、第１判定領域ＡＲ１の内側において、障害物１２０の全部又は一部が存在しないときに、障害物１２０が無いと判定する（ステップＳ８）。フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する走行ルートが形成されるので、幅Ｗを有する仮想ルートＶＲを第１判定領域ＡＲ１とすることによって、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができる。

そして、図８及び図９のとおり、第１判定部２３４によって障害物１２０が無いと判定されたとき、直線でフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲが形成及び表示される（ステップＳ９）。案内ルートＧＲは、フォークリフト１の幅Ｗに相当する幅を有しており、その結果、障害物１２０が無いと判定されたときは、案内ルートＧＲは、仮想ルートＶＲ及び第１判定領域ＡＲ１と一致することになる。フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する走行ルートが形成されるので、幅Ｗを有する案内ルートＧＲによって、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができるようになっている。

図８のとおり、案内ルート表示部２３６は、形成された案内ルートＧＲをカメラ座標に変換して、表示部２０に表示する。そして、フォークリフト１が移動することによって、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が変更されるが、随時変更されるフォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に追従して、案内ルートＧＲが表示部２０に表示されるようになっている。

一方、第１判定部２３４は、形成された第１判定領域ＡＲ１の内側において、障害物１２０の全部又は一部が存在するとき、障害物１２０が有ると判定する（ステップＳ８）。そして、第１判定部２３４によって障害物１２０が有ると判定されたとき、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲが形成及び表示される（ステップＳ１０）。図１０及び図１１のとおり、案内ルートＧＲは、フォークリフト１の幅Ｗに相当する幅を有しており、認識された障害物１２０と案内ルートＧＲとが重ならない曲線で形成される。例えば、フォークリフト１の両端点と、障害物１２０から所定距離だけ離れた点と、対象物１１０の両端点とをスプライン曲線で結ぶことで案内ルートＧＲを形成することができる。

図１０のとおり、案内ルート表示部２３６は、形成された案内ルートＧＲをカメラ座標に変換して、表示部２０に表示する。そして、フォークリフト１が移動することによって、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が変更されることになるが、随時変更されるフォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に追従して、案内ルートＧＲが表示部２０に表示される。

[報知線]
また、第２判定部２３５は、第２判定領域ＡＲ２の内側において、障害物１２０の全部又は一部が存在しないときに、障害物１２０が無いと判定する（ステップＳ１１）。フォークリフト１が実際に走行する際、フォークリフト１と対象物１１０との間の所定の範囲（第２判定領域ＡＲ２）内に障害物１２０が有る場合は、オペレータはフォークリフト１が障害物１２０に衝突しないよう注意する必要があるが、フォークリフト１と対象物１１０との間の所定の範囲（第２判定領域ＡＲ２）内に障害物１２０が無い場合は、フォークリフト１が障害物１２０に衝突する可能性が低いことから、障害物１２０を認識する必要性が低い。そのため、図８及び図９のとおり、第２判定部２３５によって、フォークリフト１と対象物１１０との間の所定の範囲（第２判定領域ＡＲ２）内に障害物１２０が無いと判定されたとき、報知線ＤＬを形成及び表示しないようになっている（ステップＳ１２）。

一方、第２判定部２３５は、形成された第２判定領域ＡＲ２の内側において、障害物１２０の全部又は一部が存在するとき、障害物１２０が有ると判定する（ステップＳ１１）。第２判定部２３５によって、フォークリフト１と対象物１１０との間の所定の範囲（第２判定領域ＡＲ２）内に障害物１２０が有ると判定されたとき、障害物識別部２３８が、障害物１２０の種別を識別する（ステップＳ１３）。そして、報知線決定部２３９が、障害物１２０の種別に応じて、複数種類の報知線ＤＬの中から表示部２０に表示される報知線ＤＬを決定する（ステップＳ１４）。そして、図１０及び図１１のとおり、フォークリフト１と障害物１２０とを直線で結ぶ報知線ＤＬが形成及び表示される（ステップＳ１５）。

図１０のとおり、報知線表示部２３７は、形成された報知線ＤＬをカメラ座標に変換して、表示部２０に表示する。そして、フォークリフト１が移動することによって、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が変更されることになるが、随時変更されるフォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に追従して、報知線ＤＬが表示部２０に表示される。

上記のとおり、第２判定部２３５は、フォークリフト１と対象物１１０とを結ぶ直線を直径とする仮想円を第２判定領域ＡＲ２とする。そのため、オペレータがフォークリフト１を操作する際に、障害物１２０に対する注意が必要な領域が第２判定領域ＡＲ２となるので、フォークリフト１の操作の際に必要な報知線ＤＬのみが形成及び表示されて、不必要な報知線ＤＬが形成及び表示されないようになっており、適切に報知線ＤＬを表示することができる。

また、図１０のとおり、障害物１２０が荷物の場合、荷物は移動することなく停止しており、オペレータは通常の注意を払えばよいこと等から、報知線ＤＬは、比較的幅の狭い直線によって形成及び表示されるようになっている。また、図１２のとおり、障害物１２０がフォークリフトの場合、フォークリフトは移動して、オペレータは通常よりも注意を払う必要があること等から、報知線ＤＬは、幅が広くて目立つ模様の直線によって形成及び表示されるようになっている。また、図１３のとおり、障害物１２０が作業者等の人の場合、人は移動して、衝突すると重大な事故を及ぼし、オペレータは細心の注意を払う必要があること等から、報知線ＤＬは、非常に目立つよう点滅する目立つ模様の直線によって形成及び表示されるようになっている。

[第２実施形態]
遠隔操作システムの第２実施形態について説明する。なお、上記第１実施形態と同様の構成については、重複説明を避けるために、詳細な説明を省略する。

図６のとおり、フォークリフト座標取得部１４２によって、常時、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が計測および取得される（ステップＳ１）。そして、オペレータが、対象物指定部２２で対象物１１０を指定する（ステップＳ２）。

画像処理部２３１は、指定された対象物１１０の形状を認識する（ステップＳ３）。そして、対象物座標取得部２３２は、対象物１１０の絶対座標（Ｏｘ，Ｏｙ）が計測および取得される（ステップＳ４）。

第１判定部２３４は、第１判定領域ＡＲ１を形成する（ステップＳ５）。第２判定部２３５は、第２判定領域ＡＲ２を形成する（ステップＳ６）。そして、障害物センサ１１が、障害物１２０の絶対座標（Ｓｘ，Ｓｙ）を計測および取得すると共に、画像処理部２３１が、障害物１２０の形状を認識する（ステップＳ７）。その後、第１判定部２３４及び第２判定部２３５は、フォークリフト１と対象物１１０との間における障害物１２０の有無を判定する（ステップＳ８，Ｓ１１）。

第１判定部２３４によって第１判定領域ＡＲ１の内側に障害物１２０が無いと判定されたとき、上記第１実施形態と同様に、フォークリフト１と対象物１１０とを直線で結ぶ案内ルートＧＲが形成及び表示される（ステップＳ９）。

一方、第１判定部２３４によって第１判定領域ＡＲ１の内側に障害物１２０が有ると判定されたとき、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ曲線の案内ルートＧＲが形成及び表示される（ステップＳ１０）。

このとき、第２実施形態では、図１４及び図１５のとおり、障害物１２０の右側へ避けるような第１の案内ルートＧＲ１と、障害物１２０の左側へ避けるような第２の案内ルートＧＲ２とからなる２つの案内ルートが形成及び表示される。その結果、オペレータは、路面及び周囲の状況等を確認しながら、障害物１２０の右側を走行するか左側に走行するかを直感的に決定することができる。

図１４のとおり、案内ルート表示部２３３は、形成された第１及び第２の案内ルートＧＲ１，ＧＲ２をカメラ座標に変換して、表示部２０に表示する。そして、フォークリフト１が移動することによって、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が変更されることになるが、随時変更されるフォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に追従して、第１及び第２の案内ルートＧＲ１，ＧＲ２が表示部２０に表示される。なお、第１及び第２の案内ルートＧＲ１，ＧＲ２は、それぞれが異なる色、形状又は点滅度で表示されており、その結果、オペレータは、各案内ルートＧＲ１，ＧＲ２をそれぞれ認識しやすくになっている。

また、上記第１実施形態と同様に、第２判定部２３５によって第２判定領域ＡＲ２の内側に障害物１２０が無いと判定されたとき、報知線ＤＬを形成及び表示しないようになっている（ステップＳ１２）。そして、第２判定部２３５によって第２判定領域ＡＲ２の内側に障害物１２０が有ると判定されたとき、障害物１２０の種別が識別されて（ステップＳ１３）、表示部２０に表示される報知線ＤＬが決定される（ステップＳ１４）。その後、フォークリフト１と障害物１２０とを結ぶ報知線ＤＬが形成及び表示される（ステップＳ１５）。

以上、本発明の好ましい実施形態を説明したが、本発明の構成はこれらの実施形態に限定されない。例えば、以下のように変更することもできる。
・上記実施形態では、障害物センサ１１は、光学系センサであるが、例えば、カメラ１０で撮影された画像に基づいて、画像処理部１４１で対象物１１０以外の障害物１２０を認識してもよいため、画像処理部１４１で構成されてもよい。
・上記実施形態では、案内ルートＧＲは、フォークリフト１の幅Ｗに相当する幅を有した帯形状であるが、矢印、点滅線、細線等であってもよい。
・上記実施形態では、案内ルートＧＲは、障害物１２０を避けるように、曲線で形成されているが、折れ曲げ線等で形成されてもよい。
・本実施形態では、第２判定領域ＡＲ２について、フォークリフト１と対象物１１０とを結ぶ直線を直径とする仮想円を第２判定領域ＡＲ２としているが、任意形状の領域を第２判定領域ＡＲ２としてもよく、例えば、フォークリフト１と対象物１１０とを結ぶ直線を対角線とする仮想正方形を第２判定領域ＡＲ２としてもよい。
・本実施形態では、対象物指定部２２は、マウスであるが、例えば、表示モニタ２０がタッチパネルであれば、表示モニタ２０に表示された対象物１１０をオペレータが指で押圧して指定してもよく、タッチセンサーで構成されてもよい。
・複数種類の報知線ＤＬは、障害物１２０の種別に応じて、様々な形態が考えられ、上記実施形態以外に、例えば、フォークリフト１と障害物１２０とを曲線で結んだり、障害物１２０に近づくに従って点滅の間隔が速くなったり、形状が変化したりするように構成されてもよい。

本発明の効果について説明する。

本発明は、フォークリフト１を遠隔から操作する遠隔操作システムにおいて、フォークリフト１に設けられたカメラ１０と、カメラ１０によって撮影される画像を表示する表示部２０と、フォークリフト１の座標を取得するフォークリフト座標取得部１４２と、指定された対象物１１０の座標を取得する対象物座標取得部２３２とを備える。さらに、本発明に係る遠隔操作システムは、フォークリフト１と対象物１１０との間に形成される第１判定領域ＡＲ１において障害物１２０の有無を判定する第１判定部２３４と、フォークリフト１と対象物１１０との間に形成される第２判定領域ＡＲ２において障害物１２０の有無を判定する第２判定部２３５とを備える。
本発明に係る遠隔操作システムは、さらに、案内ルート表示部２３６を備える。案内ルート表示部２３６は、第１判定部２３４によって障害物１２０が有ると判定されたとき、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲを表示部２０に表示し、第１判定部２３４によって障害物１２０が無いと判定されたとき、直線でフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲを表示部２０に表示するように構成されている。
本発明に係る遠隔操作システムは、さらに、報知線表示部２３７を備える。報知線表示部２３７は、第２判定部２３５によって障害物１２０が有ると判定されたとき、フォークリフト１と障害物１２０とを結ぶ報知線ＤＬを表示部２０に表示し、第２判定部２３５によって障害物１２０が無いと判定されたとき、報知線ＤＬを表示部２０に表示しないように構成されている。
本発明に係る遠隔操作システムは、さらに、障害物１２０の種別を識別する障害物識別部２３８と、障害物１２０の種別に応じて、複数種類の報知線ＤＬの中から表示部２０に表示される報知線ＤＬを決定する報知線決定部２３９と、を備える。

上記のとおり、フォークリフト１と対象物１１０との間に障害物１２０が存在するときでも、表示部２０に、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲが表示される。その結果、オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される案内ルートＧＲに沿って走行することができるので、フォークリフト１の操作を直感的かつ容易に行うことができる。

また、指定された対象物１１０以外の障害物１２０について、障害物１２０とフォークリフト１とを結ぶ報知線ＤＬが表示部２０に表示される。その結果、オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される報知線ＤＬによって直感的に障害物１２０の位置を認識することができるので、障害物１２０を避けながら、フォークリフト１の操作を直感的かつ安全に行うことができる。

また、障害物識別部２３８が、障害物１２０の種別を識別して、そして、報知線決定部２３９が、障害物１２０の種別に応じて、複数種類の報知線ＤＬの中から表示部２０に表示される報知線ＤＬを決定するようになっている。障害物１２０は、施設１００にあるフォークリフト、作業者等の人、荷物、パレット等であるが、フォークリフトや人は移動することがあり、また、人に接触すると非常に危険であること等から、荷物やパレットに比べて一層の注意が必要である。そのため、障害物１２０の種別に応じて、報知線ＤＬの種類を変更及び決定することで、オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される報知線ＤＬによって直感的に障害物１２０の種別を認識することができ、その結果、注意の度合をコントロールしながら、フォークリフト１の操作を直感的かつ安全に行うことができる。

障害物識別部２３８は、収集部２４０、学習モデル生成部２４１、取得部２４２、処理部２４２を備える。収集部２４０は、障害物１２０の特徴と種別との関係に基づく教師データ５を収集する。学習モデル生成部２４１は、収集部２４０に収集された教師データ５から機械学習を行い、機械学習により学習モデルを生成および記憶する。さらに、取得部２４２は、現時点の障害物１２０の特徴を所定時間ごとに取得する。そして、処理部２４２は、学習モデル生成部２４１で生成された学習モデルを、取得部２４３から取得される現時点の障害物１２０の特徴に適用することで、障害物１２０の種別を決定する。

上記のとおり、障害物識別部２３８は、大量の教師データに基づいて、機械学習により学習モデルを生成することによって、障害物１２０の種別を判断するので、迅速かつ正確に障害物１２０の種別を決定することができる。

教師データ５は、入力データＩＤと出力データＯＤとからなり、入力データＩＤは、障害物１２０の形状及び大きさを含み、出力データＯＤは、フォークリフト、人、荷物及びパレットを含む。実際に、障害物１２０の特徴である形状及び大きさによって、障害物１２０の種別であるフォークリフト、作業者等の人、荷物、パレットが認識されることから、迅速かつ正確に障害物１２０の種別を決定することができる。

複数種類の報知線ＤＬは、点滅する報知線ＤＬを含む。障害物１２０が作業者等の人である場合、衝突すると重大な事故になるので、オペレータは操作に細心の注意を払う必要があることから、報知線ＤＬを点滅することで、オペレータに対してより一層の注意を促すことができる。

好ましくは、第１判定部２３４は、フォークリフト１と対象物１１０とを直線で結びフォークリフト１の幅Ｗに相当する幅を有する仮想ルートＶＲを第１判定領域ＡＲ１とし、第１判定領域ＡＲ１の内側において、障害物１２０の全部又は一部が存在しないとき、障害物１２０が無いと判定して、障害物１２０の全部又は一部が存在するとき、障害物１２０が有ると判定し、案内ルート表示部２３６は、案内ルートＧＲの内側に障害物１２０の全部又は一部が存在しないように案内ルートＧＲを表示する。

フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する走行ルートが形成されるので、幅Ｗを有する仮想ルートＶＲによって、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができる。

好ましくは、第２判定部２３５は、フォークリフト１と対象物１１０とを結ぶ直線を直径とする仮想円を第２判定領域ＡＲ２とし、第２判定領域ＡＲ２の内側において、障害物１２０の全部又は一部が存在しないとき、障害物１２０が無いと判定して、障害物１２０の全部又は一部が存在するとき、障害物１２０が有ると判定する。

フォークリフト１と対象物１１０とを結ぶ直線を直径とする仮想円を第２判定領域ＡＲ２とすることで、オペレータがフォークリフト１を操作する際に、障害物１２０の注意が必要な領域を第２判定領域ＡＲ２として、その結果、フォークリフト１の操作の際に必要な報知線ＤＬのみが形成されて、不必要な報知線ＤＬが形成されないようになっており、適切に報知線ＤＬを表示することができる。

また、案内ルート表示部２３３は、フォークリフト１の幅Ｗに相当する幅を有する案内ルートＧＲを表示することが望ましい。
フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する案内ルートＧＲが形成及び表示される。案内ルートＧＲが幅Ｗを有することで、オペレータは、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができるため、走行しやすいようになっている。

さらにまた、案内ルート表示部２３３は、障害物１２０の右側へ避ける第１の案内ルートＧＲ１と、障害物１２０の左側へ避ける第２の案内ルートＧＲ２とを表示することが好ましい。
オペレータは、路面及び周囲の状況等に応じて、障害物１２０の右側を走行するか左側に走行するかを直感的に決定することができる。

１ フォークリフト
１０ カメラ
１１０ 対象物
１２０ 障害物
１４ 制御部
１４１ 画像処理部
１４２ フォークリフト座標取得部
１４４ 障害物座標取得部
２ 操作装置
２０ 表示部
２１ 操作部
２３ 制御部
２３１ 画像処理部
２３２ 対象物座標取得部
２３４ 第１判定部
２３５ 第２判定部
２３６ 案内ルート表示部
２３７ 報知線表示部
２３８ 障害物識別部
２３９ 報知線決定部
２４０ 収集部
２４１ 学習モデル生成部
２４２ 処理部
２４３ 取得部
５ 教師データ
ＩＤ 入力データ
ＯＤ 出力データ
ＡＲ１ 第１判定領域
ＡＲ２ 第２判定領域
ＧＲ 案内ルート
ＧＲ１ 第１の案内ルート
ＧＲ２ 第２の案内ルート
ＶＲ 仮想ルート
Ｗ フォークリフトの幅
ＤＬ 報知線

Claims (8)

1. フォークリフトを遠隔から操作する遠隔操作システムにおいて、
   前記フォークリフトに設けられたカメラと、
   前記カメラによって撮影される画像を表示する表示部と、
   前記フォークリフトの座標を取得するフォークリフト座標取得部と、
   指定された対象物の座標を取得する対象物座標取得部と、
   前記フォークリフトと前記対象物との間に形成される第１判定領域において障害物の有無を判定する第１判定部と、
   前記フォークリフトと前記対象物との間に形成される第２判定領域において障害物の有無を判定する第２判定部と、
   前記第１判定部によって前記障害物が有ると判定されたとき、前記障害物を避けるように前記フォークリフトと前記対象物とを結ぶ案内ルートを前記表示部に表示し、前記第１判定部によって前記障害物が無いと判定されたとき、直線で前記フォークリフトと前記対象物とを結ぶ案内ルートを前記表示部に表示するように構成された案内ルート表示部と、
   前記第２判定部によって前記障害物が有ると判定されたとき、前記フォークリフトと前記障害物とを結ぶ報知線を前記表示部に表示し、前記第２判定部によって前記障害物が無いと判定されたとき、前記報知線を前記表示部に表示しないように構成された報知線表示部と、
   前記障害物の種別を識別する障害物識別部と、
   前記障害物の種別に応じて、複数種類の前記報知線の中から前記表示部に表示される前記報知線を決定する報知線決定部と、を備える
   ことを特徴とする遠隔操作システム。
2. 前記障害物識別部は、
   前記障害物の特徴と種別との関係に基づく教師データを収集する収集部と、
   前記収集部に収集された前記教師データから機械学習を行い、前記機械学習により学習モデルを生成および記憶する学習モデル生成部と、
   現時点の前記障害物の特徴を所定時間ごとに取得する取得部と、
   前記学習モデル生成部で生成された前記学習モデルを、前記取得部から取得される前記現時点の前記障害物の特徴に適用することで、前記障害物の種別を決定する処理部と、を備える
   ことを特徴とする請求項１に記載の遠隔操作システム。
3. 前記教師データは、入力データと出力データとからなり、
   前記入力データは、前記障害物の形状及び大きさを含み、
   前記出力データは、フォークリフト、人、荷物及びパレットを含む
   ことを特徴とする請求項２に記載の遠隔操作システム。
4. 前記複数種類の報知線は、点滅する前記報知線を含む
   ことを特徴とする請求項１～３のいずれかに記載の遠隔操作システム。
5. 前記第１判定部は、前記フォークリフトと前記対象物とを直線で結び前記フォークリフトの幅に相当する幅を有する仮想ルートを前記第１判定領域とし、前記第１判定領域の内側において、
   前記障害物の全部又は一部が存在しないとき、前記障害物が無いと判定して、
   前記障害物の全部又は一部が存在するとき、前記障害物が有ると判定し、
   前記案内ルート表示部は、前記案内ルートの内側に前記障害物の全部又は一部が存在しないように前記案内ルートを表示する
   ことを特徴とする請求項１～４のいずれかに記載の遠隔操作システム。
6. 前記第２判定部は、前記フォークリフトと前記対象物とを結ぶ直線を直径とする仮想円を前記第２判定領域とし、前記第２判定領域の内側において、
   前記障害物の全部又は一部が存在しないとき、前記障害物が無いと判定して、
   前記障害物の全部又は一部が存在するとき、前記障害物が有ると判定する
   ことを特徴とする請求項１～５のいずれかに記載の遠隔操作システム。
7. 前記案内ルート表示部は、前記フォークリフトの幅に相当する幅を有する前記案内ルートを表示する
   ことを特徴とする請求項１～６のいずれかに記載の遠隔操作システム。
8. 前記案内ルート表示部は、前記障害物の右側へ避ける第１の前記案内ルートと、前記障害物の左側へ避ける第２の前記案内ルートと、を表示する
   ことを特徴とする請求項１～７のいずれかに記載の遠隔操作システム。

Images