JP6667692B1 - 荷役システムおよび制御方法 - Google Patents

Abstract

【課題】レーザー式有人無人フォークリフトが、レーザー誘導の実効性が確実な領域である確実領域で有人運転モードから無人運転モードに切り替えられるようにする。【解決手段】有人運転モードから無人運転モードに切り替えられた時の環境情報６０に基づく教師データ５を収集する収集部４０と、収集部４０に収集された教師データ５から機械学習を行い、機械学習により学習モデルを生成および記憶する学習モデル生成部４１と、現時点の環境情報６０を所定時間ごとに取得する取得部４５と、学習モデルを現時点の環境情報６０に適用することで、有人運転モードから無人運転モードに切り替えられる切り替え時か否かを予測する予測部４２と、予測部によって予測された切り替え時に、レーザー式有人無人フォークリフトが確実領域で有人運転モードから無人運転モードに切り替えられるように所定制御を実行する制御部４４と、を備える。【選択図】図２

Description

本発明は、レーザー式有人無人フォークリフトを備えた荷役システムおよび制御方法に関する。

有人無人フォークリフトは、オペレータの手動操作により動作する有人運転モードと、オペレータの手動操作によらず自動で動作する無人運転モードとを切り替え可能である（例えば、特許文献１参照）。オペレータは、必要に応じて、有人運転モードと無人運転モードとを切り替えて、有人無人フォークリフトを使用する。

また、レーザー式無人フォークリフトは、レーザースキャナを備える（例えば、特許文献２および３参照）。レーザースキャナは、レーザーを水平に３６０度回転しながら反射板に送受信する。レーザー式無人フォークリフトは、倉庫内の走行経路に沿って配置された複数の反射板をレーザースキャナで認識する。

反射板は、倉庫内に固定されており、その位置がマップ上に記憶されている。レーザー式無人フォークリフトは、複数の反射板をレーザースキャナで認識し、三角測量の原理に基づいて、現在位置を算出する。レーザー式無人フォークリフトは、算出された現在位置に基づいて、予め設定された経路を走行する。

また、特許文献４に開示されているように、荷物を保管する棚がある。複数の棚が、倉庫内に設置されており、複数の荷物を保管する。倉庫内に、レーザー式無人フォークリフト及び複数の棚が設置されて、レーザー式無人フォークリフトが、棚から荷物を出し入れする。

ところで、棚に荷物が保管されると、レーザー式無人フォークリフトから送受信されるレーザーが荷物で遮られることがある。また、棚が移動可能な移動棚の場合、移動棚は様々な位置に配置されるので、移動棚の位置によっては、レーザー式無人フォークリフトから送受信されるレーザーが移動棚で遮られることがある。

このように、所定の倉庫内の環境によっては、レーザー誘導の実効性が確実な領域である確実領域と、レーザー誘導の実効性が不確実な領域である不確実領域と、が存在することがある。そして、レーザー式無人フォークリフトから送受信されるレーザーが遮られると、レーザー式無人フォークリフトは自己位置を認識できずに走行停止することがある。

そのため、レーザー式有人無人フォークリフトの場合、レーザー誘導の実効性が不確実な領域である不確実領域で有人運転モードから無人運転モードに切り替えられると、レーザー誘導が行われずに停止するおそれがある。

特開２０１０−２２２１０８号公報 特開平８−１６１０３９号公報 特開平８−１６６８２１号公報 特開２００３−２０１０２号公報

そこで、本発明が解決しようとする課題は、レーザー式有人無人フォークリフトが、レーザー誘導の実効性が確実な領域である確実領域で有人運転モードから無人運転モードに切り替えられるようにするための荷役システムおよび制御方法である。

上記の課題を解決するために、本発明に係る荷役システムは、
施設と、施設内で走行および荷役作業を行うレーザー式有人無人フォークリフトと、を備えた荷役システムであって、
レーザー式有人無人フォークリフトは、有人運転モードと無人運転モードとの間で切り替え可能であって、有人運転モード時はオペレータの手動操作により動作し、無人運転モード時はレーザー誘導により自動で動作し、
施設は、施設内のレーザー誘導の実効性が確実な領域である確実領域と、施設内のレーザー誘導の実効性が不確実な領域である不確実領域と、を有し、
荷役システムは、
有人運転モードから無人運転モードに切り替えられた時の環境情報に基づく教師データを収集する収集部と、
収集部に収集された教師データから機械学習を行い、機械学習により学習モデルを生成および記憶する学習モデル生成部と、
現時点の環境情報を所定時間ごとに取得する取得部と、
学習モデル生成部で生成された学習モデルを、取得部から取得される現時点の環境情報に適用することで、有人運転モードから無人運転モードに切り替えられる切り替え時か否かを予測する予測部と、
予測部によって予測された切り替え時に、レーザー式有人無人フォークリフトが確実領域にいるか不確実領域にいるかを判定する判定部と、
予測部によって予測された切り替え時に、判定部によってレーザー式有人無人フォークリフトが不確実領域にいると判定された場合、レーザー式有人無人フォークリフトが確実領域で有人運転モードから無人運転モードに切り替えられるように所定制御を実行する制御部と、を備える。

好ましくは、
所定制御は、レーザー式有人無人フォークリフトに設けられた表示部に、オペレータに対して確実領域までの案内を表示する。

好ましくは、
所定制御は、レーザー式有人無人フォークリフトが確実領域までＳＬＡＭにより自動で走行する。

好ましくは、
環境情報は、レーザー式有人無人フォークリフトの周囲画像である。

好ましくは、
環境情報は、施設内の棚および荷物のレイアウト情報である。

好ましくは、
環境情報は、オペレータの画像である。

好ましくは、
有人運転モードから無人運転モードに切り替えられた時に、取得部で取得された環境情報が、教師データとして収集部に収集される。

また、本発明に係る荷役システムの制御方法は、
施設と、施設内で走行および荷役作業を行うレーザー式有人無人フォークリフトと、を備えた荷役システムの制御方法であって、
レーザー式有人無人フォークリフトは、有人運転モードと無人運転モードとの間で切り替え可能であって、有人運転モード時はオペレータの手動操作により動作し、無人運転モード時はレーザー誘導により自動で動作し、
施設は、施設内のレーザー誘導の実効性が確実な領域である確実領域と、施設内のレーザー誘導の実効性が不確実な領域である不確実領域と、を有し、
制御方法は、
有人運転モードから無人運転モードに切り替えられた時の環境情報に基づく教師データを収集する収集ステップと、
収集ステップで収集された教師データから機械学習を行い、機械学習により学習モデルを生成および記憶する学習モデル生成ステップと、
現時点の環境情報を所定時間ごとに取得する取得ステップと、
学習モデル生成ステップで生成された学習モデルを、取得ステップで取得される現時点の環境情報に適用することで、有人運転モードから無人運転モードに切り替えられる切り替え時か否かを予測する予測ステップと、
予測ステップによって予測された切り替え時に、レーザー式有人無人フォークリフトが確実領域にいるか不確実領域にいるかを判定する判定ステップと、
予測ステップによって予測された切り替え時に、判定ステップによってレーザー式有人無人フォークリフトが不確実領域にいると判定された場合、レーザー式有人無人フォークリフトが確実領域で有人運転モードから無人運転モードに切り替えられるように所定制御を実行する制御ステップと、を備える。

本発明に係る荷役システムおよび制御方法は、上記構成を備えることによって、レーザー式有人無人フォークリフトが、レーザー誘導の実効性が確実な領域である確実領域で有人運転モードから無人運転モードに切り替えられるようにする。

荷役システムを示す平面図。 荷役システムを示すブロック図。 環境情報を説明する図。 フォークリフトの表示部を示す図。 荷役システムの制御方法を示すフローチャート図。

以下、図面に基づいて、本発明に係る荷役システムおよび制御方法の一実施形態を説明する。

図１の通り、荷役システムは、施設３と、施設３内で走行および荷役作業を行うレーザー式有人無人フォークリフト（以下「フォークリフト」という）２を備える。本実施形態では、施設３は、倉庫であるが、工場などでもよい。施設３内には、複数の棚１が設置される。フォークリフト２は、施設３内で走行および荷役作業を行う。

フォークリフト２は、有人運転モードと無人運転モードとの間で切り替え可能である。有人運転モード時は、フォークリフト２は、フォークリフト２に搭乗したオペレータの手動操作により動作する。無人運転モード時は、フォークリフト２は、レーザー誘導により自動で動作する。

フォークリフト２は、レーザースキャナ２０を備える。施設３内には、複数の反射板２１が設置される。レーザースキャナ２０は、レーザーＬを水平に３６０度回転しながら反射板２１に送受信する。

フォークリフト２は、施設３内の走行経路に沿って配置された複数の反射板２１をレーザースキャナ２０で認識する。反射板２１は、施設３内の壁に固定されており、その位置情報がマップ上に記憶されている。フォークリフト２は、複数の反射板２１をレーザースキャナ２０で認識し、三角測量の原理に基づいて、現在位置を算出する。フォークリフト２は、算出された現在位置に基づいて、予め設定された経路を走行する。

レーザースキャナ２０は、反射板２１から反射されたレーザーＬを検知して、レーザースキャナ２０と反射板２１との角度（方位）または距離を算出する。レーザースキャナ２０によって反射板２１が認識されると、レーザースキャナ２０と反射板２１との角度または距離に基づいて、反射板２１によって特定される三角形を算出する。

フォークリフト２が認識した角度または距離情報と、予め記憶された反射板２１の位置情報とを照合して、フォークリフト２の現在位置が算出される。

図１の通り、施設３は、施設３内のレーザー誘導の実効性が確実な領域である確実領域３０（図１で一点鎖線で囲まれた領域）と、施設３内のレーザー誘導の実効性が不確実な領域である不確実領域３１（図１で一点鎖線で囲まれた領域）と、を有する。確実領域３０は、周囲に棚１や荷物などが配置されることがないので、レーザー誘導の障害となる障害物が配置される可能性が低い領域である。不確実領域３１は、周囲に棚１や荷物などが配置されることがあるので、レーザー誘導の障害となる障害物が配置される可能性が低いとはいえない領域である。確実領域３０および不確実領域３１は、実際に測定および／または実験して予め規定されてもよいし、シミュレーションなどで測定および／または実験して予め規定されてもよい。

図２の通り、荷役システムは、有人運転モードから無人運転モードに切り替えられた時の環境情報６０に基づく教師データ５を収集する収集部４０を備える。図３の通り、環境情報６０は、フォークリフト２に設けられた撮像手段によって取得された周囲画像（図３Ａ）、施設３内の棚１および荷物のレイアウト情報（図３Ｂ）、フォークリフト２に設けられた撮像手段によって取得されたオペレータＯの顔画像および／または衣服画像（図３Ｃ）などである。レイアウト情報とは、例えば、棚１に設置された加重センサまたは感知センサによって検知された、棚１に収納された荷物の数、又は施設３に設置された撮像手段にて撮影された画像によって検出された棚１の配置である。

荷役システムは、収集部４０に収集された教師データ５から機械学習を行い、機械学習により学習モデルを生成および記憶する学習モデル生成部４１を備える。本実施の形態の学習モデル生成部４１は、教師あり学習を実施する。教師あり学習では、教師データ５、すなわち、入力と出力のデータの組を大量に学習モデル生成部４１に入力する。入力は、環境情報６０であり、出力は、切替可能性スコアである。本実施形態では、有人運転モードから無人運転モードに切り替えられる時か否かの可能性を示す切替可能性スコアとして、環境情報６０を評価し、０から１０までの数値パラメータが設定される。

例えば、切替可能性スコアの数値パラメータが高い、すなわち、有人運転モードから無人運転モードに切り替えられる可能性が高いと判断される場合として、フォークリフト２に設けられた撮像手段によって取得された周囲画像に荷物が写っていない場合や、施設３内の棚１および荷物のレイアウト情報として棚１に収納された荷物が少ない（所定数以下である）場合や、フォークリフト２に設けられた撮像手段によって取得されたオペレータＯの顔画像が下を向いている場合や、オペレータＯの衣服画像が所定色（例えば、フォークリフト作業着でない青色）である場合などである。
一方、切替可能性スコアの数値パラメータが低い、すなわち、有人運転モードから無人運転モードに切り替えられる可能性が低いと判断される場合として、フォークリフト２に設けられた撮像手段によって取得された周囲画像に荷物が写っている場合や、施設３内の棚１および荷物のレイアウト情報として棚１に収納された荷物が多い（所定数以上である）場合や、フォークリフト２に設けられた撮像手段によって取得されたオペレータＯの顔画像が上を向いている場合や、オペレータＯの衣服画像が別の所定色（例えば、フォークリフト作業着である赤色）である場合などである。
切替可能性スコアは、周囲画像、レイアウト情報、顔画像および／または衣服画像のいずれかの数値パラメータで設定されてもよいし、重み付け係数により加重平均された数値パラメータで設定されてもよい。

また、他の実施形態では、入力は、有人運転モードから無人運転モードに切り替えられた時のみの環境情報６０であり、出力は、切替可能性スコア１０であってもよい。また、他の実施形態では、有人運転モードから無人運転モードに切り替えられた時の環境情報６０と、切り替えられていない時の環境情報６０であり、出力は、切替可能性スコア１０と０であってもよい。

学習モデル生成部４１は、一般的なニューラルネットワーク等の機械学習アルゴリズムを用いる。学習モデル生成部４１は、相関関係を有する環境情報６０と切替可能性スコアを教師データとして機械学習を行うことにより、入力から出力を推定するモデル（学習モデル）、すなわち、環境情報６０を入力すると、切替可能性スコアを出力するモデルを生成する。

荷役システムは、現時点の環境情報６０を所定時間ごとに取得する取得部４５を備える。図３の通り、上記と同様に、環境情報６０は、フォークリフト２に設けられた撮像手段によって取得された周囲画像（図３Ａ）、施設３内の棚１および荷物のレイアウト情報（図３Ｂ）、フォークリフト２に設けられた撮像手段によって取得されたオペレータＯの顔画像および／または衣服画像（図３Ｃ）などである。これら環境情報６０が、所定時間（例えば１分）ごとに取得される。

荷役システムは、学習モデル生成部４１で生成された学習モデルを、取得部４５から取得される現時点の環境情報６０に適用することで、有人運転モードから無人運転モードに切り替えられる切り替え時か否かを予測する予測部４２を備える。予測部４２に現時点の環境情報６０を入力したときに、周囲画像（図３Ａ）、レイアウト情報（図３Ｂ）、顔画像および／または衣服画像（図３Ｃ）を解析して切替可能性スコアが取得される。取得された切替可能性スコアが予め設定された所定の数値パラメータ以上という条件を満たせば、切り替え時の可能性が高いとして、切り替え時であると予測される。

ここで、オペレータＯによって有人運転モードから無人運転モードに切り替えられた時に、取得部４５で取得された環境情報６０が、教師データ５として収集部４０に自動的に収集されるよう構成されてもよい。これにより、学習モデル生成部４１は、学習モデルを自動的に更新する。

荷役システムは、予測部４２によって予測された切り替え時に、フォークリフト２が確実領域３０にいるか不確実領域３１にいるかを判定する判定部４３を備える。判定部４３は、フォークリフト２のレーザースキャナ２０によって認識された自己位置と、予め設定された確実領域３０および不確実領域３１の位置と、を比較して判定する。

荷役システムは、予測部４２によって予測された切り替え時に、判定部４３によってフォークリフト２が不確実領域３１にいると判定された場合、フォークリフト２が確実領域３０で有人運転モードから無人運転モードに切り替えられるように所定制御を実行する制御部４４を備える。有人運転モードから無人運転モードに切り替えられる時に、フォークリフト２が不確実領域３１にいる場合、制御部４４が所定制御を実行することで、フォークリフト２が確実領域３０で有人運転モードから無人運転モードに切り替えられるように、オペレータＯに促すことができる。

図４の通り、所定制御は、フォークリフト２に設けられた表示部７０に、オペレータに対して確実領域３０までの案内を表示する。表示部７０は、左側に、施設３のモデル図Ｍと、モデル図Ｍ内でのフォークリフト２の位置Ｍａとが表示されており、右側に、確実領域３０まで案内する矢印７１が表示される。

また、所定制御は、フォークリフト２が確実領域３０までＳＬＡＭ（Simultaneous Localization and Mapping）により自動で走行してもよい。ＳＬＡＭは、公知の技術であって、移動体を対象領域内で自律移動させつつ、対象領域内における移動体の移動可能領域を示す地図を生成する技術である。フォークリフト２が不確実領域３１にいると、レーザー誘導で正確な自己位置を認識できないことがあるので、ＳＬＡＭを使ってフォークリフト２を確実領域３０まで走行する。

図５の通り、上記の荷役システムは、以下の制御方法を実行する。
収集部４０によって、有人運転モードから無人運転モードに切り替えられた時の環境情報６０に基づく教師データ５を収集する（収集ステップ：Ｓ１）。そして、学習モデル生成部４１によって、収集ステップＳ１で収集部４０に収集された教師データ５から機械学習を行い、機械学習により学習モデルを生成および記憶する（学習モデル生成ステップ：Ｓ２）。取得部４５によって、現時点の環境情報６０を所定時間ごとに取得する（取得ステップ：Ｓ３）。

予測部４２によって、学習モデル生成ステップＳ２で生成された学習モデルを、取得ステップＳ３で取得される現時点の環境情報６０に適用することで、有人運転モードから無人運転モードに切り替えられる切り替え時を予測する（予測ステップ：Ｓ４）。判定部４３によって、予測ステップＳ４によって予測された切り替え時に、フォークリフト２が確実領域３０にいるか不確実領域３１にいるかを判定する（判定ステップ：Ｓ５）。

制御部４４によって、予測ステップＳ４によって予測された切り替え時に、判定ステップＳ５によってフォークリフト２が不確実領域３１にいると判定された場合、フォークリフト２が確実領域３０で有人運転モードから無人運転モードに切り替えられるように所定制御を実行する（制御ステップ：Ｓ６）。

以上、本発明の好ましい実施形態を説明したが、本発明の構成はこれらの実施形態に限定されない。

本発明に係る荷役システムでは、レーザー式有人無人フォークリフト２を操作するオペレータが有人運転モードから無人運転モードに切り替える時に、フォークリフト２が不確実領域３１にいる場合であっても、確実領域３０で切り替えられるように所定制御が実行されるので、フォークリフト２が停止するおそれがない。

２ レーザー式有人無人フォークリフト
３ 施設
３０ 確実領域
３１ 不確実領域
４０ 収集部
４１ 学習モデル生成部
４２ 予測部
４３ 判定部
４４ 制御部
４５ 取得部
５ 教師データ
６０ 環境情報

Claims (8)

1. 施設と、施設内で走行および荷役作業を行うレーザー式有人無人フォークリフトと、を備えた荷役システムであって、
   前記レーザー式有人無人フォークリフトは、有人運転モードと無人運転モードとの間で切り替え可能であって、前記有人運転モード時はオペレータの手動操作により動作し、前記無人運転モード時はレーザー誘導により自動で動作し、
   前記施設は、前記施設内の前記レーザー誘導の実効性が確実な領域である確実領域と、前記施設内の前記レーザー誘導の実効性が不確実な領域である不確実領域と、を有し、
   前記荷役システムは、
   前記有人運転モードから前記無人運転モードに切り替えられた時の環境情報に基づく教師データを収集する収集部と、
   前記収集部に収集された前記教師データから機械学習を行い、前記機械学習により学習モデルを生成および記憶する学習モデル生成部と、
   現時点の前記環境情報を所定時間ごとに取得する取得部と、
   前記学習モデル生成部で生成された前記学習モデルを、前記取得部から取得される前記現時点の環境情報に適用することで、前記有人運転モードから前記無人運転モードに切り替えられる切り替え時か否かを予測する予測部と、
   前記予測部によって予測された前記切り替え時に、前記レーザー式有人無人フォークリフトが前記確実領域にいるか前記不確実領域にいるかを判定する判定部と、
   前記予測部によって予測された前記切り替え時に、前記判定部によって前記レーザー式有人無人フォークリフトが前記不確実領域にいると判定された場合、前記レーザー式有人無人フォークリフトが前記確実領域で前記有人運転モードから前記無人運転モードに切り替えられるように所定制御を実行する制御部と、を備える
   ことを特徴とする荷役システム。
2. 前記所定制御は、前記レーザー式有人無人フォークリフトに設けられた表示部に、前記オペレータに対して前記確実領域までの案内を表示する
   ことを特徴とする請求項１に記載の荷役システム。
3. 前記所定制御は、前記レーザー式有人無人フォークリフトが前記確実領域までＳＬＡＭにより自動で走行する
   ことを特徴とする請求項１に記載の荷役システム。
4. 前記環境情報は、前記レーザー式有人無人フォークリフトの周囲画像である
   ことを特徴とする請求項１〜３のいずれかに記載の荷役システム。
5. 前記環境情報は、前記施設内の棚および荷物のレイアウト情報である
   ことを特徴とする請求項１〜４のいずれかに記載の荷役システム。
6. 前記環境情報は、オペレータの画像である
   ことを特徴とする請求項１〜５のいずれかに記載の荷役システム。
7. 前記有人運転モードから前記無人運転モードに切り替えられた時に、前記取得部で取得された前記環境情報が、前記教師データとして前記収集部に収集される
   ことを特徴とする請求項１〜６のいずれかに記載の荷役システム。
8. 施設と、施設内で走行および荷役作業を行うレーザー式有人無人フォークリフトと、を備えた荷役システムの制御方法であって、
   前記レーザー式有人無人フォークリフトは、有人運転モードと無人運転モードとの間で切り替え可能であって、前記有人運転モード時はオペレータの手動操作により動作し、前記無人運転モード時はレーザー誘導により自動で動作し、
   前記施設は、前記施設内の前記レーザー誘導の実効性が確実な領域である確実領域と、前記施設内の前記レーザー誘導の実効性が不確実な領域である不確実領域と、を有し、
   前記制御方法は、
   前記有人運転モードから前記無人運転モードに切り替えられた時の環境情報に基づく教師データを収集する収集ステップと、
   前記収集ステップで収集された前記教師データから機械学習を行い、前記機械学習により学習モデルを生成および記憶する学習モデル生成ステップと、
   現時点の前記環境情報を所定時間ごとに取得する取得ステップと、
   前記学習モデル生成ステップで生成された前記学習モデルを、前記取得ステップで取得される前記現時点の環境情報に適用することで、前記有人運転モードから前記無人運転モードに切り替えられる切り替え時か否かを予測する予測ステップと、
   前記予測ステップによって予測された前記切り替え時に、前記レーザー式有人無人フォークリフトが前記確実領域にいるか前記不確実領域にいるかを判定する判定ステップと、
   前記予測ステップによって予測された前記切り替え時に、前記判定ステップによって前記レーザー式有人無人フォークリフトが前記不確実領域にいると判定された場合、前記レーザー式有人無人フォークリフトが前記確実領域で前記有人運転モードから前記無人運転モードに切り替えられるように所定制御を実行する制御ステップと、を備える
   ことを特徴とする荷役システムの制御方法。

Images