JP7468238B2

JP7468238B2 - 待機位置決定装置、および搬送システム

Info

Publication number: JP7468238B2
Application number: JP2020133334A
Authority: JP
Inventors: 歩後藤
Original assignee: Murata Machinery Ltd
Current assignee: Murata Machinery Ltd
Priority date: 2020-08-05
Filing date: 2020-08-05
Publication date: 2024-04-16
Anticipated expiration: 2040-08-05
Also published as: JP2022029815A

Description

本発明は、搬送要求に基づき自律的に荷物を搬送する複数台の搬送車を備える搬送システム、および搬送車の待機位置を決定する待機位置決定装置に関する。

従来、所定のステーションから荷物を受け取り、他のステーションまで荷物を搬送して当該ステーションに荷物を受け渡すことができる複数の無人搬送車を備えた搬送システムが存在している。

このような搬送システムにおいては、例えば、無人搬送車の一日の稼働時間が均等になるように搬送要求と、充電タイミングと、を無人搬送車に割り付けることにより荷物の処理量の増減に対応する技術が提案されている（特許文献１参照）。

特開平５－５６５０８号公報

ところが、複数の無人搬送車の稼働時間を均一にすると、荷物を受け取るステーションから遠い位置で待機している無人搬送車に搬送要求が割り付けられる場合があるなど、搬送効率の低下を招く可能性がある。

本発明は、上記課題に鑑みなされたものであり、搬送効率の低下を抑制しつつ複数の無人搬送車の稼働時間の均一化を図ることができる待機位置決定装置、および搬送システムの提供を目的としている。

上記目的を達成するために、本発明の１つである待機位置決定装置は、複数箇所に配置されるステーションと、前記ステーションの一つから他の前記ステーションまで荷物を搬送する指示が含まれる搬送要求に基づき自律的に荷物を搬送する複数台の搬送車とを備える搬送システムに対し、前記搬送車の待機位置を決定する待機位置決定装置であって、搬送要求によってそれぞれの前記ステーションが搬送元となる確率を前記ステーションのそれぞれについて取得する確率取得部と、各前記搬送車が搬送に要した時間の前記搬送車のそれぞれ積算である積算時間を取得する積算時間取得部と、前記搬送車のそれぞれの位置を示す搬送車位置を取得する位置情報取得部と、所定の搬送要求に基づいて各搬送車が現在位置から荷物の搬送元ステーションへの移動に要する時間を少なくとも含む予想時間を取得する予想時間取得部と、前記搬送車のそれぞれの前記積算時間の相互の差分が小さくなり、かつ前記積算時間の和が少なくなるように各待機位置について非線形の演算により状態行動価値を算出する価値算出部と、各前記搬送車の積算時間、および各待機位置の状態行動価値に基づき前記搬送車の待機位置を決定する待機位置決定部と、を備える。

また、上記目的を達成するために、本発明の他の１つである搬送システムは、複数箇所に配置されるステーションと、前記ステーションの一つから他の前記ステーションまで荷物を搬送する指示が含まれる搬送要求に基づき自律的に荷物を搬送する複数台の搬送車と、搬送要求によってそれぞれの前記ステーションが搬送元となる確率を前記ステーションのそれぞれについて取得する確率取得部と、各前記搬送車が搬送に要した時間の前記搬送車のそれぞれ積算である積算時間を取得する積算時間取得部と、前記搬送車のそれぞれの位置を示す搬送車位置を取得する位置情報取得部と、所定の搬送要求に基づいて各搬送車が現在位置から荷物の搬送元ステーションへの移動に要する時間を少なくとも含む予想時間を取得する予想時間取得部と、前記搬送車のそれぞれの前記積算時間の相互の差分が小さくなり、かつ前記積算時間の和が少なくなるように各待機位置について非線形の演算により状態行動価値を算出する価値算出部と、各前記搬送車の積算時間、および各待機位置の状態行動価値に基づき前記搬送車の待機位置を決定する待機位置決定部と、を備える。

本発明によれば、稼働効率の均一化と高い搬送効率の確保とを両立できるように搬送車の待機位置を最適化できる。

図１は、搬送システムの全体構成を示す平面図である。図２は、待機位置決定装置の各構成を示すブロック図である。図３は、搬送システムの全体構成を示す平面図である。

以下に、本発明に係る待機位置決定装置、および搬送システムの実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の位置関係、および接続状態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下では複数の発明を一つの実施の形態として説明する場合があるが、請求項に記載されていない構成要素については、その請求項に係る発明に関しては任意の構成要素であるとして説明している。また、図面は、本発明を説明するために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。

図１は、搬送システムの全体構成を示す平面図である。搬送システム１００は、第一ステーション１１１－第四ステーション１１４（これらをステーションと総称する場合がある。）と、第一搬送車１２１－第三搬送車１２３（これらを搬送車と総称する場合がある。）と、待機位置決定装置１３０とを備えている。なお、図１中に示すＸ軸、Ｙ軸は、ステーションや待機位置の座標を示すための仮想的な軸である。本実施の形態では、搬送エリアを９×１０の９０マスに分割している。一マスは、搬送車が１台配置できる大きさとしている。

ステーションは、荷物２００を搬送車に受け渡し、また荷物２００を搬送車から受け取る設備である。ステーションの種類は、特に限定されるものではないが、例えばコンベアなどを例示することができる。また、受け渡し専用、または受け取り専用のステーションが存在してもよく、受け渡し、および受け取りが可能なステーションが存在してもよい。ステーションは、搬送車との間で荷物２００を受け渡すことができる移載装置を備えてもよい。

本実施の形態の場合、第一ステーション１１１－第四ステーション１１４は、受け渡し、および受け取りの両方が可能なステーションとして説明する。第一ステーション１１１－第四ステーション１１４は、搬送車が走行できる矩形領域の周縁に分散して配置されている。

搬送車は、ステーションの一つから他のステーションまで荷物２００を搬送する指示が含まれる搬送要求に基づき自律的に荷物２００を搬送する自走式の台車である。搬送車の種類は特に限定されるものではなく、床面を自在に走行できる搬送車、磁気マーカ、白線などの目印を辿って走行する搬送車、格子状の軌道を走行し交差点で任意の軌道を選択する有軌道の搬送車などを例示できる。

本実施の形態の場合、第一搬送車１２１－第三搬送車１２３は、自己位置を認識しながら自律的に床面を無人状態で走行する無人走行車であり、荷物２００を載置状態で保持して搬送する。第一搬送車１２１－第三搬送車１２３は、ステーションとの間で荷物２００を移載することができる移載装置を備えている。

図２は、待機位置決定装置の各構成を示すブロック図である。待機位置決定装置１３０は、搬送システム１００において、搬送車の待機位置を決定する。本実施の形態の場合、待機位置決定装置１３０は、コンピュータに待機位置決定プログラムを実行させることにより実現されるコントローラであり、処理部として確率取得部１３１と、積算時間取得部１３２と、位置情報取得部１３３と、予想時間取得部１３４と、価値算出部１３５と、待機位置決定部１３６と、通信部１３７と、記憶部１３８と、を備えている。

確率取得部１３１は、搬送要求によってそれぞれのステーションが搬送元となる確率を第一ステーション１１１－第四ステーション１１４のそれぞれについて取得する。取得された確率は、各ステーションに紐付けられた状態で記憶部１３８に記憶される。確率取得部１３１の確率の取得方法は、特に限定されるものではなく、上位コンピュータ等などから取得しても構わない。また、確率取得部１３１は、搬送要求を上位コンピュータ等から取得する度に第一ステーション１１１－第四ステーション１１４のいずれが搬送元かを自らカウントして集計することにより確率を取得しても構わない。また、確率取得部１３１は、時間帯、季節などに基づき取得した確率を調整しても構わない。また、確率取得部１３１は、作業者などからの入力に基づき確率を取得しても構わない。確率取得部１３１が取得する確率をＰｊ（ｔ）と表す。ｊは、ステーションを識別する自然数（ｊ＝１，…，Ｍ）である。本実施の形態の場合、Ｍ＝４である。ｔは、搬送要求が出される度にカウントアップ（またはダウンでもよい）される自然数である。

積算時間取得部１３２は、各搬送車が搬送に要した時間の搬送車のそれぞれ積算である積算時間を取得する。取得された積算時間は各搬送車に紐付けられて記憶部１３８に記憶される。搬送に要した時間とは、それぞれの搬送車の現在位置から荷物２００の搬送元ステーションへの移動時間、搬送車がステーションから荷物２００を受け取ってから荷物２００の受け渡し先であるステーションに到着するまでの移動時間の少なくとも一方を含む。さらに、搬送に要した時間には、ステーションから搬送車への荷物２００の移載（荷つかみ）にかかる移載時間、搬送車からステーションへの荷物２００の移載（荷おろし）にかかる移載時間、および待機位置への移動時間の少なくとも１つを含めても構わない。積算時間をｓｕｍ＿ｃｏｓｔＶｋ（ｔ）と表す。ｋは搬送車を識別する自然数（ｋ＝１，…，Ｎ）である。本実施の形態の場合、Ｎ＝３である。

積算時間は、所定の期間内における積算でもよく、搬送システム１００の稼働開始から現在に至るまでの積算時間でも構わない。

位置情報取得部１３３は、搬送車のそれぞれの位置を示す搬送車位置を取得する。位置情報取得部１３３の搬送車位置の取得方法は特に限定されるものではなく、搬送車を統括して管理する管理コントローラから各搬送車の搬送車位置を取得しても構わない。本実施の形態の場合、搬送車は、自己位置を認識しながら自律的に走行する装置であるため、位置情報取得部１３３は、通信部１３７を介して各搬送車から搬送車を示す識別子と共に自己位置を受信しそれぞれの搬送車の搬送車位置を取得する。

予想時間取得部１３４は、所定の搬送要求に基づいて各搬送車が荷物２００の搬送に要する時間を示す予想時間を取得する。予想時間取得部１３４の予想時間の取得方法は、特に限定されるものではなく、上位コンピュータ等などから取得しても構わない。また、予想時間取得部１３４が、出された搬送要求に含まれる搬送元のステーションの位置、搬送先のステーションの位置、位置情報取得部１３３が取得した搬送車位置等に基づき自ら算出して予想時間を取得しても構わない。予想時間取得部１３４が取得する予想時間をｔｅｍｐ＿ｃｏｓｔＶｉｊと表す。ｉは、待機位置の候補点を識別する自然数（ｉ＝１，…，Ｌ）である。ｊは、搬送要求に含まれる搬送元ステーションを識別する自然数（ｊ＝１，…，Ｍ）である。本実施の形態の場合、Ｍ＝４である。本実施の形態の場合、Ｎ＝３である。

なお、予想時間は、それぞれの搬送車の現在位置から荷物２００の搬送元ステーションへの移動時間を少なくとも含む。さらに、予想時間には、搬送車が搬送元ステーションから搬送先ステーションまでの移動時間、搬送元ステーションから搬送車への荷物２００の移載（荷つかみ）にかかる移載時間、搬送車から搬送先ステーションへの荷物２００の移載（荷おろし）にかかる移載時間、および待機位置への移動時間の少なくとも１つを含めても構わない。予想時間の内容は積算時間の内容と一致させても構わない。

価値算出部１３５は、搬送車のそれぞれの積算時間の相互の差分が小さくなり、かつ積算時間の和が少なくなるように各待機位置について非線形の演算により状態行動価値を算出する。例えば待機位置は、搬送車の走行、および停止が認められているエリア内であれば任意に設定される。待機位置は、図１に示すような直交するＸ軸、Ｙ軸をエリア内に仮想的に設定し、Ｘ座標、Ｙ座標により特定すればよい。なお、待機位置の数が多いと状態行動価値の算出に時間がかかるため、２つの搬送車を隣り合わせで配置できる間隔程度のメッシュにより待機位置を設定してもよい。

本実施の形態の場合、価値算出部１３５は、強化学習により状態行動価値であるＱ値を算出する。強化学習の種類は特に限定されるものではないが、本実施の形態の場合、強化学習としてＱ学習を採用している。Ｑ学習に用いるＱ更新式は、Ｑｉ（ｔ＋１）＝（１－α）＊Ｑｉ（ｔ）＋α＊（Ｒ＋γ＊Ｅｉ[Ｑ]）・・・式（１）である。ｉ＝１，…，Ｌである。アスタリスクは乗算を示す。Ｑｉ（ｔ＋１）は次ステップのＱ値、Ｑｉ（ｔ）は現ステップのＱ値である。αは学習率、γは割引率であり、任意に設定される。

報酬Ｒは、任意の数式で与えることができるが、本実施の形態の場合、報酬は、Ｒ＝－Σ（ｓｕｍ＿ｃｏｓｔＶｋ（ｔ））＾２／（Σｓｕｍ＿ｃｏｓｔＶｋ（ｔ））＾２・・・式（２）で与えられる。Σは、全ての搬送車についての総和を示す。＾はべき乗である。

期待値Ｅｉ[Ｑ]は、任意の数式で与えることができるが、本実施の形態の場合、期待値は、Ｅｉ[Ｑ]＝－Σ（Ｅｉ[ｓｕｍ＿ｃｏｓｔＶｋ（ｔ）]）＾２／（ΣＥｉ[ｓｕｍ＿ｃｏｓｔＶｋ（ｔ）]）＾２・・・式（３）で与えられる。Σは、全ての搬送車についての総和を示す。

Ｅｉ[ｓｕｍ＿ｃｏｓｔＶｋ（ｔ）]＝ｓｕｍ＿ｃｏｓｔＶｋ（ｔ）＋ΣＰｊ（ｔ）＊（ｔｅｍｐ＿ｃｏｓｔＶｉｊ）・・・式（４）。ｉ＝１，…，Ｌである。ｋ＝１，…，Ｎである。なお、式（４）におけるΣは、全てのステーションについての総和を示す。

本実施の形態の場合、搬送要求が出されるたびに、以上の式（１）－（４）についての計算を行って各待機位置のＱ値を算出する。

待機位置決定部１３６は、各搬送車の積算時間、および各待機位置の状態行動価値に基づき前記搬送車の待機位置を決定する。本実施の形態の場合、待機位置決定部１３６は、搬送要求が割り付けられていない搬送車のうち積算時間が最も短い搬送車の待機位置をＱ値が最も高い待機位置に決定する。

なお、待機位置決定部１３６は、待機位置を決定した搬送車に対し通信部１３７を介して待機位置を通知しても構わない。また、上位のコントローラに通知しても構わない。

搬送システム１００は、積算時間が最も短い搬送車を待機位置決定部１３６が決定した待機位置に待機させることで、各搬送車の積算時間の均一化を図ることができる。また、全搬送車の積算時間の総和が少なくなる。つまり、複数の搬送要求を実行することにより全体的な搬送効率の向上を図ることができる。

次に前記実施の形態において、上記式（１）～（４）を利用して、搬送車の待機位置を決定する方法を説明する。

図１に示すように、本実施の形態では、搬送システム１００は、第一搬送車－第三搬送車を備え、第一ステーション－第四ステーションを備えている。なお、以下の決定手順は、図３に示すように符合の代わりに各搬送車の中央、および各ステーションの中央に附した数字によりそれぞれを区別している。また、搬送エリアは、各ステーションの荷物２００の移載位置を含む矩形であり、９×１０の９０マスに分割する。一マスは、搬送車が１台配置できる大きさとしている。

第一搬送車へ搬送要求が割り付けられたタイミングであるとする。このタイミングにおいて、待機位置決定装置１３０は、総搬送時間が最も短い第二搬送車の待機ポイントを、上記式（１）～（４）を利用して決定する。以下に決定手順を示す。

（手順１）
第二搬送車の現在位置（２，３）において、各ステーションへの移動時間（ｔｅｍｐ＿ｃｏｓｔＶｉｊ）を求める。

ｊ＝１のときｔｅｍｐ＿ｃｏｓｔＶｉｊ＝１２ｓ
ｊ＝２のときｔｅｍｐ＿ｃｏｓｔＶｉｊ＝７ｓ
ｊ＝３のときｔｅｍｐ＿ｃｏｓｔＶｉｊ＝３ｓ
ｊ＝４のときｔｅｍｐ＿ｃｏｓｔＶｉｊ＝３ｓ

（手順２）
任意の方法で、各ステーション．からの要求発生確率Ｐｊを取得する。

ｊ＝１のとき第一ステーション＝３０％
ｊ＝２のとき第二ステーション＝２５％
ｊ＝３のとき第三ステーション＝２５％
ｊ＝４のとき第四ステーション＝２０％

（手順３）
現時点（第一搬送車へ搬送要求が割り付けられたタイミング）での各搬送車の搬送積算時間ｓｕｍ＿ｃｏｓｔＶｋを取得する。

ｋ＝１のとき第一搬送車＝５０ｓ
ｋ＝２のとき第二搬送車＝０ｓ
ｋ＝３のとき第三搬送車＝１００ｓ

（手順４）
前回の待機ポイント更新計算での計算結果Ｑｉ（ｔ）を取得する。

（手順５）
式（２）により報酬Ｒを計算する。

報酬Ｒは、各搬送車の搬送積算時間の差が小さいほど大きな値となる。

（手順６）
式（４）の「Ｐｊ（ｔ）＊（ｔｅｍｐ＿ｃｏｓｔＶｉｊ）」を計算する。

例えば、ｊ＝２（第二ステーションから搬送指令が出ると予測）のとき、（２，３）におけるＰｊ（ｔ）＊（ｔｅｍｐ＿ｃｏｓｔＶｉｊ）
２５％×７ｓ（第二ステーションまでの移動時間）＝１．７５
以上の計算を各座標（ｉ）に対して行う。

（手順７）
式（４）のＥｉ［ｓｕｍ＿ｃｏｓｔＶｋ（ｔ）］を計算する。

待機ポイントを更新する号機（第二搬送車）においては、すべての場所に対してＥｉ［ｓｕｍ＿ｃｏｓｔＶｋ（ｔ）］を計算する。

その他の第一搬送車（４，９），３号機（７，４）については、現在位置のみの計算でよい。

例えば、ｋ＝２のときの（４，４）におけるＥｉ［ｓｕｍ＿ｃｏｓｔＶｋ（ｔ）］
０（搬送積算時間）＋２．７（手順６で計算した値）＋１．５＋１＋０．８＝６
ｋ＝２，（４，５）におけるＥｉ［ｓｕｍ＿ｃｏｓｔＶｋ（ｔ）］＝６
以上の計算を各座標（ｉ）に対して行う。

（手順８）
Ｅｉ［Ｑ］について、各座標（ｉ）で計算する。第一搬送車（４，９），３号機（７，４）は、現在位置の値。

例えば、（２，３）⇒－０．５０２９４
（３，３）⇒－０．５０６２４
以上の計算を各座標（ｉ）に対して行う。

（手順９）
α＝０．５、γ＝０．５として、Ｑｉ（ｔ＋１）について各座標（ｉ）で計算する。

例えば、（５，１０）⇒－０．４０４４１
（８，１０）⇒－０．４０５５１
以上の計算を各座標（ｉ）に対して行う。

（結果）
Ｑｉ（ｔ＋１）が最も大きな値となる位置（５，１０）を第二搬送車の待機ポイントとする。

なお、本発明は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本発明の実施の形態としてもよい。また、上記実施の形態に対して本発明の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本発明に含まれる。

例えば待機位置決定装置１３０が取得する複数の情報は、搬送システム１００を実際に稼働させた結果として取得してもよいが、前記情報の少なくとも一部を搬送システム１００のシミュレーションに基づき取得しても構わない。

また、搬送車がそれぞれ自己の積算時間を保持しておき、予想時間取得部１３４は、各搬送車から通信部１３７を介して予想時間を取得してもよい。

また、待機位置決定部１３６は、積算時間が最も短い搬送車の待機位置をＱ値が最も高い待機位置に決定し、積算時間が次に短い搬送車の待機位置をＱ値が次に高い待機位置に決定してもよい。また、積算時間の短い順に高いＱ値の待機位置を順に決定しても構わない。

本発明は、搬送元のステーションを複数備える無人搬送システムなどに利用可能である。

１００搬送システム
１１１第一ステーション
１１４第四ステーション
１２１第一搬送車
１２３第三搬送車
１３０待機位置決定装置
１３１確率取得部
１３２積算時間取得部
１３３位置情報取得部
１３４予想時間取得部
１３５価値算出部
１３６待機位置決定部
１３７通信部
１３８記憶部
２００荷物

Claims

複数箇所に配置されるステーションと、前記ステーションの一つから他の前記ステーションまで荷物を搬送する指示が含まれる搬送要求に基づき自律的に荷物を搬送する複数台の搬送車とを備える搬送システムに対し、前記搬送車の待機位置を決定する待機位置決定装置であって、
搬送要求によってそれぞれの前記ステーションが搬送元となる確率を前記ステーションのそれぞれについて取得する確率取得部と、
各前記搬送車が搬送に要した時間の前記搬送車のそれぞれ積算である積算時間を取得する積算時間取得部と、
前記搬送車のそれぞれの位置を示す搬送車位置を取得する位置情報取得部と、
所定の搬送要求に基づいて各搬送車が現在位置から荷物の搬送元ステーションへの移動に要する時間を少なくとも含む予想時間を取得する予想時間取得部と、
前記搬送車のそれぞれの前記積算時間の相互の差分が小さくなり、かつ前記積算時間の和が少なくなるように各待機位置について非線形の演算により状態行動価値を算出する価値算出部と、
各前記搬送車の積算時間、および各待機位置の状態行動価値に基づき前記搬送車の待機位置を決定する待機位置決定部と、
を備える待機位置決定装置。
搬送要求が発生するたびに待機位置を決定する
請求項１に記載の待機位置決定装置。
前記待機位置決定部は、
搬送要求が割り付けられていない前記搬送車のうち積算時間が最も短い前記搬送車の待機位置を状態行動価値の最も高い待機位置に決定する
請求項１または２に記載の待機位置決定装置。
前記価値算出部は、
強化学習により状態行動価値であるＱ値を算出する、
請求項１から３のいずれか一項に記載の待機位置決定装置。
複数箇所に配置されるステーションと、
前記ステーションの一つから他の前記ステーションまで荷物を搬送する指示が含まれる搬送要求に基づき自律的に荷物を搬送する複数台の搬送車と、
搬送要求によってそれぞれの前記ステーションが搬送元となる確率を前記ステーションのそれぞれについて取得する確率取得部と、
各前記搬送車が搬送に要した時間の前記搬送車のそれぞれ積算である積算時間を取得する積算時間取得部と、
前記搬送車のそれぞれの位置を示す搬送車位置を取得する位置情報取得部と、
所定の搬送要求に基づいて各搬送車が現在位置から荷物の搬送元ステーションへの移動に要する時間を少なくとも含む予想時間を取得する予想時間取得部と、
前記搬送車のそれぞれの前記積算時間の相互の差分が小さくなり、かつ前記積算時間の和が少なくなるように各待機位置について非線形の演算により状態行動価値を算出する価値算出部と、
各前記搬送車の積算時間、および各待機位置の状態行動価値に基づき前記搬送車の待機位置を決定する待機位置決定部と、
を備える搬送システム。