JP6549871B2 - ピッキングシステム及びピッキング支援方法 - Google Patents

Description

本発明は、物流センターや倉庫等における物品のピッキング作業を支援するピッキングシステム及びピッキング支援方法に関するものである。

従来から、物流センターや倉庫では、顧客からのオーダに対して物品が保管された棚から対象の物品をピッキングして集品容器に投入する作業が行われており、そのピッキング作業を支援するピッキングシステムが用いられている。

このようなピッキングシステムとして、例えば特許文献１には、物品が保管された物品棚から物品をピッキングしてバーコードで読み取り、指示ランプにて指示された集品コンテナへ物品を投入するものが記載されている。同じく特許文献１には、配送センター内に設置されたコンベヤ上を搬送される集品コンテナに対して、指示ランプによって指示された物品棚の間口から物品をピッキングし、続いて、ピッキングした物品を指示ランプによって指示された集品コンテナへ投入するものが記載されている。

特開平１１−０４３２１１号公報

そして、近年では、ピッキング作業の効率化が強く求められ、ピッキング作業者を支援し、その作業効率の向上を図ることができるピッキングシステムが要望されている。

本発明は、このような点に鑑みなされたもので、作業者のピッキング作業を支援することでピッキング作業効率の向上を図ることができるピッキングシステム及びピッキング支援方法を提供することを目的とする。

請求項１記載のピッキングシステムは、ピッキング作業を支援するピッキングシステムであって、作業者がピッキング作業を行うピッキング設備と、前記ピッキング設備に関する設備３次元情報と物品保管位置情報とオーダ情報とを記憶する記憶部と、作業者の前方視界の３次元情報を取得する情報取得部と、作業者に対してピッキング作業を支援する提示情報を表示する表示装置と、前記記憶部にて記憶された情報と前記情報取得部にて取得された３次元情報とに基づいて、作業者の作業状況を判断する作業状況判断部と、この作業状況判断部にて判断された作業状況に基づいて、作業者に提示する提示情報を生成する提示情報生成部と、この提示情報生成部によって生成された提示情報を前記表示装置に表示させる表示制御部とを有する制御部とを備え、前記記憶部は、作業者が物品を最適なピック姿勢で持った際の物品と作業者の作業領域との組み合わせからなる最適ピック姿勢モデル情報を記憶し、前記作業状況判断部にてピッキング開始前と判断すると、前記提示情報生成部が最適ピック姿勢モデル情報を提示情報として生成するものである。

請求項２記載のピッキングシステムは、ピッキング作業を支援するピッキングシステムであって、オーダ情報と、作業者が物品を持った際の作業者の作業領域と物品との組み合わせからなるピック姿勢モデル情報とを記憶する記憶部と、作業者が物品を持った状態の作業領域を撮影して３次元情報を取得する情報取得部と、前記記憶部にて記憶された情報と前記情報取得部にて取得された３次元情報とに基づいて、作業者の作業状況を判断する作業状況判断部とを備え、前記作業状況判断部は、前記情報取得部にて取得された３次元情報が、前記オーダ情報に基づいてピッキングすべき物品に対応する前記ピック姿勢モデル情報に対して所定の一致度以上の場合は、前記ピッキングすべき物品が正常にピックされたと判定するものである。

請求項３記載のピッキングシステムは、ピッキング作業を支援するピッキングシステムであって、オーダ情報と、作業者が物品を持った際の作業者の作業領域と物品との組み合わせからなり、最適なピック姿勢で物品が持たれた際の最適ピック姿勢モデル情報と、この最適ピック姿勢モデル情報以外の許容可能なピック姿勢で物品が持たれた際の許容ピック姿勢モデル情報とを記憶する記憶部と、作業者が物品を持った状態の作業領域を撮影して３次元情報を取得する情報取得部と、前記記憶部にて記憶された情報と前記情報取得部にて取得された３次元情報とに基づいて、作業者の作業状況を判断する作業状況判断部とを備え、前記作業状況判断部は、前記情報取得部にて取得された３次元情報が、前記オーダ情報に基づいてピッキングすべき物品に対応する前記最適ピック姿勢モデル情報または前記許容ピック姿勢モデル情報に対して所定の一致度以上の場合は、前記ピッキングすべき物品が正常にピックされたと判定するものである。

請求項４記載のピッキングシステムは、請求項２または３記載のピッキングシステムにおいて、作業者に対してピッキング作業を支援する提示情報を表示する表示装置と、前記作業状況判断部にて判断された作業状況に基づいて、作業者に提示する提示情報を生成する提示情報生成部と、前記提示情報生成部によって生成された提示情報を前記表示装置に表示させる表示制御部とをさらに備え、前記作業状況判断部が、前記ピッキングすべき物品が正常にピックされたと判定しない場合は、前記提示情報生成部が警告表示を提示情報として生成し、前記表示制御部が前記警告表示を前記表示装置に表示させるものである。

請求項５記載のピッキングシステムは、請求項１ないし４のいずれか一記載のピッキングシステムにおいて、前記情報取得部は、作業者に装着されて作業者の前方視界の３次元情報を取得するものである。

請求項６記載のピッキング支援方法は、ピッキング作業を支援するピッキング支援方法であって、記憶部に記憶された作業者が物品を最適なピック姿勢で持った際の物品と作業者の作業領域との組み合わせからなる最適ピック姿勢モデル情報のうち、作業者がピッキングすべき対象の物品に対応する最適ピック姿勢モデル情報を提示情報生成部が提示情報として生成し、生成された前記提示情報が、表示制御部によって表示装置に視認可能に表示されるものである。

請求項７記載のピッキング支援方法は、ピッキング作業を支援するピッキング支援方法であって、作業者が物品を持った状態の作業者の作業領域の３次元情報を取得する情報取得部にて前記作業領域の３次元情報を取得し、取得された前記３次元情報と、記憶部に記憶された作業者が物品を持った際の作業者の作業領域と物品との組み合わせからなるピック姿勢モデル情報とを照合し、前記ピック姿勢モデル情報と前記３次元情報とが所定の一致度以上の場合に、物品が正常にピッキングされたと判定するものである。

請求項８記載のピッキング支援方法は、ピッキング作業を支援するピッキング支援方法であって、作業者が物品を持った状態の作業者の作業領域の３次元情報を取得する情報取得部にて前記作業領域の３次元情報を取得し、取得された前記３次元情報と、記憶部に記憶された作業者が物品を持った際の作業者の作業領域と物品との組み合わせからなり、最適なピック姿勢で物品が持たれた際の最適ピック姿勢モデル情報と、この最適ピック姿勢モデル情報以外の許容可能なピック姿勢で物品が持たれた際の許容ピック姿勢モデル情報とを照合し、前記最適ピック姿勢モデル情報または前記許容ピック姿勢モデル情報と前記３次元情報とが所定の一致度以上の場合に、物品が正常にピッキングされたと判定するものである。

本発明によれば、作業者のピッキング作業を支援することでピッキング作業効率の向上を図ることができる。

（ａ）および（ｂ）は本発明の一実施の形態に係るピッキングシステムの概略構成図である。 同上ピッキングシステムの概略平面図である。 同上ピッキングシステムのヘッドマウントディスプレイの概略斜視図である。 同上ピッキングシステムの動作を説明するためのフローチャート図である。 同上ピッキングシステムの動作を説明するためのフローチャート図である。 同上ピッキングシステムの動作を説明するためのフローチャート図である。 同上ピッキングシステムの動作を説明するためのフローチャート図である。 ディスプレイの表示例である。 （ａ）および（ｂ）はカートの平面図である。 ディスプレイの表示例である。 ピッキング作業時の説明図である。 （ａ）および（ｂ）はピッキング作業時の説明図である。 ディスプレイの表示例である。 投入作業時の説明図である。 （ａ）および（ｂ）は投入作業時の説明図である。 衝突警告時の説明図である。 ディスプレイの表示例である。 同上ピッキングシステムの動作を説明するためのフローチャート図である。 ディスプレイの表示例である。 ディスプレイの表示例である。 ディスプレイの表示例である。 ディスプレイの表示例である。

本発明の一実施の形態について図面を参照して説明する。

図１および図２において、１はピッキングシステムで、このピッキングシステム１は、３次元情報を利用するものである。さらに、ピッキングシステム１は、拡張現実（Augmented Reality：「ＡＲ」)を利用したＡＲピッキングシステムである。

ピッキングシステム１は、例えば複数の作業者Ｘがそれぞれ集品手段である集品用のカート２を押しながら作業を行うカート式ピッキングに適用される。

そして、このピッキングシステム１は、図１および図２に示されるように、複数の作業者Ｘによってピッキング作業が行われるピッキング設備３と、作業者が視認する表示装置４と、この表示装置４を制御する制御部５とを備えている。表示装置４は、各作業者Ｘの身体の一部である頭部に脱着可能に装着され作業者Ｘに対してその作業者Ｘへの提示情報を現実空間に付加提示する拡張現実装置であるヘッドマウントディスプレイ(以下、ＨＭＤとする)４である。

ピッキング設備３は、作業者Ｘによってピッキングされる複数の物品（商品）Ｗを保管している。そして、このピッキング設備３には、物品Ｗを保管する物品保管部である複数の保管棚11が設置されている。複数の保管棚11は間隔を空けて配置されており、その間隔は、カートを搬送する作業者Ｘが通行可能な通路となっている。つまり、ピッキング設備３は互いに間隔をおいて並設された水平方向長手状の複数の物品保管手段である保管棚11を有しており、所定距離を介して互いに離間対向する保管棚11間には、作業者Ｘがカート２とともに通行可能な通路12が形成されている。

各保管棚11は、水平方向および上下方向に並ぶ複数の間口(保管部)13を有し、この間口13には物品Ｗが出し入れ可能に保管されている。一方、カート２は、間口13からピッキングされた物品Ｗが投入収容される箱状の集品部である収容部15を複数有している。

ＨＭＤ４は、例えば装着者である作業者Ｘの視界（現実空間）に２次元・３次元の画像や文字等を含む所定の情報を重ねて表示することで、作業者Ｘにピッキング作業を支援する情報を提示するものである。

そして、このＨＭＤ４は、図３に示されるように、作業者Ｘの頭部に脱着可能に装着される眼鏡型のディスプレイであり、フロント部16aとこのフロント部16aの左右それぞれに接続されたテンプル部16bとにて構成されている。フロント部16aには、作業者Ｘの視界である眼の前方部を覆い、外界光を透過させ、内側からの光を反射する例えばハーフミラーからなる半透明部材を備えたディスプレイ17がそれぞれ設けられている。

ディスプレイ17の上部には、作業者Ｘの前方視界の３次元情報（撮影３次元情報）を取得する情報取得部20が設けられ、情報取得部20の中央には、所定の撮影範囲におけるＲＧＢ情報からなるカラー画像を取得する可視光カメラ18が設けられている。さらに、情報取得部20の左右両側には、可視光カメラ18を挟んで所定の撮影範囲における画素毎の深度情報を含む距離画像を取得する距離画像センサ19が設けられている。なお、情報取得部20は、可視光カメラ18と距離画像センサ19とに構成されている。

また、テンプル部16bにはディスプレイ17へ画像を照射する画像表示ユニット10が設けられており、作業者Ｘは、ディスプレイ17を通して目視する対象に、画像表示ユニット10からの照射を受けたディスプレイ17から反射された情報（画像等）を重畳（付加）して視認する。

このＨＭＤ４は、いわゆるＲＧＢ−Ｄカメラと同様に、ＲＧＢ画像と距離画像を取得するものであり、それらの画像情報を処理／解析することで対象物の形状、位置、姿勢、動作等を認識することが可能なものである。

したがって、作業者Ｘは、ＨＭＤ４の情報取得部20を通して作業時にピッキング設備３および作業者Ｘの手および物品Ｗ等の作業者Ｘの前方視界の所定範囲内の画像情報を撮影して撮影３次元情報をリアルタイムに取得する。

作業者ＸがＨＭＤ４を通して視認する付加情報は、ピッキング作業を支援する提示情報であり、提示情報は、図１に示されるように、制御部５によって表示制御され、制御部５は、作業状況判断部22、提示情報生成部23および表示制御部24を有している。

さらに、ピッキングシステム１は、記憶部21を備えており、制御部５は適宜記憶部21に記憶された情報を参照する。記憶部21は、ピッキング設備３に関する設備３次元情報（３次元レイアウト情報）を記憶するものである。設備３次元情報は、保管棚11の形状、保管棚11の設備内レイアウト、収容部15の形状、収容部15のレイアウトといったピッキング設備３内の機材情報や機材配置情報（設備レイアウト情報）を含んでいる。また、記憶部21は、物品Ｗが保管された間口13の位置（間口位置）の情報である物品保管位置情報（間口位置情報）、ピッキングされた物品Ｗの集品容器（収容部15）の投入位置の情報である投入位置情報、オーダ情報、商品情報、作業者情報等を記憶するものである。なお、オーダ情報は、顧客からのオーダに対してピッキングすべき対象の物品Ｗのリストであり、商品情報はピッキング設備３内に保管された各物品Ｗの商品名、カテゴリー、商品コード等の各物品Ｗの固有情報である。

作業状況判断部22は、記憶部21にて作業前に予め記憶された設備３次元情報（少なくとも３次元位置情報を含む）およびオーダ情報と、作業者Ｘが装着したＨＭＤ４の情報取得部20にて作業時にリアルタイムに取得された撮影３次元情報（少なくとも３次元位置情報を含む）とに基づいて、ピッキング施設３内の作業者Ｘの位置および作業者Ｘの動作、姿勢といったピッキング作業の状況を取得するものである。なお、作業状況判断部22は、３次元情報を処理する画像処理部である。なお、作業状況の判断精度を上げるために、撮影３次元情報に加えて、例えば作業者Ｘに備えた加速度センサや位置センサから取得した情報を用いてもよく、また、マーカー等の識別子を保管棚11等に設置して、識別子を目視した作業者Ｘが取得した作業者Ｘが近接する保管棚11の位置情報を用いてもよい。

提示情報生成部23は、作業状況判断部22による作業者Ｘの作業状況（作業状況情報）に基づいて、記憶部21を参照して提示情報を生成する。すなわち例えば作業者Ｘが見る現実空間（視界）に重畳表示されるピッキング作業支援情報を生成したり、テンプレートを呼び出したり、テンプレート同士やテンプレートと他の情報を組み合わせたりすることで、提示情報が生成される。

表示制御部24は、作業状況判断部22による作業者Ｘの作業状況から作業者Ｘが現実に目視する対象と重畳するように提示情報生成部（提示情報決定部）23にて生成（決定）された提示情報の表示位置（座標位置）や、大きさ及び形状等を必要に応じて調整し、提示情報を表示装置４に表示させる制御を行う。ＨＭＤ４に対しては、画像表示ユニット10へ提示情報を出力し、その提示情報は画像表示ユニット10からディスプレイ17に投影され、作業者Ｘは視界に映る対象に提示情報が重畳表示された状態を目視する。なお、提示情報生成部23において生成された提示情報に調整が必要ない場合は、提示情報を表示装置４に表示させる制御のみを行ってもよい。

この作業者Ｘに対して提示される提示情報は、例えばピッキングすべき物品Ｗの保管場所まで作業者Ｘを案内する情報、ピッキングすべき物品Ｗが保管されている間口13を指示する情報、間口13からピッキングした物品Ｗを投入すべき収容部15を指示する情報、および、通路12を移動中の作業者Ｘ同士の衝突を防止する情報等である。

なお、ＨＭＤ４と制御部５とが、互いに分離して設けられる必要は必ずしもなく、例えば制御部５の一部或いは全部をＨＭＤ４に組み込んでもよい。

次に、ピッキングシステム１の動作等について、図面を参照して説明する。

作業者Ｘによる作業（ピッキング作業および投入作業）の開始前に、事前準備として、設備３次元情報を含む所定の情報（例えば、オーダ情報、商品情報、作業者情報）を制御部５の記憶部21に記憶させる。なお、ピッキング設備３に関する設備３次元情報は、コンピュータ上で作成した３次元データ（例えば３次元ＣＡＤデータ）でもよく、ピッキング設備３内で実際に３次元スキャンを実行して取得した３次元データでもよい。

まず、図４に示すように、作業者Ｘによる作業時に、制御部５は、予め記憶した設備３次元情報と、作業者ＸのＨＭＤ４で撮影して得たリアルタイムの撮影３次元情報とのマッチング（相対的な位置関係の一貫性や特徴点間の類似性等の検証）を行い（ステップ１）、各作業者Ｘの３次元位置、移動方向、移動速度、向きおよび動き等をモニタリングする。

そして、ＨＭＤ４は、制御部５による制御に基づき、ピッキングすべき物品Ｗの間口13がある保管場所まで作業者Ｘを案内するナビゲーション情報（提示情報）を通路12に重畳表示し（ステップ２）、作業者Ｘが目的の保管場所に接近し、作業者Ｘが作業者Ｘの視覚にピッキングすべき物品Ｗの保管されている間口13が入った際に間口指示情報（提示情報）をその間口13に重畳表示する（ステップ３）。すなわち例えば、作業者Ｘからは、ディスプレイ17を通して図８に示すような、対象の間口13の前面全体が点灯した状態の提示情報が見える。なお、作業者Ｘに対して停止位置を指示する提示情報を表示しても良い。

次いで、制御部５は、作業者Ｘが間口指示情報にて指示された間口13前に到着したか否かを判断し（ステップ４）、到着したと判断した場合にはピッキング指示を開始する（ステップ５）。

作業者Ｘが間口指示情報にて指示された間口13前に到着したか否かの判断は、間口指示情報にて指示された間口13に対応する停止指定領域に作業者Ｘの所定領域が到着したか否かで判断する。作業者Ｘの所定領域は、作業者Ｘごとに設定された停止エリアである。停止エリアは、例えばカート２を押す作業者Ｘが存在するエリアであり、カート取手部2a付近から作業者Ｘの背後へと、つまり作業者を中心として前後に広がる領域である（図９(a)参照）。つまり。停止指定領域に対して停止エリアが重畳した状態で、重畳範囲が一定時間維持された（作業者Ｘの進行が止まった）場合に停止位置に到着したと判断する。なお、作業効率の観点から作業者Ｘがピッキングすべき物品Ｗが保管された間口13の前面で停止するように停止位置を指示するのが好ましい（図９(a)参照）。

続いて、物品Ｗのピッキング作業および投入作業について、物品が保管された間口13又は物品を投入する収容部15に作業者Ｘの作業領域が進入する際に情報取得部20が取得した作業者Ｘの作業領域の情報と、間口13又は収容部15から作業者Ｘの作業領域が退出した際の情報取得部20が取得した作業者Ｘの作業領域の情報とを比較することで、物品Ｗのピッキング（取り出し）又は投入が実行されたか否かを判断する方法を説明する。また、この作業判断の際には、作業者Ｘの手（腕）である移動体を認識し、その移動体の所定箇所にマーキングしたり、移動体の先端やマーキング位置の追跡を行ったりする。

なお、作業領域とは、作業者Ｘが物品Ｗを持っていない場合は、手先から手首関節位置まで、手先から前腕の所定位置まで、手先から肘関節位置まで、手先から上腕の所定位置まで等、作業者Ｘの手先から根元（肩への上方）方向に取得された所定位置までの腕の一定範囲を意味し、作業者が物品Ｗを持っている場合は、物品Ｗまたは手先から上述の所定位置までの範囲を意味する。

最初に、物品Ｗを間口13からピッキング（取り出し）する作業について説明する。

図５に示すように、制御部５は、作業者Ｘが指示間口に到着すると（ステップ１）、ピッキング指示を開始する（ステップ２）。

具体的には例えば、制御部５は、設備３次元情報と撮影３次元情報とをマッチングしつつ、ピッキングすべき物品Ｗが保管されている指示間口を指示する間口指示情報（提示情報）およびその指示間口からピッキングする物品Ｗに関する物品情報（提示情報）をディスプレイ17に表示させる（図１０参照）。なお、物品情報は、例えば物品形状の図形、商品名、ピッキング個数、オーダに対するピッキング進捗度等である。また、間口指示情報は、設備３次元情報とリアルタイムで取得した撮影３次元情報とをマッチングさせながら表示を制御するので、作業者Ｘが動作しても提示情報が位置ズレすることなく、指示間口位置に正確に重畳表示される。

また、制御部５は、正しい間口である１つの指示間口にはイン検知エリアおよびアウト検知エリアを展開（起動）し、指示間口以外の複数のＮＧ間口にはＮＧ検知エリアを展開する（図１１参照）。なお、イン検知エリアおよびアウト検知エリアは、同時に展開せずに、イン検知エリアの検知中や検知終了後にアウト検知エリアを展開（設定）してもよい。

イン検知エリアおよびアウト検知エリアは間口の開口面に対して直交する軸（間口開口の縦、横をＹ軸、Ｘ軸とした際のＺ軸）上に設けられた所定の面範囲である。検知エリアを展開するとは、この面範囲が手や腕（物品を持っている場合も含む）と認識された移動体の接触の有無（到達・離脱）を検知可能な状態に設定することである。なお、ＮＧ検知エリアは、展開させたままでも、イン検知後に消滅させてもよく、作業者Ｘが作業すべき正しい間口以外を全てＮＧ間口としてもよい。これにより、ピッキング指示が出ていない物品Ｗが保管された全ての間口13に対する作業者Ｘの不適切な行動を一律に検知し、防止することがきる。また、イン検知エリアとアウト検知エリアを共用して、イン・アウト検知エリアとしてもよい。また、イン検知エリアだけを展開して、ＮＧ間口へのピッキング動作を判定してピッキングＮＧを判断してもよい。

本実施形態では、イン検知エリアの奥に若干の距離をおいてアウト検知エリアを展開しており、これは、イン検知の際は、ある一定範囲まで間口13に接近した作業者Ｘの手が、急に方向転換して他の間口13へ向かう可能性は低く、間口13の開口近傍でなく間口13から多少離れた位置にイン検知エリアを設けたとしても、正しい間口13方向へ向かう手が検出されれば、その間口13に対してピッキング作業が開始されたと判断可能であり、間口13近傍まで手が到着するのを待って作業の正誤を判断する必要が低いからである。また、アウト検知の際は、商品全体が間口13から取り出されたことを検知できればよいため、間口13の開口近傍で検知すれば良く、間口13から遠ざかったイン検知エリアまで待つ必要が低いからである。したがって、インとアウトの検知を分けたほうが検知効率を向上させることができ、実際の作業と作業判定（作業状況判断）とのラグを減らすことができる。さらに、間口13へのインとアウトの作業者Ｘの身体動作は異なるため、インとアウトの検知を分けたほうがより検知がより確実になる。

また、イン検知エリアの前（作業者Ｘ寄りで、間口13から遠ざかる方向）に距離をおいてプレ検知エリアを設けてもよい。これは、作業者Ｘの姿勢や動作スピード等をイン検知エリア到達前に予め検知し、作業者Ｘの手がイン検知エリアへ到達するタイミングを予想したり、検知後にフレームレート、スキャン精度、解像度等を一時的に上昇させたりするためのものであり、これにより突然イン検知に作業者Ｘの手が触れるよりもイン検知の際の３次元情報の取得をより正確にできる。

例えばフレームレートの場合だと、プレ検知からアウト検知までは「高」それ以外は「低」とする。つまり、必要なときだけフレームレートを上げてやることで、ＨＭＤ４や制御部の電力消費を抑えるという目的がある。なお、ピッキング作業の開始から終了まで、あるいはピッキング作業の開始から後述の投入作業完了まで出力（情報取得精度）を上げるようにしてもよい。

次いで、制御部５は、情報取得部20が取得した撮影３次元情報等に基づいて作業者Ｘの手を認識すると、図１２に示すように、作業者Ｘの腕の先端部である手の先端を３次元的に追跡する（ステップ３）。

そして、制御部５は、作業者Ｘの手の先端が指示間口13のイン検知エリアに到着したか否かを判断する（ステップ４）。そして、手の先端がイン検知エリアに到着したと判断した場合には、制御部５は、手の先端から根元にかけて所定の距離位置をマーキングし、手の先端からマーキング位置までの手の面積（または体積等）を算出するとともに、マーキング位置の追跡を開始する（ステップ５）。その一方、手の先端がイン検知エリアに到着せず、ＮＧ検知エリアに到着したと判断した場合には、制御部５は、例えば「正しい間口からピッキングして下さい」等の警告表示をディスプレイ17に表示させる（ステップ６）。

次いで、制御部５は、物品Ｗの先端（手の先端でもよい）が指示間口13のアウト検知エリアから離れると（アウト検知エリアと接触しなくなると）、物品Ｗの先端から前記マーキング位置までの面積（または体積等）を算出する（ステップ７）。

そして、制御部５は、アウト時に算出した面積（手の面積＋商品の面積）がイン時に算出した面積（手の面積）よりも増加したか否かを判断し（ステップ８）、増加したと判断した場合にはピッキング指示を完了し、投入指示を開始する（ステップ９）。その一方、増加していないと判断した場合には、例えば「商品をピックして下さい」等の警告表示をディスプレイ17に表示させる（ステップ１０）。

続いて、収容部15に対する物品Ｗを投入する作業について説明する。

図６に示すように、作業者Ｘが正しい指示間口13から物品Ｗをピッキングすると、制御部５は、投入指示を開始する（ステップ１）。

具体的には例えば、制御部５は、設備３次元情報と撮影３次元情報とをマッチングしつつ、指示間口からピッキングした物品Ｗを投入すべきカート２の収容部15を指示する収容部指示情報（提示情報）およびその収容部15へ投入する物品Ｗに関する物品情報（提示情報）をディスプレイ17に表示させる（図１３参照）。このとき、収容部指示情報は、位置ズレすることなく、指示収容部位置に正確に重畳表示される。

また、制御部５は、前記指示間口と同様、正しい１つの指示収容部にはイン検知エリアおよびアウト検知エリアを展開し、指示収容部以外の複数のＮＧ収容部にはＮＧ検知エリアを展開する（図１４参照）。なお、ピッキング作業同様に、イン検知エリアおよびアウト検知エリアの位置は、収容部開口面に対する直行する軸（間口前面の縦、横をＹ軸、Ｘ軸とした際のＺ軸）上に設けられた所定の面範囲であり、プレ検知エリアを設けてもよく、イン検知エリアとアウト検知エリアを共用してもよい。

次いで、制御部５は、情報取得手段20からの撮影３次元情報等に基づいて物品Ｗを持った作業者Ｘの手を認識すると、図１５に示すように、作業者Ｘの腕の先端部を３次元的に追跡する（ステップ２）。

そして、制御部５は、作業者Ｘが手で持った物品Ｗ（又は作業者Ｘの手）の先端が指示収容部のイン検知エリアに到着したか否かを判断する（ステップ３）。そして、物品Ｗの先端がイン検知エリアに到着したと判断した場合には、制御部５は、物品Ｗの先端から手の根元にかけて所定の距離位置をマーキングし物品Ｗの先端からマーキング位置までの範囲の面積（または体積等）を算出するとともに、マーキング位置の追跡を開始する。（ステップ４）。

その一方、物品Ｗの先端がイン検知エリアに到着せず、ＮＧ検知エリアに到着したと判断した場合には、制御部５は、例えば「正しい容器へ投入して下さい」等の警告表示をディスプレイ17に表示させる（ステップ５）。

次いで、制御部５は、作業者Ｘの手の先端が指示収容部のアウト検知エリアから離れると（アウト検知エリアと接触しなくなると）、前記マーキング位置から手の先端までの面積（または体積等）を算出する（ステップ６）。

そして、制御部５は、アウト時に算出した面積（手の面積）がイン時に算出した面積（手の面積＋物品Ｗの面積）よりも減少したか否かを判断し（ステップ７）、減少したと判断した場合には投入指示を完了し、次のピッキング指示を開始する（ステップ８）。その一方、減少していないと判断した場合には、例えば「商品を投入して下さい」等の警告表示をディスプレイ17に表示させる（ステップ９）。

なお、ピッキングおよび投入におけるマーキング位置は、例えば作業者Ｘの手首であり、手首が隠れるような大きい商品を持つ際は肘にしてもよいし、肘から上の上腕でもよい。また、手首の場合はリストバンドを装着してそこをマーキング位置としてもよいし、リストバンドの他には手袋を用いたり、肘位置をマーキング位置として使用したい場合は肘サポーター等を用いたり、手首位置と肘位置に特徴を設けたアームカバーで手首と肘の両方を検出したりしてもよい。さらに、手先およびマーキング位置の取得・追跡は、３次元情報から取得される骨格位置情報や骨格追跡によって行われる。また、作業者Ｘの身体から外方へ向けて連続する移動体を認識し、その頂点を手先位置と判断してもよい。さらに、商品を持っている場合は、前記移動体の頂点を手または商品の先端位置と判断してもよい。

続いて、ピッキング設備３内を移動する作業者同士の衝突防止警告について説明する。

各作業者Ｘが情報取得部20によって取得された撮影３次元情報から、制御部５の作業状況判断部22で作業者Ｘの移動情報（位置、移動方向、移動速度等）を取得する。ピッキング設備３内の各作業者Ｘの移動情報をモニタリングすることで、作業者Ｘ同士の衝突を未然に防ぐべく衝突が予想されると作業者Ｘに警告を発する。

図７に示すように、設備３次元情報上で一定距離内に作業者Ｘが複数存在すると（ステップ１）、制御部５は、まず、停止中の作業者Ｘの状況確認として、作業者Ｘがピッキング作業中か否かを判断する（ステップ２）。そして、ピッキング作業中であると判断した場合には、その作業者Ｘはピッキング終了まで動き出す心配がないので完全停止状態と判断して監視対象から除外（スルー）する（ステップ３）。

その一方、ピッキング作業中でないと判断した場合には、制御部５は、停止中の作業者Ｘがピッキング作業終了直後または移動途中か否かを判断する（ステップ４）。そして、ピッキング作業終了直後または移動途中であると判断した場合には、たとえ作業者Ｘが停止していても、近い将来にその作業者Ｘが動き出すことを考慮して、次のピッキング位置へのナビ方向（移動方向）に対して仮定の移動速度を与える（ステップ５）。

次いで、制御部５は、図１６に示すように、移動中または移動が仮定された作業者Ｘ間の距離や各作業者Ｘの位置、移動速度および移動方向から、近くに存在する両者の衝突危険エリア（パーソナルエリア）が重なるかどうかを計算し（ステップ６）、両者の衝突危険エリアが重なるか否かを判断する（ステップ７）。

そして、両者の衝突危険エリアが重なると判断した場合には、制御部５は、少なくとも一方の作業者Ｘに対して警告を通知する（ステップ８）。すなわち例えば、一方の作業者Ｘからは、ＨＭＤ４を通して図１７に示すような移動停止を指示する提示情報（作業者同士の衝突を防止するストップ指示情報）が見える。なお、両者の衝突危険エリアが重ならないと判断した場合には警告を通知しない（ステップ９）。なお、複数の作業者Ｘが衝突する可能性がある場合には、先ずは、１名の作業者Ｘ以外を停止させ（１名だけ通行させ）、その作業者Ｘが通過すると、停止指示を受けた残りの作業者Ｘについては、先の作業者Ｘの通過が完了するごとに１名ずつ停止指示を解除する。

ここで、衝突危険エリアは、作業者Ｘごとに設定される前後方向長手状で平面視長方形状の一定範囲の領域であり、例えば作業者Ｘおよびカート２を含む領域である。作業者Ｘ同士の衝突危険エリアが重複すると作業者Ｘ同士が衝突する若しくは衝突の危険ありと判断する。衝突危険エリアは作業者Ｘの前面および背面に突き出た形状をしており、このように幅を持った平面視長方形状に形成されているのは、作業者Ｘの急加速や急停止を考慮したものであり、これによって作業者Ｘの不規則な動きに対応した衝突防止の警告を出すことが可能となる。

また、作業者Ｘの横側（左右両側方部）に衝突危険エリアを設けていないのは、作業者Ｘがピッキング設備３内ですれ違う際には、少なくともいずれか一方の作業者Ｘが他の作業者Ｘを目視可能な状態であるため、作業者Ｘ同士が衝突する可能性が低く、すれ違いの際にいちいち警告発するのは作業者Ｘにとって目障りになって作業効率を低下させる恐れがあるからである。もちろん、作業者Ｘの側方にも衝突危険エリアを展開して、すれ違いの際に他の作業者Ｘの異常な接近を検知するようにしてもよい。

そして、上記のようなピッキングシステム１によれば、ＨＭＤ４を装着した各作業者Ｘが、現実空間に重畳表示されることで付加提示された提示情報を見て効率良く作業ができるため、作業効率の向上を図ることができる。

また、予め記憶した設備３次元情報と情報取得部20からの撮影３次元情報とのマッチングに基づいて、各作業者Ｘへの提示情報（ＣＧ画像等）が決定されて現実空間に重畳表示されるため、提示情報の表示位置にズレが生じにくく、作業者Ｘに見やすい（ぶれない）ピッキング指示、投入指示およびレール案内指示等をディスプレイ17に表示することが可能であり、作業効率の向上をより一層図ることができる。

さらに、棚の各間口13または収容部15にピッキング作業を指示する指示器、各集品容器に対応した商品投入を指示する指示器およびピッキングカートの各集品容器に対応した投入を指示する指示器を設ける必要が無く、コストダウンやメンテナンス性の向上を実現できる。

また、物品Ｗが載置された各間口13または収容部15に、ピッキング作業や投入作業を確認するためのセンサ、押しボタン／スイッチ、ＲＦＩＤリーダ等を設置する必要が無いので、コストダウンやメンテナンス性の向上を図ることができる。

さらに、３次元情報を活用することにより、２次元情報では問題となる設備の色、照明、影および商品の色等の影響を受けることなく、作業者の作業状況をモニタリングすることができる。また、各間口13や各収容部15にマーカーを設けなくても、予め用意した３次元情報と取得した３次元情報とをマッチングさせることで、各間口13や各収容部15に対する作業者Ｘの位置関係を判定でき、正しい各間口13や各収容部15に対して指示を出すことができる。

続いて、ピッキングシステム１は、例えば図１８に示すように物品Ｗと物品Ｗを把持した作業者Ｘの作業領域の情報を用いてもよい。この場合、作業開始前の事前準備として、物品（商品）Ｗの３次元情報（３次元形状情報）を取得して登録（記憶）しておく。また、物品Ｗの「重量、形状」から片手でＯＫか、片手でも両手でもＯＫか、両手持ち必須であるかを登録しておく。なお、例えば柔らかくて取り扱いに注意が必要な物品Ｗや、重さに偏りがある物品Ｗについては、把持位置の情報が登録される。そして、物品Ｗごとに作業者Ｘの右手、左手および両手で物品Ｗを掴んだ場合の最適なピック姿勢モデル（最適ピック姿勢モデル情報）を登録しておく。また、物品Ｗごとに作業者Ｘの右手、左手および両手で最適ピック姿勢モデル情報以外の許容できるピック姿勢モデル（許容ピック姿勢モデル情報）を登録しておく。最適ピック姿勢モデル情報および許容ピック姿勢モデル情報は、物品Ｗを掴んだ際の物品Ｗと作業者Ｘの作業領域との組合せからなるものである。また、保管位置（棚の上部か下部か）によって最適ピック姿勢モデル情報および許容ピック姿勢モデル情報を複数準備してもよい。なお、これらの情報は、記憶部21に登録（記憶）される。

ここで、許容ピック姿勢モデル情報は、最適ピック姿勢である把持位置およびその近傍位置以外を把持しても作業者Ｘや物品Ｗに負担がかからない位置を把持した際のピック姿勢に関するものである。また、最適ピック姿勢モデル情報以外に許容姿勢モデル情報を設けておくのは、作業者Ｘごとの手の形状、身長および体力等の個人差を考慮してピック姿勢に幅を持たせるためである。また、最適ピック姿勢モデルは、作業効率や物品の取り扱いを考慮して決定されるため、作業者Ｘの作業の的確性や丁寧さをチェックすることができる。最適ピック姿勢モデル情報および許容ピック姿勢モデル情報は、１つの物品に対して複数設定してもよい。

まず、作業状況判断部22は、作業者Ｘがピッキング作業開始前かどうかを判断する。例えば、作業者Ｘが指定間口に到着したかどうかを判断し、到着した段階で作業開始前と判断する。また、そして、ピッキング作業開始前において、作業者Ｘは商品の持ち方についてディスプレイ17から指示を受ける。そして、図１８に示すように、制御部５は、両手持ち必須の物品Ｗであるか否か判断し（ステップ１）、両手持ち必須の物品Ｗであれば、情報取得部20からの撮影３次元情報等に基づいて作業者Ｘが両手で物品Ｗを持っているか否かを判断する（ステップ２）。

そして、両手で物品Ｗを持っていないと判断した場合には、制御部５は、例えば「両手で持って下さい」等の警告表示をディスプレイ17に表示させる（ステップ３）。

その一方、両手で物品Ｗを持っていると判断した場合および片手持ちが許容されている場合には、制御部５は、実際のピッキング姿勢（情報取得部20が撮影した実際ピッキング姿勢情報）が予め記憶した最適ピック姿勢モデル情報の閾値内であるか否かを判断し（ステップ４）、その閾値内であればピッキング正常と判定する（ステップ５）。

一方、最適ピック姿勢モデル情報の閾値内でないと判断した場合には、制御部５は、実際のピッキング姿勢が予め記憶した許容ピック姿勢モデル情報の閾値内であるか否かを判断し（ステップ６）、その閾値内であればピッキング正常と判定する（ステップ５）。

その一方、許容ピック姿勢モデル情報の閾値内でないと判断した場合には、ピックした物品Ｗが指示通りのものか確認するために例えば「商品バーコードをリードして下さい」等の警告表示をディスプレイ17に表示させる（ステップ７）。

次いで、制御部５は、物品Ｗのバーコード情報を情報取得部20で撮影し、ピッキングされた物品Ｗが指示通りのものであるか否かを判断し（ステップ８）、指示通りのものであれば、例えば「次回から指示された姿勢でピッキングして下さい」等の警告表示をディスプレイ17に表示させる（ステップ９）。

その一方、ピックした物品Ｗが指示通りのものでないと判断した場合には、制御部５は、物品Ｗの保管ミス或いは別物品の混入と判断して、管理者へ通報する（ステップ１０）。またこの場合、制御部５は、その保管棚11の間口13（物品保管位置）から物品Ｗをピッキングしに行く予定の作業者Ｘはその間口13を迂回するようにピッキングナビのルート変更を実施する（ステップ１１）。

なお、最適ピック姿勢モデル情報と実際の取得３次元情報との照合は、上述のアウト検知と同様のタイミングで開始されてもよい。さらに、撮影３次元情報と両ピック姿勢モデルとの照合は、両３次元情報における特徴点や特徴量の類似性等を検証することで行う。なお、両ピック姿勢モデルには、ピック姿勢の多少のずれを考慮して閾値が設定されており、撮影３次元情報が所定の一致度以上、つまり閾値内であればピック姿勢モデルと同等であるとみなす。

また、図１９ないし図２１は、ディスプレイ17の表示例である。作業者Ｘには、ピッキング作業の際に、ディスプレイ17を通して、図１９ないし図２１に示すような最適ピック姿勢モデル情報（提示情報）が見える。換言すると、ディスプレイ17は、ピッキングすべき物品Ｗの持ち方に関する情報（例えば手および物品Ｗの３次元画像）を、間口指示情報とともに提示情報として現実空間に付加提示する。また、例えば図２２に示すように、作業者Ｘが両手持ち必須の物品Ｗを片手で持った際には、制御部５が「両手で持って下さい」等の警告表示（提示情報）をディスプレイ17に表示して、作業者Ｘに注意を促す。あるいは、作業者Ｘが壊れやすい物品Ｗの所定位置を掴んでいない（壊れやすい位置を掴んでいる）と判断した際には、制御部５が「商品の取り扱いに注意して下さい。一度商品を置いてから指示位置を持って下さい。」といった指示をディスプレイ17に表示する。

これにより、物品Ｗを両手で持つ指示することで、作業者Ｘが、見た目に反して重い物品Ｗを片手で持ち上げたものの、持ちきれずに落下させて、作業者Ｘが怪我をしたり、物品Ｗを破損させたりすることを防ぐことができる。

さらに、重量は軽いが壊れやすい物品Ｗを作業者Ｘに丁寧に取り扱わせるために両手で持つことを指示したり、デリケートな物品Ｗ（壊れやすい・潰れやすい、例えば菓子等）について物品Ｗ自体に影響を与えない掴み位置を指定したりすることで、物品Ｗの特性に応じたピッキング作業を実現し、物品Ｗの変形や破損を防ぐことができ、ピッキング作業における不良品の発生を抑えることができる。

また、最適ピック姿勢モデル情報は、物品Ｗ自体の特性（形状、重量等）や保管位置から求められたものであるため、作業者が最適ピック姿勢モデル情報通りに作業することで、作業自体の精度や効率を上げることができる。

なお、ピッキングシステム１は、カート２を使用するカートピッキング式のものには限定されず、例えば集品容器を搬送する搬送コンベヤ（ピッキング設備の一部を構成する搬送手段）に対して搬送コンベヤの脇に設けられた保管棚11から作業者Ｘが物品Ｗをピッキングして搬送コンベヤ上を搬送する集品容器へ物品Ｗを投入する形式のものにも提供することができる。この場合において搬送コンベヤおよび集品容器の３次元情報が記憶部21に記憶される。

また、作業者Ｘに対して提示情報を提示する提示情報提示手段である表示装置は、提示情報を表示する表示部（ディスプレイ17）および撮影３次元情報を取得する情報取得部20を有するＨＭＤ４からなるものには限定されず、例えば情報取得部20を有する眼鏡と、カート２に設けられ提示情報を表示する表示部である表示装置とからなるもの等でもよい。

なお、本件発明におけるピッキングは種まき式と摘み取り式のいずれにも適用可能である。

また、作業者Ｘがカートを手で押してピッキング作業を実行する実施形態を説明しているが、作業者Ｘが車両に乗ってピッキング作業を行ってもよい。
なお、表示装置４は、情報取得部20を一体として備える必要はなく、情報取得部20と表示装置４が物理的に分離したものでもよい。また、ＨＭＤ４は網膜走査型でもよい。

１ ピッキングシステム
３ ピッキング設備
４ 表示装置であるヘッドマウントディスプレイ（ＨＭＤ）
13 間口
15 収容部
17 ディスプレイ
20 情報取得部
21 記憶部
22 作業状況判断部
23 提示情報生成部
24 表示制御部
Ｘ 作業者
Ｗ 物品

Claims (8)

1. ピッキング作業を支援するピッキングシステムであって、
   作業者がピッキング作業を行うピッキング設備と、
   前記ピッキング設備に関する設備３次元情報と物品保管位置情報とオーダ情報とを記憶する記憶部と、
   作業者の前方視界の３次元情報を取得する情報取得部と、
   作業者に対してピッキング作業を支援する提示情報を表示する表示装置と、
   前記記憶部にて記憶された情報と前記情報取得部にて取得された３次元情報とに基づいて、作業者の作業状況を判断する作業状況判断部と、この作業状況判断部にて判断された作業状況に基づいて、作業者に提示する提示情報を生成する提示情報生成部と、この提示情報生成部によって生成された提示情報を前記表示装置に表示させる表示制御部とを有する制御部とを備え、
   前記記憶部は、作業者が物品を最適なピック姿勢で持った際の物品と作業者の作業領域との組み合わせからなる最適ピック姿勢モデル情報を記憶し、
   前記作業状況判断部にてピッキング開始前と判断すると、前記提示情報生成部が最適ピック姿勢モデル情報を提示情報として生成する
   ことを特徴とするピッキングシステム。
2. ピッキング作業を支援するピッキングシステムであって、
   オーダ情報と、作業者が物品を持った際の作業者の作業領域と物品との組み合わせからなるピック姿勢モデル情報とを記憶する記憶部と、
   作業者が物品を持った状態の作業領域を撮影して３次元情報を取得する情報取得部と、
   前記記憶部にて記憶された情報と前記情報取得部にて取得された３次元情報とに基づいて、作業者の作業状況を判断する作業状況判断部とを備え、
   前記作業状況判断部は、前記情報取得部にて取得された３次元情報が、前記オーダ情報に基づいてピッキングすべき物品に対応する前記ピック姿勢モデル情報に対して所定の一致度以上の場合は、前記ピッキングすべき物品が正常にピックされたと判定する
   ことを特徴とするピッキングシステム。
3. ピッキング作業を支援するピッキングシステムであって、
   オーダ情報と、作業者が物品を持った際の作業者の作業領域と物品との組み合わせからなり、最適なピック姿勢で物品が持たれた際の最適ピック姿勢モデル情報と、この最適ピック姿勢モデル情報以外の許容可能なピック姿勢で物品が持たれた際の許容ピック姿勢モデル情報とを記憶する記憶部と、
   作業者が物品を持った状態の作業領域を撮影して３次元情報を取得する情報取得部と、
   前記記憶部にて記憶された情報と前記情報取得部にて取得された３次元情報とに基づいて、作業者の作業状況を判断する作業状況判断部とを備え、
   前記作業状況判断部は、前記情報取得部にて取得された３次元情報が、前記オーダ情報に基づいてピッキングすべき物品に対応する前記最適ピック姿勢モデル情報または前記許容ピック姿勢モデル情報に対して所定の一致度以上の場合は、前記ピッキングすべき物品が正常にピックされたと判定する
   ことを特徴とするピッキングシステム。
4. 作業者に対してピッキング作業を支援する提示情報を表示する表示装置と、
   前記作業状況判断部にて判断された作業状況に基づいて、作業者に提示する提示情報を生成する提示情報生成部と、
   前記提示情報生成部によって生成された提示情報を前記表示装置に表示させる表示制御部とをさらに備え、
   前記作業状況判断部が、前記ピッキングすべき物品が正常にピックされたと判定しない場合は、前記提示情報生成部が警告表示を提示情報として生成し、前記表示制御部が前記警告表示を前記表示装置に表示させる
   ことを特徴とする請求項２または３記載のピッキングシステム。
5. 前記情報取得部は、作業者に装着されて作業者の前方視界の３次元情報を取得する
   ことを特徴とする請求項１ないし４のいずれか一記載のピッキングシステム。
6. ピッキング作業を支援するピッキング支援方法であって、
   記憶部に記憶された作業者が物品を最適なピック姿勢で持った際の物品と作業者の作業領域との組み合わせからなる最適ピック姿勢モデル情報のうち、作業者がピッキングすべき対象の物品に対応する最適ピック姿勢モデル情報を提示情報生成部が提示情報として生成し、
   生成された前記提示情報が、表示制御部によって表示装置に視認可能に表示される
   ことを特徴とするピッキング支援方法。
7. ピッキング作業を支援するピッキング支援方法であって、
   作業者が物品を持った状態の作業者の作業領域の３次元情報を取得する情報取得部にて前記作業領域の３次元情報を取得し、
   取得された前記３次元情報と、記憶部に記憶された作業者が物品を持った際の作業者の作業領域と物品との組み合わせからなるピック姿勢モデル情報とを照合し、
   前記ピック姿勢モデル情報と前記３次元情報とが所定の一致度以上の場合に、物品が正常にピッキングされたと判定する
   ことを特徴とするピッキング支援方法。
8. ピッキング作業を支援するピッキング支援方法であって、
   作業者が物品を持った状態の作業者の作業領域の３次元情報を取得する情報取得部にて前記作業領域の３次元情報を取得し、
   取得された前記３次元情報と、記憶部に記憶された作業者が物品を持った際の作業者の作業領域と物品との組み合わせからなり、最適なピック姿勢で物品が持たれた際の最適ピック姿勢モデル情報と、この最適ピック姿勢モデル情報以外の許容可能なピック姿勢で物品が持たれた際の許容ピック姿勢モデル情報とを照合し、
   前記最適ピック姿勢モデル情報または前記許容ピック姿勢モデル情報と前記３次元情報とが所定の一致度以上の場合に、物品が正常にピッキングされたと判定する
   ことを特徴とするピッキング支援方法。

Images