JP6605711B2 - 計測システム及び計測方法 - Google Patents

Description

本発明は、物流倉庫において空間を管理する計測システムに関する。

近年における通販市場の拡大と顧客ニーズの多様化に伴い、物流倉庫で扱う荷物が小口化している。物流倉庫における商品管理には、商品の保管場所を固定する固定ロケーション方式と、商品の保管場所を固定しないフリーロケーション方式とがある。固定ロケーション方式は、ある商品は常に同じ保管場所にあるためロケーションを把握しやすいが、空いている場所が保管場所として割り当てられている場合、他の商品を格納することができず、柔軟性に欠ける。一方、フリーロケーション方式は、空いている場所に荷物を保管することができ、保管スペースを有効活用できる。フリーロケーション方式を採用するためには、各棚の在庫状況を把握する必要がある。倉庫管理システムを導入している物流倉庫では、商品と在庫とロケーションとが関連付けて管理されているので、各棚の在庫（商品の数）を把握できる。倉庫にある在庫数を実際に確認する棚卸作業では、一般的には、作業員が倉庫内を歩き目視やバーコード等で数を確認する。

この分野の先行技術として、例えば特許文献１がある。特許文献１には、「物体までの距離を計測するセンサと、センサを移動させる移動機構と、センサと接続し、物体の少なくとも形状を格納する物体情報データベース、物体の配置パタンを格納する物体配置データベース、移動機構によるセンサの移動に伴うセンサからの、物体までの距離を計測したセンサデータとセンサデータを得たセンサの位置とを入力とし、センサの位置に応じてセンサデータを３次元空間内に統合した、物体の輪郭を示す統合データを出力するセンサデータ統合部、及び物体情報データベースに格納された物体の形状から物体モデルを作成し、物体配置データベースに格納された物体の配置パタンを参照して、作成した物体モデルと統合データとを比較して物体の実配置を示す物体実配置データを出力する物体比較演算部を有する計算機」が記載されている。

特開２０１０−２３９５０公報

前述した特許文献１は、倉庫内三次元形状データから、商品の存否を認識し、商品の個数を認識する技術を記載しているが、商品の数を認識するためには、倉庫内３次元形データから棚の位置及び棚の中の商品設置領域を抽出する必要があるが、その具体的方法は記載されていない。また、棚の中の商品設置領域を商品が占有している率の算出は考慮されていない。商品占有率を把握しないと、複数の場所に格納されている荷物を寄せるための計画を立てられず、保管スペースを有効活用することができない。

本発明は、形状計測データから棚領域及び荷物設置領域を抽出することを目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、計算機によって構成される計測システムであって、前記計算機は、プログラムを実行するプロセッサ及び前記プログラムを格納する記憶装置を有し、前記記憶装置は、棚の形状データと、棚が占有する領域を表す棚領域データと、棚の中で荷物を格納可能な領域を表す荷物領域データとを保持し、前記プロセッサは、計測センサが計測した倉庫内の形状データの入力を受け、前記棚の形状データと前記倉庫内の形状データとを照合し、前記棚の倉庫内の位置を特定し、前記特定された棚の位置及び前記棚領域データに基づいて、前記倉庫内の形状データから棚の形状データを抽出し、前記荷物領域データに基づいて、前記棚の形状データから前記棚の中の荷物領域の形状データを抽出する。

本発明の一態様によれば、形状計測データから棚領域及び荷物設置領域を抽出できる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

第１実施例の計測システムの構成を示す図である。 第１実施例の計測システムにおける物量計測の流れを示す機能ブロック図である。 第１実施例の計測システムの基本的な処理を例示するフローチャートである。 第１実施例の棚のＣＡＤデータ、棚設置領域、荷物設置領域の一例を示す図である。 第１実施例の倉庫全体形状データの一例を示す図である。 第１実施例の棚領域形状データを抽出する処理を示す図である。 第１実施例の荷物設置領域形状データの抽出を示す図である。 第１実施例の棚に貼付されたロケーションデータの一例を示す図である。 第１実施例の荷物体積を算出する処理を示す図である。 第１実施例の形状データが欠けている状態において、荷物体積を算出する処理を示す図である。 第１実施例の荷物情報のデータ構造の一例を示す図である。 第１実施例の倉庫全体形状データの取得の一例を示す図である。 第１実施例のセンサ位置及び姿勢の推定を示す図である。 第１実施例の倉庫全体形状データの作成を示す図である。 第２実施例の計測システムにおける物量計測の流れを示す機能ブロック図である。 第２実施例の棚位置の設定方法の一例を示す図である。 第２実施例の棚領域形状データを抽出する処理の変形例を示す図である。 第３実施例の荷物体積を補正する計測システムにおける物量計測の流れを示す機能ブロック図である。 第３実施例の計測領域・時刻対応データの一例を示す図である。 第３実施例の荷物体積修正処理を示す図である。

以下、図面を用いて、本発明の実施の形態を説明する。なお、本発明の実施の態様は、後述する実施例に限定されるものではなく、その技術思想の範囲において、種々の変形が可能である。

＜第１実施例＞
図１は、第１実施例の計測システムの構成を示す図である。

本実施例の計測システムは計算機１００によって構成される。計算機１００は、形状計測センサが取得したデータに基づいて各棚の各段における荷物量を計測し、荷物情報を更新及び保存する。計算機１００は、プロセッサ（ＣＰＵ）１１０、メモリ（ＲＡＭ、ＲＯＭ）及び補助記憶装置（ＨＤＤ、ＳＳＤ）を基本構成とし、プロセッサがメモリに格納されたプログラムを実行することによって、後述する機能を提供する。オペレータは、マウス、キーボード、タッチスクリーンなどの入力装置１１５を通じて、計算機１００を操作する。

具体的には、プロセッサ１１０は、メモリに格納されたプログラムを実行する。メモリは、不揮発性の記憶装置であるＲＯＭ及び揮発性の記憶装置であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶装置であり、プロセッサ１１０が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

補助記憶装置２００は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置であり、プロセッサ１１０が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置２００から読み出されて、メモリにロードされて、プロセッサ１１０によって実行される。

計測システムは、出力装置１１６を有してもよい。出力装置は、ディスプレイ装置やプリンタであり、プログラムの実行結果をオペレータが視認可能な形式で出力するインターフェースである。

通信インターフェースは、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。計測システムは、通信インターフェースを介して端末（図示省略）と接続されてもよく、該端末から入力された指示に従って動作し、該端末に演算結果を出力してもよい。

計算機１００は、インターネット３００を通じて倉庫管理システム４００と接続され、双方の送受信部（ネットワークインターフェース）を通じて、互いにデータを転送する。

照合処理部１０１は、倉庫全体形状データ２０１と棚ＣＡＤデータ２０２とを重ね合わせることによって、倉庫全体形状データ２０１内で棚の設置位置及び棚の設置向きを正確に算出する。

棚領域形状データ抽出部１０２は、照合処理部１０１が算出した棚の位置及び向きと、棚とその内部の荷物設置領域とを包含する棚領域データ２０３とを用いて、棚領域形状データ２０４を抽出する。

荷物設置領域形状データ抽出部１０３は、抽出された棚領域形状データ２０４と、棚領域の中のどこに荷物が設置されているかを示す荷物設置領域データ２０５とを用いて、棚の各段における荷物設置領域形状データ２０６を抽出する。

ロケーションデータ取得部１０４は、棚に割り当てられているロケーションデータを取得する。ロケーションデータは、例えば、棚に貼付されている「Ａ−１−２−３」などの文字列や、バーコード等で示されており、棚を一意に識別可能な識別情報である。ロケーションデータ取得部１０４は、文字認識やバーコード読み取りなどによって、ロケーションデータを取得する。

荷物情報取得部１０５は、倉庫管理システム４００に、読み取ったロケーションデータ２０９で問い合わせることによって、そのロケーションデータが割り当てられた棚に保管されている荷物の荷物情報２１０を取得する。荷物情報２１０は、例えば、商品ＩＤ、在庫数、荷物サイズ等を含む。

荷物量計測部１０６は、荷物設置領域２０５内の形状データ２０６から、荷物体積２１１を算出する。

荷物情報保存・更新部１０７は、算出された荷物の体積、荷物が設置されている棚の倉庫内の座標値、及び荷物設置領域の棚内の座標値を荷物体積２１１に保存し、更新する。さらに、荷物情報の更新結果は、データ送受信部１０８を通じて、倉庫管理システム４００に送信され、商品管理ＤＢ４０１に格納される。

データを格納する補助記憶装置２００は、倉庫全体形状データ２０１、棚ＣＡＤデータ２０２、棚領域データ２０３、棚領域形状データ２０４、荷物設置領域データ２０５、荷物設置領域形状データ２０６、棚領域倉庫内座標値２０７、荷物領域の棚内座標値２０８、ロケーションデータ２０９、荷物情報２１０及び荷物体積２１１を格納する。

倉庫全体形状データ２０１は、形状計測センサが複数地点で取得したデータを一つに統合した倉庫全体の形状データである。棚ＣＡＤデータ２０２は、倉庫内に設置された棚の形状、大きさを示すデータである。棚領域データ２０３は、棚が占有する領域及びその内部の荷物設置領域とを包含する棚領域を示すデータである。棚領域形状データ２０４は、棚領域データ２０３内の形状データである。荷物設置領域データ２０５は、荷物を設置可能な空間である荷物設置領域の位置、大きさを示すデータである。荷物設置領域形状データ２０６は、荷物設置領域データ２０５内の形状データである。

棚領域倉庫内座標値２０７は、棚領域データ２０３が示す棚領域の倉庫内における座標値及び姿勢であり、（Ｘ，Ｙ，Ｚ，θ）の４パラメータで表される。なお、倉庫床面をＺ＝０とするなど、垂直方向の座標値一定の値に固定した場合、棚領域の座標値２０７は（Ｘ，Ｙ，θ）で表わしてもよい。棚内座標値２０８は、荷物設置領域データ２０５が示す荷物設置領域の棚内における座標値である。ロケーションデータ２０９は、各棚に貼付されている倉庫内のロケーションを表すデータである。荷物情報２１０は、荷物に関する情報、例えば、商品ＩＤ、在庫数、荷物サイズ等である。荷物体積２１１は、各棚の段ごとに算出された棚上の荷物の体積である。

倉庫管理システム４００は、商品の情報を格納する商品管理データベース４０１と、商品に関する情報を計算機１００と送受信するインターフェースであるデータ送受信部４０２とを含む。

プロセッサ１１０が実行するプログラムは、リムーバブルメディア（ＣＤ−ＲＯＭ、フラッシュメモリなど）又はネットワークを介して計測システムに提供され、非一時的記憶媒体である補助記憶装置２００に格納される。このため、計測システムは、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

計測システムは、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

図２は、第１実施例の計測システムにおける物量計測の流れを示す機能ブロック図である。

まず、計算機１００は、形状計測センサが計測し、倉庫内の表面形状を表す倉庫全体形状データ２０１の入力を受ける。形状データは、例えば、レーザ距離センサを用いた計測で得られるデータであり、物体表面の形状を表す多数の点の３次元座標値の集合体である形状データである。本実施例では、形状データは、点群データを例として説明するが、メッシュデータや画像データでもよい。また、形状データは、周囲の形状を表すものであれば、例えば、ステレオカメラ画像や、ＲＧＢ−Ｄカメラ画像や、音波を用いたソナーデータでもよい。レーザ距離センサを用いて倉庫全体形状データ２０１を取得する例は、図１２を用いて後述する。

次に、照合処理部１０１は、倉庫全体形状データ２０１と棚ＣＡＤデータ２０２とを重ね合わせて、両者が合致する場所を探索する照合処理を行う。これにより、形状データ全体から棚の特定の部分を抽出し、倉庫全体形状データ２０１の座標系における棚領域の座標値２０７（Ｘ，Ｙ，Ｚ，θ）を出力する。出力される座標値を、後に荷物情報２１０と関連付けることによって、その荷物の倉庫内の保管場所の座標値を得ることができる。荷物の保管場所を座標値として得ることによって、例えば、自律走行車が倉庫内を移動し、荷物の棚卸しやピッキングを行う場合、座標値に基づいて移動できる。

棚領域形状データ抽出部１０２は、照合処理部１０１が算出した棚領域倉庫内座標値２０７と棚領域データ２０３とに基づいて、倉庫全体形状データ２０１から棚領域形状データ２０４を抽出する。棚領域データ２０３は、図４で示すように、棚ＣＡＤデータ２０２及び荷物設置領域データ２０５を包含する領域であり、例えば、棚領域データ２０３ｄに示すように、棚ＣＡＤデータ２０２の原点を基準とした、幅ｗ、奥行きｄ、高さｈ で表わされる。

荷物設置領域形状データ抽出部１０３は、棚領域の中で荷物が設置されている領域を示す荷物設置領域データ２０５とに基づいて、棚領域形状データ２０４から荷物設置領域形状データ２０６を抽出する。

ロケーションデータ取得部１０４は、棚領域形状データ２０４より、その棚の番地を示すロケーションデータを取得する。ロケーションデータは、倉庫内のおおまかな領域、棚の番号などを示しており、棚の見やすい場所（例えば、正面）に、バーコードや文字（アルファベット、数字など）によって記載されている。ロケーションデータ取得部１０４は、棚のロケーションデータを取得し、バーコード認識又は文字認識によって、その棚に割り当てられているロケーション番号を読み取る。棚の所定の場所にロケーションデータが貼付されている場合、当該所定の場所に対応する領域を抽出することによって、ロケーションデータを取得できる。棚の未知の場所にロケーションデータが貼付されている場合、例えば、棚の画像から、棚本体と色が異なる箇所を抽出して、ロケーションデータを取得できる。

荷物情報取得部１０５は、取得したロケーションデータ２０９を倉庫管理システム４００に問い合わせ、そのロケーションに保管されている荷物情報２１０を取得する。荷物情報２１０は、例えば、商品ＩＤ、保管先のロケーション、在庫数、荷物サイズなどを格納する。

荷物量計測部１０６は、荷物設置領域データ２０５及び荷物設置領域形状データ２０６から、荷物体積２１１を出力する。荷物設置領域形状データ２０６は、荷物を全方向から計測したデータではなく、形状計測センサで計測した場所から見える範囲の表面形状を表すデータである。このため、荷物設置領域形状データ２０６は、表面の凹凸のデータを含むが、荷物の奥行きのデータを含まない。そこで、各棚において荷物が設置可能な領域を示す荷物設置領域データ２０５を用いて荷物設置領域の最奥面を設定し、荷物設置領域の最奥面から荷物の表面まで荷物が設置されていると推定することによって、荷物量を算出できる。ここで、算出した荷物量を荷物設置領域体積で除することによって、該当する棚の該当する段における荷物占有率を算出する。

荷物情報保存・更新部１０７は、荷物情報２１０を保存し、更新する。荷物情報２１０は、例えば、商品ＩＤ、保管先のロケーション、在庫数、及び荷物サイズを含み、荷物体積２１１、棚領域倉庫内座標値２０７、荷物領域の棚内座標値２０８を含んでもよい。また、荷物体積２１１と共に、荷物占有率を格納してもよい。

荷物情報２１０の更新結果は、データ送受信部１０８を通じて、倉庫管理システム４００の商品管理ＤＢ４０１に格納される。

棚領域倉庫内座標値２０７と荷物領域の棚内座標値２０８とを組み合わせることによって、荷物領域の倉庫内３次元座標値を算出できる。各荷物領域の荷物体積量及び荷物占有率の少なくとも一方に応じて、表示態様（例えば、色）を変えて、倉庫内３次元空間内に荷物領域を表示することによって、倉庫内における荷物量や占有率の多い領域や少ない領域等を容易に把握することができる。

図３は、第１実施例の計測システムの基本的な処理を例示するフローチャートであり、第１実施例の計算機１００で実行される棚上荷物の物量計測の処理を示す。この処理は、計算機１００によるプログラムの実行によって提供される。

まず、ステップＳ１０１では、形状計測センサ３０が計測した、倉庫内の表面形状を表す倉庫全体形状データ２０１の入力を受ける。また、倉庫全体形状データは、例えば図５に示すように、物体の表面の位置を表す点の集合である。

次に、ステップＳ１０２では、棚データの入力を受ける。入力される棚データは、棚ＣＡＤデータ２０２、棚ＣＡＤデータ座標系における棚領域データ２０３及び棚毎の荷物設置領域２０５を含む（図４参照）。棚領域データ２０３は、倉庫全体形状データ２０１から最初に抽出される領域であり、図４（Ｄ）に示すように、棚及び荷物設置領域を包含する領域である。棚領域データ２０３は、例えば、棚領域データ２０３ｄ（図４（Ｂ）参照）に示すように、棚ＣＡＤデータの原点２０２ａを基準とした、幅ｗ、奥行きｄ、高さｈで表わされる。荷物設置領域２０５は、図４（Ｅ）に示すように、棚の各段において荷物が設置可能な領域であり、例えば、荷物設置領域データ２０５ｄ（図４（Ｃ）参照）に示すように、棚の段数、棚ＣＡＤデータの原点２０２ａを基準としたｘｙｚ座標値及び幅ｗ、奥行きｄ、高さｈで表わされる。

ステップＳ１０３では、棚設置領域の形状データを抽出する。ステップＳ１０１で入力された倉庫全体形状データ２０１と、ステップＳ１０２で入力された棚ＣＡＤデータ２０２とを照合し、倉庫全体形状データ２０１と棚ＣＡＤデータ２０２とが合致する場所を探索する。

ここで、図６を参照して、倉庫全体形状データ２０１と棚ＣＡＤデータ２０２とを照合し、倉庫内における棚領域の座標値２０７を算出し、棚領域形状データ２０４を抽出する処理を説明する。ここで、棚は床面に接して、床面と垂直に設置されているという条件を用いることによって、探索範囲を限定し、計算時間を短縮できる。このため、倉庫全体形状データ２０１は、床面がＸＹ平面と平行であり、Ｚ＝０であることが望ましい。しかし、探索範囲を限定しても、限定した範囲内の全てを探索する方法では多くの計算コストが必要となるため、事前におおよその棚位置を設定し、初期値を与えることによって、計算コストを大幅に削減できる。棚概略位置の設定方法の例は、図１５を用いて後述する。

倉庫全体形状データ２０１と棚ＣＡＤデータ２０２とが合致する場所が探索された後、棚領域データ２０３ｄに記載されている範囲の形状データを抽出して、棚領域形状データ２０４を抽出する。抽出された棚領域形状データ２０４は、各段における荷物設置領域データ２０５の算出、及び、ロケーションデータの取得に使用される。

ステップＳ１０４では、抽出した棚領域形状データ２０４から棚の各段における荷物設置領域の形状データを抽出する。予め設定された荷物設置領域データ２０５ｄに記載されている棚ＣＡＤデータ座標系における荷物領域座標値及びサイズ（幅ｗ、奥行きｄ、高さｈ）に基づいて、棚の段数分、荷物設置領域形状データ２０６を抽出する。図７は、棚領域形状データ２０４及び荷物設置領域データ２０５より、荷物設置領域形状データ２０６の抽出を示す図である。具体的には、棚領域形状データ２０４から、各段の荷物設置領域２０５内の形状データ２０６を抽出する。

ステップＳ１０５では、棚のロケーションデータ２０９を取得する。例えば、棚に貼付されているロケーションに関するデータを文字認識又はバーコード認識によって読み取る。このため、倉庫全体形状データ２０１は、色つきデータであることが必要である。倉庫全体形状データ２０１を取得する際、レーザ光などで倉庫内設置物の表面形状を取得すると共に、カメラで倉庫内を撮影して色情報を取得する。これによって、棚に貼付されたロケーションデータを読み取り可能とする。図８に、棚１０に貼付されたロケーションデータ２０９の例を示す。

ステップＳ１０６では、取得したロケーションデータ２０９を用いて荷物情報２１０を取得する。データ送受信部１０８を通じて倉庫管理システム４００に問い合わせる。倉庫管理システム４００は、商品管理ＤＢ４０１に格納されている荷物情報から、該当するロケーションに設置されている荷物の情報を抽出する。計算機１００（計測システム）は、データ送受信部１０８を通じて荷物の情報を受信し、荷物情報２１０に格納する。

なお、ステップＳ１０４とステップＳ１０５からＳ１０６とは、並行して実行してもよいし、一方を先に他方を後に実行してもよい。

荷物設置領域形状データ２０６を抽出し、ロケーションデータ２０９を取得した後、ステップＳ１０７では、荷物設置領域形状データ２０６及び荷物設置領域データ２０５より、荷物体積２１１を算出する。図９を参照して、荷物設置領域形状データ２０６（図９（Ａ））から荷物体積２１１を算出する処理を説明する。まず、荷物設置領域形状データ２０６を用いてｘｙ平面と垂直な平面２０６ａを検出する（図９（Ｂ））。形状計測センサは、棚正面から表面形状を計測するので、荷物の上面にはレーザ光が届かず、荷物の上面の形状データを取得できない。このため、平面検出においてｘｙ平面と水平となる平面も検出されるが削除し、ｘｙ平面と垂直な平面２０６ａを残す。検出した平面２０６ａを、荷物設置領域２０５のｘ軸方向で最奥面まで延長して生成される空間を荷物体積２１１として算出し、出力する（図９（Ｃ））。

図９では、荷物設置領域形状データ２０６及び荷物設置領域データ２０５より荷物体積２１１を求める方法を示したが、オクルージョン等により多少形状が欠けている場合でも、荷物情報２１０を併用して荷物体積をより正確に求める方法を図１０に示す。荷物情報２１０のうち、荷物サイズ（幅ｗ，奥行きｄ，高さｈ）２１０＿７（図１１参照）を用いて欠損している部分を補う。まず、荷物設置領域形状データ２０６（図１０（Ａ））を用いてｘｙ平面と垂直な平面２０６ａを検出する（図１０（Ｂ））。抽出した平面２０６ａを、荷物サイズ（高さｈ）ごとに分割し（図１０（Ｃ））、高さｈごとに、平面２０６ａの幅が荷物サイズ（幅ｗ）の倍数になるように平面２０６ａの大きさを調整する（図１０（Ｄ））。調整後の平面２０６ａを用いて、荷物設置領域２０５のｘ軸方向最奥面まで延長してできる空間を、荷物体積２１１として算出し、出力する（図１０（Ｅ））。

ステップＳ１０８では、ステップＳ１０３で算出した棚領域倉庫内座標値２０７、ステップＳ１０４で利用した荷物領域の棚内座標値２０８、及び、ステップＳ１０７で算出した荷物体積２１１を、荷物情報２１０に保存し、更新する。

図１１に、荷物情報２１０のデータ構造の例を示す。荷物情報２１０は、例えば、荷物ＩＤ２１０＿１、ロケーション２１０＿２、棚領域の倉庫内座標値２１０＿３、荷物領域情報２１０＿４、在庫数２１０＿５、荷物体積２１０＿６、荷物サイズ２１０＿７及び更新日時２１０＿８を含む。

荷物ＩＤ２１０＿１は、荷物を一意に識別するための識別情報である。ロケーション２１０＿２は、倉庫内の荷物の場所を示す。棚領域の倉庫内座標値２１０＿３は、荷物が設置されている棚の倉庫内の座標値である。荷物領域情報２１０＿４は、棚内で荷物が設置されている領域の情報であり、三次元の棚内座標値、幅、奥行き及び高さで表される。在庫数２１０＿５は、当該荷物が在庫している数である。荷物体積２１０＿６は、当該荷物の合計の体積である。荷物サイズ２１０＿７は、一つ一つの荷物の大きさであり、幅、奥行き及び高さで表される。更新日時２１０＿８は、荷物情報を更新した日時である。更新日時２１０＿８は、荷物ＩＤ２１０＿１毎に一つの値でもよいが、在庫数と荷物サイズとで別に更新日時を記録してもよい。

ステップＳ１０９では、倉庫全体形状データ２０１から、次の棚を探索する。

ステップＳ１１０では、次の棚の有無を判定し、次の棚がある場合、ステップＳ１０３に戻り、棚領域の形状データを抽出する。次の棚がない場合、処理を終了する。

図１２は、倉庫全体形状データ２０１の取得の一例を示す図である。

第１実施例においては、形状計測センサ３０を台車５０で移動して計測する方法について説明するが、これ以外の方法でもよい。例えば、形状計測センサを移動ロボットに搭載し移動しながら自動的に計測する方法や、形状計測センサをＵＡＶ（無人航空機）に搭載し移動しながら自動的に計測する方法や、形状計測センサを用いて複数箇所の定置点で計測する方法でもよい。

本実施例では、二つの形状計測センサ３０、４０を用いて、形状データを作成する方法を説明する。形状計測センサ３０は、倉庫全体形状データ２０１を作成するためのデータを取得し、形状計測センサ４０は、形状計測センサ３０が計測を行った計測位置を逐次取得する。

形状計測センサ３０は、例えば、スキャン面が床面と垂直になるように台車５０に搭載し、台車５０で移動しながらレーザ光を指定の方向に照射することによって、棚１０や荷物２０などの物体までの距離を計測する。その後、計測データを繋ぎ合わせることで倉庫全体形状データ２０１が作成できる。計測データを繋ぎ合わせるためには、そのデータが計測された位置姿勢を知る必要がある。このため、形状計測センサ４０は、例えば、スキャン面が床面と水平となるように台車５０に設置し、一定の高さにおける周囲との距離を計測する。計測したデータに基づき、二次元地図を作成しながら逐次自己位置や姿勢を推定する。

また、形状計測センサ３０にはカメラ６０を設けるとよい。カメラ６０が撮影した可視光領域のカラー画像によって、倉庫全体形状データ２０１に着色が可能となり、棚１０のロケーションデータを取得できる。なお、カメラが内蔵されている形状計測センサ３０を用いてもよい。

図１３は、形状計測センサ４０が計測したデータを用いたセンサ位置及び姿勢の推定を示す図である。

形状計測センサ４０は、移動して計測する位置ごとに物体までの距離データ４１−１、４１−２、・・・を得る。距離データ４１−１等は、図において実線で示される対象物（物体や障害物）の輪郭（厳密には後述するように点の集合）を表す。

形状計測センサ４０は、移動する位置ごとに、例えば、４１−１、４１−２、４１−３、・・・のような距離データ４１を得る。逐次得られる距離データ４１からそれぞれの計測位置及び姿勢を求める。距離データ４１を統合するためには、これら二つの計算を同時に実行するＳＬＡＭ（Simultaneous Localization And Mapping）技術を用いる。具体的には、距離データ４１と、それまでに作成した二次元平面地図４２との照合処理を行うことで、形状計測センサ４０の二次元平面地図４２上の位置及び姿勢を求め、これらに基づいて二次元平面地図４２を逐次拡張・更新する。

図１３を用いて、二次元平面地図４２の作成を説明する。まず、距離データ４１−１と距離データ４１−２とを対象物の輪郭が一致する位置で重ね合わせ、二次元平面地図４２を得る。さらに、距離データ４１−１と距離データ４１−２とから作成した二次元平面地図４２に、対象物の輪郭が一致する位置で距離データ４１−３を重ね合わせることによって、二次元平面地図４２を拡張・更新する。このように二次元平面地図４２に距離データを統合する処理を繰り返すことによって、二次元平面地図４２を作成する。

一方、一つ前の距離データ４１を取得した位置・姿勢の近傍において、逐次更新される二次元平面地図４２と現在の距離データ４１との照合処理を行うことによって、形状計測センサ４０の二次元平面地図４２上の二次元の位置及び姿勢４３（ｘ，ｙ，θ）を推定できる。推定された形状計測センサ４０の位置及び姿勢４３（ｘ，ｙ，θ）に、形状計測センサ４０の位置及び姿勢と形状計測センサ３０の位置及び姿勢との差を加えることによって、形状計測センサ３０の位置及び姿勢を推定できる。

図１４は、形状計測センサ３０が計測したデータから倉庫全体形状データ２０１の作成の例を示す図である。

図１４（Ａ）に示すように、形状計測センサ３０が計測した物体や障害物などの対象物までの距離及び角度（Ｌ，θ）と形状計測センサ３０の位置及び姿勢（ｘ，ｙ，ｚ，θ）とから、対象物の３次元座標値（ｘ１，ｙ１，ｚ１）を算出する。形状計測センサ３０の位置及び姿勢は、計測位置（ｘ，ｙ，ｚ）及び向きθの組で表され、前述したように、形状計測センサ４０の位置及び姿勢４３と形状計測センサ３０の位置及び姿勢とによって算出できる。形状計測センサ３０を移動しながら距離データを計測するので、移動に伴って異なる位置で取得した距離データが、図１４（Ｂ）に示すように、点の集まり３１−１〜３１−５として得られる。それらの距離データを、同一座標系に変換し纏め、三次元空間における点の集合として表すと、データ３２を生成できる（図１４（Ｃ）参照）。この統合処理を倉庫全体のデータに対して行うことによって、倉庫全体形状データ２０１を生成できる。

＜第２実施例＞
図１５は、第２実施例の予め棚位置が設定された計測システムにおける物量計測の流れを示す機能ブロック図である。図１５に示す計測システムでは、図２に示した計測システムに棚位置設定に関する処理が追加されている。

予め棚位置が設定されていたり、棚レイアウト図を保持していたりしたとしても、実際の倉庫に設置されている棚は、設置位置や角度に誤差が生じている可能性が高いため、実測データとの照合処理による棚位置の算出は有効である。

棚位置設定部１０９は、オペレータの入力によって、倉庫全体形状データ２０１上に棚のおおよその位置を設定し、棚設置図２１２を作成する。おおよその位置を予め与えることによって、高速かつ正確に棚位置を把握できる。照合処理部１０１は、棚設置図２１２に示される座標値近傍において照合処理を行って、棚領域の抽出及び位置の把握を容易にする。照合処理部１０１による処理以降は、前述した実施例と同じであるため、それらの説明を省略する。

棚位置を設定する方法は、例えば、図１６（Ａ）に示すように、倉庫全体形状データ２０１をある一定の高さで切り取った平面図２０１ａを作成する。そして、図１６（Ｂ）に示すように、平面図２０１ａ上に棚の各列の最端位置に棚を表す矩形２１２ａを配置する。設置された棚が隣接して配置される方向２１２ｂを平面図２０１ａに示してもよい。また、図示を省略するが、棚を表す矩形を全て配置してもよい。棚レイアウト図を保持している場合、それを利用してもよい。

倉庫全体形状データ２０１は、計測位置から見た物体表面の形状を表すため、隣接して配置された棚のうち最端位置以外の棚の側面の形状を取得するのは困難である。このため、多くの棚は主に正面の表面形状が計測される。このため、棚位置を事前に設定することによって、計算時間の短縮だけでなく、異なる場所を棚位置と認識する可能性が低減する。

図１７は、倉庫全体形状データ２０１と棚ＣＡＤデータ２０２とを照合し、倉庫内における棚領域の座標値２０７を算出し、棚領域形状データ２０４を抽出する処理の変形例を示す図である。

図１７に示す処理は、図６に示した処理と異なり、棚設置図２１２を利用して照合処理を行う。

棚設置図２１２が示す棚の座標値と同じ場所（ｘ，ｙ，θ）に、棚ＣＡＤデータ２０２を配置する。棚ＣＡＤデータ２０２と倉庫全体形状データ２０１の棚領域とは、設置誤差によって、合致しない可能性が高い。このため、設置した近傍で棚ＣＡＤデータ２０２と倉庫全体形状データ２０１の照合処理を行うことによって、棚領域の正確な倉庫内座標値（ｘ１，ｙ１，θ１）を出力できる。

＜第３実施例＞
ここまで、倉庫内全体形状データ取得時と棚上荷物の物量計測時との間で荷物量が変化しない場合について述べた。倉庫業務を行っていない時間帯がある倉庫では、倉庫業務終了後に倉庫全体形状データ２０１を取得し、棚上荷物の物量を計測することによって、その日の最新荷物量情報を更新できる。しかし、２４時間稼働する倉庫においては、倉庫全体形状データ２０１の取得後に、入庫や出庫の作業が行われ、棚上荷物の物量計測時は現状と乖離が生じる。第３実施例として、この乖離を解消する方法を以下に説明する。

図１８は、第３実施例の荷物体積を補正する計測システムにおける物量計測の流れを示す機能ブロック図である。図１８に示す計測システムでは、図２に示した計測システムに在庫差分を用いることにより荷物体積を補正する処理が追加されている。

計測部１２０は、倉庫内の形状データを計測し、計測時刻をデータ計測時刻２２０に格納する。計測データ統合部１２１は、例えば、図１３や図１４に示した方法を用いて計測データを統合し、倉庫全体形状データ２０１を作成する。計測領域・時刻対応付け部１２２は、計測時刻と計測された領域とを対応付ける。例えば、図１９（Ａ）に示すように、倉庫全体形状データ２０１から、ある高さで抽出した平面図２０１ａにおいて、計測時刻毎に領域を分割し、各領域の範囲を示す座標値及び、その領域の計測時刻を含む、計測領域・時刻対応データ２２１（図１９（Ｂ））を作成する。

物量計測時には、荷物情報取得部１０５は、倉庫管理システム４００の商品管理ＤＢ４０１へ問い合わせることによって、物量計測時の荷物情報２１０及び形状計測時の荷物情報２２２を取得する。形状計測時の荷物情報２２２は、棚領域倉庫内座標値２０７及び計測領域・時刻対応データ２２１によって、棚領域の座標値に該当する領域の計測時刻を取得し、当該時刻と等しい時刻の荷物情報を取得する。このため、商品管理ＤＢ４０１は、過去の所定期間のデータを保持する。

荷物情報２１０と形状計測時荷物情報２２２の在庫数とに差が生じている場合、形状計測後に入出庫作業が生じたと推定して、荷物体積を修正する。荷物体積修正部１２３では、図２０に示すように、物量計測時の荷物情報２１０の在庫数と形状計測時荷物情報２２２の在庫数とを比較し、荷物量差分を算出し、荷物情報２１０の箱サイズ及び荷物量差分から荷物体積差分を算出する。そして、荷物量計測部１０６が算出した荷物体積２１１ａに荷物体積差分を追加し、修正荷物体積２１１ｂを作成する。荷物情報保存・更新部１０７は、修正後の荷物体積２１１ｂを用いて、荷物情報２１０を更新する。

なお、物量計測時の荷物情報２１０の在庫数と、物量計測時の荷物情報２２２の在庫数とが同じにもかかわらず、在庫数と形状計測時の荷物体積２１１との差異が所定の閾値を超える場合、警告（特定の文字、図形、色、音、点滅など）を発して、オペレータに報知してもよい。

倉庫業務を行っていない時間帯がある倉庫では、倉庫業務（入庫作業や出庫作業）と倉庫内形状計測や物量計測とを分離できるが、２４時間稼働する倉庫では、入出庫作業と計測作業との分離が困難である。倉庫内形状計測時には、計測対象となる棚や商品が、作業者や荷運びロボットなどによる遮蔽を回避する必要がある。このため、２４時間稼働倉庫においては、計測スケジュールと作業スケジュールとを調整することによって、入出庫作業と計測作業との同時実行を回避するとよい。

以上に説明したように、本発明の実施例によると、計測システムは、棚ＣＡＤデータ２０２と倉庫全体形状データ２０１とを照合し、前記棚の倉庫内の位置を特定する照合処理部１０１と、棚領域倉庫内座標値２０７及び棚領域データ２０３に基づいて、倉庫全体形状データ２０１から棚領域形状データ２０４を抽出する棚領域形状データ抽出部１０２と、荷物設置領域データ２０５に基づいて、棚領域データ２０３から荷物設置領域形状データ２０６を抽出する荷物設置領域形状データ抽出部１０３とを有するので、棚の位置を詳細に指定することなく、計測センサが取得した形状データから、荷物が設置される領域を自動的に抽出できる。

また、計測システムは、荷物設置領域形状データ２０６及び荷物設置領域データ２０５を用いて、荷物体積２１１を推定する荷物量計測部１０６を有するので、棚に格納された荷物の量を推定できる。また、荷物量計測部１０６は、推定した荷物体積を荷物設置領域の体積で除することによって、棚の各段における荷物の占有率を算出してもよい。占有率によって、棚寄せの可否を判定できる。

また、荷物量計測部１０６は、倉庫管理システム４００から取得した荷物の大きさ２１０＿７、荷物設置領域形状データ２０６及び荷物設置領域データ２０５を用いて、荷物体積２１１を推定するので、形状データから抽出された荷物領域に欠落がある場合でも、荷物領域を補完して、荷物の体積を高精度で求めることができる。また、荷物量計測部１０６は、推定した荷物体積を荷物設置領域の体積で除することによって、棚の各段における荷物の占有率を算出してもよい。

また、計測システムは、倉庫管理システム４００から取得した荷物の在庫数２１０＿５と荷物体積２１１とが異なる場合、警告を報知するので、現在の在庫数と体積の推定値との違いを気付く契機を与えることができる。

また、荷物情報取得部１０５は、棚に割り当てられたロケーションデータ２０９を用いて、当該棚に格納されている荷物の情報を倉庫管理システム４００から取得するので、倉庫内の棚の位置を知ることができる。また、棚寄せ時に棚が近いかを判定できる。

また、計測システムは、倉庫全体形状データ２０１の計測時刻と等しい時刻の荷物情報及び物量計測の時刻に取得した荷物の情報を用いて、荷物の体積を修正する荷物体積修正部１２３を有するので、荷物体積を高精度に推定できる。また、荷物の現状を正確に把握して、過剰在庫や品切れリスクを減らすことができる。さらに、棚の空きを減らして、効率的に荷物を棚に格納できる。

また、計測システムは、倉庫全体形状データ２０１から一定の高さで形状を抽出して構成した平面図２０１ａの上で、棚の位置の設定を受け付ける棚位置設定部１０９を有し、照合処理部１０１は、受け付けた棚の位置の近傍に探索範囲を設定することによって、棚ＣＡＤデータと倉庫全体形状データ２０１とを照合するので、照合範囲を狭くすることができ、計算を高速化できる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (14)

1. 計算機によって構成される計測システムであって、
   前記計算機は、プログラムを実行するプロセッサ及び前記プログラムを格納する記憶装置を有し、
   前記記憶装置は、棚の形状データと、棚が占有する領域を表す棚領域データと、棚の中で荷物を格納可能な領域を表す荷物領域データとを保持し、
   前記プロセッサは、
   計測センサが計測した倉庫内の形状データの入力を受け、
   前記棚の形状データと前記倉庫内の形状データとを照合し、前記棚の倉庫内の位置を特定し、
   前記特定された棚の位置及び前記棚領域データに基づいて、前記倉庫内の形状データから棚の形状データを抽出し、
   前記荷物領域データに基づいて、前記棚の形状データから前記棚の中の荷物領域の形状データを抽出することを特徴とする計測システム。
2. 請求項１に記載の計測システムであって、
   前記プロセッサは、前記抽出された荷物領域の形状データ及び前記荷物領域データを用いて、棚の中の荷物の体積を推定することを特徴とする計測システム。
3. 請求項２に記載の計測システムであって、
   商品管理データベースを保持する倉庫管理システムに接続されており、
   前記プロセッサは、
   荷物の大きさの情報を前記倉庫管理システムから取得し、
   前記取得した荷物の大きさの情報、前記抽出された荷物領域の形状データ及び前記荷物領域データを用いて、棚の中の荷物の体積を推定することを特徴とする計測システム。
4. 請求項３に記載の計測システムであって、
   前記プロセッサは、
   荷物の在庫数の情報を前記倉庫管理システムから取得し、
   前記取得した荷物の在庫数の情報と前記推定された荷物の体積とが異なる場合、警告を報知することを特徴とする計測システム。
5. 請求項３に記載の計測システムであって、
   前記プロセッサは、
   棚に割り当てられた識別情報を取得し、
   前記取得した識別情報を用いて、当該棚に格納されている荷物の情報を前記倉庫管理システムから取得することを特徴とする計測システム。
6. 請求項２に記載の計測システムであって、
   前記プロセッサは、
   前記計測センサが倉庫内の形状データを計測した時刻を取得可能であって、
   前記計測時刻と等しい時刻の荷物情報及び物量計測の時刻に取得した荷物の情報を用いて、荷物の体積を修正することを特徴とする計測システム。
7. 請求項１に記載の計測システムであって、
   前記プロセッサは、
   前記倉庫内の形状データから一定の高さで形状を抽出して構成した平面上で、棚の位置の設定を受け付け、
   前記受け付けた棚の位置の近傍に探索範囲を設定することによって、前記棚の形状データと前記倉庫内の形状データとを照合することを特徴とする計測システム。
8. 計算機が実行する計測方法であって、
   前記計算機は、プログラムを実行するプロセッサ及び前記プログラムを格納する記憶装置を有し、
   前記記憶装置は、棚の形状データと、棚が占有する領域を表す棚領域データと、棚の中で荷物を格納可能な領域を表す荷物領域データとを保持し、
   前記計測方法は、
   前記プロセッサが、計測センサによって計測された倉庫内の形状データの入力を受けるステップと、
   前記プロセッサが、前記棚の形状データと前記倉庫内の形状データとを照合し、前記棚の倉庫内の位置を特定する照合ステップと、
   前記プロセッサが、前記特定された棚の位置及び前記棚領域データに基づいて、前記倉庫内の形状データから棚の形状データを抽出するステップと、
   前記プロセッサが、前記荷物領域データに基づいて、前記棚の形状データから前記棚の中の荷物領域の形状データを抽出するステップとを含むことを特徴とする計測方法。
9. 請求項８に記載の計測方法であって、
   前記プロセッサが、前記抽出された荷物領域の形状データ及び前記荷物領域データを用いて、棚の中の荷物の体積を推定する推定ステップを含むことを特徴とする計測方法。
10. 請求項９に記載の計測方法であって、
    前記計算機は、商品管理データベースを保持する倉庫管理システムに接続されており、
    前記計測方法は、
    前記プロセッサが、荷物の大きさの情報を前記倉庫管理システムから取得する取得ステップを含み、
    前記推定ステップでは、前記取得した荷物の大きさの情報、前記抽出された荷物領域の形状データ及び前記荷物領域データを用いて、棚の中の荷物の体積を推定することを特徴とする計測方法。
11. 請求項１０に記載の計測方法であって、
    前記プロセッサが、荷物の在庫数の情報を前記倉庫管理システムから取得する取得ステップと、
    前記取得した荷物の在庫数の情報と前記推定された荷物の体積とが異なる場合、前記プロセッサが警告を報知するステップとを含むことを特徴とする計測方法。
12. 請求項１０に記載の計測方法であって、
    前記プロセッサが、棚に割り当てられた識別情報を取得するステップを含み、
    前記取得ステップでは、前記取得した識別情報を用いて、当該棚に格納されている荷物の情報を前記倉庫管理システムから取得することを特徴とする計測方法。
13. 請求項９に記載の計測方法であって、
    前記プロセッサが、前記計測センサが倉庫内の形状データを計測した時刻を取得するステップと、
    前記プロセッサが、前記計測時刻と等しい時刻の荷物情報及び物量計測の時刻に取得した荷物の情報を用いて、荷物の体積を修正するステップとを含むことを特徴とする計測方法。
14. 請求項８に記載の計測方法であって、
    前記プロセッサが、前記倉庫内の形状データから一定の高さで形状を抽出して構成した平面上で、棚の位置の設定を受け付けるステップを含み、
    前記照合ステップでは、前記受け付けた棚の位置の近傍に探索範囲を設定することによって、前記棚の形状データと前記倉庫内の形状データとを照合することを特徴とする計測方法。

Images