JP7136489B2 - 物品位置推定システム及び物品位置推定方法 - Google Patents

物品位置推定システム及び物品位置推定方法 Download PDF

Info

Publication number
JP7136489B2
JP7136489B2 JP2020535866A JP2020535866A JP7136489B2 JP 7136489 B2 JP7136489 B2 JP 7136489B2 JP 2020535866 A JP2020535866 A JP 2020535866A JP 2020535866 A JP2020535866 A JP 2020535866A JP 7136489 B2 JP7136489 B2 JP 7136489B2
Authority
JP
Japan
Prior art keywords
article
reference point
time
movement
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020535866A
Other languages
English (en)
Other versions
JPWO2020032157A1 (ja
Inventor
貴宏 長谷川
優仁 岩井
憲一 阿部
裕一郎 江連
哲也 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Communication Systems Ltd
Original Assignee
NEC Communication Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Communication Systems Ltd filed Critical NEC Communication Systems Ltd
Publication of JPWO2020032157A1 publication Critical patent/JPWO2020032157A1/ja
Application granted granted Critical
Publication of JP7136489B2 publication Critical patent/JP7136489B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders

Description

[関連出願についての記載]
本発明は、日本国特許出願:特願2018-150149号(2018年8月9日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、物品位置推定システム及び物品位置推定方法に関する。
任意の場所に設置される業務資材などの物品の位置を記録する方法として、物品を運搬する移動体の位置を取得し、物品が設置された際の移動体の位置と物品の識別子を紐付けて記録する方法が存在する。移動体の位置を取得する方法として、絶対的な位置を取得する絶対位置推定と、相対的な移動量を取得する相対移動量推定の二種の方法が存在する。
絶対位置推定には、衛星測位(GPS(Global Positioning System)測位)、無線電波信号を用いた測位、カメラで認識可能なランドマーク(目印、特徴物)を基準点として利用する方法等が存在する。
衛星測位(GPS測位)には、信号受信機さえあれば容易に利用できるという長所が存在する。一方で、当該手法には、衛星が死角に入る屋内では信号を受信できず動作しないという短所が存在する。
無線電波信号の強度(RSSI;Received Signal Strength Indicator)を用いた近接測位や三角測位による方法には屋内でも利用できるという長所が存在する。一方、当該手法には、干渉やマルチパスの影響により15m前後の誤差が発生し得るという短所が存在する(非特許文献1参照)。
また、カメラで認識可能なランドマークを基準点として利用する方法には、屋内でも利用でき電波干渉やマルチパスの影響が無いという長所が存在する。一方、当該手法には、測位したいエリアを網羅するように基準点を設けることが物理環境の面や運用上の作業コストの面で困難となる短所が存在する。
相対移動量推定として、慣性センサを利用する方法や、カメラの撮影画像を利用する方法が存在する。
慣性センサ(例えば、加速度センサやジャイロセンサ)の計測値を演算して位置と向きの変化量を取得する方法には、移動エリア側に測位用の機器や基準点などを設ける必要が無いという長所が存在する。一方、当該手法には、ドリフトに伴い精度が劣化する、絶対位置を得るためには絶対位置推定との連携が必要となる、処理を停止すると移動量の連続性が途切れる、という短所が存在する。
カメラの撮影画像から抽出した特徴量を利用する方法も同様に、移動エリア側に測位用の機器や基準点などを設ける必要が無いという長所が存在する。一方、当該手法にも、ドリフトに伴い精度が劣化する、絶対位置を得るためには絶対位置推定との連携が必要となる、処理を停止すると移動量の連続性が途切れる、という短所が存在する。また、カメラの撮影画像を利用した位置推定の方法には、処理負荷が高く電力消費も大きいという短所も存在する。
特許文献1には、カメラとレーザスキャナを併用して特徴量を抽出し、移動体の位置を推定し、3D(Three Dimensions)モデルを生成する技術が開示されている。特許文献1に開示された技術もカメラによる撮影画像を利用するため、当該技術にも上述の短所が存在する。
特許文献2には、環境地図を更新し、かつ環境地図を位置推定に用いることが開示されている。特許文献2の技術では、環境地図更新の精度とリアルタイム性を高くすることを目的としている。
特許文献3には、コンテナを移動体である荷役装置に関連付けることが開示されている。特許文献3の技術では、移動体とコンテナの関連付け精度を保証することを目的としている。
特開2014-173990号公報 特開2015-171933号公報 特表2012-532816号公報
財団法人 ニューメディア開発協会、"屋内測位普及発展に関する調査研究 報告書"、2009年3月
なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。
上述のように、絶対位置推定と相対移動量推定のそれぞれには長所、短所が存在する。とりわけ、相対移動量推定には、その推定処理を停止すると移動量の連続性が途切れるため常時測位が必要であり、処理負荷が高く電力消費も大きいという短所が存在する。つまり、カメラによる撮影画像を利用した相対移動量推定は、演算装置(コンピュータ)の処理負荷が高く電力消費も大きい。このため、絶対位置推定と相対移動量推定を併用する方法が用いられることも多い。
例えば、カメラで認識可能なランドマークを基準点として利用する絶対位置推定と、カメラの撮影画像から抽出した特徴量を利用する相対移動量推定を併用する方法が考えられる。しかし、物品設置位置の記録という目的においては、取得したい位置は物品設置位置に限られ、移動体の位置を得ることは物品設置位置を得るための手段に過ぎない。つまり、物品が最終的に設置された位置が重要なのであって、物品がどのような経路を辿って設置されたかといった情報は不要である。絶対位置推定と相対位置推定を併用して物品の移動経路を全て算出するような方法では、最終的に必要としない情報の算出のために電力等が浪費されていると言える。
本発明は、処理負荷が高く電力消費も大きい相対移動量推定の実行を削減することに寄与する、物品位置推定システム及び物品位置推定方法を提供することを主たる目的とする。
本発明乃至開示の第1の視点によれば、移動体により物品が取り出された時刻又は前記移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成する、物品移動認識部と、基準点を認識し、前記認識された基準点の識別情報と、基準点認識時刻と、前記認識された基準点に関する情報と、を含む基準点認識情報を生成する、基準点認識部と、前記基準点認識情報に基づき、前記基準点認識時刻における前記移動体の位置に関する情報を生成する、位置情報生成部と、前記物品移動時刻における前記移動体の位置を、少なくとも前記基準点認識時刻における前記移動体の位置を用いて推定する、物品位置推定部と、前記移動体の移動に関する移動履歴情報を取得する、移動履歴情報取得部と、前記移動履歴情報、前記基準点認識時刻、前記物品移動時刻に基づき、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に関する情報を生成する、位置変化情報生成部と、を含み、前記物品位置推定部は、前記基準点認識時刻における前記移動体の位置と、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に基づき、前記物品移動時刻における前記移動体の位置を推定し、前記位置変化情報生成部は、前記物品移動時刻における前記移動体の位置を推定可能となる最小限の移動範囲における前記移動体の位置の変化量を計算する、物品位置推定システムが提供される。
本発明乃至開示の第2の視点によれば、移動体を含む物品位置推定システムにおいて、前記移動体により物品が取り出された時刻又は前記移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成するステップと、基準点を認識し、前記認識された基準点の識別情報と、基準点認識時刻と、前記認識された基準点に関する情報と、を含む基準点認識情報を生成するステップと、前記基準点認識情報に基づき、前記基準点認識時刻における前記移動体の位置に関する情報を生成するステップと、前記物品移動時刻における前記移動体の位置を、少なくとも前記基準点認識時刻における前記移動体の位置を用いて推定するステップと、前記移動体の移動に関する移動履歴情報を取得するステップと、前記移動履歴情報、前記基準点認識時刻、前記物品移動時刻に基づき、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に関する情報を生成するステップと、を含み、前記移動体の位置を推定するステップでは、前記基準点認識時刻における前記移動体の位置と、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に基づき、前記物品移動時刻における前記移動体の位置を推定し、前記移動体の位置の変化量に関する情報を生成するステップでは、前記物品移動時刻における前記移動体の位置を推定可能となる最小限の移動範囲における前記移動体の位置の変化量を計算する、物品位置推定方法が提供される。
本発明乃至開示の各視点によれば、処理負荷が高く電力消費も大きい相対移動量推定の実行を削減することに寄与する、物品位置推定システム及び物品位置推定方法が、提供される。
一実施形態の概要を説明するための図である。 第1の実施形態に係る物品位置推定システムの概略構成の一例を示す図である。 第1の実施形態に係る移動体の外観の一例を示す図である。 第1の実施形態に係る演算手段の処理構成の一例を示す図である。 第1の実施形態に係る物品位置推定装置の処理構成の一例を示す図である。 第1の実施形態に係る物品位置推定装置の動作を説明するための図である。 第1の実施形態に係る物品位置推定システムの動作を説明するための図である。 第1の実施形態に係る物品位置推定システムの動作を説明するための図である。 第1の実施形態に係る物品位置推定システムの動作を説明するための図である。 第1の実施形態に係る物品位置推定装置のハードウェア構成の一例を示す図である。 移動体の演算手段の別の処理構成の一例を示す図である。
初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インターフェイスも同様である。
一実施形態に係る物品位置推定システムは、物品移動認識部101と、基準点認識部102と、位置情報生成部103と、物品位置推定部104と、を含む(図1参照)。物品移動認識部101は、移動体により物品が取り出された時刻又は移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成する手段(物品移動認識手段)である。基準点認識部102は、基準点を認識し、認識された基準点の識別情報と、基準点認識時刻と、認識された基準点に関する情報と、を含む基準点認識情報を生成する手段(基準点認識手段)である。位置情報生成部103は、基準点認識情報に基づき、基準点認識時刻における移動体の位置に関する情報を生成する手段(位置情報生成手段)である。物品位置推定部104は、物品移動時刻における移動体の位置を、少なくとも基準点認識時刻における移動体の位置を用いて推定する手段(物品位置推定手段)である。
一実施形態に係る物品位置推定システムは、移動体により物品取り出し位置や物品設置位置を推定する際、必要に応じて絶対位置推定による位置推定と、絶対位置推定と相対位置推定の併用と、を切り替える。つまり、システムの性格によっては、大まかな物品の取り出し位置や設置位置を把握できれば良い場合と、当該位置において高い精度で把握したい場合と、がある。上記物品位置推定システムは、位置推定の精度を必要としない場合には、物品の取り出し位置や設置位置の近傍の基準点(最寄りの基準点)から推定された移動体の位置を上記「物品取り出し位置」や「物品設置位置」として算出する。その結果、処理負荷が高く電力消費も大きい相対移動量推定の実行が不要となる。あるいは、位置推定の精度が必要な場合には、物品位置推定システムは、絶対位置推定と相対位置推定を併用する。具体的には、後述するように、物品位置推定システムは、基準点認識に基づく絶対位置推定と、移動体の移動履歴(移動軌跡)に基づく相対移動量推定と、を併用し物品設置位置等を推定する。その際、物品位置推定部104は、物品の設置位置を推定可能となる最小限の移動範囲(例えば、物品設置の直前又は直後に認識された基準点と物品設置位置等の間の移動体の移動軌跡)に限り、物品設置位置の推定に利用する。なお、「物品設置の直前又は直後に認識された基準点」とは、より正確には、「物品設置時刻以前に認識された基準点のなかで最後に認識された基準点又は物品設置時刻以降に認識された基準点のなかで最初に認識された基準点」である。上記推定の結果、最小限の移動履歴情報だけが相対移動量推定の演算対象となり、物品設置位置推定に要する電力消費量が削減される。このように、上記物品位置推定システムは、高負荷処理と電力消費が削減された物品設置位置推定を実現する。
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
図2は、第1の実施形態に係る物品位置推定システムの概略構成の一例を示す図である。図2を参照すると、物品位置推定システムには、複数の移動体10と、物品位置推定装置20と、が含まれる。
移動体10と物品位置推定装置20は、有線又は無線により接続されており相互に通信(データの送受信)が可能に構成されている。第1の実施形態では、移動体10により物品の設置が完了した位置を物品位置推定装置20にて推定する。つまり、物品位置推定装置20は、移動体10が物品を移動した後の設置位置を移動体10から得られる情報に基づき推定する。
物品は、例えば、パレットに積まれたコンテナである。物品は、ダンボールや箱、機械や装置なども考えられる。
図2に示すように、物品位置推定システムには、複数の基準点が含まれる。基準点は、例えば、マーカーである。マーカーの具体例は、ArUcoマーカー、バーコード、QRコード(登録商標)、カメレオンコードなどが考えられる。
基準点一つにつき座標情報一つを有する。移動体10は、基準点を認識すると、認識された基準点に紐付く座標情報を取得できるように構成されている。具体的には、基準点(基準点の識別子)と紐付けられた座標情報が予め移動体10の記憶部に格納されている。なお、基準点の識別子とは、例えば、ArUcoマーカーを基準点に用いた場合、当該ArUcoマーカーのビットパターンに割り当てられた数値等である。
座標情報は、少なくとも絶対座標を有する。絶対座標の座標系は、任意の位置(例えば入り口)を原点とする座標系や経緯度であることが考えられる。基準点がマーカーである場合、座標情報には、基準点の向きと基準点の大きさ(スケール情報)を含むことが考えられる。これは、Perspective-n-point手法により、基準点を認識したカメラの位置と向きを算出可能にすることを想定している。
あるいは、基準点は、構造物と、画像から抽出される特徴量を対応付ける情報である。これは、マーカーを設ける代わりに、既設の柱や棚、ロッカー、ポスターなどをマーカーの代わりとして流用することを想定している。
図3は、移動体10の外観の一例を示す図である。移動体10は、例えば、フォークリフトである。移動体10は、搬送用台車や「人」であってもよい。
移動体10は、物品運搬設置手段11と、物品移動通知手段12と、外部状況取得手段13と、演算手段14と、を含む。
演算手段14は、物品移動認識部201と、基準点認識部202と、移動履歴情報取得部203と、動作制御部204と、記憶部205と、情報提供部206と、を含む(図4参照)。なお、図3及び図4において、物品位置推定装置20と通信するためのハードウェアや処理モジュールの図示を省略している。
演算手段14は、例えば、シングルボードコンピュータである。あるいは、演算手段14は、スマートフォンや、ウェアラブルデバイスであってもよい。演算手段14は、内部にCPU(Central Processing Unit)、メモリ、記憶装置等を備え、CPUにプログラムを実行させることにより種々の処理モジュールを実現する。
図3を参照すると、物品運搬設置手段11は、例えば、フォークリフトのフォークである。フォークリフトはフォークにより物品を持ち上げ、運搬し、設置することが可能である。あるいは、物品運搬設置手段11は、ロボットアームである。
移動体10が搬送用台車の場合、物品の運搬は人が搬送用台車を押す/引く動作となり、物品の設置は人が物品を置く動作となることが考えられる。移動体10が人の場合、物品の運搬及び設置は、人が物品を持ち運ぶ動作となることが考えられる。この場合、後述の各種処理モジュールはスマートフォンやウェアラブルデバイスにより実装されることが考えられる。
物品移動通知手段12は、例えば、移動体10の作業者により押下される「ボタン」である。演算手段14と物品移動通知手段12は接続されている。演算手段14に実装された物品移動認識部201は、上記ボタン(物品移動通知手段12)の押下を検出する。なお、物品位置推定システムでは、「物品の取り出し時又は物品設置時にボタンを押す」という運用ルールが定められている。第1の実施形態では、移動体10により物品の設置が完了した位置を物品位置推定装置20にて推定するため、移動体10の作業者は物品を設置(物品の移動完了)した際に、ボタンを押下する。なお、上記運用ルールは例示であって、図2とは異なるシステムの場合には異なる運用ルールが定められる。即ち、上記運用ルールは、図2に示すようなシステムの場合に必要になるルールである。
物品移動認識部201は、上記ボタンの押下を検出すると、「物品移動情報」を生成する。物品移動情報には、物品移動時刻が含まれる。物品移動時刻は、移動体10により物品が取り出された時刻(物品取り出し時刻)又は移動体10により物品の設置が完了した時刻(物品設置完了時刻)である。第1の実施形態では、物品の設置位置を推定するため、物品移動情報には「物品設置完了時刻」が含まれる。このように、物品移動認識部201は、物品が所定の位置に設置されたことを認識し、物品が配置された時刻である物品設置完了時刻を含む物品移動情報を生成する。
物品移動通知手段12は、スマートフォンに表示された「ボタン」であってもよい。あるいは、物品移動通知手段12は、慣性センサであってもよい。この場合、物品移動認識部201は、慣性センサの計測値から物品が保管されたことを認識してもよい。なお、上記慣性センサには、ジャイロセンサ、加速度センサ、地磁気センサ、力センサ、重量センサ等が含まれる。
あるいは、物品移動通知手段12は、カメラであってもよい。この場合、物品移動認識部201は、カメラの撮影画像から物品が保管されたことを検出する。この場合の物品移動認識部201は、物品が設置されたという動作を検出する動体認識プログラム、「設置された物品を撮影する」という運用ルールと画像認識プログラムにより実現できる。
外部状況取得手段13は、例えば、カメラである。演算手段14と外部状況取得手段13は接続されている。
演算手段14に実装された基準点認識部202は、カメラが撮影した画像を取得し、特徴量を抽出し、予め用意された各基準点の特徴量と比較し、いずれかの基準点を検出したか否かを判断する。
基準点認識部202は、上記判断の結果により「基準点認識情報」を生成する。基準点認識情報には、例えば、認識された基準点の識別情報と、基準点を認識した時刻(基準点認識時刻)と、認識された基準点に関する情報と、が含まれる。認識された基準点に関する情報は、例えば、基準点認識時の撮影画像である。このように、基準点認識部202は、基準点を認識し、基準点認識情報を生成する。
なお、基準点認識情報は、後述する物品位置推定装置20の位置情報生成部302により移動体10の位置の算出に使用されることを想定している。あるいは、基準点認識情報は、認識された基準点の識別情報と、基準点を認識した時刻と、基準点認識時の撮影画像から抽出された特徴量と、を含んでもよい。
なお、本願開示において、移動体10や物品の「位置」は、これらの座標に関する情報を含む。さらに、移動体10や物品の「位置」には、これらの向きに関する情報が含まれてもよい。つまり、物品位置推定装置20は、移動体10等の「座標」を推定しても良いし、移動体10等の「座標及び向き」を推定してもよい。あるいは、一点を中心とする所定の範囲を「位置」として扱ってもよい。例えば、物品位置推定装置20は、一点を中心とする所定の範囲を移動体10等の位置として推定してもよい。
基準点認識情報は、基準点を認識した時刻と、その時刻における移動体10の位置に関する情報を含んでもよい。これは、後述する物品位置推定装置20の位置情報生成部302を基準点認識部202が内包することを想定している。
演算手段14の移動履歴情報取得部203は、自装置(移動体10)の移動に関する移動履歴情報を取得する手段である。例えば、移動履歴情報取得部203は、カメラが撮影した画像を取得して「移動履歴情報」を生成する。移動履歴情報は、例えば、撮像された画像と当該画像取得時刻の対を要素とする集合である。なお、移動履歴情報は、後述する物品位置推定装置20の位置変化情報生成部303により移動体10の位置の変化量の算出に使用されることを想定している。
移動履歴情報取得部203は、慣性センサの計測値を取得して「移動履歴情報」としてもよい。その場合、移動履歴情報は、慣性センサの計測値と計測時刻の対の集合となる。また、慣性センサの計測値ではなく(あるいは、慣性センサの計測値に加えて)、走行距離計により計測値や移動体10の移動制御情報が移動履歴情報に含まれていてもよい。
あるいは、移動履歴情報取得部203は、レーザスキャナやLIDAR(Light Detection and Ranging)の計測値を用いて移動履歴情報を生成してもよい。この場合、移動履歴情報は、レーザスキャナやLIDARの計測値と計測時刻の対の集合である。
あるいは、移動履歴情報は、二つの時刻と、その二つの時刻の間に発生した移動体10の位置の変化量であってもよい。これは、後述の物品位置推定装置20の位置変化情報生成部303を移動履歴情報取得部203が内包することを想定している。
動作制御部204は、例えば、物品移動情報、基準点認識情報、移動履歴情報のそれぞれを各モジュールから取得し、記憶部205に格納する。また、動作制御部204は、基準点認識部202、移動履歴情報取得部203を制御する手段である。
動作制御部204は、上記モジュール(基準点認識部202、移動履歴情報取得部203)の動作(起動又は停止)を制御する。動作制御部204の動作(移動体10の動作)例は後述する。
記憶部205は、例えば、シングルボードコンピュータに内蔵又は外部接続された記録領域である。あるいは、記憶部205は、スマートフォンに内蔵又は外部接続された記録領域である。その他、記憶部205として様々な媒体が考えられるが、目的は情報の記録と記録された情報の読み取りであるため、任意の媒体を用いることができる。
記憶部205は、物品移動情報と、基準点認識情報と、移動履歴情報と、各基準点の識別情報と座標情報の対と、を記憶する。
情報提供部206は、物品位置推定装置20による物品位置の推定を可能とするように当該装置が必要とする情報を提供する手段である。情報提供部206は、記憶部205から物品移動情報、基準点認識情報、移動履歴情報、各基準点の識別情報と座標情報の対をそれぞれ読み出す。情報提供部206は、これらの情報を物品位置推定装置20に送信する。
その際、情報提供部206は、読み出した基準点認識情報と移動履歴情報の全部又は一部を抽出し、当該抽出した情報(基準点認識情報、移動履歴情報)を物品位置推定装置20に送信する。例えば、情報提供部206は、物品設置完了時(物品移動時刻)の直前に認識された基準点に基づき生成された基準点認識情報と、当該基準点の認識から物品設置完了までの間に取得された移動履歴情報と、を物品位置推定装置20に送信する。
あるいは、情報提供部206は、物品設置完了後に初めて認識された基準点に基づき生成された基準点認識情報と、物品設置完了時から上記物品設置直後に認識された基準点の認識までの間に取得された移動履歴情報と、を物品位置推定装置20に送信する。
あるいは、情報提供部206は、物品設置完了時を基準として当該設置の直前に基準点が認識され、且つ、当該設置の直後にも基準点が認識されている場合には、データサイズに基づき送信する情報を選択してもよい。具体的には、情報提供部206は、物品設置時を基準とする前後2つの基準点認識による期間に取得された移動履歴情報のうちデータサイズの小さい情報と対応する基準点認識情報を物品位置推定装置20に送信してもよい。このように、情報提供部206は、設置時刻以前に基準点が認識され、当該設置時刻以降にも基準点が認識されている場合には、2つの移動履歴情報のうちデータサイズの小さい情報と対応する基準点認識情報を物品位置推定装置20に送信してもよい。
このように、情報提供部206は、物品移動情報、全部又は一部の基準点認識情報、全部又は一部の移動履歴情報、各基準点の識別情報と座標情報の対を物品位置推定装置20に送信する。その際、情報提供部206は、記録情報の大きさに基づき必要最小限の範囲となるように基準点認識情報と移動履歴情報のそれぞれを物品位置推定装置20に送信する。なお、情報提供部206は、物品を設置した場合や、物品設置後初めて基準点を検出した場合等に、上記情報送信を行う。あるいは、情報提供部206は、物品位置推定装置20からの要求により上記情報送信を行う。
図5は、第1の実施形態に係る物品位置推定装置20の処理構成(処理モジュール)の一例を示す図である。図5を参照すると、物品位置推定装置20は、情報取得部301と、位置情報生成部302と、位置変化情報生成部303と、物品位置推定部304と、を含んで構成される。なお、図5において、移動体10と通信するための処理モジュールの図示は省略している。
情報取得部301は、上記移動体10から送信される情報(基準点認識情報、移動履歴情報等)を取得する手段である。
位置情報生成部302は、基準点認識情報に基づき、基準点認識時刻における移動体10の位置に関する情報を生成する手段である。位置情報生成部302は、例えば、Perspective-n-point手法により、カメラの画角と撮影画像から抽出された特徴量に基づき、基準点に対するカメラの位置(座標と向き)を算出する。
位置情報生成部302は、当該算出されたカメラの座標と向き、及び、認識された基準点の絶対座標と向きに基づき、基準点認識時の移動体10の位置(絶対座標系)を算出する。つまり、位置情報生成部302は、基準点認識情報に含まれる画像から、認識された基準点を基準(原点)とするカメラの座標及び向きを算出する。その後、位置情報生成部302は、認識された基準点の座標情報(絶対座標系)を用いて、上記算出されたカメラの座標及び向きを絶対座標系の位置(座標及び向き)に変換する。
位置変化情報生成部303は、移動履歴情報、基準点認識時刻、物品移動時刻(第1の実施形態では物品設置完了時刻)に基づき、基準点認識時刻と物品設置完了時刻の間の移動体10の位置の変化量に関する情報を生成する手段である。位置変化情報生成部303は、カメラが撮影した複数枚の画像から特徴量を抽出し、画像間での特徴点の推移(オプティカルフロー)を生成する。位置変化情報生成部303は、当該特徴点の推移を生成することで、カメラの座標と向きの変化量を算出し、当該カメラの座標と向きの変化量を移動体10の位置の変化量(座標と向きの変化量)として扱う。
あるいは、移動体履歴情報に慣性センサの計測値が含まれる場合には、位置変化情報生成部303は、慣性センサの計測値を積分することで移動体10の位置の変化量を算出する。
あるいは、位置変化情報生成部303は、特徴点を画像から取得する代わりに、レーザスキャナやLIDARの計測値から移動体10の位置の変化量を算出してもよい。なお、位置変化情報生成部303は、基準点認識情報や移動体10の絶対位置と向きを補正情報として利用してもよい。
物品位置推定部304は、物品移動時刻(第1の実施形態では物品設置完了時刻)における移動体10の位置を、少なくとも基準点認識時刻における移動体10の位置を用いて推定する手段である。
例えば、物品位置推定システムにおいて、移動体10により設置された物品の位置に関する高い精度が要求されない場合には、物品位置推定部304は、基準点認識時刻における移動体10の位置を「物品設置位置」として扱う。
一方、物品位置推定システムにおいて、移動体10により設置された物品の位置に関する高い精度が要求される場合には、物品位置推定部304は、以下の方法により移動体10による「物品設置位置」を推定する。
具体的には、物品位置推定部304は、基準点認識時刻における移動体10の位置(絶対座標系)と、基準点認識時刻と物品設置完了時刻の間の移動体10の位置の変化量に基づき、物品設置時の移動体10の位置を推定する。つまり、物品位置推定部304は、基準点認識時刻における移動体10の位置(絶対座標系)に物品設置完了時までの変化量を反映することで、物品が設置された位置(座標、向き;絶対座標系)を推定する。
なお、物品位置推定部304は、基準点認識時刻と物品移動時刻(物品設置完了時刻)の前後関係に基づき、移動体10の位置に反映する変化量の使い方を変更する。具体的には、先に基準点が認識され、その後物品が設置された場合(基準点認識時刻<物品設置完了時刻)、物品位置推定部304は、移動体10の位置(絶対座標系)に対して順方向に変化量を反映する(移動体10の移動軌跡をなぞる)。
一方、先に物品の設置が完了し、その後基準点が認識された場合(基準点認識時刻>物品設置完了時刻)、物品位置推定部304は、基準点による移動体10の位置(絶対座標系)に対して逆方向に変化量を反映する(移動体10の移動軌跡を遡る)。
上記物品位置推定装置20の動作を図示すると図6のとおりとなる。移動体10は、基準点を認識すると基準点認識情報を生成する。物品位置推定装置20は、当該基準点認識情報により、基準点を認識した際の移動体10の位置を算出する。
例えば、図6において、物品位置推定装置20は、移動体10の位置として(X、Y)を得る。移動体10は、基準点を認識後に移動する。その際、移動体10は、座標及び向きの変化量を計算するための情報(移動履歴情報)を蓄積(計測)していく。物品位置推定装置20は、移動履歴情報に基づき移動体10の位置の変化量を算出する。例えば、図6において、物品位置推定装置20は、移動体10の座標に関する変化量として(△X、△Y)を得る。なお、図6の例では、2次元座標系における物品位置推定を説明したが、(X、Y、Z)の3次元座標系における物品位置推定も勿論可能である。また、3次元座標系における向きとして、yaw、pitch、rollを用いることができる。
物品設置が完了すると、物品位置推定装置20は、基準点認識時における移動体10の座標に、基準点認識時と物品設置完了時の間の移動履歴情報から得られる変化量を反映し、物品が設置された位置を推定する。例えば、図6の例では、(X+△X、Y+△Y)が物品設置位置として推定される。
続いて、第1の実施形態に係る物品位置推定システムの動作について説明する。
図7を参照しつつ、第1の動作例を説明する。図7を参照すると、移動体10は、物品の運搬開始時に基準点認識部202と移動履歴情報取得部203を動作させる(ステップS01)。
移動体10は、物品の運搬中に移動履歴情報を生成し、記憶部205に格納する(ステップS02)。
移動体10は、基準点を認識すると基準点認識情報を生成し、記憶部205に格納する(ステップS03)。
移動体10は、上記の処理を繰り返す。
移動体10が物品の設置箇所に移動し物品を設置すると、物品移動情報が生成され、記憶部205に格納される(ステップS04)。当該物品移動情報の生成と共に、移動体10は、基準点認識部202と移動履歴情報取得部203の動作を停止する。
移動体10は、物品設置時の直前に認識した基準点により生成された基準点認識情報と、基準点認識から物品設置完了時までの移動履歴情報と、物品移動情報と、を物品位置推定装置20に送信する(ステップS05)。
なお、上記ステップS05にて送信される情報以外の情報は、物品位置推定装置20に送信されない。
このように、物品位置推定システムは、図7に示される移動体10の動作と、基準点認識部202と移動履歴情報取得部203の動作により、移動体10の一連の動作のなかの一部期間に得られる情報の取得と記録を行う。物品位置推定装置20は、当該一部の期間に得られる情報を用いて物品設置位置を推定すれば良いので、当該位置推定に要する電力消費量が削減される。
図8を参照しつつ、第2の動作例を説明する。図8を参照すると、移動体10は、物品の設置を完了すると、基準点認識部202と移動履歴情報取得部203を起動すると共に、物品移動情報を生成し、記憶部205に格納する(ステップS11)。
移動体10は、移動中に移動履歴情報を生成し、記憶部205に格納する(ステップS12)。
移動体10は、基準点を認識すると、基準点認識部202と移動履歴情報取得部203の動作を停止すると共に、基準点認識情報を生成し、記憶部205に格納する(ステップS13)。
移動体10は、物品設置時の直後に認識した基準点により生成された基準点認識情報と、物品設置完了時から基準点認識時までの移動履歴情報と、物品移動情報と、を物品位置推定装置20に送信する(ステップS14)。
このように、移動体10は、物品設置の完了を契機として基準点認識部202及び移動履歴情報取得部203を起動し、その後の基準点認識を契機にこれら処理モジュールの動作を停止してもよい。この場合であっても、物品位置推定装置20は、当該一部の期間に得られる情報を用いて物品設置位置を推定すれば良いので、当該位置推定に要する電力消費量が削減される。
図9を参照しつつ、第3の動作例を説明する。図9に示すように、移動体10は、基準点認識と移動履歴情報の取得に関する動作を継続して行っても良い。
この場合、移動体10は、物品設置完了を基準としてその前後に取得された情報(基準点認識情報、移動履歴情報)のデータサイズを比較し、よりデータサイズの小さい情報を物品位置推定装置20に送信する(ステップS21)。
この場合であっても、物品位置推定装置20は、当該一部の期間に得られる情報を用いて物品設置位置を推定すれば良いので、当該位置推定に要する電力消費量が削減される。
第1~第3の動作例とは異なる他の動作例(第4の動作例)を説明する。物品設置完了時刻と基準点認識時刻の時間差が所定の閾値を下回る場合、物品位置推定装置20は、移動体10の位置の変化量を取得する処理の実行を省略し、移動体10の位置の変化量をゼロとして扱っても良い。当該閾値は、事前に定義される定数、あるいは動的に変更可能な変数として、物品位置推定装置20の処理モジュールに組み込まれる。第1乃至第4の動作例のうち、物品位置推定システムがいずれの動作を採用するかは予め決定しておく、あるいは、動的に変更可能とする。
続いて、物品位置推定装置20のハードウェア構成について説明する。
[ハードウェア構成]
図10は、物品位置推定装置20のハードウェア構成の一例を示す図である。物品位置推定装置20は図10に例示する構成を備える。例えば、物品位置推定装置20は、内部バスにより相互に接続される、CPU(Central Processing Unit)21、メモリ22、入出力インターフェイス23、通信手段である通信回路24等を備える。
但し、図10に示す構成は、物品位置推定装置20のハードウェア構成を限定する趣旨ではない。物品位置推定装置20は、図示しないハードウェアを含んでもよい。物品位置推定装置20に含まれるCPU等の数も図10の例示に限定する趣旨ではなく、例えば、複数のCPU21が物品位置推定装置20に含まれていてもよい。
メモリ22は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)等である。
入出力インターフェイス23は、図示しない入出力装置のインターフェイスである。入出力装置には、例えば、表示装置、操作デバイス等が含まれる。表示装置は、例えば、液晶ディスプレイ等である。操作デバイスは、例えば、キーボードやマウス等である。
物品位置推定装置20の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ22に格納されたプログラムをCPU21が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェア、或いはハードウェアを利用して実行されるソフトウェアにより実現できればよい。
[効果]
以上のように、第1の実施形態に係る物品位置推定システムでは、位置推定の精度が要求されない場合には、絶対位置推定により物品設置位置を推定する(例えば、上記第4の動作例)。対して、位置推定の精度が要求される場合には、物品位置推定システムは、基準点認識に基づく絶対位置推定と移動履歴情報(運動量計測、移動量計測による情報)に基づく相対移動量推定を併用する(例えば、上記第1~第3の動作例)。このような位置推定方法の使い分けにより、消費電力の大きい相対位置推定が減少し、物品位置推定に要する電力消費量の削減が図れる。
また、第1の実施形態に係る物品位置推定システムでは、物品の設置位置を推定可能となる最小限の移動範囲に限り基準点認識動作と運動量計測動作を行う。その結果、最小限の移動履歴情報だけが相対移動量推定の演算対象となり、電力消費量が削減される。即ち、第1の実施形態に係る物品位置推定システムでは、計算リソース消費量の削減と電力消費量の削減が図れる。
通常の相対移動量推定には、処理を停止すると移動量の連続性が途切れるため常時測位が必要であり、処理負荷が高く電力消費も大きいという短所が存在する。一方、物の設置位置の推定では取得したい位置は物品設置位置であり、移動体の移動軌跡は必ずしも必要でない。本願開示では、このような事情を鑑み、最小限の移動履歴情報だけを相対移動量推定の演算対象に設定し、計算リソース消費量の削減と電力消費量を削減する。
また、本願開示では、絶対位置推定と相対位置推定を併用することで、システムに設定(用意)する基準点を最小限にすることが可能である。つまり、前述の計算リソース消費量の削減と電力消費量の削減を目的とする場合、基準点を大量に設け、基準点認識による絶対位置推定だけで物品設置位置を取得する方法も考えられる。しかし、屋内の移動エリアを網羅できるように基準点を設けることは、物理的な環境の面や、運用者の作業コストの面で必ずしも実現できるとは限らない。第1の実施形態に係る物品位置推定システムでは、当該問題も解決することができる。
[第2の実施形態]
続いて、第2の実施形態について図面を参照して詳細に説明する。第2の実施形態では、移動体10により物品が取り出された位置を物品位置推定装置20にて推定する。
第1の実施形態では、物品位置推定装置20は、移動体10による物品の設置位置を推定している。第2の実施形態では、物品位置推定装置20が、移動体10による物品の取り出し位置の推定を行うことを説明する。
なお、第2の実施形態に係る移動体10、物品位置推定装置20の処理構成等は第1の実施形態の構成と同一とすることができるので、図3~図5に相当する説明を省略する。
物品移動認識部201は、例えば、移動体10の作業者が物品を取り出す際に押下される「ボタン(物品取り出し通知手段)」と接続され、当該ボタンの押下を検出する。なお、物品位置推定システムでは、「物品取り出し時にボタンを押す」という運用ルールが定められている。
物品移動認識部201は、上記ボタンの押下を検出すると、「物品移動情報」を生成する。第2の実施形態では、移動体10による物品の取り出し位置を推定するので、物品移動情報には、少なくとも、移動体10が物品を所定の場所から取り出した時刻(物品取り出し時刻)が含まれる。このように、物品移動認識部201は、物品が所定の位置から取り出されたことを認識し、物品が取り出された時刻である物品取り出し時刻を含む物品移動情報を生成する。
物品移動情報は、記憶部205に格納される。情報提供部206は、記憶部205から物品移動情報を読み出し、他の情報と共に物品位置推定装置20に送信する。
物品位置推定装置20は、第1の実施形態にて説明した方法と同様の方法により、移動体10による物品取り出し位置を推定する。
具体的には、位置変化情報生成部303は、移動履歴情報、基準点認識時刻、物品取り出し時刻に基づき、基準点認識時刻と物品取り出し時刻の間の移動体10の位置の変化量に関する情報を生成する。
物品位置推定部304は、基準点認識時刻における移動体10の位置と、基準点認識時刻と物品取り出し時刻の間の移動体10の位置の変化量に基づき、物品取り出し時の移動体10の位置を推定する。このように、第2の実施形態に係る物品位置推定装置20は、移動体10による物品取り出し位置を推定できる。つまり、物品位置推定装置20は、移動体10が物品置き場から物品を取り出した際、当該物品がどこに置かれていたかを推定することができる。その際、位置変化情報生成部303は、第1の実施形態と同様に、移動体10による物品の取り出し位置を推定可能となる最小限の移動範囲における移動体10の位置の変化量を計算するので、位置推定に要する消費電力を削減できる。
なお、第1の実施形態と同様に、物品位置の推定(取り出し位置推定)に精度が要求されない場合には、物品位置推定装置20は、移動体10の位置の変化量を用いずに物品取り出し位置を推定する。
以上のように、物品位置推定装置20は、移動体10から「物品移動情報」を取得する。物品位置推定装置20は、物品が取り出された時刻と基準点が認識された時刻の間の移動体10の位置の変化量を物品取り出し時刻の前後に認識された基準点の絶対座標に反映することで、移動体10による物品取り出し位置を推定できる。その結果、第2の実施形態では、物品がどこに置かれていたかに関する管理や、特定の場所に物品が置かれているか否か(特定の場所は空か否か)に関する管理を容易に行うことができる。
以下に物品設置位置の管理を行う方法の例として、入出庫台帳の作成と物品位置マップの生成を説明する。
物品設置位置の管理を行う場合には、物品設置位置(座標、向き、範囲の全部又は一部)と、物品設置完了時刻と、物品の識別子(例えばバーコードの数字や文字列等)と、を1つのレコードとして記憶するデータベースを用意する。その際、データベースへの情報記憶としては、物品設置位置の代わりに物品取り出し位置を記録したり、あるいはその両方を記録することも可能である。物品設置位置と物品取り出し位置の両方を記録する場合には、例えば、設置と取り出しを区別するフラグを使用すればよい。
その後、管理装置が、当該データベースに対して位置(座標、向き、範囲の全て又は一部)をキーに検索し、当該位置に設置された物品の時刻と識別子を得る。なお、管理装置による位置の検索において、比較演算子等で座標の範囲を指定することで、検索する位置の広さを選択してもよい。また、管理装置は、検索キーに時刻を併用して検索範囲を絞り込んでもよい。管理装置は、当該検索結果に基づき、検索位置において設置または取り出しがなされた物品の時刻と識別子の一覧を入出庫台帳として作成する。
あるいは、管理装置は、時刻を入力として受け取り、当該時刻における物品設置位置の一覧を物品位置マップとして作成することもできる。このとき、当該時刻において設置状態である物品と取り出し状態である物品が混在する場合、管理装置は、これらの状態を分けて表示することも可能である。なお、物品の設置状態と取り出し状態の判別に関し、管理装置は、ある物品が上記指定された時刻以前に最後に記録されている状態が設置と取り出しのどちらであるかで区別できる。
[変形例]
上記実施形態にて説明した物品位置推定システムの構成及び動作は例示であって、種々の変形が可能である。例えば、物品位置推定システムは、以下のような構成又は動作であってもよい。
上記第1及び第2の実施形態では、それぞれ、物品設置位置の推定、物品取り出し位置の推定を説明したが、これら2つの推定が共に行われてもよい。この場合、移動体10の演算手段14に、図11に示すように、物品設置認識部207と、物品取り出し認識部208を設ければよい。物品設置認識部207は、第1の実施形態にて説明した物品移動認識部201と同様の動作とし、物品取り出し認識部208は、第2の実施形態にて説明した物品移動認識部201と同様の動作とすることができるので、説明を省略する。
図2では、物品位置推定装置20は移動体10とは別に設置(外部に設置)されているが、移動体10の内部に同等の機能を実装してもよい。この場合、必要に応じて、移動体10から物品設置位置に関する情報を取得する。
物品位置推定装置20は、移動体10の外部に配置される場合、オンプレミスサーバ上のプログラムや、クラウドサービス上のプログラムとして実装されることが考えられる。
物品位置推定装置20は、移動体10の内部に配置される場合、シングルボードコンピュータやスマートフォン、ウェアラブルデバイス上のプログラムとして実装されることが考えられる。
図4では、記憶部205は移動体10の内部に配置されているが、移動体10の内部と外部の両方に配置される例も考えられる。例えば、物品移動情報、基準点認識情報、移動履歴情報は移動体10内部の記録装置に、各基準点の識別情報と座標情報の対は移動体10外部の記録装置に記録する例が考えられる。
各種手段及び装置は、一つの装置に集約して実装する場合と、複数の装置に分散して実装する場合が考えられる。
例えば、物品設置の認識、基準点認識、移動履歴計算のそれぞれでカメラを用いる場合、全ての用途(手段)で1つのカメラを利用する方法と、各手段で2つ以上のカメラを使い分ける方法が考えられる。
カメラを用いる場合、カメラをフォークリフトや搬送用台車に固定設置する実装や、移動体となる人がカメラを身につける実装、あるいはカメラを手に持つ方法などが考えられる。カメラは、一般的なデジタルカメラ、小型Webカメラ、スマートフォン内蔵カメラ、ウェアラブルデバイス内蔵カメラ、などが考えられる。
記憶部205に情報を記録する方法は、物品移動認識部201、基準点認識部202、移動履歴情報取得部203のそれぞれが行う方法、あるいは、動作制御部204が中継して行う方法が考えられる。
記憶部205から情報を取得する方法は、情報提供部206を使用せず、物品位置推定装置20が直接取得する方法、動作制御部204が中継して取得する方法等が考えられる。
物品位置推定装置20による位置推定が実行されるタイミングは、物品移動認識部201が物品の設置を認識した場合、基準点認識部202が基準点を検出した場合、記憶部205に物品移動情報又は基準点認識情報が書き込まれた場合が考えられる。あるいは、物品位置推定装置20が有する周期タイマが満了した場合、移動体10の位置の変化量を取得するプログラムが移動体10の特殊な動作(停止動作など)を検出した場合が、上記タイミングとして考えられる。あるいは、物品位置推定装置20の実行を指示する外部トリガが与えられた場合、などが上記タイミングであってもよい。
物品移動認識部201、基準点認識部202、移動履歴情報取得部203、動作制御部204の動作は、移動体10の内部で完結する場合と、移動体10外部との通信を伴う場合が考えられる。
移動体10は全ての基準点情報、移動履歴情報を物品位置推定装置20に送信し、物品位置推定装置20が必要な情報を取捨選択してもよい。
上記実施形態では、相対移動推定(移動体10の変化量の推定)の際、移動体10の移動軌跡を算出している。しかし、位置変化情報生成部303は、移動体10の取り得る範囲(移動しうる範囲)を算出してもよい。例えば、位置変化情報生成部303は、移動体10の移動速度(例えば、最高速度や平均速度)に移動時間(例えば、基準点認識時刻と物品設置完了時刻の差分)を乗じた結果を移動体10の移動半径として算出する。この場合、物品位置推定部304は、基準点認識時刻における移動体10の位置を円の中心、上記移動半径を円の半径とする範囲(円の内部)を移動体10による物品設置位置として算出する。つまり、物品設置位置として、移動体10の座標や向きだけでなく、移動体10の取り得る範囲を導入し、物品位置推定装置20は、基準点認識時の位置を中心として移動半径を半径とする円内部のいずれに物品が設置されたと判断してよい。なお、移動体10の移動速度は、予め定数として物品位置推定装置20に格納しておいてもよいし、移動体10が当該速度を計算して物品位置推定装置20に通知してもよい。繰り返しとなるが、物品設置位置(物品取り出し位置も同様)は点でなく円で示される範囲として推定されてもよい。
即ち、相対移動推定にて移動体10の移動軌跡を計算せずに、物品位置推定装置20は、移動体10の取り得る範囲を計算してもよい。上記説明したように、相対移動量推定に要する消費電力は大きい。しかし、物品位置推定装置20が、移動半径だけを計算するのであれば、当該計算は高速、且つ、低消費電力で実行できる。また、物品設置位置や物品取り出し位置の推定に、上記移動半径を用いると、物品の位置は基準点認識時の値に固定され、移動体10の取り得る範囲(移動半径)が時間に応じて変化することになる。このような物品位置推定を採用することにより、物品設置位置や物品取り出し位置の推定精度が低くなったとしても、相対移動量推定に要する時間や電力が大幅に削減できるため、システムのユースケースによっては大きな利点となる。
上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、物品管理作業の効率化、物品の保管場所管理の効率化、物品の在庫棚卸しの効率化、商品管理システム、商品配置場所の管理の効率化、地図作成システム等に好適に適用可能である。あるいは、本発明は、フロアに設置した設備や機材をフロア地図に反映させる等の用途に好適に適用可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
上述の第1の視点に係る物品位置推定システムのとおりである。
[付記2]
前記移動体の移動に関する移動履歴情報を取得する、移動履歴情報取得部と、
前記移動履歴情報、前記基準点認識時刻、前記物品移動時刻に基づき、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に関する情報を生成する、位置変化情報生成部と、
をさらに含み、
前記物品位置推定部は、
前記基準点認識時刻における前記移動体の位置と、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に基づき、前記物品移動時刻における前記移動体の位置を推定する、好ましくは付記1に記載の物品位置推定システム。
[付記3]
前記位置変化情報生成部は、前記物品移動時刻における前記移動体の位置を推定可能となる最小限の移動範囲における前記移動体の位置の変化量を計算する、好ましくは付記2に記載の物品位置推定システム。
[付記4]
前記位置変化情報生成部は、前記物品移動時刻の直前の基準点認識時刻と前記物品移動時刻との間に取得された前記移動履歴情報を前記移動体の位置の変化量に関する情報の生成に用いる、好ましくは付記3に記載の物品位置推定システム。
[付記5]
前記位置変化情報生成部は、前記物品移動時刻の直後の基準点認識時刻と前記物品移動時刻との間に取得された前記移動履歴情報を前記移動体の位置の変化量に関する情報の生成に用いる、好ましくは付記3に記載の物品位置推定システム。
[付記6]
前記位置変化情報生成部は、
前記物品移動時刻の直前の基準点認識時刻と前記物品移動時刻との間に取得された第1の移動履歴情報と、前記物品移動時刻の直後の基準点認識時刻と前記物品移動時刻との間に取得された第2の移動履歴情報と、を比較し、データサイズの小さい移動履歴情報を、前記移動体の位置の変化量に関する情報の生成に用いる、好ましくは付記3に記載の物品位置推定システム。
[付記7]
前記物品位置推定部は、前記基準点認識時刻と前記物品移動時刻の前後関係に基づき、前記移動体の位置に反映する前記移動体の位置の変化量の使い方を変更する、好ましくは付記2乃至6のいずれか一に記載の物品位置推定システム。
[付記8]
前記物品位置推定部は、前記基準点認識時刻が前記物品移動時刻よりも早い場合には、前記基準点認識時刻における移動体の位置に対して順方向に前記変化量を反映し、
前記基準点認識時刻が前記物品移動時刻よりも遅い場合には、前記基準点認識時刻における移動体の位置に対して逆方向に前記変化量を反映する、好ましくは付記7に記載の物品位置推定システム。
[付記9]
前記位置変化情報生成部は、前記移動体が基準点から移動しうる距離を移動半径として算出し、
前記物品位置推定部は、前記基準点認識時刻における前記移動体の位置を円の中心、前記移動半径を円の半径とする範囲を前記物品移動時刻における前記移動体の位置として推定する、好ましくは付記2乃至8のいずれか一に記載の物品位置推定システム。
[付記10]
前記基準点認識情報には、カメラによる基準点認識時の撮影画像から抽出された特徴量が含まれる、好ましくは付記1乃至9のいずれか一に記載の物品位置推定システム。
[付記11]
前記移動履歴情報は、カメラによる撮影画像と前記撮影画像の取得時刻の対を要素とする集合である、好ましくは付記2乃至10のいずれか一に記載の物品位置推定システム。
[付記12]
移動体により物品が取り出された時刻又は前記移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成する処理と、
基準点を認識し、前記認識された基準点の識別情報と、基準点認識時刻と、前記認識された基準点に関する情報と、を含む基準点認識情報を生成する処理と、
前記基準点認識情報に基づき、前記基準点認識時刻における前記移動体の位置に関する情報を生成する処理と、
前記物品移動時刻における前記移動体の位置を、少なくとも前記基準点認識時刻における前記移動体の位置を用いて推定する処理と、
をコンピュータに実行させるプログラム。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
[付記13]
上述の第2の視点に係る物品位置推定方法のとおりである。
なお、付記12及び付記13の形態は、付記1の形態と同様に、付記2の形態~付記11の形態に展開することが可能である。
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択(部分的削除を含む)が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれる(属する)ものと、みなされる。
10 移動体
11 物品運搬設置手段
12 物品移動通知手段
13 外部状況取得手段
14 演算手段
20 物品位置推定装置
21 CPU(Central Processing Unit)
22 メモリ
23 入出力インターフェイス
24 通信回路
101、201 物品移動認識部
102、202 基準点認識部
103、302 位置情報生成部
104、304 物品位置推定部
203 移動履歴情報取得部
204 動作制御部
205 記憶部
206 情報提供部
207 物品設置認識部
208 物品取り出し認識部
301 情報取得部
303 位置変化情報生成部

Claims (8)

  1. 移動体により物品が取り出された時刻又は前記移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成する、物品移動認識部と、
    基準点を認識し、前記認識された基準点の識別情報と、基準点認識時刻と、前記認識された基準点に関する情報と、を含む基準点認識情報を生成する、基準点認識部と、
    前記基準点認識情報に基づき、前記基準点認識時刻における前記移動体の位置に関する情報を生成する、位置情報生成部と、
    前記物品移動時刻における前記移動体の位置を、少なくとも前記基準点認識時刻における前記移動体の位置を用いて推定する、物品位置推定部と、
    前記移動体の移動に関する移動履歴情報を取得する、移動履歴情報取得部と、
    前記移動履歴情報、前記基準点認識時刻、前記物品移動時刻に基づき、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に関する情報を生成する、位置変化情報生成部と、
    を含み、
    前記物品位置推定部は、前記基準点認識時刻における前記移動体の位置と、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に基づき、前記物品移動時刻における前記移動体の位置を推定し、
    前記位置変化情報生成部は、前記物品移動時刻における前記移動体の位置を推定可能となる最小限の移動範囲における前記移動体の位置の変化量を計算する、
    物品位置推定システム。
  2. 前記位置変化情報生成部は、前記物品移動時刻の直前の基準点認識時刻と前記物品移動時刻との間に取得された前記移動履歴情報を前記移動体の位置の変化量に関する情報の生成に用いる、請求項に記載の物品位置推定システム。
  3. 前記位置変化情報生成部は、前記物品移動時刻の直後の基準点認識時刻と前記物品移動時刻との間に取得された前記移動履歴情報を前記移動体の位置の変化量に関する情報の生成に用いる、請求項に記載の物品位置推定システム。
  4. 前記位置変化情報生成部は、
    前記物品移動時刻の直前の基準点認識時刻と前記物品移動時刻との間に取得された第1の移動履歴情報と、前記物品移動時刻の直後の基準点認識時刻と前記物品移動時刻との間に取得された第2の移動履歴情報と、を比較し、データサイズの小さい移動履歴情報を、前記移動体の位置の変化量に関する情報の生成に用いる、請求項に記載の物品位置推定システム。
  5. 前記物品位置推定部は、前記基準点認識時刻と前記物品移動時刻の前後関係に基づき、前記移動体の位置に反映する前記移動体の位置の変化量の使い方を変更する、請求項1乃至4のいずれか一項に記載の物品位置推定システム。
  6. 前記物品位置推定部は、前記基準点認識時刻が前記物品移動時刻よりも早い場合には、前記基準点認識時刻における移動体の位置に対して順方向に前記変化量を反映し、
    前記基準点認識時刻が前記物品移動時刻よりも遅い場合には、前記基準点認識時刻における移動体の位置に対して逆方向に前記変化量を反映する、請求項に記載の物品位置推定システム。
  7. 前記位置変化情報生成部は、前記移動体が基準点から移動しうる距離を移動半径として算出し、
    前記物品位置推定部は、前記基準点認識時刻における前記移動体の位置を円の中心、前記移動半径を円の半径とする範囲を前記物品移動時刻における前記移動体の位置として推定する、請求項1乃至6のいずれか一項に記載の物品位置推定システム。
  8. 移動体を含む物品位置推定システムにおいて、
    前記移動体により物品が取り出された時刻又は前記移動体により物品の設置が完了した時刻である物品移動時刻を含む物品移動情報を生成するステップと、
    基準点を認識し、前記認識された基準点の識別情報と、基準点認識時刻と、前記認識された基準点に関する情報と、を含む基準点認識情報を生成するステップと、
    前記基準点認識情報に基づき、前記基準点認識時刻における前記移動体の位置に関する情報を生成するステップと、
    前記物品移動時刻における前記移動体の位置を、少なくとも前記基準点認識時刻における前記移動体の位置を用いて推定するステップと、
    前記移動体の移動に関する移動履歴情報を取得するステップと、
    前記移動履歴情報、前記基準点認識時刻、前記物品移動時刻に基づき、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に関する情報を生成するステップと、
    を含み、
    前記移動体の位置を推定するステップでは、前記基準点認識時刻における前記移動体の位置と、前記基準点認識時刻と前記物品移動時刻の間の前記移動体の位置の変化量に基づき、前記物品移動時刻における前記移動体の位置を推定し、
    前記移動体の位置の変化量に関する情報を生成するステップでは、前記物品移動時刻における前記移動体の位置を推定可能となる最小限の移動範囲における前記移動体の位置の変化量を計算する、
    物品位置推定方法。
JP2020535866A 2018-08-09 2019-08-08 物品位置推定システム及び物品位置推定方法 Active JP7136489B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018150149 2018-08-09
JP2018150149 2018-08-09
PCT/JP2019/031303 WO2020032157A1 (ja) 2018-08-09 2019-08-08 物品位置推定システム及び物品位置推定方法

Publications (2)

Publication Number Publication Date
JPWO2020032157A1 JPWO2020032157A1 (ja) 2021-08-26
JP7136489B2 true JP7136489B2 (ja) 2022-09-13

Family

ID=69415525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020535866A Active JP7136489B2 (ja) 2018-08-09 2019-08-08 物品位置推定システム及び物品位置推定方法

Country Status (3)

Country Link
US (1) US20210312660A1 (ja)
JP (1) JP7136489B2 (ja)
WO (1) WO2020032157A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611763B (zh) * 2023-04-25 2023-12-15 亳州神农谷中药控股有限公司 一种仓库货物定位查找系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012532816A (ja) 2009-07-09 2012-12-20 コンテナートラック インコーポレイテッド 輸送用コンテナの荷役装置の在庫管理のためのシステム
WO2015059740A1 (ja) 2013-10-21 2015-04-30 株式会社日立製作所 位置ずれ補正装置および位置ずれ補正システム
JP2015522493A (ja) 2012-05-14 2015-08-06 アマゾン・テクノロジーズ・インコーポレーテッド 移動式駆動ユニットを操縦するためのシステムおよび方法
JP2016212050A (ja) 2015-05-13 2016-12-15 株式会社リコー 位置管理システム、位置管理装置、位置管理方法、及びプログラム
JP2017117188A (ja) 2015-12-24 2017-06-29 Kyb株式会社 車両誘導装置及び車両誘導装置を備えた車両誘導システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8381982B2 (en) * 2005-12-03 2013-02-26 Sky-Trax, Inc. Method and apparatus for managing and controlling manned and automated utility vehicles
WO2007074671A1 (ja) * 2005-12-28 2007-07-05 Matsushita Electric Industrial Co., Ltd. 物体検出装置、物体検出方法、及び、物体検出用コンピュータプログラム
US7916023B2 (en) * 2006-01-31 2011-03-29 Zebra Enterprise Solutions Corp. System and method for tracking assets within a monitored environment
US7646336B2 (en) * 2006-03-24 2010-01-12 Containertrac, Inc. Automated asset positioning for location and inventory tracking using multiple positioning techniques
US8630443B2 (en) * 2009-09-01 2014-01-14 Han-Shue Tan Automatic error detection for inventory tracking and management systems used at a shipping container yard
US11348066B2 (en) * 2013-07-25 2022-05-31 IAM Robotics, LLC System and method for piece picking or put-away with a mobile manipulation robot
US10475185B1 (en) * 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
US9607285B1 (en) * 2015-03-17 2017-03-28 Amazon Technologies, Inc. Entity monitoring for kiva robotic floors
US11328513B1 (en) * 2017-11-07 2022-05-10 Amazon Technologies, Inc. Agent re-verification and resolution using imaging
WO2019100011A1 (en) * 2017-11-17 2019-05-23 Divine Logic, Inc. Systems and methods for tracking items
US11120267B1 (en) * 2018-05-03 2021-09-14 Datalogic Usa, Inc. Camera solution for identification of items in a confined area
JPWO2020138345A1 (ja) * 2018-12-27 2021-11-04 日本電気通信システム株式会社 物品位置管理装置、物品位置管理システム、物品位置管理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012532816A (ja) 2009-07-09 2012-12-20 コンテナートラック インコーポレイテッド 輸送用コンテナの荷役装置の在庫管理のためのシステム
JP2015522493A (ja) 2012-05-14 2015-08-06 アマゾン・テクノロジーズ・インコーポレーテッド 移動式駆動ユニットを操縦するためのシステムおよび方法
WO2015059740A1 (ja) 2013-10-21 2015-04-30 株式会社日立製作所 位置ずれ補正装置および位置ずれ補正システム
JP2016212050A (ja) 2015-05-13 2016-12-15 株式会社リコー 位置管理システム、位置管理装置、位置管理方法、及びプログラム
JP2017117188A (ja) 2015-12-24 2017-06-29 Kyb株式会社 車両誘導装置及び車両誘導装置を備えた車両誘導システム

Also Published As

Publication number Publication date
WO2020032157A1 (ja) 2020-02-13
US20210312660A1 (en) 2021-10-07
JPWO2020032157A1 (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
KR101623359B1 (ko) 산업 차량을 위한 정확한 로컬리제이션을 제공하기 위한 방법 및 장치
EP3434626B1 (en) Projection instruction device, parcel sorting system, and projection instruction method
CA3068934A1 (en) Hands-free augmented reality system for picking and/or sorting assets
JP5851791B2 (ja) 物品管理システム、物品管理方法及び物品管理プログラム
US10723554B2 (en) Systems and methods for intake and transport of physical objects in a facility
EP3434621B1 (en) Instruction projecting device, parcel sorting system and instruction projecting method
EP3434623B1 (en) Projection indicator, cargo assortment system, and projection indicating method
CA2926505A1 (en) System and method for mapping product locations
JP7136489B2 (ja) 物品位置推定システム及び物品位置推定方法
US20200074676A1 (en) Management system, storage medium, position calculation method, and management apparatus
KR102408681B1 (ko) 정적 물체의 로케이션을 결정하기 위한 방법 및 장치
CN114740835A (zh) 路径规划方法、路径规划装置、机器人和存储介质
JP7160257B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR101955628B1 (ko) 자재 위치 관리 시스템 및 자재 위치 관리 방법
CN113544465A (zh) 用于对自主式车辆进行导航的方法、设备和系统
JP2016066277A (ja) 物体管理システム、物体管理装置、物体管理方法及び物体管理プログラム
JPWO2018047418A1 (ja) 入出庫作業支援システム、入出庫作業支援方法、及びプログラム
US10589319B2 (en) Projection instruction device, parcel sorting system, and projection instruction method
JP2020030526A (ja) 位置情報管理装置、位置情報管理システム、搬送装置、位置情報管理方法及びプログラム
WO2023119389A1 (ja) 作業管理システム、作業管理装置、作業管理方法、及び非一時的なコンピュータ可読媒体
EP4307231A1 (en) System and method for localizing articles in an intralogistics environment
US20240127471A1 (en) Information processing apparatus, information processing system, information processing method, and recording medium
CN113075923B (zh) 移动载具及其状态估测与感测融合切换方法
US20240161058A1 (en) Item management system, item management method, and information processing apparatus
US20240053427A1 (en) Display control system, method and information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220825

R150 Certificate of patent or registration of utility model

Ref document number: 7136489

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150