JP7435998B2 - 物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラム - Google Patents

物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラム Download PDF

Info

Publication number
JP7435998B2
JP7435998B2 JP2019167995A JP2019167995A JP7435998B2 JP 7435998 B2 JP7435998 B2 JP 7435998B2 JP 2019167995 A JP2019167995 A JP 2019167995A JP 2019167995 A JP2019167995 A JP 2019167995A JP 7435998 B2 JP7435998 B2 JP 7435998B2
Authority
JP
Japan
Prior art keywords
article
marker
markers
management device
position management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019167995A
Other languages
English (en)
Other versions
JP2021047475A (ja
Inventor
貴宏 長谷川
憲一 阿部
裕一郎 江連
哲也 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Communication Systems Ltd
Original Assignee
NEC Communication Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Communication Systems Ltd filed Critical NEC Communication Systems Ltd
Priority to JP2019167995A priority Critical patent/JP7435998B2/ja
Publication of JP2021047475A publication Critical patent/JP2021047475A/ja
Application granted granted Critical
Publication of JP7435998B2 publication Critical patent/JP7435998B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラムに関する。
工場等の生産現場では、使用する資材などの物品に関する位置管理が重要である。円滑な工場運営には、必要な資材を迅速に探し出すことが不可欠だからである。このような物品の位置管理を実現する方法として、物品を運搬する移動体の位置を取得し、物品が設置された際の移動体の位置と物品の識別子を紐付けて記録する方法が存在する。
特許文献1に開示されたように、物品に貼り付けられたマーカを物品の識別子として用いることがある。また、例えば、特許文献2に記載されたように、AR(Augmented Reality)の分野で使用されるARマーカを物品に貼り付けることで物品を識別することもできる。
特開2017-058130号公報 国際公開2018/037666号
上述のように、物品を識別するためのマーカを物品に貼り付けることがある。物品に貼り付けるマーカにはARマーカを利用することできる。ここで、ARマーカは、その画像の模様(パターン)により識別能力を発揮するため、模様の種類によってARマーカが表現可能な識別数は制限される。例えば、ArUcoのDICT_4X4_1000と称されるARマーカでは、利用できる識別子の数が1000に制限される。
従って、当該ARマーカを物品の識別に利用し、1物品に1つのARマーカを貼り付けるとすれば、1000個の物品を識別(取り扱い)可能に留まることになる。しかし、上記1000という数字は、工場等での資材管理において十分な数ではない。工場等では、より多くの物品を識別可能であることが求められる。
このような問題に対処するため、より多くの識別能力を持つマーカを物品に貼り付けることが考えられる。例えば、バーコードやQR(登録商標)コード等の識別能力に優れたマーカを物品に貼り付けることが考えられる。
しかしながら、上記のような情報量が多い(識別能力が高い)マーカは、その模様等が複雑であり、正しく情報を読み取るためには、近距離にてマーカを撮像する必要がある。例えば、移動体にカメラを搭載し、当該カメラが撮像した画像を解析することで物品を特定(マーカを特定)する場合、移動体の通路と物品の置かれた位置によっては正しくマーカを読み取れる位置まで移動体が移動できないこともある。あるいは、QR(登録商標)コード等を大きく印刷して物品に貼り付けることも考えられるが、このような対応ではマーカを貼り付ける大きな面積が必要であり、そのようなスペースが確保できない場合もある。
本発明は、遠距離から撮像された画像を対象としつつ多数の物品を管理可能とすることに寄与する、物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラムを提供することを主たる目的とする。
本発明の第1の視点によれば、カメラ装置から画像データを入力する、入力部と、前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカに基づき特定する、特定部と、を備え、前記物品マーカは、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカである、物品位置管理装置が提供される。
本発明の第2の視点によれば、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たす物品マーカが貼り付けられた物品が提供される。
本発明の第3の視点によれば、カメラ装置と、前記カメラ装置と通信可能に構成された物品位置管理装置と、を含み、前記物品位置管理装置は、前記カメラ装置から画像データを入力する、入力部と、前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカに基づき特定する、特定部と、を備え、前記物品マーカは、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカである、物品管理システムが提供される。
本発明の第4の視点によれば、物品位置管理装置において、カメラ装置から画像データを入力するステップと、前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカに基づき特定するステップと、を含み、前記物品マーカは、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカである、物品位置管理方法が提供される。
本発明の第5の視点によれば、物品位置管理装置に搭載されたコンピュータに、カメラ装置から画像データを入力する処理と、前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカに基づき特定する処理と、を実行させ、 前記物品マーカは、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカである、プログラムが提供される。
本発明の各視点によれば、遠距離から撮像された画像を対象としつつ多数の物品を管理可能とすることに寄与する、物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラムが提供される。なお、本発明により、当該効果の代わりに、又は当該効果と共に、他の効果が奏されてもよい。
一実施形態の概要を説明するための図である。 第1の実施形態に係る物品位置管理システムの概略構成の一例を示す図である。 ARマーカの一例を示す図である。 基準点マーカの一例を示す図である。 物品マーカの一例を示す図である。 ARマーカの貼り付け例を示す図である。 本願開示の座標系を説明するための図である。 物体の向きを示す3次元正方行列を説明するための図である。 第1の実施形態に係る移動式カメラ装置の外観の一例を示す図である。 第1の実施形態に係る移動式カメラ装置の処理構成の一例を示す図である。 第1の実施形態に係る物品位置管理装置の処理構成の一例を示す図である。 基準点マーカ情報の一例を示す図である。 物品マーカ情報の一例を示す図である。 物品ARマーカ情報の一例を示す図である。 カメラ関連情報の一例を示す図である。 物品位置情報の一例を示す図である。 第1の実施形態に係る物品位置特定部の動作の一例を示すフローチャートである。 第1の実施形態に係る物品位置特定部の判定動作の一例を示すフローチャートである。 ARマーカが物品マーカを構成するか否かの判定処理を説明するための図である。 物品マーカが貼り付けられた物品の一例を示す図である。 物品マーカが貼り付けられた物品の一例を示す図である。 物品マーカが貼り付けられた物品の一例を示す図である。 物品マーカが貼り付けられた物品の一例を示す図である。 物品マーカが貼り付けられた物品の一例を示す図である。 物品マーカが貼り付けられた物品の一例を示す図である。 物品マーカが貼り付けられた物品の一例を示す図である。 物品マーカが貼り付けられた物品の一例を示す図である。 第2の実施形態に係る物品位置管理システムの概略構成の一例を示す図である。 物品位置管理装置のハードウェアの一例を示す図である。 物品位置管理システムの概略構成の他の一例を示す図である。
はじめに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
一実施形態に係る物品位置管理装置100は、入力部101と、特定部102と、を備える(図1参照)。入力部101は、カメラ装置から画像データを入力する。特定部102は、画像データに撮像された物品のフィールド内における位置を、物品に貼り付けられた物品マーカに基づき特定する。物品マーカは、少なくとも2以上のマーカにより構成され、且つ、少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカである。
特定部102が、物品の位置特定に利用する物品マーカは、少なくとも2以上のマーカにより構成されている。各マーカそれぞれは識別能力を持ち、2以上のマーカの識別子を連結して物品マーカの識別子とすることで、物品に割り当て可能な識別子の数を大きく増加させることができる。また、物品マーカを構成するマーカに遠距離から識別可能なマーカ、例えば、ARマーカを使用することで、物品マーカを遠距離から検出することもできる。即ち、物品位置管理装置100は、遠距離から撮像された画像を対象としつつ多数の物品を管理可能とする。
以下に具体的な実施形態について、図面を参照してさらに詳しく説明する。
[第1の実施形態]
第1の実施形態について、図面を用いてより詳細に説明する。
[システム構成]
図2は、第1の実施形態に係る物品位置管理システムの概略構成の一例を示す図である。図2を参照すると、物品位置管理システムには、複数の移動式カメラ装置10と、物品位置管理装置20と、が含まれる。なお、図2は例示であって、システムの構成を限定する趣旨ではない。例えば、システムには1台の移動式カメラ装置10が含まれていてもよい。
第1の実施形態では、移動式カメラ装置10はフォークリフト等の移動体に設置されている。フォークリフトは作業者により操作され、物品の取り出しや物品の配置等を行う。
なお、移動式カメラ装置10は、フィールド内における位置の変更が可能であればよく、例えば、天井に敷設されたレール上を移動するようなカメラ装置でもよいし、フィールド内を巡回するロボットにカメラが設置されていてもよい。あるいは、作業者がカメラを手に持ってフィールド内を移動する場合や、作業者がウェアブルカメラを装着してフィールド内を巡回する場合には、これらのカメラを移動式カメラ装置10と扱うことができる。また、物品位置管理システムには、上記種々の形態による複数種類の移動式カメラ装置10が含まれていてもよい。例えば、フォークリフトのような物品運搬手段に取り付けられた移動式カメラ装置10と、巡回ロボットに取り付けられた移動式カメラ装置10と、が混在していてもよい。
移動式カメラ装置10と物品位置管理装置20は、有線又は無線により接続されており相互に通信(データの送受信)が可能に構成されている。
第1の実施形態では、物品位置管理装置20が、移動式カメラ装置10から送信されてくる情報(データ)に基づきフィールドに配置された物品の位置を特定し、管理する。
図2に示すように、フィールドには複数の物品30が含まれる。物品30は、例えば、パレットに積まれたコンテナ、ダンボールや箱、機械、装置等である。フィールドに配置された複数の物品30のそれぞれには、物品30を一意に識別するための物品マーカ40が付されている。なお、物品30を一意に識別することには、物品30の製造番号、製造ロット番号(同一ロットの製品同士は区別しない)、製品番号(同一製品同士は区別しない)を一意に識別することが含まれる。
物品マーカ40は、少なくとも2以上のマーカにより構成される。図2の例では、2つのマーカから物品マーカ40が構成されている。物品マーカ40を構成する少なくとも2以上のマーカには、例えば、ARマーカを使用することができる。第1の実施形態では、物品マーカ40は2つのARマーカにより構成されるものとして説明を行う。
図2に示すように、フィールドには、複数の基準点マーカ50が含まれる。基準点マーカ50にもARマーカを使用することができる。物品マーカ40、基準点マーカ50をなす2つのマーカのそれぞれには、マーカの印刷物を利用できる。例えば、印刷されたARマーカが、物品30やフィールド内の所定位置に貼り付けられる。なお、マーカの印刷物に代えて、又は、マーカの印刷物と共に、ディスプレイにマーカを表示したりプロジェクタによりマーカを投影したりすることもできる。
ここで、物品マーカ40をなす2つのARマーカや基準点マーカ50は、移動式カメラ装置10とマーカの相対位置を計算可能なマーカである。相対位置の計算には、PnP(Perspective-n-Point)問題を解く方法(以下、PnP手法と表記する)を用いることができる。
以下、ARマーカ、基準点マーカ50及び物品マーカ40について説明する。
[ARマーカ]
図3は、ARマーカの一例を示す図である。ARマーカには、図3に示すように黒枠の内部に予め定められたパターンが印刷されている。ARマーカを撮影することで得られる画像データに対する画像処理が実行されることで、ARマーカの識別(特定)が行える。なお、ARマーカの識別時に実行される画像処理の詳細は、下記の参考文献1に記載されている。従って、当該画像処理に関する詳細な説明を省略する。
<参考文献1>
https://docs.google.com/document/d/1QU9KoBtjSM2kF6ITOjQ76xqL7H0TEtXriJX5kwi9Kgc/edit#heading=h.oz0eoslrvt8v
画像データに含まれる黒枠を検出することでARマーカ自体の存在が把握され、黒枠内のパターンによりARマーカが一意に特定される。より具体的には、黒枠内を複数の領域に分割し、各分割領域内の画像を数値化したパターンファイルが予め用意される。当該パターンファイルとカメラにより撮影された画像データから抽出されたパターンの比較によりARマーカが一意に特定される。即ち、ARマーカが有する模様と数値を対応付けることで、ARマーカに識別機能を持たせることができる。
なお、ARマーカに割り当て可能な数値(分割領域内の画像の種類)には上限がある。例えば、ARマーカとしてArUco DICT_4X4_1000を用いる場合、0~999(1000種類の画像)範囲の数値がARマーカを一意に特定する数値である。以降の説明では、1つのARマーカが表現できる数値(ARマーカの識別子)は上記0~999の範囲とする。
また、ARマーカは、移動式カメラ装置10に搭載されたカメラにより検出可能であり、移動式カメラ装置10とARマーカの相対位置を計算可能なマーカとして機能する。即ち、ARマーカは、当該マーカが撮像された画像に対して相対位置計算機能を付与する。
[基準点マーカ]
図4は、基準点マーカ50の一例を示す図である。基準点マーカ50は、1つのARマーカにより構成することができる。ここで、基準点マーカ50として使用可能なARマーカは、所定の範囲の数値を表現するマーカに限られる。第1の実施形態では、例えば、0~99の数値を表現するARマーカが基準点マーカ50として選択される。
[物品マーカ]
各物品30に貼り付けられる物品マーカ40は、原則として重複することがないように管理され、物品30と物品マーカ40は1対1で対応付けられる。つまり、物品マーカ40が一意に識別され、物品マーカ40の位置が特定されれば、物品30の位置が特定されたことになる。なお、上述のとおり、物品30に貼り付けられる物品マーカ40は重複することもある。例えば、同一ロットの製品には同じ物品マーカ40が貼り付けられることもある。
なお、物品マーカ40をなす2つのマーカにはARマーカを使用することができるが、物品マーカ40に使用するマーカをARマーカに限定する趣旨ではない。物品マーカ40に使用するマーカには、カメラにより検出可能であり、且つ、カメラとマーカの相対位置を算出可能であれば任意のマーカを使用できる。
図5は、物品マーカ40の一例を示す図である。物品マーカ40は、少なくとも2以上のARマーカにより構成することができる。図5の例では、ARマーカ401とARマーカ402により物品マーカ40が構成されている。物品マーカ40として使用可能なARマーカは、所定の範囲の数値を表現するマーカに限られる。第1の実施形態では、例えば、100~999の数値を表現するARマーカが選択される。
基準点マーカ50として選択されたARマーカと物品マーカ40を構成するARマーカの数値範囲をまとめると以下のとおりとなる。基準点マーカ50の識別子は第1の数値範囲内の数値であり、物品マーカ40を構成する少なくとも2以上のマーカそれぞれの識別子は第1の数値範囲とは重複しない第2の数値範囲内の数値である。
物品マーカ40をなす2つのARマーカに関しては、各ARマーカの相対的な位置に関して制限がある。具体的には、ARマーカ401とARマーカ402は、所定の距離及び所定の方向の中にそれぞれが位置している必要がある。例えば、ARマーカ401から方向v、距離t離れた座標をPとする。この場合、座標Pの半径r内にARマーカ402が存在している必要がある。
上記物品マーカ40の位置的制限(空間的要件)は、2つのARマーカが同一平面上になくとも良いことを意味する。例えば、図6に示すように、ARマーカ401とARマーカ402が同一平面上になく、異なる平面に貼り付けられていてもよい。即ち、図6に示す2つのARマーカ401及び402のそれぞれが、上記要件(ARマーカ401から方向v、距離t離れた座標Pの半径r内にARマーカ402が存在する)を満たしていれば、2つのARマーカは物品マーカ40を構成する。
対して、2つのARマーカが上記要件を満たさない場合には、2つのARマーカが同一平面上に貼り付けられていたとしても当該2つのARマーカは物品マーカ40を構成しない。
物品マーカ40の識別子は、当該物品マーカをなす2つのARマーカにより定まる。例えば、図5に示すARマーカ401の識別子(模様から特定される数値)が「101」であり、ARマーカ402の識別子が「102」であれば、物品マーカ40の識別子は「101102」となる。なお、物品マーカ40の識別子は、2つのARマーカにより定まるものであればよい。例えば、2つのARマーカの識別子をハイフン等の記号により連絡し、物品マーカ40の識別子としてもよい。
物品位置管理装置20は、移動式カメラ装置10が撮像した画像に基づき、当該画像に写る物品30を識別すると共に、その位置を特定する。その際、物品位置管理装置20は、任意の位置(例えば、入り口)を原点とする絶対座標系を用いる。
具体的には、物品位置管理装置20は、上記絶対座標系における移動式カメラ装置10(上記画像を撮像した移動式カメラ装置10)の向き及び座標を計算する。その際、物品位置管理装置20は、画像に写る基準点マーカ50の位置情報(絶対座標系における基準点マーカ50の向き及び座標)を利用して、移動式カメラ装置10の向き及び座標を計算する。なお、以降の説明において、絶対座標系におけるカメラ、ARマーカ等の向き及び座標を「絶対位置」とも表記する。
物品位置管理装置20は、画像に少なくとも2以上のARマーカが写っていれば、各ARマーカの絶対位置を計算する。その際、物品位置管理装置20は、上記計算された移動式カメラ装置10の絶対位置を利用して、各ARマーカの絶対位置を計算する。
続いて、上記カメラに関する絶対位置の検出と物品マーカ40をなす各ARマーカに関する絶対位置の検出について説明する。
[カメラの位置検出]
1つの基準点マーカ50は、1つの絶対位置(絶対座標系における向き、座標)に関する情報及びマーカのサイズを有する。例えば、図2には3つの基準点マーカ50が図示されているが、これら3つの基準点マーカ50のそれぞれが異なる絶対位置情報を有する。なお、基準点マーカ50のサイズ(マーカサイズ)に関しては、各マーカのサイズが同じであっても良いし異なっていても良い。各マーカのサイズは予め定まったものであれば任意のサイズが使用できる。
各基準点マーカ50が有する絶対位置情報に含まれる座標は、絶対座標系の座標である。絶対位置情報に含まれる座標は経緯度を用いて表現されてもよい。また、基準点マーカ50が有する絶対位置情報に含まれる向きは、原点を基準とする座標系(絶対座標系)の方向(3軸のそれぞれに対する角度で表現される方向)である。
物品位置管理装置20は、画像に含まれる基準点マーカ50(1つのARマーカ)に関してPnP問題を解くことで、移動式カメラ装置10と基準点マーカ50との間の回転及び並進を計算する。
以下、PnP手法について概説する。
[PnP手法]
ARマーカにPnP手法を適用するためには、3次元座標系の3つ以上の座標とそれらに対応する2次元画像の3つ以上の座標が必要である。第1の実施形態では、上記特徴点としてARマーカの四隅の頂点P1~P4が用いられる。
多くのARマーカでは、検出したマーカの2次元画像上の四隅の頂点座標を得る方法が確立されている。そこで、ARマーカを設置する際、マーカの位置、向き、大きさを予め記録しておくことで、3次元座標系におけるARマーカ四隅の頂点座標が得られる。大きさは、ARマーカが正方形の場合は1辺の長さ、長方形の場合は縦と横の長さとなる。
第1の実施形態ではARマーカの四隅を特徴点として用いると説明したが、特徴点は、必ずしも四隅の頂点でなくともよい。四隅以外の特徴点を用いる場合には、当該特徴点の3次元座標系での座標が得られる情報を記録しておけばよい。
PnP問題を解くためには画像データを取得したカメラの画角、歪みに関する情報が必要となる。より詳細には、「カメラ行列」と「歪み係数ベクトル」と称されるデータが必要となる。
カメラ行列は、ピクセル単位で表される焦点距離fx、fyと、通常は画像中心となる主点(cx、cy)を含む、3次元正方行列である。カメラ行列は、下記の数式(1)として表記される行列Aである。
Figure 0007435998000001
上記行列Aにおいて、カメラ画角はfx、fyにより表現される。例えば、一般的なカメラ(ピンホールカメラモデル)において、画像幅が2000pixel、水平画角が60度の場合を考える。この場合、「cx=2000/2=1000」、「fx=1/tan(60/2)*(2000/2)=約1732」となる。
カメラ行列は、PnP問題を解くため、下記の式(2)に示す透視投影変換を表す方程式の誤差を最小とするr11~r33、t1~t3を求めるために必要な行列である。
Figure 0007435998000002
上記の方程式(透視投影変換を表す方程式)について、解として求まるr11~r33がカメラの回転(回転行列)、t1~t3がカメラの並進(並進ベクトル)となる。
一方、歪み係数ベクトルは観測された点座標から歪み補正がなされた理想的な点座標を求めるために用いられる。なお、カメラ行列と歪み係数ベクトルは、下記の示す参考文献2、3に示されるカメラキャリブレーションにより得ることができる。
<参考文献2>
http://labs.eecs.tottori-u.ac.jp/sd/Member/oyamada/OpenCV/html/py_tutorials/py_c
alib3d/py_calibration/py_calibration.html#calibration
<参考文献3>
http://opencv.jp/opencv-2.1/cpp/camera_calibration_and_3d_reconstruction.html#cv
-calibratecamera
物品位置管理装置20は、PnP問題を解くことでカメラと基準点マーカ50との間の回転(回転行列)及び並進(並進ベクトル)を算出する。物品位置管理装置20は、当該算出された回転及び並進を絶対位置が把握されている基準点マーカ50の向き及び座標に合成することで、絶対座標系におけるカメラの向き及び座標を算出する。
具体的には、物品位置管理装置20は、カメラの向きを示す3次元正方行列であるRFU(Right Front UP)行列を算出する。当該RFU行列は、下記の式(3)により表記される。
Figure 0007435998000003
上記RFU行列は、物体(例えば、物品又はARマーカ)の一点を原点とする3次元座標系の各軸の絶対座標系の各軸に対する傾斜を示す行列である。RFU行列表記では、物体に設定された3軸を、Right軸、Front軸、Up軸と定める(図7参照)。なお、Right軸等の正負(向き)はx軸等の正負と同じとすることができる。以降の説明において、Right軸をR軸、Front軸をF軸、Up軸をU軸とそれぞれ表記することもある。物体に設定された3軸(R軸、F軸、U軸)の原点は任意の位置に設定できる。
図7を参照すると、例えば、入り口を原点とする3軸からなる絶対座標系が図示されている。図7において、物体の方向(物体に設定されたR軸、F軸、U軸の各ベクトル)は、絶対座標系の3軸を示すベクトルの合成で表現される。例えば、図7に示すように、物体がx軸、y軸、z軸のそれぞれに平行に置かれているとすれば、当該物体の方向を示すRFU行列は、以下の式(4)のとおりとなる。なお、本願開示においてRFU行列の各要素は正規化表記される。
Figure 0007435998000004
あるいは、物体が図8に示すようにXY平面上で45度傾いていれば、当該物体の方向を示すRFU行列は、以下の式(5)のとおりとなる。
Figure 0007435998000005
物品位置管理装置20は、カメラの座標を示す3次元ベクトル(x、y、z)を算出する(式(6)参照)。なお、以降の説明において、カメラの座標を示す3次元ベクトルを位置ベクトルと表記する。
Figure 0007435998000006
RFU行列及び位置ベクトルを用いることで、物体(カメラ、ARマーカ)等の絶対座標系における向き及び座標(絶対位置)が表現される。
物品位置管理装置20は、カメラと基準点マーカ50の間の回転及び並進を求め、当該回転及び並進を用いてカメラの向き及び座標を算出する。以降の説明において、カメラの向きを示す3次元正方行列(RFU行列)をcRFUと表記し、カメラの座標を示す3次元ベクトルをcPOSと表記する。
[物品マーカをなすARマーカの位置検出]
物品位置管理装置20は、画像に写る物品マーカ40を構成するARマーカに対して、上記カメラと同様の処理を行い各ARマーカの向き及び座標を算出する。絶対座標系における移動式カメラ装置10の絶対位置は既に算出されているので、物品位置管理装置20は、当該移動式カメラ装置10に対するARマーカの相対的な位置(移動式カメラ装置10に対する回転及び並進)を計算できる。その後、物品位置管理装置20は、各ARマーカの回転及び並進を絶対座標系における向き及び座標に変換することで、各ARマーカの絶対位置(絶対座標系における向き及び座標)を計算する。図5の例では、物品位置管理装置20は、ARマーカ401とARマーカ402のそれぞれについて、各ARマーカの向きを示す3次元正方行列(RFU行列)と座標を示す位置ベクトルを算出する。
[システムの動作概略]
移動式カメラ装置10は、予め定めたタイミング又は定期的にフィールド内を撮影する。カメラ装置により取得された画像データは、移動式カメラ装置10の識別子(ID;Identification)と共に物品位置管理装置20に送信される。
物品位置管理装置20は、受信した画像データに基づきフィールド内の物品30(物品マーカ40)の座標を算出する。物品位置管理装置20は、当該物品マーカ40の位置と物品30を対応付けて各物品30の位置を管理する。
続いて、物品位置管理システムに含まれる各装置について説明する。
[移動式カメラ装置]
図9は、第1の実施形態に係る移動式カメラ装置10の外観の一例を示す図である。
上述のように、移動式カメラ装置10は、フォークリフトのような移動体にカメラを設置することで実現される。なお、移動体は、搬送用台車や「人」であってもよい。第1の実施形態では、一台の移動体に一台の移動式カメラ装置10が設置されている場合を説明する。また、移動式カメラ装置10の動力(移動の方式)は任意の方式を使用できるので、その詳細な説明を省略する。
図10は、第1の実施形態に係る移動式カメラ装置10の処理構成(処理モジュール)の一例を示す図である。図10を参照すると、移動式カメラ装置10は、カメラ制御部201と、データ出力部202と、記憶部203と、を含んで構成される。
カメラ制御部201は、カメラ(図示せず)を制御する手段である。カメラ制御部201は、カメラを制御して画像データを取得する。なお、カメラ制御部201は、所定間隔で画像データを取得しても良いし、予め定めたタイミングで画像データを取得してもよい。あるいは、移動体(例えば、フォークリフト)等の制御モジュールと連携し、移動体の動作が所定の条件に合致した場合に、カメラ制御部201は、画像データを取得してもよい。例えば、カメラ制御部201は、移動体が停止したことを契機として画像データを取得してもよい。あるいは、カメラ制御部201は、システム管理者、フォークリフトの操縦者、又は、物品位置管理装置20からの指示に基づき、画像データを取得してもよい。
カメラ制御部201は、取得した画像データをデータ出力部202に引き渡す。データ出力部202は、画像データを物品位置管理装置20に向けて送信する。なお、移動式カメラ装置10に物品位置管理装置20の機能が含まれる場合には、カメラ制御部201は外部に画像データを送信する必要はない。データ出力部202は、画像データをリアルタイムで物品位置管理装置20に送信してもよいし、所定量の画像データを蓄積した後に一括して物品位置管理装置20に送信してもよい。
記憶部203は、移動式カメラ装置10の動作に必要な情報、データを記憶する手段である。例えば、記憶部203は、自装置(移動式カメラ装置10)に割り当てられた識別子を記憶する。データ出力部202は、画像データを物品位置管理装置20に送信する際、上記自装置の識別子も併せて送信する。
[物品位置管理装置]
図11は、第1の実施形態に係る物品位置管理装置20の処理構成(処理モジュール)の一例を示す図である。図11を参照すると、物品位置管理装置20は、データ入力部301と、物品位置特定部302と、記憶部303と、を含んで構成される。
データ入力部301は、移動式カメラ装置10から画像データを入力(取得)する手段である。データ入力部301は、取得した画像データを記憶部303に格納する。
物品位置特定部302は、画像データに撮像された物品30(画像データに写る物品30)のフィールド内における位置を、当該物品30に貼り付けられた物品マーカ40に基づき特定する手段である。ここで、物品マーカ40は、少なくとも2以上のマーカにより構成され、且つ、少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすという特徴を備える。物品位置特定部302は、物品マーカ40の上記特徴を用いて物品30の位置を特定する。物品位置特定部302のより詳細な動作等は後述する。
記憶部303は、物品位置管理装置20の動作に必要な情報、データを記憶する。具体的には、記憶部303は、基準点マーカ50に関する情報と、物品マーカ40に関する情報と、物品マーカ40をなすARマーカに関する情報と、カメラに関する情報と、物品30の位置に関する情報と、を記憶する。
以降の説明において、基準点マーカ50に関する情報を「基準点マーカ情報」と表記する。物品マーカ40に関する情報を「物品マーカ情報」と表記する。物品マーカ40をなすARマーカに関する情報を「物品ARマーカ情報」と表記する。カメラに関する情報を「カメラ関連情報」と表記する。物品30の位置に関する情報を「物品位置情報」と表記する。
図12は、基準点マーカ情報の一例を示す図である。図12に示すように、基準点マーカ情報は、基準点マーカの識別子、基準点マーカの絶対位置情報(向き及び座標)、基準点マーカのサイズ、を対応付けた情報である。
基準点マーカ50の識別子は、例えば、上述のARマーカの画像パターンから特定される数値である。上述のように、第1の実施形態では、基準点マーカ50の識別子として0~99までの値が割り振られる。
基準点マーカ50の向きは、基準点マーカ50が取り付けられた向きを示す回転行列により表現される。基準点マーカ50の向きは、回転行列により指定されなくとも、当該回転行列を生成可能なパラメータ(ロー、ピッチ、ヨー)により指定されてもよい。あるいは、基準点マーカ50の向きは、オイラー角、クォータニオン(四元数)により指定されてもよい。基準点マーカ50の座標は、例えば、フィールドの入り口を原点とする座標系の座標である。
基準点マーカ50のサイズは、マーカの形状が正方形の場合は1辺の長さ、長方形の場合は縦と横の長さとなる。図12には、基準点マーカは正方形として1辺の長さを記載している。
図13は、物品マーカ情報の一例を示す図である。図13に示すように、物品マーカ情報は、物品マーカが貼り付けられた物品の識別子と物品マーカの識別子を対応付けた情報である。
物品の識別子は、例えば、管理対象となっている物品のシリアル番号である。あるいは、物品の識別子として物品名、ロット番号等を用いても良い。
物品マーカ40の識別子は、物品マーカ40を構成する2つのARマーカの画像パターンから特定される数値を連結した数値である。第1の実施形態では、物品マーカ40を構成するARマーカの識別子には100~999までの数値が割り振られる。物品マーカ40を構成するARマーカの数は2つであるので、「100100」や「100999」といった数値が物品マーカ40の識別子となる。
図14は、物品ARマーカ情報の一例を示す図である。図14に示すように、物品ARマーカ情報は、物品マーカ40を構成し得るARマーカの識別子と当該ARマーカのサイズを対応付けた情報である。物品マーカ40を構成し得るARマーカの識別子は、上述の基準点マーカ50の識別子と同種の情報であって、所定の数値範囲内の情報である。具体的には、物品マーカを構成するARマーカの数値は、100から999までの数値である。ARマーカのサイズに関しても、上述の基準点マーカ50のサイズと同種の情報である。
図15は、カメラ関連情報の一例を示す図である。図15に示すように、カメラ関連情報は、移動式カメラ装置10の識別子と、各移動式カメラ装置10に搭載されたカメラの画角、歪みの情報と、を対応付けた情報である。
移動式カメラ装置10の識別子には、例えば、IP(Internet Protocol)アドレスやMAC(Media Access Control)アドレスを用いることができる。上述のように、カメラ関連情報に含まれるカメラの画角、歪みの情報は、PnP手法により基準点マーカ50等の相対位置を検出する際に使用される。より具体的には、画角に関する情報(カメラ行列)は、透視投影変換方程式においてPnP問題を解くためのパラメータとして用いられる。歪みに関する情報(歪み係数ベクトル)は、観測された点座標から歪み補正がなされた理想的な点座標を求めるために用いられる。
図16は、物品位置情報の一例を示す図である。図16に示すように、物品位置情報は、物品の識別子と、物品の座標と、を対応付けた情報である。なお、「向き」を物品位置情報に加えてもよい。つまり、物品の座標だけでなく、物品の置かれている方向も物品位置情報により管理しても良い。
続いて、物品位置特定部302の動作を説明する。
図17は、物品位置特定部302の動作の一例を示すフローチャートである。
物品位置特定部302は、画像データを記憶部303から読み出す(ステップS01)。
物品位置特定部302は、画像データに3以上のARマーカが含まれるか否かを判定する(ステップS02)。具体的には、物品位置特定部302は、上記説明した方法(ARマーカの黒枠を検出する方法)により画像データからARマーカの抽出を試みる。物品位置特定部302は、抽出できたARマーカの数を計数し、上記判定を行う。
3以上のARマーカが抽出できない場合(ステップS02、No分岐)には、物品位置特定部302は処理を終了する。
3以上のARマーカが抽出できた場合(ステップS02、Yes分岐)には、物品位置特定部302は、各ARマーカを「基準点マーカ」又は「物品マーカ候補」に振り分ける(ステップS03)。具体的には、物品位置特定部302は、各ARマーカが有するパターンから識別子(割り当てられた数値)を特定する。物品位置特定部302は、当該特定した数値が属する数値範囲により各ARマーカを「基準点マーカ」又は「物品マーカ候補」に設定する。
第1の実施形態では、識別子が0~99の範囲に含まれていれば当該数値を持つARマーカは基準点マーカ50と定められている。物品位置特定部302は、特定された識別子が上記数値範囲内であれば、当該ARマーカを基準点マーカ50に設定する。
また、識別子が100~999の範囲に含まれていれば当該識別子を持つARマーカは物品マーカ40を構成し得る。物品位置特定部302は、特定された識別子が上記範囲内であれば、当該ARマーカを物品マーカ40の候補に設定する。
物品位置特定部302は、画像データに基準点マーカ50が含まれているか否かを判定する(ステップS04)。基準点マーカ50が画像データに含まれていなければ(ステップS04、No分岐)、物品位置特定部302は処理を終了する。
基準点マーカ50が画像データに含まれていれば(ステップS04、Yes分岐)、物品位置特定部302は、画像データに2以上の物品マーカ候補が含まれているか否かを判定する(ステップS05)。2以上の物品マーカ候補が画像データに含まれていなければ(ステップS05、No分岐)、物品位置特定部302は処理を終了する。
2以上の物品マーカ候補が画像データに含まれていれば(ステップS05、Yes分岐)、物品位置特定部302は、画像データに含まれる基準点マーカ50に関する情報を用いて画像を取得した移動式カメラ装置10の向き及び座標を算出する(ステップS06)。
物品位置特定部302は、カメラ関連情報を参照し、受信した画像データを撮影したカメラの画角、歪みに関する情報を取得する。物品位置特定部302は、基準点マーカ情報を参照し、画像データに含まれる基準点マーカ50の識別子に対応する基準点マーカ50の位置情報(向き及び座標)及びマーカサイズを取得する。物品位置特定部302は、上記カメラの画角及び歪みと、基準点マーカ50のマーカサイズと、を用いて、移動式カメラ装置10と基準点マーカ50との間の回転及び並進を計算する。物品位置特定部302は、得られた回転及び並進と基準点マーカ50の向き及び座標を合成することで、移動式カメラ装置10の向き及び座標(cRFU行列、cPOSベクトル)を計算する。
物品位置特定部302は、2以上の物品マーカ候補それぞれについて向き及び座標を算出する(ステップS07)。物品位置特定部302は、上記移動式カメラ装置10の向き及び座標の計算と同様に、各物品マーカ候補の向き及び座標(mRFU行列、mPOSベクトル)を計算する。
物品位置特定部302は、カメラの画角及び歪みと物品ARマーカ情報から得られるARマーカのサイズを用いて移動式カメラ装置10とARマーカ間の回転及び並進を求める。物品位置特定部302は、当該計算された回転及び並進と前ステップで算出された移動式カメラ装置10の向き及び座標を合成することで、物品マーカ候補となっているARマーカの向き及び座標を計算する。
物品位置特定部302は、2以上の物品マーカ候補が物品マーカ40を構成するか否かを判定する(ステップS08)。当該処理の詳細は、図18を用いて説明する。
図18は、物品位置特定部302の物品マーカ判定処理の一例を示すフローチャートである。
物品位置特定部302は、複数のARマーカから1つのARマーカを選択する(ステップS101)。ここでは、説明の便宜上、本ステップで選択されるARマーカを「基点マーカ」と表記する。物品位置特定部302は、任意の方法で基点マーカを選択すれば良いが、例えば、原点に近いARマーカから順に基点マーカに設定する。
物品位置特定部302は、複数のARマーカのうち基点マーカ以外のマーカから1つのARマーカを選択する(ステップS102)。ここでは、説明の便宜上、本ステップで選択されるARマーカを「判定マーカ」と表記する。
物品位置特定部302は、上記選択された2つのARマーカが物品マーカを構成するための空間的要件を満たすか否かを判定する(ステップS103)。上記説明した空間的要件を基点マーカ、判定マーカに適用すると、基点マーカから方向v、距離t離れた座標をPとし、座標Pの半径rのなかに判定マーカが存在している必要がある。物品位置特定部302は、基点マーカから方向v、距離t離れた座標Pの半径rの中に判定マーカが存在しているか否かを判定することで、基点マーカと判定マーカが上記空間的要件を満たすか否かを判定する。
物品位置特定部302は、以下の式(7)を用いて基点マーカの座標mPOS1から方向v、距離t離れた座標Pと判定マーカの座標mPOS2の間の距離Dを計算する。
Figure 0007435998000007
式(7)において、mRFU1は基点マーカの向き、mPos1は基点マーカの座標、mPOS2は判定マーカの座標を示す。また、Normは、ベクトルのL2ノルム(長さ)を求める関数である。Norm内の第2項は、行列とベクトルの積を表す。なお、方向vは、基点マーカを基準として判定マーカが存在し得る方向を規定するベクトルである。例えば、基点マーカの右隣(mRFU1のR(右)成分ベクトルの方向)の10cmの位置に判定マーカが存在することを規定する場合には、方向v(r、f、u)=(1、0、0)、距離t=10cmとなる。あるいは、例えば、基点マーカの右に10cm、奥に10cm、上に10cmの位置に判定マーカが存在することを規定する場合には、方向v(r、f、u)=(1/√3、1/√3、1/√3)、距離t=10×√3cmとなる。
物品位置特定部302は、上記座標Pと判定マーカの座標mPOS2の間の距離Dと空間的要件により定まる半径rを比較し、距離Dが半径r以下であれば2つのマーカは物品マーカを構成すると判定する(ステップS103、Yes分岐;ステップS104)。
物品位置特定部302は、距離Dが半径rよりも長ければ2つのマーカは物品マーカを構成しないと判定する(ステップS103、No分岐;ステップS105)。このように、物品位置特定部302は、フィールド内での絶対座標系における、2つのマーカそれぞれの絶対位置を算出し、算出された絶対位置を用いて当該2つのマーカが空間的要件を満たすか否かを判定する。
物品位置特定部302は、未判定な判定マーカが残っているか否かを判定する(ステップS106)。未判定な判定マーカが残っていれば(ステップS106、Yes分岐)、物品位置特定部302は、ステップS102に戻り処理を継続する。
未判定な判定マーカが残っていなければ(ステップS106、No分岐)、未判定な基点マーカが残っているか否かを判定する(ステップS107)。未判定な基点マーカが残っていれば(ステップS107、Yes分岐)、物品位置特定部302は、ステップS101に戻り処理を継続する。未判定な基点マーカが残っていなければ(ステップS107、No分岐)、物品位置特定部302は処理を終了する。
例えば、図19に示すような3つのARマーカが「物品マーカ候補」として1枚の画像データに含まれている場合を考える。この場合、物品位置特定部302は、ARマーカ411を基点マーカに選択し、ARマーカ412を判定マーカに選択する。座標Pと判定マーカの座標の間の距離Dは予め定めた半径rよりも長いので2つのマーカは物品マーカを構成しないと判定される。対して、ARマーカ413が判定マーカに選択された場合には、座標Pと判定マーカの座標の間の距離Dが半径rよりも短いので2つのマーカは物品マーカを構成すると判定される。
図17に説明を戻す。判定の結果、画像データに物品マーカ40が含まれていなければ(ステップS09、No分岐)、物品位置特定部302は処理を終了する。
画像データに物品マーカ40が含まれていれば(ステップS09、Yes分岐)、物品位置特定部302は、計算された物品マーカ40の位置を用いて物品位置情報を更新する(ステップS10)。
具体的には、物品位置特定部302は、物品マーカ情報を参照することで、画像データに含まれる物品マーカ40の識別子に紐付けられた物品30の識別子を取得し、移動式カメラ装置10が撮影した物品30を特定する。物品位置特定部302は、当該特定した物品30(物品30の識別子)に対応する物品位置情報の座標を上記計算した物品マーカ40の座標により更新する。なお、上述のように、物品位置特定部302は、物品マーカ40の向きを物品位置情報に反映することもできる。
上記説明したように、物品位置特定部302は、フィールド内での絶対位置が予め定まっている基準点マーカ50と、移動式カメラ装置10により撮像された物品マーカ40と、を用いて物品30のフィールド内における位置を特定する。
以上のように、第1の実施形態に係る物品位置管理システムでは、少なくとも2以上のARマーカからなる物品マーカ40を使って物品30の識別及び位置特定を行う。例えば、図20に示すように、1つの物体に2つのARマーカからなる物品マーカ40が貼り付けられる。
また、1つのARマーカの識別子が取り得る数値範囲は制限(例えば、0~999)されており、その数が十分ではなくとも、2つのARマーカを連結することで物品30の識別可能数は大きく増加する。ここで、識別子が0~99の範囲にあるARマーカは基準点マーカ50として機能し、識別子が100~999の範囲にあるARマーカは物品マーカ40を構成するARマーカとして機能する。その結果、物品マーカ40をなす各ARマーカには、900個の識別子を付与できるので、900×900とおりの物品識別能力が得られる。また、画像に写るARマーカが基準点マーカ50であるのか物品マーカ40の一部であるかの判定は、ARマーカの数値により定まるので、基準点マーカ50を物品マーカ40の一部と判定されたり、その逆の判定が生じたりすることはない。
図21に示すように、物品30が近接して並べられていても、物品位置管理装置20は、これらの物品30に貼り付けられた物品マーカ40を正しく判別できる。物品位置管理装置20は、式(7)を使って物品マーカ候補が物品マーカ40を構成するための要件(空間的要件)を満たすか否かを判定している。空間的要件のうちの距離tに関する値を適切に選択することで、物品マーカ40か否かの判定が正しく行われる。図21の例では、距離tを適切に選択することで、ARマーカ421とARマーカ422のペアが物品マーカ40と判定され、ARマーカ423とARマーカ424のペアが物品マーカ40と正しく判定される。つまり、ARマーカ422とARマーカ423の間の距離が距離tよりも長ければ、これらのARマーカが物品マーカ40を構成すると誤判定されることはない。ARマーカ間の距離及び判定時の誤差を考慮して、距離tを予め定めることで、2つの物品30が隣り合って配置されても物品マーカ40の判定は正しく行われる。
また、図22に示すように、物品30同士が近接して配置されない等の状況では、物品マーカ40をなす2つのARマーカ431及び432の間の距離を長くすることもできる(距離tを長く設定できる)。また、ARマーカ431及びARマーカ432が物品マーカ40を構成するか否かの判定は上記式(7)により行われるので、2つのARマーカの間に隙間や文字情報等が存在してもよい。
図23に示すように、ARマーカ441とARマーカ442が段違いに配置されている場合であっても、空間的要件のうちの方向vを適切に選択することで、上記2つのARマーカを物品マーカ40とするか否かを定めることができる。例えば、方向v(2つのARマーカの位置関係を定める方向ベクトル)の選択において、図23に示すような位置関係を許容するように方向vを決めれば、ARマーカ441とARマーカ442は物品マーカ40を構成すると判定される。対して、図23に示すような位置関係を許容しないように方向vを定めれば、2つのARマーカは物品マーカ40を構成しないと判定される。このように、空間的要件の方向vや距離tによりARマーカのレイアウトを自由に決定することができる。
移動式カメラ装置10と物品30の位置関係によっては、物品30を正面から撮像できないことがある。その場合、例えば、図24に示すような画像データが得られることになる。このような場合であっても、物品位置管理装置20は、物品マーカ40を正しく認識することができる。図24に示すように、物品30が傾いて撮像されていたとしても、物品位置管理装置20は、ARマーカの絶対座標系における向き及び座標(RFU行列、位置ベクトルPOS)を算出し、式(7)に示す判定に用いるためである。つまり、カメラが傾いており図24に示すような画像が得られた場合でも、物品30が傾いており図24に示すような画像が得られた場合であっても、ARマーカの絶対位置が算出できるので、正しい判定が行われる。
例えば、図25(a)に示すような物品30の配置では、図25(b)に示すような画像が得られることもある。このような場合であっても、物品マーカ40の判定は正しく行われる必要がある。具体的には、図25(b)に示す、ARマーカ451とARマーカ452は物品マーカ40を構成しないと判定され、ARマーカ452とARマーカ453は物品マーカ40を構成すると判定される必要がある。図25に示すような場合でも、式(7)を用いた空間的要件の判定により、物品マーカ40の判定は正しく行われる。式(7)の判定では、奥行き方向の距離も考慮されるからである。即ち、図25(b)に示す3つのARマーカについて絶対座標系における向き及び座標が得られれば、式(7)に示す判定処理によりARマーカペアが物品マーカ40を構成するか否かが正確に判定できる。
図26(a)に示すように、物品30が本来想定されている状態で配置されるとは限らない。物品30は、図26(b)に示すように横に倒されたり、図26(c)に示すように天地が逆に置かれたりする。このような場合であっても、物品マーカ40をなす2つのARマーカの向きはRFU行列により表現されているので、物品30が正規な置き方で置かれていなくとも物品マーカ40を正確に認識、判別することができる。
図27(b)に示すように物品マーカ40をなす2つのARマーカが同時に撮像されていれば問題は生じない。しかし、移動式カメラ装置10と物品30の位置関係によっては、図27(a)に示すように、物品マーカ40をなすARマーカ461の一部が撮像されないこともあり得る。この場合、一部が欠けているARマーカ461はARマーカとして認識されないので、当該マーカは物品マーカを構成すると判定されることもない。さらに、当該一部が欠けたARマーカ461と対となるARマーカ462が基準点マーカ50と認識されることもない。ARマーカ462が基準点マーカ50として機能するためには、その数値が0~99の範囲であることが必要である。しかし、物品マーカ40をなすARマーカ462の数値は100~999の範囲内にあるので、基準点マーカ50の基準を満たさない。
以上のように、第1の実施形態では、2つのARマーカを並べて識別子とすることで、多くの物品を判別可能とする。また、ARマーカには遠方からでも視認が容易であるという特徴があり、カメラを使った遠距離での位置判定が可能となる。
[第2の実施形態]
続いて、第2の実施形態について図面を参照して詳細に説明する。
第1の実施形態では、移動式カメラ装置10がフィールド内を移動し、撮像する場合について説明した。第2の実施形態では、移動式カメラ装置10に代えて固定式カメラ装置60を用いて画像を取得し、物品30の識別及び位置特定を行う場合について説明する(図28参照)。
固定式カメラ装置60は、フィールドの柱や天井に固定されたカメラである。固定式カメラ装置60は、フィールド内の所定領域を常時撮影するように設置されている。なお、移動式カメラ装置10と固定式カメラ装置60は、移動可能に構成されているか否かの点が異なるが、内部の処理構成は同一とすることができるので第2の実施形態に関する図10に相当する説明は省略する。なお、カメラ自体が動かない場合であっても、撮像するエリアを可変できる場合(例えば、上下左右に首を振ることができる場合)には、当該カメラ装置は移動式カメラ装置10として扱われてもよい。つまり、固定式カメラ装置60がパンやチルトを行うことができる場合には、当該固定式カメラ装置60が移動式カメラ装置10として扱われてもよい。
また、第2の実施形態では、基準点マーカ50は不要である。その理由は、固定式カメラ装置60はフィールドに固定されており、その絶対位置は予め算出可能なためである。従って、基準点マーカ50それ自体や基準点マーカ50を用いたカメラの絶対位置算出に関する処理は不要である。基準点マーカ50が不要であるため、第1の実施形態で説明したARマーカが基準点マーカ50か物品マーカ40を構成するARマーカを判定するための数値範囲に関する制限は不要である。つまり、物品マーカ40をなすARマーカの数値(ID)は0~999に設定することができる。
固定式カメラ装置60は、定期的又は予め定めたタイミングにて所定のエリアを撮像し、画像データを物品位置管理装置20に送信する。物品位置管理装置20は、第1の実施形態と同様に、画像データを解析することで、物品30の位置を特定する。
物品位置管理装置20は、受信した画像データに2以上のARマーカが撮像されているか否かを判定する。物品位置管理装置20は、2以上のARマーカが撮像されていれば、当該2以上のARマーカそれぞれについて、その絶対位置(絶対座標系における向き及び座標)を算出する。物品位置管理装置20は、固定式カメラ装置60に対するARマーカの回転及び並進を求め、固定式カメラ装置60の絶対位置に合成、変換することでARマーカの絶対位置を算出する。
物品位置管理装置20は、画像データに含まれる2以上のARマーカについて物品マーカ40を構成するための条件を満たすか否かを判定する。具体的には、第1の実施形態にて説明したように、物品位置管理装置20は、式(7)を使用して各ARマーカが空間的要件を満たすか否かを判定する。
2つのARマーカが空間的要件を満たすと判定されれば、物品位置管理装置20は、当該物品マーカ40の絶対位置と物品30を対応付けて各物品30の位置を管理する。
このように、物品位置管理装置20は、カメラ装置が固定式カメラ装置60である場合に、画像データに含まれる物品マーカ40に基づき、物品30の位置を特定する。
以上のように、第2の実施形態に係る物品位置管理装置20は、固定式カメラ装置60を使って物品30の識別及び位置管理を行うこともできる。その際、第1の実施形態と同様に、2以上のARマーカを用いた物品マーカ40により物品30を識別するので、数多くの物品30を識別することができる。
続いて、物品位置管理システムを構成する各装置のハードウェアについて説明する。図29は、物品位置管理装置20のハードウェア構成の一例を示す図である。
物品位置管理装置20は、情報処理装置(所謂、コンピュータ)により構成可能であり、図29に例示する構成を備える。例えば、物品位置管理装置20は、プロセッサ311、メモリ312、入出力インターフェイス313及び通信インターフェイス314等を備える。上記プロセッサ311等の構成要素は内部バス等により接続され、相互に通信可能に構成されている。
但し、図29に示す構成は、物品位置管理装置20のハードウェア構成を限定する趣旨ではない。物品位置管理装置20は、図示しないハードウェアを含んでもよいし、必要に応じて入出力インターフェイス313を備えていなくともよい。また、物品位置管理装置20に含まれるプロセッサ311等の数も図29の例示に限定する趣旨ではなく、例えば、複数のプロセッサ311が物品位置管理装置20に含まれていてもよい。
プロセッサ311は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)等のプログラマブルなデバイスである。あるいは、プロセッサ311は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のデバイスであってもよい。プロセッサ311は、オペレーティングシステム(OS;Operating System)を含む各種プログラムを実行する。
メモリ312は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。メモリ312は、OSプログラム、アプリケーションプログラム、各種データを格納する。
入出力インターフェイス313は、図示しない表示装置や入力装置のインターフェイスである。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。
通信インターフェイス314は、他の装置と通信を行う回路、モジュール等である。例えば、通信インターフェイス314は、NIC(Network Interface Card)等を備える。
物品位置管理装置20の機能は、各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ312に格納されたプログラムをプロセッサ311が実行することで実現される。また、当該プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transitory)なものとすることができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。また、上記プログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。
なお、移動式カメラ装置10等の制御要素(制御モジュール)も物品位置管理装置20と同様に情報処理装置により構成可能であり、その基本的なハードウェア構成は物品位置管理装置20と相違する点はないので説明を省略する。
[変形例]
なお、上記実施形態にて説明した物品管理システムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。例えば、図30に示すように、フィールド内には移動式カメラ装置10と固定式カメラ装置60が混在していてもよい。この場合、移動式カメラ装置10によりフィールド内の隅々を撮像し、物品30の位置管理を行いつつ、固定式カメラ装置60に所定の箇所における物品30の位置管理を集中的に行うことができる。
上記実施形態では、物品マーカ40を2つのARマーカで構成する場合について説明したが、物品マーカ40は3以上のARマーカで構成されていてもよい。この場合、ARマーカが物品マーカ40を構成するか否かの条件(空間的要件)は、1枚目のARマーカを基準として2枚目、3枚目のARマーカの判定をすることができる。あるいは、1枚目のARマーカと2枚目のARマーカについての条件が設定され、2枚目のARマーカと3枚目のARマーカについての条件が設定されてもよい。即ち、物品位置管理装置20は、複数のARマーカについて再帰的に空間的要件を満たすか否かの判定を実行し、当該複数のARマーカが物品マーカ40を構成するか否かを判定してもよい。また、複数のARマーカにより物品マーカ40を構成することで、物品マーカ40の識別数を増加させることができる。
物品マーカ40に3以上のARマーカが含まれる場合には、一部のARマーカを物品30の識別用及び位置特定用に使用し、他のARマーカを他の用途で用いることもできる。例えば、3つのARマーカが物品マーカ40に含まれる場合を考える。この場合、2つのARマーカペアを上記識別、位置特定用途に使用し、1つのARマーカを誤り訂正用のARマーカとして使用することもできる。例えば、パリティビットを上記残りの1つのARマーカで表現してもよい。あるいは、上記残りの1つのARマーカを認証用のマーカとして用いてもよい。
上記実施形態では、一種類のマーカにより物品マーカ40が構成されている場合について説明したが、複数種類のマーカが混在して物品マーカ40を構成していてもよい。例えば、カメラから遠距離認識が可能なARマーカと画像の一部を拡大することで認識が必要なバーコードやQRコード(登録商標)を組み合わせて物品マーカ40を構成してもよい。この場合、物品位置管理装置20は、ARマーカを認識した場合に、カメラ装置(移動式カメラ装置10、固定式カメラ装置60)に所定エリア(バーコード等が写る領域)を拡大した画像を送信するように指示をしてもよい。この場合、カメラ装置は作業者(移動式カメラ装置10のオペレータ)にカメラ操作を促すナビゲーション画面を提供したり、カメラのパンやズーム値を動的に制御したりする。物品位置管理装置20は、カメラ装置から取得した拡大されたバーコード等を読み取り、物品30の識別を行うこともできる。このように、物品位置管理装置20の物品位置特定部302は、画像データに対する解析結果に応じた指示をカメラ装置に行ってもよい。その場合、物品位置特定部302は、画像データから物品マーカ40を構成するマーカのうち一部のマーカを認識できない場合には、カメラ装置に対してパン、チルト及びズームのうちいずれか1つ以上の動作を行った後に画像データを送信するように指示してもよい。例えば、物品位置特定部302は、カメラ装置に対して所定エリアを拡大した画像データを送信するように指示してもよい。
上記実施形態では、ARマーカの一部が欠けた場合の対策について説明をしていないが、物品位置管理装置20は、画像データに含まれるデータ(一部が欠けたARマーカの他の領域)を用いてARマーカ(ARマーカの識別子)の推定を行ってもよい。
上記実施形態では、フィールド内の任意の位置を原点とする絶対座標系における物品30の位置特定について説明したが、移動式カメラ装置10の位置を原点とするカメラ座標系を用いて物品30の位置特定が行われてもよい。以下、カメラ座標系を用いる場合の絶対座標系との相違点を中心に説明する。なお、上記カメラ座標系を用いる場合には、上記説明した「絶対位置」は単に「位置」と読み替えることができる。
カメラ座標系を導入する場合、上記説明した「カメラの位置検出」に関する処理は不用となる。移動式カメラ装置10の位置が原点となるためである。また、絶対座標系では、カメラの向き及び座標が算出されているが、カメラ座標が用いられる場合、カメラの向きを示すRFUは単位行列、カメラの座標は原点(0、0、0)で固定される。具体的には、カメラの向きを示すRFUの単位行列は、(Right=(1、0、0)、Front=(0、1、0)、Up=(0、0、1))となる。
なお、上記説明した「物品マーカをなすARマーカの位置検出」に関する処理は、絶対座標系とカメラ座標系で同一とすることができる。つまり、絶対座標系における原点を移動式カメラ装置10の位置とすればよい。
図17を用いて説明した物品位置特定部302の動作に関しても、大半の処理を絶対座標系とカメラ座標系で共通とすることができる。具体的には、列マーカ判定処理(物品マーカ判定処理)は、絶対座標系だけでなくカメラ座標系でも共通して行える。但し、ステップS02において、物品位置特定部302は、1つの以上のARマーカが画像データに含まれるか否かを検証すればよい。カメラ座標系が用いられる場合、基準点マーカ50の抽出が不要となり、画像データに含まれる必要のあるARマーカの数が減るためである。
また、図17のステップS04では、画像データに基準点マーカ50が含まれているか否かが判定されているが、カメラ座標系が用いられる場合には当該判定処理自体が不要であり、その後の処理が継続して実行される。
さらに、絶対座標系では、図17のステップS05において2以上の物品マーカ候補が画像データに含まれているか否かが判定され、2以上の物品マーカ候補が含まれていなければ処理が終了している。対して、カメラ座標系が用いられる場合には、物品位置特定部302は、例えば、移動式カメラ装置10に対して所定エリアを拡大した画像データを送信するように指示する。つまり、画像データから物品マーカ40を構成するマーカのうち一部のマーカを認識できない場合には、物品位置管理装置20から移動式カメラ装置10に対して撮像エリアを拡大するような指示がなされる。
なお、カメラ装置が固定式カメラ装置60であってもカメラ座標系を用いることができる。この場合、カメラ装置(固定式カメラ装置60)の位置が限定として扱われればよい。
上記のように、カメラ座標系を導入することで以下のようなメリットがある。
フィールド内の状況やユースケースによっては、基準点マーカ50と物品マーカ40を別々に撮影することがある(一枚の画像に2つのマーカが同時に写らないことがある)。このような場合に、カメラ座標系という概念を導入すると好適である。具体的には、移動式カメラ装置10が、物品マーカ40を撮影し、180度回転して基準点マーカ50を撮影するような場合にカメラ座標系は有利である。また、移動体が複数のカメラ装置を備え、第1のカメラ装置が基準点マーカ50を撮影し、第2のカメラ装置が物品マーカ40を撮影するような場合にもカメラ座標系は有利である。
カメラ座標系は、常にカメラ装置の位置が原点となる座標系である。従って、画像データに基準点マーカ50が写っておらず、物品マーカ40だけが写っている場合でも物品マーカ40の判定(2つのARマーカが物品マーカ40構成するか否かの判定;列判定)を実行できる。即ち、「カメラ装置と物品マーカ40の相対位置=カメラ座標系での物品マーカ40の座標」であるため、カメラ座標系での列判定プロセスは、絶対座標系での列判定プロセスと同一となる。このことは、絶対座標系の「入り口を原点」と「部屋の中央を原点」では、原点が異なるだけで列判定処理は共通であることからも容易に理解できる。即ち、カメラ装置の位置を原点に設定しても絶対座標系における列判定プロセスを適用することができる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
カメラ装置から画像データを入力する、入力部(101、301)と、
前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカ(40)に基づき特定する、特定部(102、302)と、
を備え、
前記物品マーカ(40)は、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカである、物品位置管理装置(20、100)。
[付記2]
前記物品マーカ(40)は第1のマーカ及び第2のマーカにより構成され、
前記特定部(102、302)は、
前記第1のマーカから方向v、距離t離れた座標Pの半径rの中に第2のマーカが存在しているか否かを判定することで、前記第1及び第2のマーカが前記空間的要件を満たすか否かを判定する、付記1に記載の物品位置管理装置(20、100)。
[付記3]
前記特定部(102、302)は、フィールド内での絶対座標系またはカメラ座標系における、前記第1及び第2のマーカそれぞれの絶対位置を算出し、前記算出された絶対位置を用いて前記第1及び第2のマーカが前記空間的要件を満たすか否かを判定する、付記2に記載の物品位置管理装置(20、100)。
[付記4]
前記特定部(102、302)は、
前記第1及び第2のマーカそれぞれに関し、第1及び第2のマーカの一点を原点とする3次元座標系の各軸の絶対座標系の各軸に対する傾斜を示す3次元正方行列と、絶対座標系における位置ベクトルと、を生成し、
前記生成された3次元正方行列と位置ベクトルを用いて、前記空間的要件の判定を行う、付記3に記載の物品位置管理装置(20、100)。
[付記5]
前記カメラ装置はフィールド内を移動可能な移動式カメラ装置(10)であり、
前記特定部(102、302)は、フィールド内での絶対位置が予め定まっている基準点マーカ(50)と、前記物品マーカ(40)と、を用いて前記物品のフィールド内における位置を特定する、付記1乃至4のいずれか一つに記載の物品位置管理装置(20、100)。
[付記6]
前記基準点マーカ(50)の識別子は第1の数値範囲内の数値であり、
前記物品マーカ(40)を構成する少なくとも2以上のマーカそれぞれの識別子は前記第1の数値範囲とは重複しない第2の数値範囲内の数値であり、
前記特定部(102、302)は、前記画像データから抽出されたマーカの識別子に基づき、前記抽出されたマーカが前記基準点マーカ(50)か、前記物品マーカ(40)を構成する少なくとも2以上のマーカかを判定する、付記5に記載の物品位置管理装置(20、100)。
[付記7]
前記特定部(102、302)は、前記画像データに対する解析結果に応じた指示を前記カメラ装置に行う、付記1乃至6のいずれか一つに記載の物品位置管理装置(20、100)。
[付記8]
前記特定部(102、302)は、前記画像データから前記物品マーカ(40)を構成するマーカのうち一部のマーカを認識できない場合には、前記カメラ装置に対してパン、チルト及びズームのうちいずれか1つ以上の動作を行った後に画像データを送信するように指示する、付記7に記載の物品位置管理装置(20、100)。
[付記9]
前記物品マーカ(40)が3以上のマーカにより構成されている場合に、
前記特定部(102、302)は、2つ以上のマーカを前記物品の位置認識用マーカとして利用し、1つ以上のマーカを前記物品の位置認識とは異なる用途に利用する、付記1乃至8のいずれか一つに記載の物品位置管理装置(20、100)。
[付記10]
前記カメラ装置には、フィールドに固定された固定式カメラ装置が含まれる、付記1乃至9のいずれか一つに記載の物品位置管理装置(20、100)。
[付記11]
前記物品マーカ(40)を構成する少なくとも2以上のマーカは、AR(Augmented Reality)マーカを含む、付記1乃至10のいずれか一つに記載の物品位置管理装置(20、100)。
[付記12]
少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たす物品マーカ(40)が貼り付けられた物品。
[付記13]
カメラ装置と、
前記カメラ装置と通信可能に構成された物品位置管理装置(20、100)と、
を含み、
前記物品位置管理装置(20、100)は、
前記カメラ装置から画像データを入力する、入力部(101、301)と、
前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカ(40)に基づき特定する、特定部(102、302)と、
を備え、
前記物品マーカ(40)は、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカである、物品管理システム。
[付記14]
物品位置管理装置(20、100)において、
カメラ装置から画像データを入力するステップと、
前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカ(40)に基づき特定するステップと、
を含み、
前記物品マーカ(40)は、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカである、物品位置管理方法。
[付記15]
物品位置管理装置(20、100)に搭載されたコンピュータ(311)に、
カメラ装置から画像データを入力する処理と、
前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカ(40)に基づき特定する処理と、
を実行させ、
前記物品マーカ(40)は、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカである、プログラム。
なお、付記12~付記15の形態は、付記1の形態と同様に、付記2の形態~付記11の形態に展開することが可能である。
なお、引用した上記の先行技術文献の各開示は、本書に引用をもって繰り込むものとする。以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。
10 移動式カメラ装置
20、100 物品位置管理装置
30 物品
40 物品マーカ
50 基準点マーカ
60 固定式カメラ装置
101 入力部
102 特定部
201 カメラ制御部
202 データ出力部
203、303 記憶部
301 データ入力部
302 物品位置特定部
311 プロセッサ
312 入出力インターフェイス
313 メモリ
314 通信インターフェイス
401、402、411~413、421~424、431、432、441、442、451~453、461、462 ARマーカ

Claims (13)

  1. カメラ装置から画像データを入力する、入力部と、
    前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカに基づき特定する、特定部と、
    を備え、
    前記物品マーカは、第1のマーカ及び第2のマーカを含む、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカであり、
    前記特定部は、前記第1のマーカから方向v、距離t離れた座標Pの半径rの中に第2のマーカが存在しているか否かを判定することで、前記第1及び第2のマーカが前記空間的要件を満たすか否かを判定し、前記2以上のマーカにそれぞれが対応する2以上の識別子を前記物品の識別子として使用することによって、前記物品を特定する、物品位置管理装置。
  2. 前記特定部は、フィールド内での絶対座標系における前記第1及び第2のマーカそれぞ れの絶対位置またはフィールド内でのカメラ座標系における前記カメラ装置に対する前記 第1及び第2のマーカそれぞれの相対位置を算出し、前記算出された絶対位置または前記算出された相対位置を用いて前記第1及び第2のマーカが前記空間的要件を満たすか否か を判定する、請求項に記載の物品位置管理装置。
  3. 前記特定部は、
    前記第1及び第2のマーカそれぞれに関し、第1及び第2のマーカの一点を原点とする3次元座標系の各軸の絶対座標系の各軸に対する傾斜を示す3次元正方行列と、絶対座標系における位置ベクトルと、を生成し、
    前記生成された3次元正方行列と位置ベクトルを用いて、前記空間的要件の判定を行う、請求項に記載の物品位置管理装置。
  4. 前記カメラ装置はフィールド内を移動可能な移動式カメラ装置であり、
    前記特定部は、フィールド内での絶対位置が予め定まっている基準点マーカと、前記物品マーカと、を用いて前記物品のフィールド内における位置を特定する、請求項1乃至のいずれか一項に記載の物品位置管理装置。
  5. 前記基準点マーカの識別子は第1の数値範囲内の数値であり、
    前記物品マーカを構成する少なくとも2以上のマーカそれぞれの識別子は前記第1の数値範囲とは重複しない第2の数値範囲内の数値であり、
    前記特定部は、前記画像データから抽出されたマーカの識別子に基づき、前記抽出されたマーカが前記基準点マーカか、前記物品マーカを構成する少なくとも2以上のマーカかを判定する、請求項に記載の物品位置管理装置。
  6. 前記特定部は、前記画像データに対する解析結果に応じた指示を前記カメラ装置に行う、請求項1乃至のいずれか一項に記載の物品位置管理装置。
  7. 前記特定部は、前記画像データから前記物品マーカを構成するマーカのうち一部のマーカを認識できない場合には、前記カメラ装置に対してパン、チルト及びズームのうちいずれか1つ以上の動作を行った後に画像データを送信するように指示する、請求項に記載の物品位置管理装置。
  8. 前記物品マーカが3以上のマーカにより構成されている場合に、
    前記特定部は、2つ以上のマーカを前記物品の位置認識用マーカとして利用し、1つ以上のマーカを前記物品の位置認識とは異なる用途に利用する、請求項1乃至のいずれか一項に記載の物品位置管理装置。
  9. 前記カメラ装置には、フィールドに固定された固定式カメラ装置が含まれる、請求項1乃至のいずれか一項に記載の物品位置管理装置。
  10. 前記物品マーカを構成する少なくとも2以上のマーカは、AR(Augmented Reality)マーカを含む、請求項1乃至のいずれか一項に記載の物品位置管理装置。
  11. カメラ装置と、
    前記カメラ装置と通信可能に構成された物品位置管理装置と、
    を含み、
    前記物品位置管理装置は、
    前記カメラ装置から画像データを入力する、入力部と、
    前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカに基づき特定する、特定部と、
    を備え、
    前記物品マーカは、第1のマーカ及び第2のマーカを含む、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカであり、
    前記特定部は、前記第1のマーカから方向v、距離t離れた座標Pの半径rの中に第2のマーカが存在しているか否かを判定することで、前記第1及び第2のマーカが前記空間的要件を満たすか否かを判定し、前記2以上のマーカにそれぞれが対応する2以上の識別子を前記物品の識別子として使用することによって、前記物品を特定する物品管理システム。
  12. 物品位置管理装置において、
    カメラ装置から画像データを入力するステップと、
    前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカに基づき特定するステップと、
    を含み、
    前記物品マーカは、第1のマーカ及び第2のマーカを含む、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカであり、
    前記特定するステップは、前記第1のマーカから方向v、距離t離れた座標Pの半径rの中に第2のマーカが存在しているか否かを判定することで、前記第1及び第2のマーカが前記空間的要件を満たすか否かを判定し、前記2以上のマーカにそれぞれが対応する2以上の識別子を前記物品の識別子として使用することによって、前記物品を特定することを含む、物品位置管理方法。
  13. 物品位置管理装置に搭載されたコンピュータに、
    カメラ装置から画像データを入力する処理と、
    前記画像データに写る物品のフィールド内における位置を、前記物品に貼り付けられた物品マーカに基づき特定する処理と、
    を実行させ、
    前記物品マーカは、第1のマーカ及び第2のマーカを含む、少なくとも2以上のマーカにより構成され、且つ、前記少なくとも2以上のマーカのそれぞれは、マーカ間の距離と方向に関する空間的要件を満たすマーカであり、
    前記特定する処理は、前記第1のマーカから方向v、距離t離れた座標Pの半径rの中に第2のマーカが存在しているか否かを判定することで、前記第1及び第2のマーカが前記空間的要件を満たすか否かを判定し、前記2以上のマーカにそれぞれが対応する2以上の識別子を前記物品の識別子として使用することによって、前記物品を特定することを含む、プログラム。
JP2019167995A 2019-09-17 2019-09-17 物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラム Active JP7435998B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019167995A JP7435998B2 (ja) 2019-09-17 2019-09-17 物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019167995A JP7435998B2 (ja) 2019-09-17 2019-09-17 物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021047475A JP2021047475A (ja) 2021-03-25
JP7435998B2 true JP7435998B2 (ja) 2024-02-21

Family

ID=74876329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019167995A Active JP7435998B2 (ja) 2019-09-17 2019-09-17 物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7435998B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102659185B1 (ko) * 2021-11-16 2024-04-18 동국대학교 산학협력단 객체 위치 추정 장치 및 방법
KR102489128B1 (ko) * 2021-11-22 2023-01-17 주식회사 지안에스 Cctv를 이용한 물류 감시 장치
JP7269312B1 (ja) 2021-12-16 2023-05-08 株式会社シーエーシー 複数のマーカーから関連するマーカーを識別するためのプログラム、方法及び装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227309A (ja) 1999-02-04 2000-08-15 Olympus Optical Co Ltd 3次元位置姿勢センシング装置
JP2005083984A (ja) 2003-09-10 2005-03-31 Neomax Co Ltd 物品位置確認システム
JP2010008352A (ja) 2008-06-30 2010-01-14 3D Media Co Ltd 寸法測定方法及び寸法測定装置
JP2016080663A (ja) 2014-10-22 2016-05-16 富士通株式会社 マーカー位置算出装置、マーカー位置算出方法及びマーカー位置算出プログラム
JP2016526673A (ja) 2013-06-19 2016-09-05 ザ・ボーイング・カンパニーThe Boeing Company 移動可能な対象物体の場所を追跡するためのシステム及び方法
US20170225891A1 (en) 2016-02-05 2017-08-10 inVia Robotics, LLC Robotic Navigation and Mapping
WO2018037666A1 (ja) 2016-08-24 2018-03-01 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000227309A (ja) 1999-02-04 2000-08-15 Olympus Optical Co Ltd 3次元位置姿勢センシング装置
JP2005083984A (ja) 2003-09-10 2005-03-31 Neomax Co Ltd 物品位置確認システム
JP2010008352A (ja) 2008-06-30 2010-01-14 3D Media Co Ltd 寸法測定方法及び寸法測定装置
JP2016526673A (ja) 2013-06-19 2016-09-05 ザ・ボーイング・カンパニーThe Boeing Company 移動可能な対象物体の場所を追跡するためのシステム及び方法
JP2016080663A (ja) 2014-10-22 2016-05-16 富士通株式会社 マーカー位置算出装置、マーカー位置算出方法及びマーカー位置算出プログラム
US20170225891A1 (en) 2016-02-05 2017-08-10 inVia Robotics, LLC Robotic Navigation and Mapping
WO2018037666A1 (ja) 2016-08-24 2018-03-01 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2021047475A (ja) 2021-03-25

Similar Documents

Publication Publication Date Title
JP7435998B2 (ja) 物品位置管理装置、物品、物品位置管理システム、物品位置管理方法及びプログラム
US10434654B2 (en) Calibration device, calibration method, and computer readable medium for visual sensor
JP2020535509A (ja) イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム
JP5049975B2 (ja) 3次元モデルデータ生成方法及び3次元モデルデータ生成装置
CN104735293B (zh) 图像修正装置图像修正方法以及记录介质
WO2020138345A1 (ja) 物品位置管理装置、物品位置管理システム、物品位置管理方法及びプログラム
CN112276936B (zh) 三维数据生成装置以及机器人控制系统
KR101638173B1 (ko) 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법
JP7163760B2 (ja) 位置関係検出装置及び位置関係検出システム
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
JP5783567B2 (ja) 直線検出装置、直線検出方法、直線検出プログラム及び撮影システム
JP2020194594A (ja) コード認識装置
JP6246176B2 (ja) 立体型情報コード、及び、立体型情報コード読み取り装置
JP2022145190A (ja) 情報処理システム、位置管理方法、情報処理装置及びプログラム
JP2022145287A (ja) 情報処理システム、位置管理方法、情報処理装置及びプログラム
JP7412260B2 (ja) 測位システム、測位装置、測位方法および測位プログラム
JP2019063953A (ja) 作業システム、作業システムの制御方法及びプログラム
JP2016017757A (ja) 情報登録装置及び情報継続登録装置並びに方法及びプログラム
JP6512852B2 (ja) 情報処理装置、情報処理方法
JP7130423B2 (ja) 部品情報管理システム、および部品情報管理プログラム
JP7392986B2 (ja) 物品位置管理装置、物品位置管理システム、物品位置管理方法およびプログラム
JP7082362B2 (ja) コード読取装置、コード読取方法、およびプログラム
JP6950301B2 (ja) 画像出力システム、画像出力方法及び画像出力プログラム
JP6853031B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及び、プログラム
JP2021047516A (ja) 情報処理装置、座標変換システム、座標変換方法、及び座標変換プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20201130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240201

R151 Written notification of patent or utility model registration

Ref document number: 7435998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151