JP7288231B2 - トラッキング装置、トラッキング方法、およびプログラム - Google Patents
トラッキング装置、トラッキング方法、およびプログラム Download PDFInfo
- Publication number
- JP7288231B2 JP7288231B2 JP2022552726A JP2022552726A JP7288231B2 JP 7288231 B2 JP7288231 B2 JP 7288231B2 JP 2022552726 A JP2022552726 A JP 2022552726A JP 2022552726 A JP2022552726 A JP 2022552726A JP 7288231 B2 JP7288231 B2 JP 7288231B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- article
- thick plate
- stencil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000003860 storage Methods 0.000 claims description 53
- 238000009795 derivation Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 description 231
- 230000032258 transport Effects 0.000 description 113
- 238000007726 management method Methods 0.000 description 61
- 238000010586 diagram Methods 0.000 description 42
- 229910000831 Steel Inorganic materials 0.000 description 22
- 239000010959 steel Substances 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 16
- 239000000470 constituent Substances 0.000 description 14
- 230000010365 information processing Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 239000000463 material Substances 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000005520 cutting process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 6
- 241000282412 Homo Species 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
- B65G1/1371—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed with data records
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
- B65G63/002—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations for articles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
- B65G2201/0214—Articles of special size, shape or weigh
- B65G2201/0223—Heavy
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/02—Control or detection
- B65G2203/0208—Control or detection relating to the transported articles
- B65G2203/0216—Codes or marks on the article
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2203/00—Indexing code relating to control or detection of the articles or the load carriers during conveying
- B65G2203/04—Detection means
- B65G2203/041—Camera
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Warehouses Or Storage Devices (AREA)
Description
特許文献1に記載の技術では、鋼板を降ろしたときの天井クレーンのX-Y座標を当該鋼板の鋼板番号と共に登録することにより鋼板のトラッキングを行う。
尚、長さ、位置、大きさ、間隔等、比較対象が同じであることは、厳密に同じである場合の他、発明の主旨を逸脱しない範囲で異なるもの(例えば、設計時に定められる公差の範囲内で異なるもの)も含むものとする。
本実施形態では、複数の製鉄所で製造された各種の厚板(例えば厚鋼板)に対して、熱処理や切断等の各種の処理を行う工場を含む場所において、当該厚板をトラッキングする場合を例示する。図1は、本実施形態の適用対象の工場における製品の流れの一例を説明する図である。
以上のようにして搬送される厚板の位置を、特許文献1、2に記載の技術のように、搬送機器の動作に基づいてトラッキングすると、トラッキングすることができる範囲に制約が生じる。そこで、本発明者らは、現品管理(各厚板の位置の管理)のために、厚板には、当該厚板の製造メーカによって管理されている情報が表示されていることに着目した。このような情報の表示位置をトラッキングすることは、厚板をトラッキングすることと等価である。そして、このような厚板の製造メーカによって管理されている情報を特定することができれば、厚板を識別することができる。本実施形態は、このような思想に基づいてなされたものである。
図2は、厚板に対する表示領域の一例を示す図である。尚、図2に示すx軸、y軸、z軸は、図2と、後述する図3A、図3B、図14~図15、図18~図20との向きの関係を示すものであり、図4および図5に示すx-y-z座標の向きとは必ずしも対応しない。尚、x-y-z座標は、例えば、世界座標系で表される座標である。
図2において、表示領域201は、ステンシルによる表示領域である。図2に示す例では、ステンシルによる表示領域201は、厚板の板面に存在する。尚、図2に示す破線は仮想線であり、実際には表示されない。図2に示す例では、ラベル(サイドラベル)202は、厚板の側面(板厚部分)に貼り付けられる。
図3Aに示す例では、ステンシルによる表示には、マーク301、需要家名302、規格303、サイズ304、ID305、需要家コード306、および注文番号307が含まれる。
図3Bに示す例では、ラベルによる表示には、規格311、ID312、サイズ313、納期314、および需要家コード315が含まれる。納期314は、厚板の納期を示す情報である。規格311、ID312、サイズ313、需要家コード315は、それぞれ、規格303、サイズ304、ID305、需要家コード306と同じものである。尚、ID312以外の情報は、ラベルによる表示に含まれていなくてもよい。また、前述した情報以外の情報が、ラベルによる表示に含まれていてもよい。ラベルによる表示の内容、位置、および大きさも、ステンシルによる表示と同様に、厚板を製造する製鉄所および需要家等によって異なる。
尚、厚板には、以上のような表示の他に、例えば、刻印による表示が施されることがある。
<<輸送船による輸送>>
図4は、輸送船に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。図4では、輸送船400に対して、ガントリークレーン410を用いて厚板を荷積みおよび荷下ろしされる場合を例示する。図5は、厚板420が荷役装置411で吊り上げられている様子をガータ412の延設方向(y軸方向)から見た図である。図4および図5に示すx-y-z座標は、図4および図5の向きの関係を示すものである。
ガントリークレーン410は、荷役装置(トロリー等)411、ガータ(横行桁)412、および脚構造物413を有する、荷役装置411は、搬送対象物を吊り上げた状態で、ガータ412の延設方向(y軸方向)に沿って移動する。図4では、厚板420が、荷役装置411で吊り上げられ移動する様子を示す。厚板420が荷役装置411で吊り上げられている様子をガータ412の延設方向(y軸方向)から見ると、図5に示すようになる。
ガントリークレーン410自体は、公知の技術で説明することができるので、ここでは詳細な説明を省略する。
ガンドリークレーン410の所定の置場に置かれた厚板は、輸送車両に荷積みされる。図7は、輸送車両に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。ガンドリークレーン410の所定の置場に置かれた厚板は、不図示のクレーン等を用いて輸送車両700に荷積みされる。図7に示すように複数枚の厚板が積み重ねられた状態で同時に輸送車両700に荷積みされる場合がある。ただし、厚板が1枚ずつ輸送車両700に荷積みされる場合もある。また、輸送車両700に荷積みされる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。また、図6A~図6Eに示したようにして厚板を搬送して輸送車両700に荷積みしてもよい。
以上のようにして厚板が荷積みされた輸送車両700が工場に到着すると、輸送車両700から厚板が荷下ろしされる。輸送車両700に荷積みされた厚板は、不図示のクレーン等を用いて輸送車両700から荷下ろしされる。図7に示すように複数枚の厚板が積み重ねられた状態で同時に輸送車両700から荷下ろしされる場合がある。ただし、厚板が1枚ずつ輸送車両700から荷下ろしされる場合もある。また、輸送車両700から荷下ろしされる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。また、図6A~図6Eに示したようにして厚板を搬送して輸送車両700から荷下ろしされてもよい。尚、輸送船400からガントリークレーン410の所定の置場に厚板を搬送する際に用いる搬送機器(ガントリークレーン410)と、輸送車両700から工場内の置場に厚板を搬送する際に用いる搬送機器(不図示のクレーン等)とは異なる搬送機器である。このように、或る搬送機器で或る置場に搬送された厚板は、当該或る搬送機器とは別の搬送機器で、当該或る搬送機器では搬送することができない別の置場に搬送される場合がある。このことは、工場内の各置場間等のその他の置場間において厚板を搬送する場合においても同じである。
図12は、トラッキング装置1200の機能的な構成の一例を示す図である。トラッキング装置1200のハードウェアは、例えば、CPU、ROM、RAM、HDD、および各種のインターフェースを備える情報処理装置、または専用のハードウェアを用いることにより実現される。図13は、トラッキング装置1200により管理される管理テーブル1300の一例を示す図である。
図13において、現品表示の欄には、ステンシル(ラベル)による表示の各表示項目に関する情報が記憶される。非現品表示の欄には、ステンシル(ラベル)による表示の各表示項目に関する情報以外の情報が記憶される。本実施形態では、現品表示の欄に記憶される情報がトラッキングデータに含まれる表示情報の一例であり、非現品表示の欄に記憶される情報がトラッキングデータに含まれる非表示情報の一例である。
現品表示の欄において、ステンシルの欄には、ステンシルに関する情報が記憶される。
ステンシルの欄のIDの欄には、ステンシルによる表示に含まれるID305の構成要素の内容および位置を示す情報が記憶される。尚、構成要素とは、文字、数字、記号、マーク等、表示項目を構成する個々の情報を指す。
ステンシルの欄の需要家名の欄には、ステンシルによる表示に含まれる需要家名302の構成要素の内容および位置を示す情報が記憶される。
ステンシルの欄の規格の欄には、ステンシルによる表示に含まれる規格303の構成要素の内容および位置を示す情報が記憶される。
ステンシルの欄の需要家コードの欄には、ステンシルによる表示に含まれる需要家コード306の構成要素の内容および位置を示す情報が記憶される。
以上のステンシルによる表示における表示項目の他に、ステンシルによる表示の表示項目として表示される可能性のある表示項目の内容も、管理テーブル1300に記憶される。図13のステンシルの欄の追加情報の欄の下の「・・・」は、このことを示す。また、表示項目自体は追加および/または削除されてもよい。
ラベルの欄のIDの欄には、ラベルによる表示に含まれるID312の構成要素の内容および位置を示す情報が記憶される。
ラベルの欄のサイズの欄には、ラベルによる表示に含まれるサイズ313の構成要素の内容および位置を示す情報が記憶される。
ラベルの欄の納期の欄には、ラベルによる表示に含まれる納期314の構成要素の内容および位置を示す情報が記憶される。
ラベルの欄の需要家コードの欄には、ラベルによる表示に含まれる需要家コード315の構成要素の内容および位置を示す情報が記憶される。
物品内位置の欄には、厚板における所定の位置を原点(基準)とした場合の表示領域の位置を示す情報が記憶される。
物品内位置の欄のステンシルの欄には、厚板における所定の位置を原点(基準)とした場合の、ステンシルによる表示領域の位置を示す情報が記憶される。
物品内位置の欄のラベルの欄には、厚板における所定の位置を原点(基準)とした場合の、ラベルによる表示領域の位置を示す情報が記憶される。
登録時刻の欄には、厚板が現在の位置に置かれた日時(日付と時刻とから定まるタイミング)を示す情報が記憶される。
厚板が輸送船400に荷積みされると、トラッキング装置1200は、例えば、以下のようにして輸送船400のIDを示す情報を記憶してもよい。
まず、トラッキング装置1200は、当該厚板のIDと当該輸送船400のID(いわゆる船番)を取得する。そして、トラッキング装置1200は、管理テーブル1300のIDの欄から、取得した厚板のIDと同じIDを示す情報が記憶されている列を特定する。そして、トラッキング装置1200は、特定した列の運搬具IDの欄に、取得した輸送船400のIDを示す情報を記憶する。
まず、トラッキング装置1200は、当該厚板のIDと当該輸送車両700のID(例えば、ナンバープレートの情報)を取得する。そして、トラッキング装置1200は、管理テーブル1300のIDの欄から、取得した厚板のIDと同じIDを示す情報が記憶されている列を特定する。そして、トラッキング装置1200は、特定した列の運搬具IDの欄に、取得した輸送車両700のIDを示す情報を記憶する。
図14は、ステンシルの物品内位置と、ステンシルによる表示における各表示項目の構成要素の位置の一例を示す図である。図14では、図2に示す表示位置および図3Aに示す内容で、ステンシルによる表示がなされている場合を例示する。
図14では、直方体の厚板の8つの頂点のうち、図2に示す頂点203を原点とし、当該頂点203から、厚板の幅方向に沿う方向をy軸の正の方向、厚板の長さ方向に沿う方向をx軸の正の方向とするx-y座標で、ステンシルの物品内位置と、ステンシルによる各表示項目の構成要素の位置とを表す。
以上のようにしてステンシルによる表示の各表示項目の各構成要素の位置がx-y座標で表される。
図15では、直方体の厚板の8つの頂点のうち、図2に示す頂点204を原点とし、当該頂点204から、厚板の幅方向に沿う方向をy軸の正の方向、厚板の板厚方向に沿う方向をz軸の正の方向とするy-z座標で、ラベルの物品内位置と、ラベルによる各表示項目の構成要素の位置とを表す。
物品内位置の欄のラベルの欄にも、物品内位置の欄のステンシルの欄と同様に、ラベルの物品内位置を示す情報が記憶される。尚、前述したように、ラベルの物品内位置を示す情報は、x-y座標ではなく、y-z座標となる。
尚、第1の撮像装置が、第1の撮像画像に含めるべき領域を撮像することができない場合、ステップS1701の処理に先立って、第1の撮像装置の撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)が調整される。
尚、本実施形態では、説明を簡単にするために、最上段にある厚板については、第1の撮像画像には、ラベル202による表示領域ではなくステンシルによる表示領域201が含まれるものとする。
次に、ステップS1704において、照合部1204は、ステップS1702において認識された情報と、ステップS1703において入手された情報とを照合する。ステップS1702において認識された情報が、ステンシルによる表示の情報であると認識された場合、照合部1204は、ステップS1703において入手された情報のうち、現品表示の欄のステンシルの欄のIDの欄に記憶されている情報と、ステップS1702において認識された情報とを照合する。一方、ステップS1702において認識された情報が、ラベルによる表示の情報であると認識された場合、照合部1204は、ステップS1703において入手された情報のうち、現品表示の欄のラベルの欄のIDの欄に記憶されている情報と、ステップS1702において認識された情報とを照合する。
次に、ステップS1711において、出力部1208は、ステップS1705で特定された厚板の三次元位置を示す情報を出力する。例えば、出力部1208は、ステップS1705で特定された厚板の三次元位置を示す情報を、コンピュータディスプレイに表示させる。そして、図17のフローチャートによる処理が終了する。
図18は、ステンシルによる表示領域201の三次元位置を導出する方法の一例を説明する図である。
L=Hsinβ/sin{(π/2-β)} ・・・(1)
また、∠OPSをα(rad)とすると、線分OSの長さ(点Oから点Sまでの長さ)lは、以下の(2)式で表される。そして、∠SPQをδ(rad)とすると、(2)式より、線分SQの長さ(点Sから点Qまでの距離)wyは、以下の(3)式で表される。
l=H/tanα ・・・(2)
wy=lsinδ=Hsinδ/tanα ・・・(3)
S(xs,ys,zs)=(L,wy,0) ・・・(4)
第1の例として、まず、位置導出部1206は、レーザ距離計を用いて第1の撮像装置からステンシルによる表示領域までの高さ方向(z軸方向)の距離を導出する。そして、位置導出部1206は、第1の撮像装置の高さ方向(z軸方向)の位置から、当該距離を減算した位置を、ステンシルによる表示領域201の高さ方向(z軸方向)の位置として導出する。
図19に示す例においても、図18と同様に、点Pは、第1の撮像装置の位置を示す(点Pのx-y-z座標は(xp,yp,zp)である)。また、z軸は、厚板の表面(ステンシルによる表示領域201が形成されている面)に垂直な方向である。また、y軸は、ステンシルによる表示領域201において同一の表示項目の構成要素が並ぶ方向に平行な方向である。また、x軸は、ステンシルによる表示領域201において異なる表示項目が並ぶ方向に平行な方向である。また、x軸、y軸、z軸は相互に垂直であるものとする。ここでも、説明を簡単にするために、厚板の幅方向はy軸に平行であり、厚板の長さ方向はx軸に平行であるものとする。
例えば、厚板が輸送船400に荷積みされると、位置導出部1206は、当該厚板のIDと当該輸送船400における当該厚板の三次元位置を示す情報とを取得する。そして、位置導出部1206は、管理テーブル1300のIDの欄から、取得した厚板のIDと同じIDを示す情報が記憶されている列を特定する。そして、位置導出部1206は、特定した列の物品位置の欄に、取得した輸送船400における厚板の三次元位置を示す情報を記憶する。例えば、輸送船400のオペレータ(作業員)が、手持ちの情報処理端末(タブレット端末等)に厚板のIDと輸送船400における当該厚板の三次元位置を示す情報とを入力してもよい。このようにする場合、当該情報処理端末からトラッキング装置1200に、厚板のIDと輸送船400における当該厚板の三次元位置を示す情報とを送信することで、位置導出部1206は、当該厚板のIDと当該輸送船400における当該厚板の三次元位置を示す情報とを取得してもよい。厚板の三次元位置を示す情報は、例えば、ステンシル(ラベル)による表示領域のx-y-z座標である。
以上のように本実施形態では、トラッキング装置1200は、厚板に表示されている情報であって、当該厚板の製造メーカによって管理されている情報がステンシル(ラベル)により表示された表示領域を含む領域の第1の撮像画像を取得する。トラッキング装置1200は、当該取得した第1の撮像画像と、当該第1の撮像画像を撮像した第1の撮像装置の位置と、に基づいて、ステンシル(ラベル)による表示領域の三次元位置を導出し、当該三次元位置を示す情報を、当該厚板のIDと関連付けて記憶媒体に記憶する。従って、例えば、各種の搬送装置(輸送船400、輸送車両700、搬送テーブル1001等)を用いて厚板を搬送したり、厚板を作業員が搬送したりする場合や、置場番地が定められていない置場に厚板が置かれる場合や、厚板が積み重ねられて置かれる場合であっても、厚板をトラッキングすることができる。よって、厚板のトラッキングの精度を向上させることができる。
<<第1の変形例>>
ステップS1709において第1の撮像画像に含まれるステンシル(ラベル)による表示領域の位置を導出する方法は、図18を参照しながら説明した手法に限定されない。例えば、位置導出部1206は、管理テーブル1300において物品内位置を定める際の原点の位置を、第1の撮像画像から導出する。そして、位置導出部1206は、導出した原点の位置と、管理テーブル1300の物品内位置の欄に記憶されている情報と、に基づいて、第1の撮像画像に含まれるステンシル(ラベル)による表示領域の位置を導出する。このようにして第1の撮像画像に含まれるステンシル(ラベル)による表示領域の位置を導出する手法の一例を、ステンシルによる表示領域201を例に挙げて説明する。
lp=√(hp 2-H2)=√(h1 2cos2θ1-H2)=√(h2 2cos2θ2-H2) ・・・(5)
線分ETの長さwo2は、以下の(6)式で表される。
wo2=h2sinθ2 ・・・(6)
従って、例えば、線分PEの長さh2および∠EPT(=θ2)が導出されれば、線分OTの長さlpおよび線分ETの長さwo2が導出される。尚、線分OPの長さHは、図18を参照しながら説明したようにして導出される。
線分PEの長さh2は、例えば、第1の撮像装置が備える測距センサ(例えばTOF(Time-of-Flight)方式の測距センサ)を用いて導出される。この他、線分OPの長さHと、∠OPEとに基づいて、線分PEの長さh2を導出してもよい。
本実施形態のように、需要家名302、規格303、サイズ304、ID305、需要家コード306、注文番号307、規格311、ID312、サイズ313、納期314、および需要家コード315を、人が識別可能な情報とすれば、オペレータ(作業員)による現品管理が容易になるので好ましい。しかしながら、需要家名302、規格303、サイズ304、ID305、需要家コード306、注文番号307、規格311、ID312、サイズ313、納期314、および需要家コード315の少なくとも1つを、バーコードや2次元コードのように、人が識別可能でない情報に変換(エンコード)された情報としてもよい。
本実施形態では、図3A、図3Bに示すように、ステンシルにより表示されるID305と、ラベルにより表示されるID312とが同じである場合を例示した。しかしながら、これらのIDの表現および記載内容が異なる場合がある。例えば、IDにおいて“ハイフン”がない形式もある。このような場合、これらのID(ステンシルによるID、ラベルによるID)が同一の厚板に対するものであることを示す情報を管理テーブル1300に記憶させる。ID以外の表示項目についても、同一の表示項目の表現および記載内容が、ステンシルによる表示およびラベルによる表示で異なる場合がある。例えば、ステンシルおよびラベルの双方に規格が表示される場合、例えば、ラベルには規格の略称が表示される場合がある。また、ステンシルによる表示とラベルによる表示とで需要者コードの桁数が異なる場合があるが、需要者コードは製造メーカで管理されている。また、サイズについても、寸法の全ての桁を示さない場合がある。このような場合にも、それら異なる表現および記載内容が同等の意味であることを示す情報を管理テーブル1300に記憶させる。
本実施形態では、ステンシル(ラベル)による表示領域のx-y-z座標を、ステンシル(ラベル)による表示領域の三次元位置として導出する場合を例示した。しかしながら、ステンシル(ラベル)による表示領域の三次元位置は、x-y-z座標に限定されない。例えば、ステンシル(ラベル)による表示領域の三次元位置は、第1の撮像装置の位置を基準とする相対的な三次元位置であってもよい。このようにする場合、撮像装置の三次元位置を示す点Pの座標(xp,yp,zp)を用いなくてもよい。尚、x-y-z座標の原点を、第1の撮像装置の三次元位置とする場合、ステンシル(ラベル)による表示領域の三次元位置は、x-y-z座標で表しても、第1の撮像装置の三次元位置を基準とする相対的な三次元位置を示すことになる。
本実施形態では、識別情報取得部1210が、認識部1202、入手部1203、照合部1204、および特定部1205を有する場合を例示した。しかしながら、識別情報取得部1210は、位置導出部1206により導出された三次元位置に関連付ける厚板の識別情報を取得していれば、必ずしも、認識部1202、入手部1203、照合部1204、および特定部1205を有している必要はない。識別情報取得部1210は、例えば、認識部1202のみを有していてもよい。また、識別情報取得部1210は、例えば、入手部1203のみを有していてもよい。また、識別情報取得部1210は、例えば、認識部1202と入手部1203のみを有していてもよい。例えば、識別情報取得部1210は、認識部1202により認識されたIDを、厚板の識別情報として取得してもよい。この場合、識別情報取得部1210は、入手部1203、照合部1204および特定部1205を有していなくてもよい。また、例えば、トラッキングの対象となる物品が予め1つに限定されている場合、識別情報取得部1210は、入手部1203により入手されたIDを、厚板の識別情報として取得してもよい。この場合、識別情報取得部1210は、認識部1202、照合部1204および特定部1205を有していなくてもよい。また、例えば、識別情報取得部1210は、認識部1202により認識された情報のみから厚板を特定する場合には認識部1202を利用し、トラッキングの対象となる物品が予め1つに限定されている場合には入手部1203を利用してもよい。この場合、識別情報取得部1210は、照合部1204および特定部1205を有していなくてもよい(認識部1202および入手部1203のみを有していてもよい)。
本実施形態では、管理テーブル1300がトラッキング装置1200に記憶されている場合を例示した。しかしながら、管理テーブル1300は、トラッキング装置1200の外部にあってもよい。
本実施形態では、物品が厚板である場合を例示した。しかしながら、物品は、厚板に限定されない。例えば、物品は、厚板以外の製造物であってもよい。物品は、製造者によって管理されている情報が表示されている製造物であってもよい。製造物は、例えば、スラブ、ビレット、薄板コイル、または鋼管であってもよい。また、製造物以外の物品であってもよい。物品は、例えば、コンテナであってもよい。
尚、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体及び前記プログラム等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。また、本発明の実施形態は、PLC(Programmable Logic Controller)により実現されてもよいし、ASIC(Application Specific Integrated Circuit)等の専用のハードウェアにより実現されてもよい。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
トラッキング装置1200のハードウェアの一例について説明する。図21において、トラッキング装置1200は、CPU2101、主記憶装置2102、補助記憶装置2103、通信回路2104、信号処理回路2105、画像処理回路2106、I/F回路2107、ユーザインターフェース2108、ディスプレイ2109、およびバス2110を有する。
画像処理回路2106は、CPU2101による制御に従って入力した信号に対し、各種の画像処理を行う。この画像処理が行われた信号は、例えば、ディスプレイ2109に出力される。
ユーザインターフェース2108は、オペレータがトラッキング装置1200に対して指示を行う部分である。ユーザインターフェース2108は、例えば、ボタン、スイッチ、およびダイヤル等を有する。また、ユーザインターフェース2108は、ディスプレイ2109を用いたグラフィカルユーザインターフェースを有していてもよい。
出力部1208は、例えば、通信回路2104および信号処理回路2105と、画像処理回路2106、I/F回路2107、およびディスプレイ2109との少なくとも何れか一方を用いることにより実現される。
Claims (7)
- 物品をトラッキングするトラッキング装置であって、
前記物品に表示されている表示情報を含む領域の撮像画像を取得する1または2以上の画像取得手段と、
前記物品の識別情報を取得する識別情報取得手段と、
前記画像取得手段により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出手段と、
前記位置導出手段により導出された前記物品における前記情報表示位置を、前記識別情報取得手段により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶手段と、を有することを特徴とするトラッキング装置。 - 前記物品に表示されている前記表示情報には、当該物品の識別情報が含まれており、
前記識別情報取得手段は、
前記画像取得手段により取得された前記撮像画像に基づいて、前記物品の識別情報を認識する認識手段と、
前記記憶手段に記憶されている前記物品の識別情報を入手する入手手段と、の少なくとも1つの手段を有することを特徴とする請求項1に記載のトラッキング装置。 - 前記物品の識別情報と関連付けられて前記記憶媒体に記憶されている前記情報表示位置は、前記表示情報が表示されている三次元位置に関する情報として、当該物品の所定の位置を基準とする三次元位置に関する情報を含み、
前記画像取得手段により取得される前記撮像画像には、前記物品の所定の位置を含む領域が含まれることを特徴とする請求項2に記載のトラッキング装置。 - 前記識別情報取得手段は、
前記認識手段と、
前記入手手段と、
前記認識手段により認識された前記物品の識別情報と、前記入手手段により入手された前記物品の識別情報とを照合する照合手段と、
前記照合手段による照合の結果に基づいて、前記画像取得手段により取得された前記撮像画像に含まれる、前記物品の識別情報を特定する特定手段と、を有することを特徴とする請求項2または3に記載のトラッキング装置。 - 前記位置導出手段は、2以上の前記画像取得手段により取得された2以上の撮像画像に基づいて、前記表示情報が表示されている前記物品の面の高さ方向の位置を導出することを特徴とする請求項1~4の何れか1項に記載のトラッキング装置。
- 物品をトラッキングするトラッキング方法であって、
前記物品に表示されている表示情報を含む領域の撮像画像を取得する1または2以上の画像取得工程と、
前記物品の識別情報を取得する識別情報取得工程と、
前記画像取得工程により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出工程と、
前記位置導出工程により導出された前記物品における前記情報表示位置を、前記識別情報取得工程により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶工程と、を有することを特徴とするトラッキング方法。 - 物品をトラッキングする処理をコンピュータに実行させるためのプログラムであって、
前記物品に表示されている表示情報を含む領域の撮像画像を取得する1または2以上の画像取得工程と、
前記物品の識別情報を取得する識別情報取得工程と、
前記画像取得工程により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出工程と、
前記位置導出工程により導出された前記物品における前記情報表示位置を、前記識別情報取得工程により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶工程と、をコンピュータに実行させることを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020198065 | 2020-11-30 | ||
JP2020198065 | 2020-11-30 | ||
PCT/JP2021/043580 WO2022114173A1 (ja) | 2020-11-30 | 2021-11-29 | トラッキング装置、トラッキング方法、トラッキングデータのデータ構造、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022114173A1 JPWO2022114173A1 (ja) | 2022-06-02 |
JP7288231B2 true JP7288231B2 (ja) | 2023-06-07 |
Family
ID=81754524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022552726A Active JP7288231B2 (ja) | 2020-11-30 | 2021-11-29 | トラッキング装置、トラッキング方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7288231B2 (ja) |
KR (1) | KR102595542B1 (ja) |
CN (1) | CN116472239B (ja) |
WO (1) | WO2022114173A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116167396A (zh) * | 2023-01-09 | 2023-05-26 | 太原重工股份有限公司 | 用于直缝焊管的物料跟踪方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040126015A1 (en) | 2002-12-31 | 2004-07-01 | Hadell Per Anders | Container identification and tracking system |
JP2007326700A (ja) | 2006-06-09 | 2007-12-20 | Nippon Steel Corp | 鋼材の管理方法と管理システム |
WO2009052854A1 (en) | 2007-10-22 | 2009-04-30 | Abb Ab | Device, method and system for recording inspection data about a freight container |
WO2014141534A1 (ja) | 2013-03-13 | 2014-09-18 | 日本電気株式会社 | 照合システム、端末装置、サーバ装置、照合方法及びプログラム |
JP2017174284A (ja) | 2016-03-25 | 2017-09-28 | 株式会社日立ドキュメントソリューションズ | ヤード管理装置及び方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS519451B1 (ja) | 1970-09-11 | 1976-03-26 | ||
CN104724606B (zh) * | 2015-03-18 | 2017-01-25 | 苏州盈兴信息技术有限公司 | 一种生产物料贮运作业图像自动跟踪装置和方法 |
JP6339633B2 (ja) * | 2016-06-28 | 2018-06-06 | 新日鉄住金ソリューションズ株式会社 | システム、情報処理装置、情報処理方法、及び、プログラム |
JP6552744B2 (ja) * | 2017-02-03 | 2019-07-31 | 日本パレットレンタル株式会社 | 搬送対象物特定システム、搬送対象物特定方法及び搬送対象物特定プログラム |
-
2021
- 2021-11-29 JP JP2022552726A patent/JP7288231B2/ja active Active
- 2021-11-29 KR KR1020237015306A patent/KR102595542B1/ko active IP Right Grant
- 2021-11-29 WO PCT/JP2021/043580 patent/WO2022114173A1/ja active Application Filing
- 2021-11-29 CN CN202180076082.6A patent/CN116472239B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040126015A1 (en) | 2002-12-31 | 2004-07-01 | Hadell Per Anders | Container identification and tracking system |
JP2007326700A (ja) | 2006-06-09 | 2007-12-20 | Nippon Steel Corp | 鋼材の管理方法と管理システム |
WO2009052854A1 (en) | 2007-10-22 | 2009-04-30 | Abb Ab | Device, method and system for recording inspection data about a freight container |
WO2014141534A1 (ja) | 2013-03-13 | 2014-09-18 | 日本電気株式会社 | 照合システム、端末装置、サーバ装置、照合方法及びプログラム |
JP2017174284A (ja) | 2016-03-25 | 2017-09-28 | 株式会社日立ドキュメントソリューションズ | ヤード管理装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
KR102595542B1 (ko) | 2023-10-30 |
CN116472239A (zh) | 2023-07-21 |
CN116472239B (zh) | 2024-02-20 |
JPWO2022114173A1 (ja) | 2022-06-02 |
WO2022114173A1 (ja) | 2022-06-02 |
KR20230082662A (ko) | 2023-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA3058895C (en) | Improved conveyor belt assembly for identifying an asset sort location and methods of utilizing the same | |
US20230288219A1 (en) | Hands-free augmented reality system for picking and/or sorting assets | |
US10721451B2 (en) | Arrangement for, and method of, loading freight into a shipping container | |
US20200104790A1 (en) | Smart terminal facility and method suitable for the handling of cargo containers | |
CA3082445A1 (en) | Object measurement system | |
US9486838B2 (en) | Logistics installation having shuttle carts for transporting parcels, and handheld units for identifying the parcels | |
JP6011490B2 (ja) | 物品保管設備 | |
CN105480864A (zh) | 一种集装箱起重机自动化检测标定系统及方法 | |
JP7288231B2 (ja) | トラッキング装置、トラッキング方法、およびプログラム | |
CN113495979A (zh) | 唯一的对象面id | |
US20200311656A1 (en) | Systems and Methods for Mapping Locations of Cartons in Pallets and Containers | |
JPWO2020090897A1 (ja) | 位置検出装置、位置検出システム、遠隔制御装置、遠隔制御システム、位置検出方法、及びプログラム | |
US20200290093A1 (en) | Projection instruction device, package sorting system, and projection instruction method | |
US11369999B2 (en) | Parcel determination device, parcel sorting system, and parcel determination method | |
CN113516147B (zh) | 印刷误差检测方法、设备、系统及存储介质 | |
JPWO2019003689A1 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
WO2023233506A1 (ja) | 物品管理装置、物品管理方法、物品管理用データのデータ構造、およびプログラム | |
TWI841973B (zh) | 物品管理裝置、物品管理方法、及程式 | |
JP7129616B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
CN113841101A (zh) | 为了在移动式机器人的自主导航情况下使用而创建环境地图的方法 | |
JP2010032258A (ja) | デパレタイズ用のワーク位置認識装置および方法 | |
KR20210067661A (ko) | 라인트레이서와 rfid를 이용한 자동택배분류기 | |
TW202349152A (zh) | 物品管理裝置、物品管理方法、物品管理用資料之資料結構、及程式 | |
JP7129614B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
JPH08304025A (ja) | 矩形荷物の位置計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220902 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230508 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7288231 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |