TW202349152A - 物品管理裝置、物品管理方法、物品管理用資料之資料結構、及程式 - Google Patents
物品管理裝置、物品管理方法、物品管理用資料之資料結構、及程式 Download PDFInfo
- Publication number
- TW202349152A TW202349152A TW111120284A TW111120284A TW202349152A TW 202349152 A TW202349152 A TW 202349152A TW 111120284 A TW111120284 A TW 111120284A TW 111120284 A TW111120284 A TW 111120284A TW 202349152 A TW202349152 A TW 202349152A
- Authority
- TW
- Taiwan
- Prior art keywords
- information
- display
- aforementioned
- item
- thick plate
- Prior art date
Links
- 238000007726 management method Methods 0.000 title claims description 240
- 238000009795 derivation Methods 0.000 claims description 107
- 238000000034 method Methods 0.000 claims description 59
- 230000007246 mechanism Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 16
- 230000008520 organization Effects 0.000 claims 4
- 238000003384 imaging method Methods 0.000 description 203
- 238000010586 diagram Methods 0.000 description 54
- 239000000463 material Substances 0.000 description 53
- 238000003860 storage Methods 0.000 description 45
- 238000012545 processing Methods 0.000 description 40
- 239000000470 constituent Substances 0.000 description 30
- 229910000831 Steel Inorganic materials 0.000 description 27
- 239000010959 steel Substances 0.000 description 27
- 238000012986 modification Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 15
- 230000010365 information processing Effects 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 11
- 238000005520 cutting process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 238000010438 heat treatment Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 229920000915 polyvinyl chloride Polymers 0.000 description 1
- 239000004800 polyvinyl chloride Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
物品管理裝置是依據第1拍攝圖像、及拍攝該第1拍攝圖像的第1拍攝裝置的位置,來導出字模(標籤)的顯示區域的三維位置,並將顯示該三維位置的資訊,與該厚板的識別資訊建立關連而記憶於記憶媒體中。
Description
本發明是有關於一種物品管理裝置、物品管理方法、物品管理用資料之資料結構、及程式,特別是適合使用於管理物品。
進行管理以厚板為首的鋼鐵製品等物品的位置。 在專利文獻1所記載的技術中,是將卸下鋼板時之天花板起重機的X-Y座標和該鋼板的鋼板編號一起登錄,藉此來管理鋼板的位置。
又,在專利文獻2所記載的技術中,是依據起重機在水平及垂直方向上的移動以及荷重檢測等動作,藉由放置場所算出程式,來算出由三維座標所示的鋼材的放置場所,並且將顯示已算出的放置場所的放置場所資訊和該鋼材的鋼材識別資訊建立對應來記憶。 先前技術文獻 專利文獻
專利文獻1 日本專利特許第5109451號公報 專利文獻2 日本專利特許第3734419號公報
發明欲解決之課題
然而,在專利文獻1所記載的技術中,使用於鋼板位置的管理的資訊是天花板起重機的X-Y座標。因此,只能夠在天花板起重機可以搬送的範圍內管理物品的位置。又,在專利文獻1所記載的技術中,由於無法從天花板起重機的X-Y座標來特定出Z座標,因此例如在複數個鋼板堆疊的情況下,無法正確地特定出該複數個鋼板。
又,在專利文獻2所記載的技術中是算出鋼材的三維座標。然而,和專利文獻1同樣地,只能夠在起重機可以搬送的範圍內管理物品的位置。又,以專利文獻2記載的技術所算出的鋼材的三維座標是藉由放置場所算出程式而算出的放置場所的三維座標。從而,在專利文獻2所記載的技術中,只能夠在放置場所算出程式事先決定的放置場所中管理鋼材的位置。
在實際的製造現場中,製造物有時會被各種搬送裝置搬送。又,也會有不使用搬送裝置而由作業人員來搬送製造物的情況。又,有時製造物會被放置在放置場位址尚未決定的放置場。此外,製造物的放置方式也是各式各樣的。在專利文獻1、2所記載的技術中,要管理像這樣的製造物的位置並不容易。這些課題在製造物以外的物品中也同樣地存在。
本發明是有鑒於如以上的問題點而完成的發明,目的在於可以適當地管理物品的位置。 用以解決課題之手段
本發明的物品管理裝置,是管理物品的位置之物品管理裝置,其特徵在於具有:1或2個以上的圖像取得機構,取得包含顯示資訊的區域的拍攝圖像,前述顯示資訊是顯示於前述物品;識別資訊取得機構,取得前述物品的識別資訊;位置導出機構,依據前述圖像取得機構所取得的前述拍攝圖像,來導出資訊顯示位置,前述資訊顯示位置是顯示有前述顯示資訊的三維位置;及記憶機構,將前述位置導出機構所導出的前述物品中的前述資訊顯示位置,和前述識別資訊取得機構所取得的該物品的識別資訊建立關連來記憶於記憶媒體中。
本發明的物品管理方法,是管理物品的位置之物品管理方法,其特徵在於具有:1或2個以上的圖像取得步驟,取得包含顯示資訊的區域的拍攝圖像,前述顯示資訊是顯示於前述物品;識別資訊取得步驟,取得前述物品的識別資訊;位置導出步驟,依據前述圖像取得步驟所取得的前述拍攝圖像,來導出資訊顯示位置,前述資訊顯示位置是顯示有前述顯示資訊的三維位置;及記憶步驟,將前述位置導出步驟所導出的前述物品中的前述資訊顯示位置,和前述識別資訊取得步驟所取得的該物品的識別資訊建立關連來記憶於記憶媒體中。
本發明的物品管理用資料之資料結構具有:顯示資訊,顯示於物品;及非顯示資訊,不顯示於前述物品,前述非顯示資訊包含顯示有前述顯示資訊的三維位置即資訊顯示位置,物品管理裝置是使用於:依據包含顯示於前述物品的顯示資訊的區域的拍攝圖像,來導出該物品中的前述資訊顯示位置。
本發明的程式是用於使電腦執行管理物品的位置的處理之程式,其特徵是使電腦執行:1或2個以上的圖像取得步驟,取得包含顯示資訊的區域的拍攝圖像,前述顯示資訊是顯示於前述物品;識別資訊取得步驟,取得前述物品的識別資訊;位置導出步驟,依據前述圖像取得步驟所取得的前述拍攝圖像,來導出資訊顯示位置,前述資訊顯示位置是顯示有前述顯示資訊的三維位置;及記憶步驟,將前述位置導出步驟所導出的前述物品中的前述資訊顯示位置,和前述識別資訊取得步驟所取得的該物品的識別資訊建立關連來記憶於記憶媒體中。
用以實施發明之形態
以下,一邊參照圖式,一邊說明本發明的實施形態。 另外,長度、位置、大小、間隔等比較對象為相同的情形,除了嚴格地相同的情況以外,也包含在不脫離發明的主旨的範圍內不同者(例如,在設計時所決定的公差範圍內不同者)。
(第1實施形態) 首先,說明第1實施形態。在本實施形態中是例示管理以下物品的位置之情況:位置會隨著時間的經過而變更,且放置的位置會隨著時間的經過而變更之物品。像這樣的位置的管理也稱為追蹤(tracking)。追蹤(tracking)是指追蹤並且特定出對象物的位置。在本實施形態中是例示以下情況:在包含對複數個製鐵廠所製造的各種厚板(例如厚鋼板)進行熱處理或裁切等各種處理的工廠的場所中,管理該厚板的位置。於是,首先說明本實施形態的適用對象的工廠的概要。
<工廠的概要> 圖1是說明本實施形態的適用對象之工廠中的製品的流程的一例的圖。
在圖1中,製鐵廠所製造的厚板會被裝載於輸送船。之後,輸送船會在工廠附近的岸壁靠岸。厚板是從輸送船卸下而裝載至輸送車輛(卡車等)上。當輸送車輛所輸送的厚板進貨到工廠時,即被放置於工廠內的放置場。已放置於放置場的厚板是在施行了熱處理或裁切(氣體裁切)等處理後,被放置於倉庫中。之後,厚板是從工廠出貨至消費者。
<構思> 當如專利文獻1、2所記載的技術,依據搬送機器的動作來管理如以上地搬送的厚板的位置時,可以管理位置的範圍會產生限制。於是,本發明的發明人為了實品管理(各厚板的位置的管理),著眼於在厚板中顯示有由該厚板的製造廠商所管理的資訊。管理像這樣的資訊的顯示位置之作法和管理厚板的位置之作法是等效的。而且,只要可以特定出像這樣由厚板的製造廠商所管理的資訊,就可以識別厚板。本實施形態是依據像這樣的思想而完成的。
<對厚板施加的顯示> 圖2是顯示對厚板的顯示區域的一例的圖。另外,圖2所示的x軸、y軸、z軸是顯示圖2與後述的圖3A、圖3B、圖14~圖15、圖18~圖19、圖21的方向之關係,不一定會和圖4及圖5所示的x-y-z座標的方向相對應。另外,x-y-z座標例如是世界座標系統所表示的座標。 在圖2中,顯示區域201是字模的顯示區域。在圖2所示的例子中,字模的顯示區域201是存在於厚板的板面上。另外,圖2所示的虛線是假想線,在實際上並不會顯示。在圖2所示的例子中,標籤(側標籤)202是被貼附在厚板的側面(板厚部分)。
圖3A是顯示字模的顯示內容的一例的圖。另外,如前述,圖3A所示的x-y-z座標是顯示與圖2等的方向的關係。又,在圖3A所示的x-y-z座標中,白圓圈(○)之中附加有黑圓點(●)的記號是顯示從紙面的內側朝向近前側。像這樣的x-y-z座標的表記在其他圖中也是相同的。 在圖3A所示的例子中,在字模的顯示中包含有標記301、消費者名稱302、規格303、尺寸304、ID305、消費者代碼306、以及訂購編號307。
標記301是表示厚板的製造廠商的標記。消費者名稱302是顯示厚板的消費者(購入者)的資訊。規格303是顯示厚板的規格的資訊。尺寸304是顯示厚板的尺寸(例如厚度×寬度×長度)的資訊。ID305是用於唯一地識別厚板的資訊,在圖3A所示的例子中為板編號(厚板的識別編號)。從而,相同的ID不會附在不同的厚板上。消費者代碼306是厚板的製造廠商被消費者指定要對厚板附上的資訊。訂購編號307是用於識別來自消費者的厚板之訂購的編號的一部分。
標記301、消費者名稱302、規格303、尺寸304、ID305、消費者代碼306、及訂購編號307是一般會對厚板顯示的資訊。另外,ID305以外的資訊亦可不包含在字模的顯示中。又,前述資訊以外的資訊亦可包含在字模的顯示中。
另外,例如,根據消費者不同,消費者代碼306的位數會不同,或根據製造厚板的製鐵廠不同,規格303的表記方法會不同。又,例如,訂購編號307會根據消費者而有附加的情況與不附加的情況。又,顯示項目的大小會有根據製造厚板的製鐵廠而不同的情況。另外,字模的顯示區域的位置也會有根據製造厚板的製鐵廠而不同的情況。像這樣,字模的顯示的內容、位置、及大小會根據製造厚板的製鐵廠及消費者等而不同。
標記301、消費者名稱302、規格303、尺寸304、ID305、消費者代碼306、及訂購編號307是厚板的製造廠商所管理的資訊。又,標記301、消費者名稱302、規格303、尺寸304、ID305、消費者代碼306、及訂購編號307是人可識別的資訊。人可識別的資訊是指:在人觀看到該資訊的情況下可以理解該資訊的含義。如條碼及二維碼,在資訊的製作及讀取上需要機械所進行的編碼及解碼的資訊,並不是人可識別的資訊。具體而言,標記301、消費者名稱302、規格303、尺寸304、ID305、消費者代碼306、及訂購編號307包含文字、數字、及記號之至少1者,來作為不需要用機械所進行的解碼來讀取的資訊,並且不包含需要用機械所進行的解碼來讀取的資訊。
圖3B是顯示標籤的顯示內容的一例的圖。另外,如前述,圖3B所示的x-y-z座標是顯示與圖2等的方向的關係。又,在圖3B所示的x-y-z座標中,白圓圈之中附加有×(交叉標記)的記號是顯示從紙面的近前側朝向內側的方向。像這樣的x-y-z座標的表記在其他圖中也是相同的。 在圖3B所示的例子中,在標籤的顯示中,包含有規格311、ID312、尺寸313、交期314、及消費者代碼315。交期314是顯示厚板的交期的資訊。規格311、ID312、尺寸313、消費者代碼315是分別和規格303、尺寸304、ID305、消費者代碼306相同。另外,ID312以外的資訊亦可不包含在標籤的顯示中。又,前述資訊以外的資訊亦可包含在標籤的顯示中。標籤的顯示的內容、位置、及大小,和字模的顯示同樣地,也會根據製造厚板的製鐵廠及消費者等而不同。
但是,相同的顯示項目對相同的厚板所意指的內容,在字模的顯示與標籤的顯示是設為相同的。從而,對相同的厚板進行圖3A所示的字模的顯示、以及圖3B所示的標籤的顯示之情況下,字模所顯示的ID305、及標籤所顯示的ID312是意指相同的內容。又,字模所顯示的規格303與標籤所顯示的規格311是意指相同的內容。針對尺寸313、消費者代碼315,也是分別意指和尺寸304、消費者代碼306相同的內容。如前述,規格303、ID305、尺寸304、及消費者代碼306是厚板的製造廠商所管理的資訊。從而,規格311、ID312、尺寸313、及消費者代碼315也是厚板的製造廠商所管理的資訊。又,厚板的交期314也是厚板的製造廠商所管理的資訊。又,規格311、ID312、尺寸313、交期314、及消費者代碼315是人可識別的資訊。 另外,在厚板上,除了如以上的顯示之外,有時亦可施加例如刻印的顯示。又,有時會在厚板上施加手寫的顯示。
<厚板的搬送形態> <<輸送船所進行的輸送>> 圖4是顯示對輸送船裝載及卸下厚板的情形的一例的圖。在圖4中是例示對輸送船400使用支架式起重機410來裝載及卸下厚板的情況。圖5是從吊架412的延伸設置方向(y軸方向)觀看厚板420被載貨裝置411吊起的情形的圖。圖4及圖5所示的x-y-z座標顯示圖4及圖5的方向的關係。 支架式起重機410具有載貨裝置(吊運車等)411、吊架(橫行樑)412、及腳結構物413。載貨裝置411是以吊起搬送對象物的狀態,沿著吊架412的延伸設置方向(y軸方向)移動。在圖4中顯示厚板420被載貨裝置411吊起而移動的情形。當從吊架412的延伸設置方向(y軸方向)觀看厚板420被載貨裝置411吊起的情形時,則如圖5所示的情形。
另外,在圖4及圖5中是例示藉由載貨裝置411將1片厚板420吊起的情形。然而,由載貨裝置411所進行的厚板的搬送形態並不限定於像這樣的搬送形態。圖6A~圖6E是顯示厚板的搬送形態的第1~第5例的圖。在圖6A~圖6E中是將載貨裝置411更加簡化來顯示。
在圖6A中是例示2片厚板在水平面(x-y平面)方向上排列的狀態且藉由載貨裝置411同時地搬送的狀態。在圖6B中是例示在載貨裝置411的頂(top)側(x軸的負方向側)搬送1片厚板的狀態。在圖6C中是例示在載貨裝置411的底(bottom)側(x軸的正方向側)搬送1片厚板的狀態。在圖6D中是例示在載貨裝置411的中央搬送1片厚板的狀態。在圖6E中是例示複數片(2片)厚板堆疊的狀態且藉由載貨裝置411同時地搬送的狀態。像這樣,在本實施形態中,有時會在複數片厚板堆疊的狀態下同時地搬送。
如以上所述,由載貨裝置411所進行的厚板的搬送形態並無限定。又,載貨裝置411所進行的厚板的吊起的手法,亦可為利用了磁鐵的磁吸力的手法,亦可為利用了活動筘的手法,亦可為其他手法。 由於支架式起重機410本身可以藉由公知技術來說明,因此在此省略詳細的說明。
在製鐵廠製造的厚板是被運送到岸壁,並且被放置在支架式起重機410可搬送的預定的放置場。如圖4所示,會有複數片厚板以堆疊的狀態被放置在預定的放置場的情況。也會有厚板以1片1片的方式被放置在預定的放置場的情況。又,在圖4等中,為了方便標記,例示複數片厚板的厚度(板厚)相同的情況。然而,會有複數片厚板的厚度不同的情況。亦即,會有放置在預定的放置場的厚板的厚度、寬度、及長度之至少1者不同的情況。
在圖4中是例示將複數個厚板重疊而放置成和放置有厚板的面平行的情況。但是,重疊而放置厚板的方法並不限定於像這樣的方法。例如,也會有將複數個厚板重疊而放置成和放置有厚板的面垂直或成為接近於垂直的角度之情況。此情形在岸壁的預定的放置場以外的位置中也是相同的。
在本實施形態中,在吊架412及腳結構物413安裝有第1拍攝裝置430a~430f。第1拍攝裝置430a~430f的數量及位置是設定成:對厚板的字模的顯示區域201及標籤202的顯示區域,可拍攝盡量較多的厚板的顯示區域。又,在載貨裝置411上也安裝有第1拍攝裝置430g~430m。第1拍攝裝置430a~430m的數量及位置是設定成:藉由第1拍攝裝置430a~430m的至少1個拍攝裝置,盡可能可拍攝到支架式起重機410搬送中之厚板420的字模的顯示區域201及標籤202的顯示區域之至少一者。
第1拍攝裝置430a~430m可以調整拍攝條件(拍攝方向、視角、變焦倍率、及光圈(F值)等)。該拍攝條件的調整亦可藉由操作人員(作業人員)操作第1拍攝裝置來進行,亦可依據來自外部裝置的指示來自動地進行。又,例如,在安裝於吊架412的第1拍攝裝置430g~430m當中,安裝在接近於搬送中的厚板420的位置的第1拍攝裝置430i~430m亦可為光纖鏡相機(fiber scope camera)。若使用光纖鏡相機,則可以近拍例如搬送中的厚板420的字模的顯示區域201及標籤202的顯示區域。
另外,第1拍攝裝置所拍攝的拍攝圖像並不限於靜止圖像,亦可為動態圖像。在第1拍攝裝置所拍攝的拍攝圖像為動態圖像的情況下,從第1拍攝裝置所拍攝的動態圖像中取出的圖像(亦即,動態圖像的幀的圖像)是在後述的物品管理裝置1200中使用。在像這樣的情況下,較理想的是,從第1拍攝裝置所拍攝的動態圖像中,取出焦點盡量對準於第1拍攝裝置所拍攝的被拍攝體之靜止圖像。像這樣拍攝裝置所拍攝的拍攝圖像並不限定於靜止圖像,在後述的第2拍攝裝置~第7拍攝裝置中也是相同的。
從製鐵廠搬送來的厚板會被放置在支架式起重機410的預定的放置場。已放置在此支架式起重機410的預定放置場的厚板之包含字模的顯示區域201的區域是藉由第1拍攝裝置430c~430f來拍攝。操作人員(作業人員)是操作位於支架式起重機410的操作室的資訊處理終端、或支架式起重機410的操作人員(作業人員)的手持之資訊處理終端(平板電腦終端等),來對第1拍攝裝置430c~430f進行預覽圖像的顯示指示。第1拍攝裝置430c~430f是依據預覽圖像的顯示指示,將預覽圖像發送至該資訊處理終端。如此一來,即可藉由該資訊處理終端來顯示預覽圖像。操作人員(作業人員)是操作該資訊處理終端,對第1拍攝裝置進行拍攝指示,前述第1拍攝裝置是拍攝顯示有應攝影的字模的顯示區域之預覽圖像。當第1拍攝裝置430c~430f接收拍攝指示後,即拍攝包含字模的顯示區域201的區域的拍攝圖像。另外,預覽圖像是為了操作人員(作業人員)所進行的確認而顯示的即時圖像,且是依據預覽圖像的顯示指示而顯示的圖像。拍攝圖像是在顯示有預覽圖像時依據拍攝指示而拍攝的圖像。又,在此雖然例示顯示預覽圖像的情況,但並不一定要顯示預覽圖像。
在堆疊複數片厚板而同時地搬送的情況下,針對位於下面的厚板,無法拍攝包含字模的顯示區域201的區域。在此情況下,是拍攝包含標籤202的顯示區域的區域的拍攝圖像,來取代包含字模的顯示區域201的區域的拍攝圖像。
根據厚板放置的位置,會有字模的顯示區域201及標籤202的顯示區域不包含在第1拍攝裝置430c~430f的拍攝範圍內之情況。在此情況下,操作人員(作業人員)亦可操作具備第1拍攝裝置的無人飛機(無人機)440a~440b,使用第1拍攝裝置來拍攝所期望的厚板之包含字模的顯示區域201之區域(或者包含標籤202的顯示區域之區域)的拍攝圖像。又,亦可藉由操作人員(作業人員)的手持的第1拍攝裝置,拍攝所期望的厚板之包含字模的顯示區域201之區域(或包含標籤202的顯示區域之區域)的拍攝圖像。另外,操作人員(作業人員)的手持的第1拍攝裝置亦可為例如具備第1拍攝裝置的資訊終端裝置(平板電腦終端或智慧型手機等)。
另外,前述第1拍攝裝置430c~430f所進行的預覽圖像的顯示與拍攝圖像的拍攝,在第1拍攝裝置430c~430f以外的第1拍攝裝置430a~430b、430g~430w中也會同樣地執行。又,在堆疊複數片厚板而同時地搬送的情況下,拍攝包含標籤202的顯示區域之區域的拍攝圖像之作法,在第1拍攝裝置430c~430f以外的第1拍攝裝置430a~430b、430g~430w中也會同樣地執行。又,字模的顯示區域201及標籤202的顯示區域未包含於第1拍攝裝置430c~430f的拍攝範圍的情況下的拍攝方法,針對第1拍攝裝置430c~430f以外的第1拍攝裝置430a~430b、430g~430w也是相同的。從而,在以下,省略針對第1拍攝裝置430c~430f以外的第1拍攝裝置430a~430b、430g~430w的這些詳細說明。
厚板是在被放置於支架式起重機410的預定放置場後,藉由支架式起重機410被裝載到輸送船400。有時會在複數片厚板已堆疊的狀態下同時地裝載至輸送船400。也會有以1片1片的方式將厚板裝載至輸送船400的情況。又,會有被裝載至輸送船400的厚板的厚度、寬度、及長度之至少1者不同的情況。
支架式起重機410搬送中的厚板之包含字模的顯示區域201之區域的拍攝圖像是藉由安裝在載貨裝置411的第1拍攝裝置430g~430m來拍攝。
當將厚板裝載至輸送船400時,該厚板之包含字模的顯示區域201之區域的拍攝圖像是藉由安裝在吊架412的第1拍攝裝置430a~430b或安裝在輸送船400的第1拍攝裝置430n來拍攝。安裝在輸送船400的第1拍攝裝置430n也是和第1拍攝裝置430a~430m同樣地可以調整拍攝條件(拍攝方向、視角、變焦倍率、及光圈(F值)等)。另外,在圖4中,為了方便標記,將安裝在輸送船400的第1拍攝裝置的數量設為1個。但是,在輸送船400上安裝有複數個第1拍攝裝置,以使厚板放置的區域包含在拍攝範圍中。
已如以上地裝載有厚板的輸送船400是在工廠附近的岸壁靠岸。如前述,厚板會從輸送船400卸下。如前述,在本實施形態中是使用支架式起重機410來卸下厚板。針對支架式起重機410搬送中的厚板,也是和裝載至輸送船400的情況同樣地拍攝拍攝圖像。又,當從支架式起重機410卸下,並被放置於支架式起重機410的預定的放置場時,針對該厚板,也是和從製鐵廠搬送且被支架式起重機410放置於預定的放置場的情況同樣地拍攝拍攝圖像。
<<輸送車輛所進行的輸送>> 已放置於支架式起重機410的預定的放置場之厚板會被裝載至輸送車輛。圖7是顯示對輸送車輛裝載及卸下厚板的情形的一例的圖。已放置於支架式起重機410的預定的放置場的厚板是使用未圖示的起重機等而裝載至輸送車輛700。如圖7所示,有時會在複數片厚板已堆疊的狀態下同時地裝載至輸送車輛700。但是,也會有以1片1片的方式將厚板裝載至輸送車輛700的情況。又,會有被裝載至輸送車輛700的厚板的厚度、寬度、及長度之至少1者不同的情況。又,亦可如圖6A~圖6E所示地搬送厚板而裝載至輸送車輛700。
圖8是顯示厚板已裝載於輸送車輛700的狀態的一例的圖。在設置於輸送車輛700的待機位置的結構物上安裝有第1拍攝裝置430o~430p。第1拍攝裝置430o~430p的數量及位置是設定成:對已裝載於輸送車輛700的厚板的字模的顯示區域201及標籤202的顯示區域,可拍攝盡量較多的厚板的顯示區域。又,在輸送車輛700上也安裝有第1拍攝裝置430q。第1拍攝裝置430o~430q也是和第1拍攝裝置430a~430m同樣地可以調整拍攝條件(拍攝方向、視角、變焦倍率、及光圈(F值)等)。
已裝載於輸送車輛700的厚板之包含字模的顯示區域201的區域是藉由第1拍攝裝置430o~430q來拍攝。
<<工廠內的搬送>> 當如以上地進行而裝載有厚板的輸送車輛700到達工廠時,厚板會從輸送車輛700卸下。裝載於輸送車輛700的厚板是使用未圖示的起重機等而從輸送車輛700卸下。如圖7所示,有時會在複數片厚板已堆疊的狀態下同時地從輸送車輛700卸下。但是,也會有以1片1片的方式將厚板從輸送車輛700卸下的情況。又,會有從輸送車輛700卸下的厚板的厚度、寬度、及長度之至少1者不同的情況。又,亦可如圖6A~圖6E所示地搬送厚板而從輸送車輛700卸下。另外,將厚板從輸送船400搬送至支架式起重機410的預定的放置場時所使用的搬送機器(支架式起重機410)、以及將厚板從輸送車輛700搬送至工廠內的放置場時所使用的搬送機器(未圖式的起重機等)是不同的搬送機器。像這樣,被某個搬送機器搬送至某個放置場的厚板,有時會被和該某個搬送機器不同的搬送機器搬送至該某個搬送機器無法搬送到的其他放置場。此情形在工廠內的各放置場間等其他放置場間搬送厚板的情況下也是相同的。
圖9A~圖9C是顯示放置於工廠內的放置場之厚板的情形的第1~第3例的圖。在設置於工廠內的放置場的結構物上安裝有第1拍攝裝置430r~430w。如圖9A~圖9C所示,厚板是以各種態樣被放置在工廠內的放置場。於是,第1拍攝裝置430r~430w的數量及位置是設定成:對已放置於放置場的厚板的字模的顯示區域201及標籤202的顯示區域,可拍攝盡量較多的厚板的顯示區域。第1拍攝裝置430r~430w也是和第1拍攝裝置430a~430m同樣地可以調整拍攝條件(拍攝方向、視角、變焦倍率、及光圈(F值)等)。
已放置於工廠內的放置場的厚板之包含字模的顯示區域201的區域是藉由第1拍攝裝置430r~430w來拍攝。
當厚板被放置於進貨用的放置場時,該厚板之包含字模的顯示區域201(或標籤202的顯示區域)的區域是如前述地藉由第1拍攝裝置430r~430w來拍攝。
之後,厚板會被搬送至生產設備。圖10是顯示在生產設備中處理厚板的情形的一例的圖。在圖10中,生產設備1000例如為用於進行熱處理的設備及用於進行氣體裁切的設備。在圖10中是例示使用搬送輥1001來搬送厚板1002a、1002b的情況。另外,放置場與搬送輥1001之間的厚板的搬送是藉由使用未圖示的搬送裝置等而實現。
在設置於工廠的生產線的結構物上安裝有第1拍攝裝置430x~430y。第1拍攝裝置430x~430y的數量及位置是設定成可拍攝厚板1002a、1002b的字模的顯示區域201。第1拍攝裝置430x~430y也是和第1拍攝裝置430a~430m同樣地可以調整拍攝條件(拍攝方向、視角、變焦倍率、及光圈(F值)等)。又,將在搬送輥1001上搬送的厚板1002a、1002b設為不會重疊。又,搬送輥1001上的厚板1002a、1002b的搬送路徑是事先設想好的。因此,在本實施形態中,藉由第1拍攝裝置430x~430y,不會拍攝不到厚板1002a、1002b的標籤202的顯示區域。但是,亦可使用具備第1拍攝裝置的無人飛機,來拍攝厚板1002a、1002b的標籤202的顯示區域。此外,在圖10中,虛線是表示搬送輥1001上的厚板1002a、1002b的搬送路徑,並不是實際存在。
從工廠內的放置場搬送來的厚板1002a會被載置於搬送輥1001,並藉由搬送輥1001來搬送。在進入生產設備1000前在搬送輥1001上搬送中的厚板1002a之包含字模的顯示區域201之區域是藉由第1拍攝裝置430x來拍攝。又,在生產設備1000中處理結束並從生產設備1000出來後,在搬送輥1001上搬送中的厚板1002b之包含字模的顯示區域201之區域是藉由第1拍攝裝置430y來拍攝。
之後,厚板是在倉庫內被放置在如圖9A~圖9C所例示的放置場。如前述,已放置於工廠內的放置場的厚板之包含字模的顯示區域201(或標籤202的顯示區域)之區域是藉由第1拍攝裝置430r~430w來拍攝。在出貨時,厚板是從倉庫被移動到出貨用的放置場。已放置於出貨用的放置場的厚板之包含字模的顯示區域201(或標籤202的顯示區域)之區域是藉由第1拍攝裝置430r~430w來拍攝。
在工廠內的各放置場中,也會有複數片厚板以堆疊的狀態放置的情況。也會有厚板以1片1片的方式被放置在工廠內的各放置場的情況。又,會有放置在工廠內的各放置場的厚板的厚度、寬度、及長度之至少1者不同的情況。
圖11是顯示原本的厚板與裁切後的厚板的一例的圖。在圖11中是例示裁切厚板1100來製造出厚板1110、1120、1130、1140的情況。像這樣地進行而製造出厚板1110、1120、1130、1140後,對各個厚板1110、1120、1130、1140施加顯示。在圖11中是顯示對厚板1110、1120、1130、1140的顯示區域1111、1121、1131、1141。在顯示區域1111、1121、1131、1141中顯示有包含厚板1110、1120、1130、1140的ID之資訊。在顯示區域1111、1121、1131、1141中會進行例如字模的顯示。除了字模的顯示之外,亦可進行刻印的顯示及標籤的顯示之至少一者。又,顯示區域1111、1121、1131、1141中的顯示亦可為手寫的顯示。
又,亦可在顯示區域1111、1121、1131、1141顯示原本的厚板1100的ID。在顯示區域1111、1121、1131、1141中會進行例如字模的顯示。但是,顯示區域1111、1121、1131、1141中的顯示亦可為手寫的顯示。此情形針對對顯示區域201的顯示、或標籤202的顯示也是相同的。以下,將顯示區域1111、1121、1131、1141設為字模的顯示區域。
當已製造出厚板1110、1120、1130、1140時,亦可藉由例如操作人員(作業人員)的手持的第1拍攝裝置,來拍攝所期望的厚板之包含字模的顯示區域1111、1121、1131、1141之區域的拍攝圖像。另外,操作人員(作業人員)的手持的第1拍攝裝置亦可為例如具備第1拍攝裝置的資訊終端裝置(平板電腦終端或智慧型手機等)。又,操作人員(作業人員)亦可操作具備第1拍攝裝置的無人飛機,藉由該第1拍攝裝置來拍攝所期望的厚板之包含字模的顯示區域1111、1121、1131、1141之區域的拍攝圖像。
如以上,在本實施形態中是例示以下情況:至少在已放置於輸送船400時、從輸送船400卸下並裝載於輸送車輛700時、及被放置在支架式起重機410及工廠的各放置場時,可得到各厚板之包含字模的顯示區域201、1111、1121、1131、1141之區域、及包含標籤202的顯示區域之區域的拍攝圖像。
在本實施形態中是使用如以上地拍攝的拍攝圖像,藉由物品管理裝置來自動地特定出厚板的位置。另外,在以1片1片的方式搬送厚板的情況下,由於可以拍攝到字模的顯示區域201,因此不需要包含標籤202的顯示區域之區域的拍攝圖像。在以下的說明中,在要統稱字模的顯示及標籤202的顯示之情況下,會因應於需要而表記為字模(標籤)的顯示。又,在要統稱字模的顯示區域201、1111、1121、1131、1141及標籤202的顯示區域之情況下,會因應於需要而表記為字模(標籤)的顯示區域。
<物品管理裝置> 圖12是顯示物品管理裝置1200的功能上的構成的一例的圖。物品管理裝置1200的硬體是使用例如具備CPU、ROM、RAM、HDD、及各種介面的資訊處理裝置、或專用的硬體來實現。圖13是顯示物品管理裝置1200所管理的管理表1300之一例的圖。另外,如前述,在本實施形態中是藉由物品管理裝置1200來進行追蹤。從而,在本實施形態中,物品管理裝置1200為追蹤裝置。
如圖12所示,在本實施形態中,物品管理裝置1200具有第1圖像取得部1201、辨識部1202、獲得部1203、對照部1204、特定部1205、位置導出部1206、記憶部1207、輸出部1208、及第2圖像取得部1209。
第1圖像取得部1201是取得包含字模(標籤)的顯示區域之區域的第1拍攝圖像。辨識部1202是從第1圖像取得部1201所取得的第1拍攝圖像中,辨識出字模(標籤)的顯示中的顯示項目的構成要素、位置等。獲得部1203是在後述的管理表1300中取得已記憶在實品顯示欄位的ID欄位中的資訊。對照部1204是對照辨識部1202所辨識的資訊、以及獲得部1203所獲得的資訊。特定部1205是依據對照部1204中的對照結果,從管理表1300中所管理的厚板中特定出1個厚板。在本實施形態中,取得厚板的識別資訊之識別資訊取得部1210具有辨識部1202、獲得部1203、對照部1204、及特定部1205。位置導出部1206是將字模(標籤)的顯示區域的x-y-z座標(三維座標),作為特定部1205所特定的厚板的三維位置來導出。記憶部1207是將顯示該厚板的三維位置之資訊記憶在管理表1300中。輸出部1208是輸出顯示該厚板的三維位置之資訊。第2圖像取得部1209是取得第2拍攝圖像,前述第2拍攝圖像是用於特定出在位置導出部1206中字模(標籤)的顯示區域的高度方向(z軸方向)的位置。針對物品管理裝置1200的詳細之一例,將一邊參照圖17的流程圖一邊於後文描述。
在圖13中,在管理表1300中,記憶有物品管理裝置1200用於管理厚板的位置的資訊。在記憶於管理表1300的資訊中,包含有厚板的製造廠商所管理的資訊。但是,記憶於管理表1300的資訊的一部分亦可為也可以在流通等中活用的資訊。在此,所謂厚板的製造廠商所管理的資訊是指厚板的製造廠商設定或取得的資訊。在厚板的製造廠商所管理的資訊中,包含有厚板的製造廠商的員工即操作人員可以理解該資訊的含義之資訊。更具體而言,厚板的製造廠商所管理的資訊例如是厚板的製造廠商所製作,並記憶於管理表1300的資訊。在本實施形態中,記憶於管理表1300的資訊為物品管理用資料的一例,藉由在管理表1300中保存各資訊,來實現物品管理用資料的資料結構的一例。
在圖13中,相同列中的資訊是對相同的厚板的識別資訊(相同的號碼(No.)下的欄位是分別記憶有對相同的厚板的識別資訊之欄位)。 在圖13中,在實品顯示的欄位中,記憶有和字模(標籤)的顯示的各顯示項目相關的資訊。在非實品顯示的欄位中,記憶有和字模(標籤)的顯示的各顯示項目相關的資訊以外的資訊。在本實施形態中,記憶於實品顯示的欄位的資訊是包含於物品管理用資料的顯示資訊的一例,記憶於非實品顯示的欄位的資訊是包含於物品管理用資料的非顯示資訊的一例。
針對管理表1300的實品顯示的欄位所記憶的資訊之一例進行說明。 在實品顯示的欄位中,在字模欄位中記憶有和字模相關的資訊。 在字模欄位的ID欄位中,記憶有顯示字模的顯示所包含的ID305的構成要素的內容及位置之資訊。此外,構成要素是指文字、數字、記號、標記等構成顯示項目的各個資訊。 在字模欄位的消費者名稱的欄位中,記憶有顯示字模的顯示所包含的消費者名稱302的構成要素的內容及位置之資訊。
在字模欄位的尺寸欄位中,記憶有顯示字模的顯示所包含的尺寸304的構成要素的內容及位置之資訊。 在字模欄位的規格欄位中,記憶有顯示字模的顯示所包含的規格303的構成要素的內容及位置之資訊。 在字模欄位的消費者代碼的欄位中,記憶有顯示字模的顯示所包含的消費者代碼306的構成要素的內容及位置之資訊。
在字模欄位的訂購編號欄位中,記憶有顯示字模的顯示所包含的訂購編號307的構成要素的內容及位置之資訊。 除了以上字模的顯示中的顯示項目之外,有可能作為字模的顯示的顯示項目來顯示的顯示項目的內容也是記憶在管理表1300中。圖13的字模欄位的追加資訊欄位之下的「・・・」是顯示此情形。又,顯示項目本身亦可追加及/或刪除。
在實品顯示的欄位中,在標籤的欄位中記憶有和標籤相關的資訊。 在標籤欄位的ID欄位中,記憶有顯示標籤的顯示所包含的ID312的構成要素的內容及位置之資訊。 在標籤欄位的尺寸欄位中,記憶有顯示標籤的顯示所包含的尺寸313的構成要素的內容及位置之資訊。
在標籤欄位的規格欄位中,記憶有顯示標籤的顯示所包含的規格311的構成要素的內容及位置之資訊。 在標籤欄位的交期欄位中,記憶有顯示標籤的顯示所包含的交期314的構成要素的內容及位置之資訊。 在標籤欄位的消費者代碼的欄位中,記憶有顯示標籤的顯示所包含的消費者代碼315的構成要素的內容及位置之資訊。
除了以上標籤的顯示中的顯示項目之外,有可能作為標籤的顯示的顯示項目來顯示的顯示項目的內容也是記憶在管理表1300中。圖13的標籤欄位的消費者代碼欄位之下的「・・・」是顯示此情形。又,顯示項目本身亦可追加及/或刪除。
接著,針對管理表1300的非實品顯示的欄位所記憶的資訊之一例進行說明。 在物品內位置欄位中,記憶有顯示以厚板中的預定位置為原點(基準)的情況下之顯示區域的位置之資訊。 在物品內位置欄位的字模欄位中,記憶有顯示以厚板中的預定位置為原點(基準)的情況下之字模的顯示區域的位置之資訊。 在物品內位置欄位的標籤欄位中,記憶有顯示以厚板中的預定位置為原點(基準)的情況下之標籤的顯示區域的位置之資訊。
在物品位置欄位中記憶有顯示厚板的三維位置之資訊。物品位置欄位所記憶的資訊是顯示物品管理裝置1200所特定的厚板的三維位置之資訊。從而,物品管理裝置1200所特定的相同的厚板的三維位置會伴隨於厚板的移動,不僅x座標及y座標會改變,z座標也會有改變的情況。據此,物品管理裝置1200所特定的相同厚板的資訊顯示位置的三維位置也會伴隨於厚板的移動,不僅x座標及y座標(水平面方向的位置)會改變,z座標(高度方向的位置)也會有改變的情況。
在登錄時刻欄位中,記憶有顯示厚板被放置於現在的位置的日期時間(由日期與時刻決定的時間點)之資訊。
在母ID欄位中,記憶有顯示原本的厚板的ID之資訊。有時會在工廠中裁切厚板。原本的厚板是指裁切前的厚板。從而,在母ID欄位中記憶有顯示原本的厚板的ID之資訊的情況下,記憶在和該母ID欄位相同列的欄位之資訊會成為對裁切後的厚板的資訊。如圖11所示地已製造出厚板1110、1120、1130、1140的情況下,在管理表1300中,在對該厚板1110、1120、1130、1140的實品顯示的欄位中,會記憶有顯示顯示區域1111、1121、1131、1141所顯示的顯示項目的構成要素的內容及位置之資訊。又,在對該厚板1110、1120、1130、1140的母ID欄位中,記憶有顯示厚板1100的ID之資訊。像這樣,在本實施形態中,針對裁切後的厚板的資訊,是例示在圖13所示的管理表1300中,作為新的列(No)來管理的情況。在管理表1300中,在實品顯示及非實品顯示的欄位中,記憶有對裁切後的厚板的資訊。
在此,例如有時會裁切厚板1110來更進一步地製造其它複數個厚板。在此情況下,在對該其他複數個厚板的母ID欄位中,記憶有顯示厚板1110的ID之資訊。在對厚板1110的母ID欄位中,記憶有顯示厚板1100的ID之資訊。像這樣,可以藉由溯查母ID欄位所記憶的資訊,來特定出各厚板的轉變。像這樣,針對某個厚板,將藉由溯查母ID欄位所記憶的資訊而得到的厚板的排列,稱為該厚板的切割板系列。例如,厚板1110的切割板系列為厚板1100、1110。又,在各厚板的母ID欄位中,例如,亦可不僅記憶有顯示最接近的厚板的ID之資訊,還記憶有顯示屬於該切割系列的全部厚板的ID之資訊,以得知其切割板系列。在此情況下,所有ID都是使用在製造廠商中已定義的ID。
在搬運具ID欄位中,記憶有厚板的搬運具的ID。在本實施形態中,例示搬運具為輸送船400及輸送車輛700的情況。 當厚板裝載於輸送船400時,物品管理裝置1200亦可例如以如下的方式來記憶顯示輸送船400的ID之資訊。 首先,物品管理裝置1200是取得該厚板的ID及該輸送船400的ID(所謂的船號)。並且,物品管理裝置1200是從管理表1300的ID欄位中,特定出記憶有顯示和已取得的厚板的ID相同的ID之資訊的列。並且,物品管理裝置1200是將顯示已取得的輸送船400的ID之資訊記憶於已特定的列的搬運具ID的欄位中。
例如,亦可藉由第1拍攝裝置430a、430b、430n來拍攝拍攝圖像,前述拍攝圖像包含字模的顯示區域201或標籤202的顯示區域、及顯示有顯示輸送船400的ID之資訊的區域。像這樣地進行的情況下,物品管理裝置1200亦可從該拍攝圖像來辨識並取得厚板的ID與輸送船400的ID。
又,亦可藉由第1拍攝裝置430a、430b、430n,來拍攝包含字模的顯示區域201或標籤202的顯示區域之拍攝圖像、及包含顯示有顯示輸送船400的ID之資訊的區域之拍攝圖像。例如,亦可拍攝包含字模的顯示區域201或標籤202的顯示區域之拍攝圖像之後,再接著拍攝包含顯示有顯示輸送船400的ID之資訊的區域之拍攝圖像。像這樣地進行的情況下,物品管理裝置1200亦可取得以下ID來作為厚板的ID與輸送船400的ID:從包含字模的顯示區域201或標籤202的顯示區域之拍攝圖像中辨識的ID、以及從包含顯示有顯示輸送船400的ID之資訊的區域之拍攝圖像中辨識的ID。
又,例如亦可由輸送船400的操作人員(作業人員)在手持的資訊處理終端(平板電腦終端等)中輸入厚板的ID與輸送船400的ID。像這樣地進行的情況下,亦可從該資訊處理終端將厚板的ID與輸送船400的ID發送至物品管理裝置1200,藉此使物品管理裝置1200取得該厚板的ID及該輸送船400的ID。
又,當厚板裝載於輸送車輛700時,物品管理裝置1200亦可例如以如下的方式來記憶顯示輸送車輛700的ID之資訊。 首先,物品管理裝置1200是取得該厚板的ID及該輸送車輛700的ID(例如,車牌的資訊)。並且,物品管理裝置1200是從管理表1300的ID欄位中,特定出記憶有顯示和已取得的厚板的ID相同的ID之資訊的列。並且,物品管理裝置1200是將顯示已取得的輸送車輛700的ID之資訊記憶於已特定的列的搬運具ID的欄位中。
例如,亦可藉由第1拍攝裝置430o~430q來拍攝拍攝圖像,前述拍攝圖像包含字模的顯示區域201或標籤202的顯示區域、及顯示有顯示輸送車輛700的ID之資訊的區域。像這樣地進行的情況下,物品管理裝置1200亦可從該拍攝圖像來辨識並取得厚板的ID與輸送車輛700的ID。
又,亦可藉由第1拍攝裝置430o~430q,來拍攝包含字模的顯示區域201或標籤202的顯示區域之拍攝圖像、及包含顯示有顯示輸送車輛700的ID之資訊的區域之拍攝圖像。例如,亦可拍攝包含字模的顯示區域201或標籤202的顯示區域之拍攝圖像之後,再接著拍攝包含顯示有顯示輸送車輛700的ID之資訊的區域之拍攝圖像。像這樣地進行的情況下,物品管理裝置1200亦可取得以下ID來作為厚板的ID與輸送車輛700的ID:從包含字模的顯示區域201或標籤202的顯示區域之拍攝圖像中辨識的ID、以及從包含顯示有顯示輸送車輛700的ID之資訊的區域之拍攝圖像中辨識的ID。
又,例如亦可由輸送車輛700的操作人員(作業人員)在手持的資訊處理終端(平板電腦終端等)中輸入厚板的ID與輸送車輛700的ID。像這樣地進行的情況下,亦可從該資訊處理終端將厚板的ID與輸送車輛700的ID發送至物品管理裝置1200,藉此使物品管理裝置1200取得該厚板的ID及該輸送車輛700的ID。
管理表1300的資料結構亦可為以下資料結構:每當厚板被放置在新的位置時,管理表1300的各欄所記憶的資訊(例如,物品位置及登錄時刻)即更新資訊的資料結構。又,管理表1300的資料結構亦可為可追加資訊的資料結構。在後者的情況下,具有可以追蹤物品的位置的履歷之優點。
接著,更具體地說明管理表1300的實品顯示欄位所記憶的內容、以及非實品顯示欄位的物品內位置欄位所記憶的內容之一例。 圖14是顯示字模的物品內位置、以及字模的顯示中的各顯示項目之構成要素的位置的一例的圖。在圖14中是例示以圖2所示的顯示位置及圖3A所示的內容來進行字模的顯示的情況。 在圖14中,在長方體的厚板的8個頂點當中,以圖2所示的頂點203為原點,以從該頂點203起,將沿著厚板的寬度方向的方向設為y軸的正方向,且將沿著厚板的長度方向的方向設為x軸的正方向的x-y座標,來表示字模的物品內位置、及字模的各顯示項目的構成要素的位置。
在本實施形態中,在字模的顯示中的各顯示項目的構成要素的位置當中,將由x軸的最大值、x軸的最小值、y軸的最大值、及y軸的最小值的位置所決定的外接矩形的4個頂點當中,位於對角線上的2個頂點的x-y座標,設為字模的物品內位置。在圖14中顯示外接矩形的2個頂點1401a、1401b的x-y座標(Ls10,Ws10)、(Ls11,Ws11)為字模的物品內位置。另外,在此為了簡單地進行說明,外接矩形是平行於表現物品內位置的座標軸(在圖14所示的例子中為x軸及y軸)之矩形。
又,將字模的顯示中的各顯示項目的構成要素(文字、數字、記號、標記)的重心(或圖心)的位置的x-y座標,設為該構成要素的位置。在圖14中是顯示字模的顯示中所包含的ID305的構成要素即5、6、3、4、9、7、-、0、1的y軸座標分別為Ws1、Ws2、Ws3、Ws4、Ws5、Ws6、Ws7、Ws8、Ws9,且x軸座標皆為Ls1。 如以上,字模的顯示的各顯示項目的各構成要素的位置是以x-y座標來表示。
圖15是顯示標籤的物品內位置、以及標籤的顯示中的各顯示項目之構成要素的位置的一例的圖。在圖15中是例示以圖2所示的顯示位置及圖3B所示的顯示內容來進行標籤的顯示的情況。 在圖15中,在長方體的厚板的8個頂點當中,將圖2所示的頂點204設為原點,以從該頂點204起,將沿著厚板的寬度方向的方向設為y軸的正方向,且將沿著厚板的長度方向的方向設為z軸的正方向的y-z座標,來表示標籤的物品內位置、及標籤的各顯示項目的構成要素的位置。
在本實施形態中,標籤為矩形形狀的標籤。在標籤的4個頂點當中,將位於對角線上的2個頂點的y-z座標設為標籤的物品內位置。又,將標籤的顯示中的各顯示項目的構成要素的重心(或圖心)的位置的y-z座標,設為該構成要素的位置。在圖15中是顯示標籤的2個頂點1501a、1501b的y-z座標為標籤的物品內位置。
如前述,在圖13所示的管理表1300中,在實品顯示欄位的字模欄位的ID欄位中,記憶有顯示字模的顯示所包含的ID305的構成要素的內容及位置之資訊。從而,如圖16A所示,在圖14所示的例子中,在實品顯示欄位的字模欄位的ID欄位中,記憶有「5」、「6」、「3」、「4」、「9」、「7」、「-」、「0」、「1」,來作為字模的顯示所包含的ID305的構成要素之內容。又,在實品顯示欄位的字模欄位的ID欄位中,記憶有(Ls1,Ws1)、(Ls2,Ws1)、(Ls3,Ws1)、(Ls4,Ws1)、(Ls5,Ws1)、(Ls6,Ws1)、(Ls7,Ws1)、(Ls8,Ws1)、(Ls9,Ws1),來作為該構成要素的位置。
在實品顯示欄位的其他顯示項目的欄位中,也是和字模欄位的ID欄位同樣地記憶有顯示該顯示項目的構成要素的內容及位置之資訊。另外,顯示標籤的欄位的各顯示項目的構成要素的位置之資訊並不是x-y座標,而是y-z座標。
又,如圖16B所示,在圖14所示的例子中,在非實品顯示欄位的物品內位置欄位之字模欄位中,記憶有(Ls10,Ws10)、(Ls11,Ws11),來作為顯示字模的物品內位置之資訊。 在物品內位置欄位的標籤欄位中,也是和物品內位置欄位的字模欄位同樣地記憶有顯示標籤的物品內位置之資訊。另外,如前述,顯示標籤的物品內位置之資訊並不是x-y座標,而是y-z座標。
在製作管理表1300時,例如,操作人員亦可操作物品管理裝置1200的使用者介面,將應記憶於管理表1300的各欄位的資訊輸入至物品管理裝置1200。又,物品管理裝置1200亦可從管理工廠作業的電腦等外部裝置,接收應記憶於管理表1300的各欄位的資訊。
記憶於管理表1300的實品顯示欄位的資訊、以及記憶於非實品顯示欄位的物品內位置及母ID欄位的資訊,會有在進行了對厚板的顯示後才規定之情況,也會有在進行對厚板的顯示前規定之情況。從而,在應記憶於該欄位的資訊是在進行對厚板的顯示之前規定的情況下,物品管理裝置1200例如是如上述地進行來取得應記憶於該欄位的資訊,並記憶於管理表1300的各欄位中。
另一方面,記憶於非實品顯示欄位的物品位置及登錄時刻欄位之資訊,會有在進行對厚板的顯示之前無法規定的情況。從而,物品管理裝置1200例如是在已得到應記憶於該欄位的資訊之時間點上,取得應記憶於該欄位的資訊,並記憶於管理表1300的各欄位。如前述,在登錄時刻欄位中,記憶有物品位置欄位所記憶的資訊變更的日期時間。在此情況下,厚板被放置於現在位置的日期時間是登錄於登錄時刻欄位中。
另外,針對非實品顯示欄位的項目,只有在已取得該項目的資訊之情況下,才會在該項目欄位中記憶有資訊,在未取得該項目的資訊之情況下,在該項目欄位中不會記憶有資訊。又,較理想的是,當即使從登錄時刻欄位所記憶的日期時間經過預定時間,記憶於物品位置欄位的資訊也沒更新的情況下,物品管理裝置1200是判斷為厚板的位置之特定已中斷,而重置該物品位置及登錄時刻欄位所記憶的資訊。又,在相同的位置中,登錄時刻欄位所記憶的日期時間較早的厚板,不會比登錄時刻欄位所記憶的日期時間較晚的厚板更早搬送(亦即,在板重疊的情況下,位於下面的板不會突然消失)。因此,物品管理裝置1200在執行物品位置及登錄時刻欄位所記憶的資訊之重置時,較理想的是如以下地進行。亦即,在有下述厚板的情況下,物品管理裝置1200較理想的是以警報等發出確認的信號,前述厚板是在登錄時刻欄位中記憶有比要重置的登錄時刻欄位所記憶的日期時間更晚的日期時間之厚板,且和要重置的物品位置欄位所記憶的三維位置相同的三維位置之厚板。
接著,說明物品管理裝置1200的功能之一例。圖17是說明本實施形態的物品管理裝置1200的處理的一例的流程圖。一邊參照圖17一邊說明物品管理裝置1200的功能之一例。另外,如前述,在本實施形態中是藉由物品管理裝置1200來進行追蹤。從而,在本實施形態中,使用圖17所例示的流程圖來實現的物品管理方法為追蹤方法。
在圖17的步驟S1701中,第1圖像取得部1201是取得第1拍攝圖像。第1拍攝圖像是以第1拍攝裝置430a~430y、無人飛機440a~440c所具備的第1拍攝裝置、及操作人員(作業人員)的手持的第1拍攝裝置當中,任1個第1拍攝裝置所拍攝的拍攝圖像。第1拍攝圖像亦可從第1拍攝裝置直接發送至物品管理裝置1200,亦可透過資訊終端裝置而從第1拍攝裝置發送至物品管理裝置1200。圖17的流程圖的處理是每當物品管理裝置1200接收到第1拍攝裝置430a~430y、無人飛機440a~440c所具備的第1拍攝裝置、及操作人員(作業人員)的手持的第1拍攝裝置當中任1個拍攝裝置所拍攝的拍攝圖像時執行。在本實施形態中,拍攝了第1拍攝圖像的第1拍攝裝置的ID、以及拍攝該第1拍攝圖像時的拍攝條件會和第1拍攝圖像一起發送。
第1圖像取得部1201是和第1拍攝圖像一起取得拍攝該第1拍攝圖像的第1拍攝裝置的ID、拍攝該第1拍攝圖像時的拍攝條件、及該第1拍攝圖像的拍攝日期時間。在拍攝條件中包含有:在拍攝時拍攝裝置所設定的資訊當中,為了如後述地特定出字模的顯示區域或標籤的顯示區域的位置所必要的資訊。
又,在拍攝第1拍攝圖像時的第1拍攝裝置的位置是不固定的情況下,拍攝第1拍攝圖像時的第1拍攝裝置的位置資訊會和第1拍攝圖像一起發送。例如,當無人飛機440a~440c可以使用GPS(全球定位系統,Global Positioning System)來定位該無人飛機的三維座標(x-y-z座標)的情況下,亦可發送該三維座標,來作為該無人飛機所具備的第1拍攝裝置的位置資訊。針對安裝在輸送船400的第1拍攝裝置430n、安裝在載貨裝置411的第1拍攝裝置430g~430m、及安裝在輸送車輛700的第1拍攝裝置430q,亦可設為和無人飛機440a~440c同樣,將該第1拍攝裝置的位置資訊和第1拍攝圖像一起發送。此作法針對操作人員(作業人員)的手持的第1拍攝裝置也是相同的。 另外,在第1拍攝裝置無法拍攝應包含於第1拍攝圖像的區域之情況下,在步驟S1701的處理之前,調整第1拍攝裝置的拍攝條件(拍攝方向、視角、變焦倍率、及光圈(F值)等)。
接著,在步驟S1702中,辨識部1202是從步驟S1701取得的第1拍攝圖像,辨識出字模(標籤)的顯示中的顯示項目的構成要素(文字、數字、符號、標記)。辨識出顯示項目的構成要素的內容之處理,例如能夠以使用公知的OCR(光學文字辨識,Optical character recognition)的技術來實現,因此在此省略其詳細說明。另外,亦可用使用了NN(類神經網路,Neural Network)等AI(人工智慧,Artificial Intelligence)的技術、或組合AI與OCR的技術(所謂的AI OCR),來實現步驟S1702的處理。
又,辨識部1202是特定出顯示項目的構成要素為字模的顯示及標籤的顯示之其中一者。例如,辨識部1202是依據步驟S1701所取得的第1拍攝圖像來進行邊緣檢測處理,而檢測出厚板的邊緣,並且依據已檢測的結果來特定出厚板的區域。而且,辨識部1202是判定已特定的區域為厚板的板面部分與厚板的側面(板厚)部分之其中一者。此判定是依據例如已特定的區域的縱橫比來實現。此判定的結果,在已特定的區域為厚板的板面部分之情況下,辨識部1202是辨識為顯示項目的構成要素是字模的顯示的構成要素。另一方面,在已特定的區域為厚板的側面(板厚)部分之情況下,辨識部1202是辨識為顯示項目的構成要素是標籤的顯示的構成要素。
又,辨識部1202亦可在依據第1拍攝圖像進行邊緣檢測處理,而已檢測到矩形的標籤202的區域之情況下,則辨識為顯示項目的構成要素為標籤的顯示的構成要素,在並非如此的情況下,則辨識為顯示項目的構成要素是字模的顯示的構成要素。 另外,在本實施形態中,為了簡單說明,針對位於最上層的厚板,在第1拍攝圖像中包含有字模的顯示區域201,而不是標籤202的顯示區域。
又,辨識部1202會導出顯示項目的位置。說明第1辨識部1202導出顯示項目的位置的手法的一例。首先,辨識部1202是依據步驟S1701所取得的第1拍攝圖像來進行邊緣檢測處理,而檢測出厚板的邊緣。並且,辨識部1202是檢測出第1拍攝圖像中的物品內位置的原點(厚板中的預定位置)。辨識部1202例如是在長方體的厚板的8個頂點當中,依據位置關係來導出成為拍攝圖像中的物品內位置的原點(厚板中的預定位置)的頂點,前述位置關係是作為字模(標籤)的顯示區域與物品內位置的原點的位置關係而事先設定的位置關係。
亦可例如將如以下的資訊事先設定在物品管理裝置1200中,來作為字模(標籤)的顯示區域與物品內位置的原點的位置關係。亦即,亦可將下述資訊事先設定於物品管理裝置1200中:以構成要素的頂點位於上側的方式來觀看字模(標籤)的顯示的顯示項目之該構成要素的情況下,在和字模(標籤)的顯示同一面中,以位於字模(標籤)的顯示的右下側之頂點為物品內位置的原點。辨識部1202是導出以拍攝圖像中的物品內位置的原點為基準的位置,來作為字模(標籤)的顯示中的顯示項目的構成要素的位置。當步驟S1702的處理結束時,則執行步驟S1703的處理。
在步驟S1703中,獲得部1203是在記憶部1207所記憶的管理表1300中獲得實品顯示欄位的ID欄位所記憶的資訊。 接著,在步驟S1704中,對照部1204是對照步驟S1702中辨識的資訊、以及步驟S1703中所獲得的資訊。在步驟S1702中辨識的資訊被辨識為字模的顯示的資訊之情況下,對照部1204是在步驟S1703所獲得的資訊當中,對照實品顯示欄位的字模欄位的ID欄位所記憶的資訊、以及步驟S1702中辨識的資訊。另一方面,在步驟S1702中辨識的資訊被辨識為標籤的顯示的資訊之情況下,對照部1204是在步驟S1703中獲得的資訊當中,對照實品顯示欄位的標籤欄位的ID欄位所記憶的資訊、以及步驟S1702中辨識的資訊。
接著,在步驟S1705中,特定部1205是依據步驟S1703的對照結果,從管理表1300中管理的厚板特定出1個厚板。具體而言,特定部1205是從步驟S1703中獲得的資訊中,特定出和步驟S1702中所辨識的資訊一致的資訊。
在此,一致是指:在步驟S1702中辨識的資訊中,有和實品顯示欄位的字模欄位或標籤欄位的ID欄位所記憶的構成要素,內容及排列順序完全一致的部分。在圖3A及圖3B所示的例子中,由字模或標籤所顯示的ID305、312的構成要素的內容為5、6、3、4、9、7、-、0、1,排列順序是從左起為5、6、3、4、9、7、-、0、1的順序。從而,特定部1205是從管理表1300中所管理的ID欄位中,特定出從左起依此順序排列有5、6、3、4、9、7、-、0、1的資訊。在步驟S1702中辨識的資訊中,除了在這些構成要素的一部分有缺損的情況之外,當排列有這些構成要素以外的構成要素的情況下,該步驟S1702所辨識的資訊,則不是和實品顯示欄位的字模欄位或標籤欄位的ID欄位所記憶的構成要素,內容及排列順序完全一致的資訊。
接著,在步驟S1706,位置導出部1206是依據步驟S1701取得的資訊,來判定拍攝步驟S1701所取得的第1拍攝圖像的第1拍攝裝置的位置是否為已知。在本實施形態中,安裝在吊架412及腳結構物413的第1拍攝裝置430a~430f、安裝在設置於輸送車輛700的待機位置的結構物之第1拍攝裝置430o~430p、安裝在設置於工廠內的放置場的結構物之第1拍攝裝置430r~430w、及安裝在設置於工廠的生產線的結構物之第1拍攝裝置430x~430y的三維位置是已知的。針對這些第1拍攝裝置的每一個,第1拍攝裝置的ID、及該第1拍攝裝置的位置資訊(三維座標(x-y-z座標))是互相建立關連並事先登錄於物品管理裝置1200。當和步驟S1701所取得的第1拍攝裝置的ID相同的ID建立關連的位置資訊(三維座標)已事先登錄於物品管理裝置1200的情況下,位置導出部1206是判定為拍攝步驟S1701所取得的第1拍攝圖像的第1拍攝裝置的位置為已知,在並非如此的情況下,則判定為拍攝步驟S1701所取得的第1拍攝圖像的第1拍攝裝置的位置並不是已知。
步驟S1706的判定結果,當拍攝步驟S1701所取得的第1拍攝圖像的第1拍攝裝置的位置不是已知的情況下,則執行步驟S1707的處理。在步驟S1707中,位置導出部1206是判定是否在步驟S1701中已取得拍攝第1拍攝圖像的第1拍攝裝置的位置資訊。此判定的結果,當在步驟S1701中未取得拍攝第1拍攝圖像的第1拍攝裝置的位置資訊之情況下,處理則進入至後述的步驟S1712。
步驟S1706的判定結果,當拍攝步驟S1701所取得的第1拍攝圖像的第1拍攝裝置的位置為已知的情況、以及步驟S1707的判定結果,當在步驟S1701中取得了拍攝第1拍攝圖像的第1拍攝裝置的位置資訊之情況下,則執行步驟S1708的處理。在步驟S1708中,位置導出部1206是判定是否可以特定出字模(標籤)的顯示區域的高度方向(z軸方向)的位置。另外,針對可以特定出字模(標籤)的顯示區域的高度方向(z軸方向)的位置之情況下的具體例,將於後文敘述。步驟S1708的判定結果,在無法特定出字模(標籤)的顯示區域的高度方向(z軸方向)的位置之情況下,處理則進入至後述的步驟S1712。
另一方面,步驟S1708的判定結果,在可以特定出字模(標籤)的顯示區域的高度方向(z軸方向)的位置之情況下,則執行步驟S1709的處理。在步驟S1709中,位置導出部1206是導出字模(標籤)的顯示區域的三維座標(x-y-z座標),來作為在步驟S1705中所特定的厚板的三維位置。
接著,在步驟S1710中,記憶部1207是將作為對步驟S1705所特定的厚板之資訊而記憶在管理表1300的非實品顯示欄位的物品位置欄位之資訊,更新至步驟S1709所導出之顯示厚板的三維位置之資訊。像這樣,在本實施形態中是例示管理表1300的非實品顯示欄位的物品位置欄位所記憶的資訊為資訊顯示位置之情況。又,在本實施形態中,步驟S1709所導出之顯示厚板的三維位置之資訊是藉由位置導出機構新導出的資訊顯示位置的一例。又,在進行步驟S1710的處理前,已記憶於管理表1300的非實品顯示欄位的物品位置欄位的資訊,是已記憶在記憶媒體中的資訊顯示位置的一例。管理表1300的非實品顯示欄位的物品位置欄位所記憶的資訊是字模(標籤)的顯示區域的x-y-z座標。從而,資訊顯示位置為三維位置。如前述,相同的厚板的資訊顯示位置是伴隨於該厚板的位置移動,不僅是x座標及y座標,z座標(高度方向的位置)也會變化。在本實施形態中,藉由步驟S1710的處理,即可以追蹤存在的位置會改變的厚板的位置。
接著,在步驟S1711中,輸出部1208是輸出顯示步驟S1705所特定的厚板的三維位置之資訊。例如,輸出部1208是將顯示步驟S1705所特定的厚板的三維位置之資訊顯示於電腦顯示器。然後,結束圖17的流程圖的處理。
在此,列舉圖2所示的字模的顯示區域201為例,來說明步驟S1709中導出字模(標籤)的顯示區域的三維位置的方法之一例。在圖2所示的例子中,字模的顯示區域201是在厚板的板面的區域中,在厚板的寬度方向(y軸方向)的中央附近之區域,且位於厚板的長度方向的一端側(x軸的負方向側)之區域。在本實施形態中,字模的顯示區域201的三維位置是資訊顯示位置的一例。 圖18是說明導出字模的顯示區域201的三維位置的方法的一例的圖。
在圖18中,點P是顯示第1拍攝裝置的三維位置(點P的x-y-z座標為(x
p,y
p,z
p))。第1拍攝裝置的三維位置例如為第1拍攝裝置的主點。在圖18所示的例子中,z軸是設成垂直於厚板的表面(形成有字模的顯示區域201的面)的方向。又,y軸是和字模的顯示區域201中相同的顯示項目的構成要素排列的方向平行的方向。又,x軸是和字模的顯示區域201中不同的顯示項目排列的方向平行的方向。又,x軸、y軸、z軸是設為相互垂直。又,在此,為了簡單說明,厚板的寬度方向是平行於y軸,厚板的長度方向是平行於x軸。
點S顯示在字模的顯示區域201的4個頂點當中,位於x軸的負方向側,且位於y軸的正方向側的頂點的位置(點S的x-y-z座標為(x
s,y
s,z
s))。點O是(相對於x-y平面之)點P的垂直線的足部(點P的垂直線與x-y平面的交點)。在圖18所示的例子中,點O為原點。點Q是通過點O且平行於x軸的直線、以及通過點S且平行於y軸的直線之交點。
當將∠OPQ設為β(rad),且將線段OP的長度(從點O到點P的距離)設為H時,線段OQ的長度(從點O到點Q的距離)L是用以下的(1)式來表示。 L=Htanβ …(1)
又,當將∠OPS設為α(rad)時,線段OS的長度(從點O到點S的長度)l是用以下的(2)式來表示。並且,線段SQ的長度(從點S至點Q的距離)w
y是用以下的(3)式來表示。 l=Htanα …(2) w
y=(l
2-L
2)
0.5…(3)
從而,點S的x-y-z座標S(x
s,y
s,z
s)是用以下的(4)式來表示。 S(x
s,y
s,z
s)=(L,w
y,0) …(4)
在本實施形態中是例示以下情況:當線段OP的長度H、∠OPQ(=β)、∠OPS(=α)已決定時,位置導出部1206是將點S的x-y-z座標(x
s,y
s,z
s)導出作為字模的顯示區域201的位置。
線段OP的長度H是從點P的z座標z
p減去字模的顯示區域201的z座標z
s後的值。從而,若特定出字模的顯示區域201的z座標(字模的顯示區域201的高度方向(z軸方向)的位置),則可以導出線段OP的長度H。另外,在圖18中,由於例示了字模的顯示區域201的z座標z
s為0(零)的情況,因此線段OP的長度H會等於點P的z座標z
p。
第1拍攝圖像中的點S的位置例如是如以下來導出。位置導出部1206是導出外接矩形,前述外接矩形是由步驟S1702中所辨識的字模的顯示項目的構成要素當中,由成為x軸的最大值、x軸的最小值、y軸的最大值、及y軸的最小值的位置來決定。並且,在已導出的外接矩形的頂點當中,以字模的顯示項目的構成要素的頂部位於上側的方式來觀看的情況下,位置導出部1206是將例如位於左下側(x軸的負方向側及y軸的正方向側)的頂點的位置,導出作為第1拍攝圖像中的點S的位置。另外,在第1拍攝圖像中有標籤的顯示之情況下,位置導出部1206是在以字模的顯示項目的構成要素的頂部位於上側的方式來觀看的情況下,在矩形的標籤的頂點當中,將例如位於左下側的頂點導出作為第1拍攝圖像中的點S的位置。
第1拍攝圖像中的點Q的位置是通過第1拍攝圖像中的點S的位置且平行於y軸的直線上的位置,且是對應於拍攝時的水平視角(y軸方向的視角)的中心之位置。又,點Q的特定例如亦可如以下地進行。亦即,以雷射指示器等從點P照射雷射光,將通過點S的位置且平行於y軸的直線顯示於厚板的板面當中形成有字模的顯示區域201的面上。又,以雷射指示器等從點P照射雷射光,將通過點O且平行於x軸的直線顯示於厚板的板面當中形成有字模的顯示區域201的面上。在像這樣地進行的情況下,藉由雷射光所顯示的2條直線的交點會成為點Q。從而,位置導出部1206亦可從第1拍攝圖像中特定出點Q,前述第1拍攝圖像是在顯示有藉由雷射光所顯示的2條直線的交點的狀態下拍攝。如此一來,當點P、點O、及點Q位於x-z平面上(y=0的平面上)的情況下,即使厚板的板面當中形成有字模的顯示區域201的面相對於x-y平面而傾斜,仍然可以特定出點Q的位置。
例如,位置導出部1206亦可如以下地導出∠OPS(=α)、∠OPQ(=β)、及∠SPQ(=δ)。首先,位置導出部1206是依據第1拍攝裝置所具備的測距感測器(例如TOF(飛時測距,Time-of-Flight)方式的測距感測器)的測定值,來導出線段PS及點PQ的長度。而且,位置導出部1206是以形成有字模的顯示區域201的面為x-y平面,且線段QS是在y軸方向上延伸的直線,來特定出點S及點Q的位置。然後,位置導出部1206是依據點P、點S、點Q的位置,來導出∠OPS(=α)、∠OPQ(=β)、及∠SPQ(=δ)。
並且,例如,位置導出部1206亦可依據從第1拍攝裝置朝向點S照射的雷射光的角度、從第1拍攝裝置朝向點Q照射的雷射光的角度、及從第1拍攝裝置將雷射光從點S掃描到點Q時的掃描角度,來導出∠OPS(=α)、∠OPQ(=β)、及∠SPQ=(=δ)。
又,位置導出部1206亦可計數第1拍攝圖像中排列成格子狀的矩形的數量,藉由來導出∠OPS(=α)、∠OPQ(=β)、及∠SPQ(=δ),前述第1拍攝圖像是在對厚板的板面當中包含形成有字模的顯示區域201的面與點O的區域照射格子狀的雷射光之狀態下所拍攝的拍攝圖像。在像這樣地進行的情況下,1個矩形的x軸方向的長度是例如當∠OPS(=α)及∠OPQ(=β)變化1rad時則變化的x軸方向的長度,y軸方向的長度是例如當∠SPQ(=δ)變化1rad時則變化的y軸方向的長度。依據從位於對應於點O的位置之矩形,到對應於點S、Q的矩形為止的矩形的數量之計數結果,可導出∠OPS(=α)、∠OPQ(=β)。又,依據從位於對應於點S的位置之矩形到位於對應於點Q的位置之矩形為止的矩形的數量之計數結果,可導出∠SPQ(=δ)。矩形的數量的計數是依據對第1拍攝圖像的圖像處理的結果來進行。
另外,針對顯示區域1111、1121、1131、1141的位置,也是和參照圖18所說明的手法同樣地導出。又,由於字模的顯示區域201與標籤202的顯示區域只是在厚板中配置的面不同,因此針對標籤202的顯示區域的位置,也可以倣效參照圖18所說明的手法來導出。從而,在此省略其詳細的說明。
接著,說明在步驟S1708中,判定為可以特定出字模(標籤)的顯示區域的高度方向(z軸方向)的位置的情況之一例。 作為第1例,首先,位置導出部1206是使用雷射測距儀來導出從第1拍攝裝置到字模的顯示區域為止的高度方向(z軸方向)的距離。並且,位置導出部1206是將從第1拍攝裝置的高度方向(z軸方向)的位置減去該距離後的位置,導出作為字模的顯示區域201的高度方向(z軸方向)的位置。
作為第2例,位置導出部1206是使用管理表1300的物品位置欄位所記憶之顯示厚板的位置之資訊、及管理表1300的登錄時刻欄位所記憶之顯示厚板被放置在現在位置的日期時間之資訊,來導出字模(標籤)的顯示區域的高度方向(z軸方向)的位置。說明像這樣地進行來導出字模(標籤)的顯示區域的高度方向(z軸方向)的位置的方法的一例。另外,在此,因應於需要,將管理表1300的物品位置欄位所記憶的厚板的三維位置稱為物品位置。又,在此,為了簡單說明,堆疊的複數個厚板當中位於最下層的厚板是放置在地面上。
首先,位置導出部1206是依據記憶在管理表1300的物品位置,從步驟S1705所特定的厚板以外的厚板,特定出至少有一部分被包含在拍攝範圍(x-y座標)的厚板,前述拍攝範圍是拍攝步驟S1701中取得的第1拍攝圖像的第1拍攝裝置的拍攝範圍。
在導出字模的顯示區域201的高度方向(z軸方向)的位置之情況下,步驟S1705所特定的厚板是位於最上層。從而,位置導出部1206是判斷為:至少有一部分被包含在拍攝範圍(x-y座標)的厚板是位於步驟S1705所特定的厚板之下,前述拍攝範圍是拍攝步驟S1701中取得的第1拍攝圖像的第1拍攝裝置的拍攝範圍。在此情況下,將作為位於步驟S1705所特定的厚板之下的厚板的資訊而記憶於管理表1300中的全部尺寸(厚度)、以及步驟S1705所特定的厚板的厚板相加後的值,即成為字模的顯示區域201的高度方向(z軸方向)的位置。
另一方面,在導出標籤的顯示區域的高度方向(z軸方向)的位置之情況下,位置導出部1206是判斷為:在如前述地特定的厚板當中,在登錄時刻欄位中記憶有比作為步驟S1705所特定的厚板的資訊而記憶於管理表1300的登錄時刻欄位之日期時間更晚的日期時間之厚板,是位於步驟S1705所特定的厚板之下的厚板。在此情況下,將作為位於步驟S1705所特定的厚板之下的厚板的資訊而記憶於管理表1300中的全部尺寸(厚度)的相加值、以及作為步驟S1705所特定的厚板的資訊而記憶於管理表1300的物品內位置的z座標的值相加後的值,即成為標籤202的顯示區域的高度方向(z軸方向)的位置。
作為第3例,在第1拍攝圖像中顯示有可特定高度方向(z軸方向)的資訊之情況下,位置導出部1206可以依據該資訊,來導出字模(標籤)的顯示區域的高度方向(z軸方向)的位置。說明像這樣地進行來導出字模(標籤)的顯示區域的高度方向(z軸方向)的位置的方法的一例。例如,在第1拍攝圖像中包含顯示有表示高度方向(z軸方向)的位置之刻度的結構物之情況下,位置導出部1206是從第1拍攝圖像辨識該結構物的該刻度。例如,位置導出部1206是對第1拍攝圖像執行邊緣檢測處理來提取出物件的邊緣,並且從已提取的物件提取出該結構物。例如,將顯示物件的輪廓之資訊、以及已與該物件的名稱互相建立關連之資訊事先登錄於物品管理裝置1200中。在像這樣地進行的情況下,位置導出部1206亦可比較如前述地提取的物件的邊緣、以及該資訊,藉此提取出對應於該結構物的物件。又,位置導出部1206亦可使用NN(類神經網路,Neural Network)等AI(人工智慧,Artificial Intelligence),從如前述地提取的物件中提取出該結構物。
然後,位置導出部1206是依據第1拍攝圖像中的字模(標籤)的顯示區域的位置、及第1拍攝圖像中顯示於該結構物的刻度的位置,來導出字模(標籤)的顯示區域的高度方向(z軸方向)的位置。另外,在第1拍攝圖像中附加於刻度的數字,是以和辨識字模(標籤)的顯示項目的構成要素的手法同樣的手法來辨識。
作為第4例,位置導出部1206亦可使用第2圖像取得部1209所取得的第2拍攝圖像,來導出字模的顯示區域201的高度方向(z軸方向)的位置。在此情況下,在圖17的流程圖中,在比步驟S1708的處理開始的時間點更之前,追加藉由第2圖像取得部1209來取得第2拍攝圖像的步驟。第2拍攝圖像是以和拍攝第1拍攝圖像的第1拍攝裝置(拍攝包含字模(標籤)的顯示區域之區域的拍攝裝置)不同的第2拍攝裝置來拍攝的拍攝圖像。第2拍攝圖像包含拍攝步驟S1701所取得的第1拍攝圖像之第1拍攝裝置、以及步驟S1705所特定的厚板之雙方。說明像這樣地進行來導出字模的顯示區域201的高度方向(z軸方向)的位置的方法的一例。
圖19是說明導出字模的顯示區域201的高度方向(z軸方向)的位置的方法的一例的圖。 在圖19所示的例子中也是和圖18同樣地,點P是顯示第1拍攝裝置的位置(點P的x-y-z座標為(x
p,y
p,z
p))。又,z軸是垂直於厚板的表面(形成有字模的顯示區域201的面)的方向。又,y軸是和字模的顯示區域201中相同的顯示項目的構成要素排列的方向平行的方向。又,x軸是和字模的顯示區域201中不同的顯示項目排列的方向平行的方向。又,x軸、y軸、z軸是設為相互垂直。在此,為了簡單說明,厚板的寬度方向是平行於y軸,厚板的長度方向是平行於x軸。
又,點O'是(相對於x-y平面之)點P的垂直線、與包含厚板的表面(形成有字模的顯示區域201的面)的平面之交點(點O'是對應於圖18的點O)。點O是(相對於x-y平面之)點P的垂直線的足部(點P的垂直線與x-y平面的交點)。在圖19所示的例子中,點O為原點。點R是顯示第2拍攝裝置的三維位置(點R的x-y-z座標為(x
r,y
r,z
r))。第2拍攝裝置的三維位置例如為第2拍攝裝置的主點的位置。
第2拍攝裝置的三維位置能夠以物品管理裝置1200來特定。例如,在第2拍攝裝置的三維位置為固定的情況下,可將第2拍攝裝置的ID、以及該第2拍攝裝置的三維座標(x-y-z座標)互相建立關連而事先登錄於物品管理裝置1200中。又,在第2拍攝裝置的三維位置並非固定的情況下,例如,第2拍攝裝置是發送使用GPS定位之該第2拍攝裝置的三維座標(x-y-z座標)與該第2拍攝裝置的ID。在此情況下,第2圖像取得部1209是取得從第2拍攝裝置發送來的這些資訊。
在圖19所示的例子中,為了簡單說明,堆疊的複數個厚板當中位於最下層的厚板是放置在地面上。點D是在形成有字模的顯示區域201的面的頂點當中,位於最接近點R的位置的頂點。點B是在堆疊的複數個厚板當中位於最下層的厚板的底面的頂點當中,位於最接近點R的位置的頂點。
在圖19中,∠BRD(=φ
B)及∠PRO(=φ
P)是依據例如第2拍攝圖像中的點P、點B、及點D的位置、以及該第2拍攝圖像的主點來決定。藉由連結第2拍攝圖像中的點P與第2拍攝圖像的主點之直線,特定出線段RP延伸的方向。藉由連結第2拍攝圖像中的點B與第2拍攝圖像的主點之直線,特定出線段RB延伸的方向。藉由連結第2拍攝圖像中的點D與第2拍攝圖像的主點之直線,特定出線段RT延伸的方向。∠BRD(=φ
B)是依據線段RB延伸的方向、以及線段RD延伸的方向而決定。∠PRO(=φ
P)是依據線段RP延伸的方向與y軸方向來決定。
又,例如,位置導出部1206是依據第2拍攝裝置所具備的測距感測器(例如TOF(飛時測距,Time-of-Flight)方式的測距感測器)的測定值,來導出線段RP的長度(從點R到點P的距離)以及線段RD(從點R到點D的距離)的長度。並且,位置導出部1206是依據第2拍攝裝置的高度方向(z軸方向)的位置(z
r)、線段RP的長度、∠PRO(=φ
P),來導出第1拍攝裝置的高度方向(z軸方向)的位置(z
p)(z
p=z
r+線段RP的長度×sinφ
P)。同樣地,位置導出部1206是依據第2拍攝裝置的高度方向(z軸方向)的位置(z
r)、線段RD的長度、∠BRD(=φ
B),來導出字模的顯示區域201的高度方向(z軸方向)的位置。
另外,在圖19中是例示第2拍攝裝置(點R)的高度方向(z軸方向)的位置為0(零)的情況。又,若如以上地使用第2拍攝圖像,則位置導出部1206不僅可以導出字模的顯示區域201的高度方向(z軸方向)的位置,還可以導出第1拍攝裝置的高度方向(z軸方向)的位置(z
p)。又,位置導出部1206不僅可以導出高度方向(z軸方向)的位置,也可以導出第1拍攝裝置的x軸方向的位置(x
p)及y軸方向的位置(y
p)。例如,x
p、y
p是依據線段RP延伸的方向、y
r+線段RP的長度×cosφ
P來導出。亦即,依據線段RP延伸的方向、y
r+線段RP的長度×cosφ
P,可導出連結點R、P的向量。該向量的x軸成分的長度、y軸成分的長度為x
p、y
p。
又,在此是列舉第2拍攝裝置所拍攝的第2拍攝圖像中包含有點P(第1拍攝裝置)的情況為例來進行了說明。然而,只要可以導出第1拍攝裝置(點P)與第2拍攝裝置(點R)的相對位置關係(∠PRO(=φ
P)等),並不一定要像這樣地進行。在像這樣地進行的情況下,例如是使用以和第1拍攝裝置及第2拍攝裝置不同的至少1個拍攝裝置所拍攝的拍攝圖像。說明像這樣地進行時的具體例。首先,除了第1拍攝裝置及第2拍攝裝置之外,還配置第3拍攝裝置。第3拍攝裝置是將點P(第1拍攝裝置)及點R(第2拍攝裝置)包含在拍攝範圍中,但不將點D包含在拍攝範圍中。又,將顯示第3拍攝裝置的位置的點設為未圖示的R'。又,事先決定有顯示第2拍攝裝置的位置的點R的位置與顯示第3拍攝裝置的位置的點R'的位置之其中一者或雙方。在此情況下,位置導出部1206是依據第3拍攝裝置所拍攝的第3拍攝圖像,來導出從點R'觀看點R、點P時的仰角或俯角。並且,位置導出部1206是依據已導出的仰角或俯角,來導出∠PRO(=φ
P)。角度、方向、及長度的導出是以和參照圖19所說明的手法同樣的手法來實現。又,在第3拍攝裝置的拍攝範圍中包含有點P(第1拍攝裝置),但未包含有點R(第2拍攝裝置)的情況下,例如,只要更進一步使用將點R'(第3拍攝裝置)及點R(第2拍攝裝置)包含在拍攝範圍中的第4拍攝裝置所拍攝的第4拍攝圖像即可。另一方面,例如,在第3拍攝裝置的拍攝範圍中包含有點R(第2拍攝裝置),但未包含有點P(第1拍攝裝置)的情況下,例如,只要更進一步使用將點R'(第3拍攝裝置)及點P(第1拍攝裝置)包含在拍攝範圍中的第5拍攝裝置所拍攝的第5拍攝圖像即可。
又,位置導出部1206亦可使用將第1拍攝裝置包含於拍攝範圍的第6拍攝裝置所拍攝的第6拍攝圖像來特定出點P(第1拍攝裝置)的位置。在此情況下,在第2拍攝裝置、第3拍攝裝置、及第4拍攝裝置的至少1個拍攝範圍中包含有第6拍攝裝置。又,將顯示第6拍攝裝置的位置的點設為未圖示的P'。又,事先決定有顯示第1拍攝裝置的位置的點P的位置與顯示第6拍攝裝置的位置的點P'的位置之其中一者或雙方。在此情況下,例如,在前述的說明中,取代第1拍攝裝置及點P,使用第6拍攝裝置及點P'來進行計算。並且,例如,依據此計算的結果、第6拍攝圖像、以及點P及點P'的其中一個或雙方的位置,來導出第1拍攝裝置(點P)與第2拍攝裝置(點R)的相對位置關係(∠PRO(=φ
P)等)。
若如以上地進行,則即使是在無法將第2拍攝裝置配置成使第2拍攝裝置的拍攝範圍包含第1拍攝裝置與厚板之雙方的情況下,仍然可以導出字模的顯示區域201的高度方向(z軸方向)的位置。另外,第3~第6拍攝圖像例如是藉由第2圖像取得部1209來取得。但是,亦可不使用第2圖像取得部1209,而是使用個別地取得第3~第6拍攝圖像的第3~第6圖像取得部。在像這樣地進行的情況下,在圖17的流程圖中,在比步驟S1708的處理開始的時間點更之前的時間點,且和第2圖像取得部1209取得第2拍攝圖像的步驟執行的時間點不同的時間點下,追加個別地取得第3~第6拍攝圖像的步驟。另外,當即使不取得第2拍攝圖像等,仍然可以特定出字模(標籤)的顯示區域的高度方向(z軸方向)的位置之情況下,則不需要第2圖像取得部1209。
作為第5例,位置導出部1206亦可依據搬送工作台1001的位置、作為厚板1000a、1002b的資訊而記憶於管理表1300的尺寸(厚度),來導出被放置在搬送工作台1001的厚板1002a、1002b之字模的顯示區域201的高度方向(z軸方向)的位置。在像這樣地進行的情況下,搬送工作台1001的位置是事先登錄在物品管理裝置1200中。
例如,在以上例子的至少1個例子中,當可以導出字模(標籤)的顯示區域的高度方向(z軸方向)的位置之情況下,在步驟S1708中,會判定為可以特定出字模(標籤)的顯示區域的高度方向(z軸方向)的位置。
又,在厚板位於搬運具的情況下,在步驟S1709中,位置導出部1206是取得搬運具中的厚板的三維位置。在本實施形態中,搬運具為輸送船400及輸送車輛700。於是,在本實施形態中是例示搬運具為輸送船400及輸送車輛700的情況。 例如,當厚板被裝載於輸送船400時,位置導出部1206是取得該厚板的ID及顯示該輸送船400中的該厚板的三維位置之資訊。並且,位置導出部1206是從管理表1300的ID欄位中,特定出記憶有顯示和已取得的厚板的ID相同的ID之資訊的列。並且,位置導出部1206是將已取得之顯示輸送船400中的厚板的三維位置之資訊,記憶於已特定的列的物品位置欄位中。例如,亦可由輸送船400的操作人員(作業人員)在手持的資訊處理終端(平板電腦終端等)中輸入厚板的ID與顯示輸送船400中的該厚板的三維位置之資訊。像這樣地進行的情況下,亦可從該資訊處理終端將厚板的ID與顯示輸送船400中的該厚板的三維位置之資訊發送至物品管理裝置1200,藉此使位置導出部1206取得該厚板的ID及顯示該輸送船400中的該厚板的三維位置之資訊。顯示厚板的三維位置之資訊例如是字模(標籤)的顯示區域的x-y-z座標。
又,當厚板被裝載於輸送車輛700時,位置導出部1206是取得該厚板的ID及顯示該輸送車輛700中的厚板的三維位置之資訊。並且,位置導出部1206是從管理表1300的ID欄位中,特定出記憶有顯示和已取得的厚板的ID相同的ID之資訊的列。並且,位置導出部1206是將已取得之顯示輸送車輛700中的厚板的三維位置之資訊,記憶於已特定的列的物品位置欄位中。例如,亦可由輸送車輛700的操作人員(作業人員)在手持的資訊處理終端(平板電腦終端等)中輸入厚板的ID與顯示輸送車輛700中的該厚板的三維位置之資訊。像這樣地進行的情況下,亦可從該資訊處理終端將厚板的ID與顯示輸送車輛700中的該厚板的三維位置之資訊發送至物品管理裝置1200,藉此使位置導出部1206取得該厚板的ID及顯示該輸送車輛700中的該厚板的三維位置之資訊。顯示厚板的三維位置之資訊例如是字模(標籤)的顯示區域的x-y-z座標。
如以上,藉由取得搬運具中的厚板的三維位置,即可以特定出搬送各厚板的搬運具。又,可以藉由搬運具來正確地特定出厚板搬送中之厚板的三維位置。
作為第6例,亦可使用已知拍攝元件的像素數及尺寸(各像素的長度[m/像素])以及從拍攝元件到主點的距離之焦點距離的拍攝裝置,來取得字模(標籤)的顯示區域在實際空間中的位置,藉此導出字模(標籤)的顯示區域的高度方向(z軸方向)的位置。
列舉下述情況為例,並且使用圖20A及圖20B來說明第6例:字模的顯示區域201為長方形,且其長邊及短邊的實際空間的長度是事先記憶在物品管理裝置1200中。另外,如前述,第1拍攝裝置的感測器的像素數之資訊、該感測器的尺寸之資訊、及攝影時所使用的每個光學倍率的焦點距離是事先記憶在物品管理裝置1200中。焦點距離是在拍攝時決定的資訊。
圖20A是顯示包含字模的顯示區域201的第1拍攝圖像之一例的圖。若從正面拍攝字模的顯示區域201,則在第1拍攝圖像中會形成為長方形。另一方面,當以斜向拍攝字模的顯示區域201時,則有時會如圖20A的虛線(假想線)所示,在第1拍攝影像中形成為不等邊四角形。圖20B是顯示第1拍攝裝置的內部與字模的顯示區域的幾何學關係的一例的圖。在圖20B中,首先,位置導出部1206是特定出拍攝元件2002所拍攝的字模的顯示區域201'的四個角落的頂點2002a~2002d的位置。接著,位置導出部1206是特定出直線2003a~2003d,前述直線2003a~2003d是將連結字模的顯示區域201'的四個角落的頂點2002a~2002d與主點FP的直線往字模的顯示區域201側延伸的直線。接著,位置導出部1206是特定出四角錘2001,前述四角錘2001是以主點FP為頂角點,且直線2003a~2003d是以主點FP為一端的4個邊,底面的尺寸是字模的顯示區域201(長方形)的長邊及短邊的實際空間的長度。如前述,將字模的顯示區域201設為長方形時之該長方形的長邊及短邊的實際空間的長度是事先記憶在物品管理裝置1200中。位置導出部1206是依據像這樣地特定的四角錘2001,來導出字模的顯示區域201與主點FP(第1拍攝裝置)的三維位置關係。
在此,為了容易說明,例示了字模的顯示區域的形狀為事先已知尺寸的長方形的情況。但是,在第6例的手法中,成為導出與第1拍攝裝置的三維位置關係的對象之顯示區域的形狀,並不限定於長方形的情況。例如,即使是事先得知形狀與大小的文字、記號、標記等顯示,若將圖20B所示的字模的顯示區域201置換成該顯示的顯示區域,仍然可以導出該顯示的位置與主點(第1拍攝裝置)的三維位置關係。
此外,在此是例示了成為導出與第1拍攝裝置的三維位置關係的對象之顯示區域為平面的情況。但是,在第6例的手法中,成為導出與第1拍攝裝置的三維位置關係的對象之顯示區域並不限定於平面。只要該顯示區域的面的形狀為已知,即可以導出該顯示區域與第1拍攝裝置的三維位置關係。例如,在位置導出部1206要導出位於圓柱狀的物品的表面之顯示區域與第1拍攝裝置的三維位置關係之情況下,只要取代參照圖20B所說明的長方形的長邊及短邊的尺寸,該顯示區域的形狀及尺寸、以及該顯示區域的顯示面的曲率是事先記憶於物品管理裝置1200即可。這是因為藉由這些資訊,可以特定出相當於參照圖20B所說明的第6例的手法中之四角錘的底面之面。
回到圖17的說明,在步驟S1708中,在判定為無法特定出字模(標籤)的顯示區域的高度方向(z軸方向)的位置之情況下,則執行步驟S1712的處理。在步驟S1712中,輸出部1208是輸出顯示無法特定出厚板的三維位置的情形之資訊、及拍攝了該厚板的第1拍攝裝置的ID。例如,輸出部1208是將顯示無法特定出厚板的三維位置的情形之資訊、及拍攝了該厚板的第1拍攝裝置的ID顯示於電腦顯示器。當輸出這些資訊時,操作人員(作業人員)會前往該第1拍攝裝置所存在的位置,而特定出該厚板的三維位置。又,操作人員(作業人員)亦可從該第1拍攝裝置的預覽圖像中,特定出該厚板的三維位置。
接著,在步驟S1713中,記憶部1207是輸入顯示操作人員(作業人員)所特定出的厚板的三維位置之資訊,並且將作為對該厚板的資訊而記憶在管理表1300的非實品顯示欄位的物品位置欄位之資訊,更新至該已輸入的資訊。另外,作為顯示厚板的三維位置之資訊的輸入形態,可以採用物品管理裝置1200的使用者介面的操作所進行的輸入、從外部裝置發送的資訊之接收、以及記憶在可搬型的記憶媒體的資訊之讀出當中的至少1個。然後,結束圖17的流程圖的處理。
<總結> 如以上,在本實施形態中,物品管理裝置1200是取得包含顯示區域的區域的第1拍攝圖像,前述顯示區域是藉由字模(標籤)而顯示有顯示於厚板的資訊,且是由該厚板的製造廠商所管理的資訊。物品管理裝置1200是依據該已取得的第1拍攝圖像、及拍攝該第1拍攝圖像的第1拍攝裝置的位置,來導出字模(標籤)的顯示區域的三維位置,並將顯示該三維位置的資訊,與該厚板的ID建立關連而記憶於記憶媒體中。從而,例如,當使用各種搬送裝置(輸送船400、輸送車輛700、搬送工作台1001等)來搬送厚板、或由作業員搬送厚板的情況、厚板被放置在放置場位址尚未決定的放置場之情況、或厚板被堆疊而放置的情況下,都可以管理厚板的位置。據此,可以適當地管理厚板的位置。
又,在本實施形態中,在字模(標籤)的顯示區域的三維位置與厚板的ID為相互建立關連且已經記憶在記憶媒體的情況下,當物品管理裝置1200已重新導出字模(標籤)的顯示區域的三維位置之情況下,會將已經記憶在記憶媒體的字模(標籤)的顯示區域的三維位置更新至新導出的三維位置。從而,可以提升隨著時間經過而存在的位置(場所)改變的厚板位置的追蹤精確度。
又,在本實施形態中,物品管理裝置1200是依據第1拍攝圖像,來辨識顯示在字模(標籤)的顯示區域之資訊(ID305、312)。然後,物品管理裝置1200是對照已辨識的資訊、以及管理表1300所記憶的資訊(ID),依據對照的結果來特定出厚板。從而,可以依據第1拍攝圖像來確實地特定出成為位置的管理對象之厚板本身。據此,例如和依據搬送機器的動作來特定厚板的三維位置的情況相較之下,可以高精確度地特定出厚板的位置。
又,在本實施形態中,物品管理裝置1200是取得和拍攝第1拍攝圖像的第1拍攝裝置不同的第2拍攝裝置所拍攝的第2拍攝圖像。在第2拍攝圖像中包含有第1拍攝圖像與(成為位置的管理對象之)厚板。物品管理裝置1200是依據該已取得的第2拍攝圖像與第2拍攝裝置的位置,來導出字模的顯示區域201的高度方向(z軸方向)的位置。並且,物品管理裝置1200是依據字模的顯示區域201的高度方向(z軸方向)的位置、第1拍攝圖像、及拍攝該第1拍攝圖像的第1拍攝裝置的位置,導出字模的顯示區域201的三維位置,來作為厚板的三維位置。從而,即使使用第1拍攝圖像或第1拍攝圖像所具備的感測器,仍無法導出厚板的高度方向的位置之情況下,仍然可以管理厚板的位置。
此外,在本實施形態中是將字模的顯示及標籤的顯示設為人可識別的資訊。從而,操作人員(作業人員)會變得容易進行實品管理。據此,實品管理的便利性會提升。
又,在本實施形態中,在字模的顯示及標籤的顯示中,包含有按每個厚板而個別地決定的資訊(厚板所特有的資訊)。從而,可以依據第1拍攝圖像來唯一地識別出厚板。據此,可以容易且迅速地進行厚板的識別。
又,在本實施形態中,物品管理裝置1200是導出三維座標(x-y-z座標),來作為字模(標籤)的顯示區域的位置。從而,即使是例如複數個厚板堆疊的情況下,仍然可以管理厚板的位置。
<變形例> <<第1變形例>> 在步驟S1709中導出第1拍攝圖像所包含的字模(標籤)的顯示區域的位置之方法,並不限定於參照圖18所說明的手法。例如,位置導出部1206是從第1拍攝圖像中導出在管理表1300中規定物品內位置時的原點的位置。並且,位置導出部1206是依據已導出的原點的位置、及管理表1300的物品內位置欄位所記憶的資訊,來導出包含於第1拍攝圖像的字模(標籤)的顯示區域的位置。列舉字模的顯示區域201為例來說明像這樣導出第1拍攝圖像所包含的字模(標籤)的顯示區域的位置之手法的一例。
圖21是說明導出字模的顯示區域201的三維位置的方法的一例的圖。在圖21中是和圖18同樣地例示導出點S的x-y-z座標S(x
s,y
s,z
s)來作為字模的顯示區域201的位置之情況。如參照圖14所說明,字模的物品內位置是以x-y座標來表示,前述x-y座標是以圖2所示的頂點203為原點,且將從該頂點203沿著厚板的寬度方向的方向設為y軸的正方向,將沿著厚板的長度方向的方向設為x軸的正方向。從而,圖21的點E的位置為字模的物品內位置的原點。點F是在厚板的頂點當中,相對於點E而在寬度方向(y軸方向)上排列的點(以點E與點F形成沿著厚板的寬度方向的一邊)。點T是點P的垂直線相對於線段EF的足部(點P的垂直線與線段EF的交點)。點P及點O與圖18所示者相同。
在圖21中,將線段PT的長度設為h
p。又,將線段PF的長度設為h
1,將∠FPT設為θ
1(rad),將線段PE的長度設為h
2,將∠EPT設為θ
2(rad),將∠EPF設為θ(rad)(θ=θ
1+θ
2)。又,將線段FT的長度設為w
01,將線段ET的長度設為w
02。
如此一來,點E的x座標x
e則為點P的x座標x
p加上線段OT的長度l
p後的值(x
e=x
p+l
p)。點E的y座標y
e是從點P的y座標y
p減去線段ET的長度w
o2後的值(y
e=y
p-w
o2)。從而,若導出線段OT的長度l
p、線段ET的長度w
o2,則可導出點E的位置(字模的物品內位置的原點)的x-y座標(x
e,y
e)。
線段OT的長度l
p是用以下的(5)式來表示。 l
p=√(h
p 2-H
2)=√(h
1 2cos
2θ
1-H
2)=√(h
2 2cos
2θ
2-H
2) …(5) 線段ET的長度w
o2是用以下的(6)式來表示。 w
o2=h
2sinθ
2…(6) 從而,例如,若導出線段PE的長度h
2及∠EPT(=θ
2),則可導出線段OT的長度l
p及線段ET的長度w
o2。另外,線段OP的長度H是如參照圖18所說明的方式導出。
第1拍攝圖像中的點T的位置是第1拍攝圖像中的線段EF上的位置,且成為對應於拍攝時的水平視角(y軸方向的視角)的中心之位置。∠EPT(=θ
2)是依據例如步驟S1701所取得的第1拍攝圖像中的點E及點T的位置、以及該第1拍攝圖像的主點來決定。藉由連結第1拍攝圖像中的點E與第1拍攝圖像的主點之直線,特定出線段PE延伸的方向。藉由連結第1拍攝圖像中的點T與第1拍攝圖像的主點之直線,特定出線段PT延伸的方向。∠EPT(=θ
2)是依據線段PE延伸的方向、以及線段PT延伸的方向而決定。 線段PE的長度h
2是使用例如第1拍攝裝置所具備的測距感測器(例如TOF(飛時測距,Time-of-Flight)方式的測距感測器)來導出。此外,亦可依據線段OP的長度H與∠OPE來導出線段PE的長度h
2。
如以上地進行,可導出點E的x座標x
e及y座標y
e。並且,位置導出部1206是從作為步驟S1705所特定的厚板的標籤的資訊而記憶在管理表1300的物品內位置欄位之資訊,讀出對應於點S的位置的x-y座標(Ls10,Ws10)。並且,位置導出部1206是將點E的x座標x
e加上LS10的值導出作為點S的x座標x
s(x
s=x
e+LS10)。又,位置導出部1206是將點E的y座標x
y加上WS10的值導出作為點S的y座標y
s(y
s=y
e+WS10)。
又,例如,根據厚板被放置的場所、字模(標籤)的顯示區域的位置、及厚板被放置的方向之至少一者,有時表示字模(標籤)的顯示區域與第1拍攝裝置的幾何學上的位置關係之數式不會成為參照圖18及圖21所說明的式子。例如,當複數個厚板堆疊於貨車,且無法以拍攝裝置拍攝該複數個厚板的一部分之情況下,有時會無法確定該複數個厚板當中被放置在最上方的厚板的高度方向的位置。又,有時表示字模(標籤)的顯示區域與第1拍攝裝置的幾何學上的位置關係之數式會變得複雜。於是,例如第1拍攝裝置亦可拍攝亮度圖像及距離圖像來作為第1拍攝圖像。另外,亮度圖像是在本實施形態中到此為止所說明的拍攝圖像。亮度圖像具有來自被拍攝體的反射光的強度(被拍攝體的明亮度)之資訊,而不具有從拍攝裝置到被拍攝體的距離之資訊。距離圖像具有從拍攝裝置到被拍攝體的距離之資訊。另外,第1拍攝裝置是以亮度圖像的像素位置與距離圖像的像素位置相互對應的方式,來拍攝亮度圖像及距離圖像。又,使用TOF(飛時測距,Time Of Flight)方式或圖案照射方式等周知的方法來作為測定距離圖像的方法即可。
像這樣地進行的情況下,位置導出部1206是依據亮度圖像,特定出與字模(標籤)的顯示區域相對應的像素。例如,位置導出部1206是事先將字模(標籤)的圖像記憶為模板圖像。位置導出部1206是進行亮度圖像與模板圖像的型樣匹配,藉此從亮度圖像特定出字模(標籤)的顯示區域。位置導出部1206是在距離圖像的區域當中,特定出和從亮度圖像特定出的字模(標籤)的顯示區域相對應的區域。位置導出部1206是從距離圖像中提取出已特定的區域的像素值。距離圖像的像素值是顯示從第1拍攝裝置到被拍攝體的距離的值。像這樣地進行而從距離圖像提取出的像素值是顯示從第1拍攝裝置到字模(標籤)的顯示區域的距離。像這樣地進行,位置導出部1206可以依據已從距離圖像提取的像素值,來得到從第1拍攝裝置到字模(標籤)的顯示區域的預定位置之距離。位置導出部206是依據第1拍攝裝置的三維位置(x-y-z座標)、拍攝第1拍攝圖像時的第1拍攝裝置的姿勢、及從第1拍攝裝置到字模(標籤)的顯示區域的預定位置之距離,來導出字模(標籤)的顯示區域的預定位置的三維位置(x-y-z座標)。
<<第2變形例>> 如本實施形態,只要將消費者名稱302、規格303、尺寸304、ID305、消費者代碼306、訂購編號307、規格311、ID312、尺寸313、交期314、及消費者代碼315設為人可識別的資訊,即可使操作人員(作業人員)較容易進行實品管理,因此較為理想。然而,亦可將消費者名稱302、規格303、尺寸304、ID305、消費者代碼306、訂購編號307、規格311、ID312、尺寸313、交期314、及消費者代碼315的至少1個設為條碼或二維碼之類已轉換(編碼)為人無法識別的資訊。
<<第3變形例>> 在本實施形態中,如圖3A、圖3B所示,例示了由字模所顯示的ID305、及由標籤所顯示的ID312為相同的情況。然而,這些ID的表現及記載內容有時會不同。例如,也有在ID中沒有「連字符」的形式。在像這樣的情況下,會使管理表1300記憶顯示這些ID(字模的ID、標籤的ID)為對相同厚板的ID之資訊。針對ID以外的顯示項目,相同的顯示項目的表現及記載內容有時也會在字模的顯示及標籤的顯示下不同。例如,在字模及標籤之雙方顯示有規格的情況下,例如有時會在標籤中顯示規格的簡稱。另外,雖然在字模的顯示與標籤的顯示中會有消費者代碼的位數不同的情況,但消費者代碼是由製造廠商所管理。又,針對尺寸,也會有不顯示尺寸的全部位數之情況。在像這樣的情況下,會使管理表1300記憶顯示該等不同的表現及記載內容為同等的含義之資訊。
<<第4變形例>> 在本實施形態中,例示了將字模(標籤)的顯示區域的三維位置(x-y-z座標)導出作為厚板的三維位置之情況。然而,厚板的三維位置並不限定於字模(標籤)的顯示區域的三維位置(x-y-z座標)。例如,物品管理裝置1200亦可僅辨識顯示於厚板的表面的1個要素,並且將已辨識的要素的位置(例如重心或圖心)的x-y-z座標作為厚板的三維位置。要素是當作文字、數字、記號、標記等1個資訊來處理的資訊。例如,要素是以辨識部1202辨識為1個資訊的資訊。物品管理裝置1200例如亦可辨識字模(標籤)的顯示中的顯示項目的構成要素當中的1個要素。又,物品管理裝置1200亦可辨識和字模(標籤)的顯示中的顯示項目的構成要素不同的1個要素。在像這樣將1個要素的三維位置導出作為厚板的三維位置之情況下,物品管理裝置1200例如是將已辨識的1個要素的外接矩形視為字模的顯示區域201,來進行本實施形態中所說明的處理。
又,物品管理裝置1200亦可辨識顯示於厚板的表面的2個以上的要素。顯示於厚板的表面的2個以上的要素,例如是字模(標籤)的顯示中的顯示項目的構成要素當中的2個以上的構成要素。但是,顯示於厚板的表面的2個以上的要素,不是字模(標籤)的顯示中的顯示項目的全部構成要素。又,顯示於厚板的表面的2個以上的要素,亦可是和字模(標籤)的顯示中的顯示項目的構成要素不同的要素。在像這樣將2個以上的要素的三維位置導出作為厚板的三維位置之情況下,物品管理裝置1200例如是將顯示於厚板的表面的2個以上的要素的外接矩形視為字模的顯示區域201,來進行本實施形態中所說明的處理。
又,即使是相同大小的文字,位於遠離拍攝裝置的位置之文字,拍攝起來會比位於接近拍攝裝置的位置之文字更小。利用此情形,位置導出部1206亦可依據在第1拍攝圖像中所拍到的資訊的位置及大小,來導出物品的三維位置。
<<第5變形例>> 又,物品管理裝置1200亦可具有方向導出部。方向導出部是依據物品的一表面中的複數個三維位置(x-y-z),來導出特定該物品被放置的方向之資訊。例如,方向導出部是依據圖14所示的外接矩形的2個頂點1401a、1401b的三維位置(x-y-z座標),來導出厚板的板面與基準面所形成的角度。基準面例如為地面。地面以外的面亦可為基準面。在此情況下,厚板的板面與基準面所形成角度是特定物品被放置的方向之資訊的一例。但是,特定物品被放置的方向之資訊並不限定於物品的板面與基準面所形成的角度。例如,亦可使用物品的對稱軸(中心軸)來取代物品的板面。
又,亦可取代於或除了圖14所示的外接矩形的2個頂點1401a、1401b之外,方向導出部在字模(標籤)的顯示項目的構成要素當中,使用2個以上的構成要素的三維位置(x-y-z座標)。又,亦可取代於或除了這些三維位置(x-y-z座標)之外,方向導出部使用和字模(標籤)的顯示區域不同的區域所顯示的資訊的三維位置(x-y-z座標)。
又,在採用本變形例的情況下,在圖13所示的管理表1300的非實品顯示欄位中,追加有記憶特定物品被放置的方向之資訊的欄位。在以下的說明中,是將記憶有特定物品被放置的方向之資訊的欄位稱為物品方向欄位。記憶部1207是將特定厚板被放置的方向之資訊,記憶於管理表1300之對應於該厚板的物品方向欄位。藉此,可將特定厚板被放置的方向之資訊、以及該厚板的ID及三維位置等互相建立關連來記憶。
另外,在厚板的板面相對於地面傾斜的情況下,三維位置(x-y-z座標)的導出對象的位置(點)的高度方向(z軸方向)的位置是例如以如以下的方式來導出。首先,位置導出部1206是使用雷射測距儀來導出從第1拍攝裝置到三維位置(x-y-z座標)的導出對象的資訊(點)的高度方向(z軸方向)之距離。並且,位置導出部1206是將從第1拍攝裝置的高度方向(z軸方向)的位置減去該距離後的位置,導出作為三維位置(x-y-z座標)的導出對象的資訊(點)的高度方向(z軸方向)的位置。
又,位置導出部1206亦可如<<第1變形例>>所說明,依據亮度圖像及距離圖像,來導出三維位置(x-y-z座標)的導出對象的資訊(點)的三維位置(x-y-z座標)。
<<第6變形例>> 在本實施形態中是例示以下情況:將字模(標籤)的顯示區域的x-y-z座標,導出作為字模(標籤)的顯示區域的三維位置。然而,字模(標籤)的顯示區域的三維位置並不限定於x-y-z座標。例如,字模(標籤)的顯示區域的三維位置亦可為以第1拍攝裝置的位置為基準之相對的三維位置。在像這樣地進行的情況下,亦可不使用顯示拍攝裝置的三維位置的點P的座標(x
p,y
p,z
p)。又,將x-y-z座標的原點設為第1拍攝裝置的三維位置的情況下,即使字模(標籤)的顯示區域的三維位置是以x-y-z座標來表示,仍然會顯示以第1拍攝裝置的三維位置為基準之相對的三維位置。
<<第7變形例>> 在本實施形態中例示了識別資訊取得部1210具有辨識部1202、獲得部1203、對照部1204、及特定部1205的情況。但是,只要識別資訊取得部1210能取得與位置導出部1206所導出的三維位置建立關連的厚板之識別資訊,就並不一定需要具有辨識部1202、獲得部1203、對照部1204、及特定部1205。識別資訊取得部1210亦可例如僅具有辨識部1202。又,識別資訊取得部1210亦可例如僅具有獲得部1203。又,識別資訊取得部1210亦可例如僅具有辨識部1202與獲得部1203。例如,識別資訊取得部1210亦可取得辨識部1202所辨識的ID,來作為厚板的識別資訊。在此情況下,識別資訊取得部1210亦可不具有獲得部1203、對照部1204、及特定部1205。又,例如,當成為位置的管理對象之物品是事先被限定為1個的情況下,識別資訊取得部1210亦可取得獲得部1203所獲得的ID,來作為厚板的識別資訊。在此情況下,識別資訊取得部1210亦可不具有辨識部1202、對照部1204、及特定部1205。又,例如,識別資訊取得部1210亦可在只從辨識部1202所辨識的資訊中特定厚板的情況下利用辨識部1202,在成為位置的管理對象之物品事先被限定為1個的情況下利用獲得部1203。在此情況下,識別資訊取得部1210亦可不具有對照部1204及特定部1205(亦可僅具有辨識部1202及獲得部1203)。
<<第8變形例>> 在本實施形態中例示了管理表1300是記憶於物品管理裝置1200的情況。然而,管理表1300亦可位於物品管理裝置1200的外部。
<<第9變形例>> 在本實施形態中例示了存在的位置會改變的物品為厚板的情況。然而,存在的位置會改變的物品並不限定於厚板。例如,存在的位置會改變的物品亦可為厚板以外的製造物。存在的位置會改變的物品亦可為顯示有製造者所管理的資訊之製造物。製造物亦可為例如扁胚、小鋼胚、薄板卷料、或鋼管。又,亦可為製造物以外的物品。存在的位置會改變的物品亦可為例如容器箱。
(第2實施形態) 接著,說明第2實施形態。在第1實施形態中例示了物品管理裝置1200管理存在的位置會改變的物品的位置之情況。在本實施形態中是說明物品管理裝置1200管理已安置在被安置區域的物品的位置之情況。像這樣,在本實施形態中,位置的管理對象的物品是不以存在的位置會改變為前提的物品。像這樣,在本實施形態與第1實施形態,主要的差異在於因位置的管理對象的物品是否以存在的位置會改變為前提所造成的構成及處理。從而,在本實施形態的說明中,針對和第1實施形態相同的部分,會附加和圖1~圖21中附加的符號相同的符號等並省略詳細的說明。
作為本實施形態的物品管理裝置1200所管理的物品,有例如圖22及圖23所示的物品。
圖22是顯示安置在地面的結構物的鋼骨之一例的圖。在圖22所示的例子中,被安置區域為地面。結構物例如為建築物及橋梁。此外,在圖22中為了簡單表記,簡化而顯示結構物的僅一部分的鋼骨。又,在圖22中是例示以下情況:在構成安置於地面的結構物的鋼骨之結構材2201a~2201d當中,在成為梁構件的結構材2201a~2201b的表面,顯示有ID2202a~2202b,來作為用於唯一地識別該結構材2201a~2201b的資訊。此外,結構材例如為鋼材等金屬材料。結構材2201a~2201b為H形鋼。ID2202a~2202b是對應於ID305、312的資訊。ID2202a~2202b是藉由例如字模、手寫、及刻印當中的至少任一者來顯示。又,ID2202a~2202b亦可藉由標籤來顯示。又,ID2202a~2202b以外的資訊亦可顯示於結構材2201a~2201b的表面。
另外,在圖22中,為了簡單表記,例示在結構材2201a~2201d當中僅在結構材2201a~2201b顯示有ID2202的情況。然而,在結構材2201c~2201d的表面亦可顯示有包含用於唯一地識別該結構材2201c~2201d的資訊(ID)之資訊。又,在圖22中是例示下述情況:結構材2201a及結構材2201c~2201d的連接、以及結構材2201b及結構材2201c~2201d的連接是分別藉由熔接來進行。然而,結構材2201a~2201d的連接方法並不限定於熔接的方法。例如,2個結構材亦可使用接合板體來連接。
在圖22所示的例子中,當結構材2201a~2201b安置後,藉由結構材2201a~2201b的塗裝等使結構材2201a~2201b的表面變得看不見之前,會使用第1拍攝裝置來拍攝包含ID2202a~2202b的結構材2201a~2201b的區域之拍攝圖像。像這樣,ID2202a~2202b(用於唯一地識別物品的資訊)在安置後會隱藏而變得看不見。第1拍攝圖像的作用是和第1實施形態所說明的第1拍攝圖像的作用相同。可使用例如操作人員(作業人員)的手持的第1拍攝裝置來作為第1拍攝裝置。又,亦可使用無人飛機(無人機)所具備的第1拍攝裝置來作為第1拍攝裝置。另外,在以下的說明中,會因應於需要,將包含ID2202a~2202b的結構材2201a~2201b的區域稱為結構材的ID顯示區域。結構材的ID顯示區域是對應於第1實施形態的字模(標籤)的顯示區域。
圖23是顯示安置在地下的管的一例的圖。在圖23所示的例子中,被安置區域為地下。管例如是金屬管、土管、聚氯乙烯管、及絕緣管當中的至少一種。在圖23中是例示以下情況:在已安置於地下的管2301a~2301c當中,在管2301a的表面顯示有ID2302來作為用於唯一地識別該管2301a的資訊。ID2302是對應於ID305、312的資訊。ID2302是藉由例如字模、手寫、及刻印當中的至少任一者來顯示。又,ID2302亦可藉由標籤來顯示。又,亦可如第1實施形態所說明,將ID2302以外的資訊顯示於管2301a的表面。
另外,在圖23中,為了簡單表記,例示在管2301a~2301c當中僅在管2301a顯示有ID2302的情況。然而,在管2301b~2301c的表面亦可顯示有包含用於唯一地識別該管2301b~2301c的資訊(ID)之資訊。又,在圖23中是例示使用接合構件2303a~2303b來連接管2301a~2301c的情況。然而,管2301a~2301c的連接方法並不限定於使用接合構件2303a~2303b的方法。
在圖23所示的例子中,當管2301a安置後,在將孔2304埋住而管2301a~2301c變得看不見之前,會使用第1拍攝裝置來拍攝包含ID2302的管2301a的區域之拍攝圖像。像這樣,ID2302(用於唯一地識別物品的資訊)在安置後會隱藏而變得看不見。第1拍攝圖像的作用是和第1實施形態所說明的第1拍攝圖像的作用相同。可使用例如操作人員(作業人員)的手持的第1拍攝裝置來作為第1拍攝裝置。又,亦可使用無人飛機(無人機)所具備的第1拍攝裝置來作為第1拍攝裝置。另外,在以下的說明中,會因應於需要,將包含ID2302的管2301a的區域的區域稱為管的ID顯示區域。管的ID顯示區域是對應於第1實施形態的字模(標籤)的顯示區域。
本實施形態的物品管理裝置1200的功能性構成的一例,和圖12所示的第1實施形態之物品管理裝置1200的功能性構成的一例相同。
又,本實施形態的物品管理裝置1200所管理的管理表的一例為圖24所示的管理表2400。另外,包含圖式在以下的說明中,物品管理裝置1200(記憶部1207)在管理結構材(結構材2201a~2201b等)的位置之情況下,會將用於管理結構材(結構材2201a~2201b等)的位置之資訊記憶於管理表2400中。物品管理裝置1200(記憶部1207)在管理結構材(結構材2201a~2201b等)的位置之情況下,不需要將用於管理管(管2301a等)的位置之資訊記憶於管理表2400中。另一方面,物品管理裝置1200(記憶部1207)在管理管(管2301a等)的位置之情況下,會將用於管理管(管2301a等)的位置之資訊記憶於管理表2400中。物品管理裝置1200(記憶部1207)在管理管(管2301a等)的位置之情況下,不需要將用於管理結構材(結構材2201a~2201b等)的位置之資訊記憶於管理表2400中。又,和圖13同樣地,在圖24中,相同列中的資訊也是對相同的結構材(管)的識別資訊(相同的號碼(No.)下的欄位是分別記憶有對相同的結構材(管)的識別資訊之欄位)。在以下的說明中,包含圖式,因應於需要而將結構材(結構材2201a~2201b等)及管(管2301a等)稱為位置固定物品。
又,說明本實施形態的物品管理裝置1200的處理之一例的流程圖是圖25所示的流程圖。另外,說明管理結構材的位置時之物品管理裝置1200的處理之一例的流程圖、以及說明管理管的位置時之物品管理裝置1200的處理之一例的流程圖為不同的流程圖。當圖25所示的流程圖是說明管理結構材的位置時之物品管理裝置1200的處理之一例的流程圖的情況下,在圖25中「位置固定物品」是指「結構材」。當圖25所示的流程圖是說明管理管的位置時之物品管理裝置1200的處理之一例的流程圖的情況下,在圖25中「位置固定物品」是指「管」。
在圖22及圖23中是例示在結構材2201a~2201b及管2301a上僅顯示有ID2202a~2202b、2302的情況。從而,在圖24所示的管理表2400中,在實品顯示欄位中,僅顯示記憶有該ID2202a~2202b、2302的ID欄位。然而,當在結構材2201a~2201b及管2301a上顯示有ID2202a~2202b、2302以外的資訊之情況下,記憶有該資訊的欄位亦可包含在管理表2400的實品顯示欄位中。
在管理表2400的物品位置欄位中,記憶有顯示位置固定物品的三維位置之資訊。物品位置欄位所記憶的資訊是顯示物品管理裝置1200所特定的位置固定物品的三維位置之資訊。在本實施形態中是例示以下情況:結構材的ID顯示區域的三維位置、管的ID顯示區域的三維位置分別為結構材的三維位置、管的三維位置。又,在本實施形態中,結構材的ID顯示區域的三維位置及管的ID顯示區域的三維位置是資訊顯示位置的一例。
在管理表2400的登錄時刻欄位中,記憶有顯示位置固定物品被放置於現在的位置的日期時間(由日期與時刻決定的時間點)之資訊。另外,位置固定物品被放置於現在的位置的日期時間是指進行了用於取得該日期時間的動作之日期時間。在登錄時刻欄位中,記憶有例如第1拍攝圖像的拍攝日期時間。然而,登錄時刻欄位所記憶的資訊並不限定於第1拍攝圖像的拍攝日期時間(此作法在第1實施形態中也是相同的)。例如,亦可藉由操作人員操作物品管理裝置1200的使用者介面,將位置固定物品被放置於現在的位置的日期時間之資訊輸入至物品管理裝置1200中。在本實施形態中,登錄時刻欄位所記憶的資訊是進行了用於取得物品被放置於現在的位置的日期時間之動作的日期時間之一例。
如前述,顯示於結構材2201a~2201b的ID2202a~2202b會因塗裝等而變得看不見。又,顯示於管2301a的ID2302會被埋入地下而變得看不見。在像這樣的情況下,操作人員可以藉由記憶在登錄時刻欄位的資訊,來掌握位置固定物品安置後的經過時間。從而,例如,根據例如位置固定物品安置後的經過時間,即可以判斷是否需要進行位置固定物品的修理或更換。又,藉由ID欄位及物品位置欄位所記憶的資訊,無論是否為可以視覺辨識ID2202a~2202b、2302的狀態,都可以掌握哪一個位置固定物品是存在於哪一個位置。從而,可以掌握需要修理或更換的位置固定物品是何種位置固定物品,且位於哪一個位置。據此,可以有助於處於無法視覺辨識管理表2400所記憶的資訊,例如ID(用於唯一地識別物品的資訊)的狀態之位置固定物品的修理及更換。
另外,在管理表2400的非實品顯示的欄位中,亦可包含有物品位置欄位及登錄時刻欄位以外的欄位。例如,亦可在管理表2400的非實品顯示欄位中,和第1實施形態的管理表1300同樣地記憶有物品內位置欄位及母ID欄位。又,在第1實施形態中例示了物品內位置是以厚板中的預定位置(頂點203、204)為原點的位置之情況。亦可在位置固定物品的表面的預定位置上顯示有顯示該原點的記號。在該記號的顯示上可使用例如塗料。又,平行於位置固定物品的對稱軸(中心軸)的直線亦可顯示於位置固定物品的表面。在該直線的顯示上可使用例如塗料。在像這樣地進行的情況下,第1拍攝裝置是拍攝包含位置固定物品的ID顯示區域、該記號、及該直線的第1拍攝圖像。在像這樣地進行的情況下,以顯示有該記號的位置為原點的位置即為物品內位置。又,該直線是對應於圖14及圖15所示的y軸。另外,亦可將對應於圖14所示的x軸及圖15所示的z軸之直線顯示於位置固定物品的表面。又,在管中,可考慮因應於管的外徑之曲率來決定圖14所示的x軸及圖15所示的z軸中之自原點起的距離。
又,在管理表2400的非實品顯示欄位中,亦可包含有第1實施形態的<<第5變形例>>所說明的物品方向欄位。另外,在管上並沒有板面。從而,例如,管的對稱軸(中心軸)與基準面所形成的角度會記憶在物品方向欄位中。在像這樣地進行的情況下,例如ID2302是以下述方式顯示在管2301a的表面上:使複數個構成要素(在圖23所示的例子中為「4312」)排列的方向成為事先規定的方向(例如平行於管2301a的對稱軸(中心軸)的方向)。
又,在從設計圖式中特定出位置固定物品的ID、以及該位置固定物品的三維位置的情況下,亦可在管理表2400的非實品顯示欄位中包含有不同於物品位置的物品設想位置欄位。在物品設想位置欄位中,記憶有從設計圖式特定出的位置固定物品的三維位置。
在第1實施形態中,第1圖像取得部1201、辨識部1202、獲得部1203、對照部1204、特定部1205、位置導出部1206、記憶部1207、輸出部1208、及第2圖像取得部1209是進行使用了字模(標籤)的顯示區域之處理。相對於此,在本實施形態中,第1圖像取得部1201、辨識部1202、獲得部1203、對照部1204、特定部1205、位置導出部1206、記憶部1207、輸出部1208、及第2圖像取得部1209是進行使用了結構材的ID顯示區域及管的ID顯示區域之處理。
從而,在本實施形態中,在圖25的步驟S2505中,特定部1205是依據步驟S2504的對照結果,從管理表2300中所管理的位置固定物品中特定出1個位置固定物品。
又,在本實施形態中,位置導出部1206是導出已安置於被安置區域的位置固定物品的三維位置。從而,例如當從設計圖式中事先設想到哪一個位置固定物品是安置於哪一個位置的情況下,亦可不執行圖25的步驟S2508的判定。在像這樣地進行的情況下,物品管理裝置1200亦可不具有第2圖像取得部1209。
又,在步驟S2509中,位置導出部1206亦可和第1實施形態同樣地,使用表示位置固定物品的ID顯示區域與第1拍攝裝置的幾何學上的位置關係之數式,來導出位置固定物品的三維位置。另外,表示管的ID顯示區域與第1拍攝裝置的幾何學上的位置關係之數式是使用管的表面的曲率來表示。又,亦可使用位置固定物品的ID顯示區域的資訊(尺寸)、以及第1拍攝裝置的資訊(拍攝元件的像素數及尺寸以及焦點距離),來導出位置固定物品的ID顯示區域與第1拍攝裝置的三維位置關係。另外,如在第1實施形態中所說明,在導出管的ID顯示區域與第1拍攝裝置的三維位置關係時,是使用管的ID顯示區域的形狀及尺寸、管的表面的曲率,來作為位置固定物品的ID顯示區域的資訊。又,亦可使用亮度圖像及距離圖像,來導出位置固定物品的三維位置。
又,位置導出部1206亦可判定如以上地進行而導出的位置固定物品的三維位置、與管理表的非實品顯示欄位的物品設想位置欄位所記憶的三維位置之差是否在預定的範圍內。在此情況下,當如以上地進行而導出的位置固定物品的三維位置、與管理表的非實品顯示欄位的物品設想位置欄位所記憶的三維位置之差不是在預定的範圍內之情況下,亦可進行步驟S2512的處理。
又,位置導出部1206亦可在步驟S2509中進行以下的處理。亦即,位置導出部1206亦可在管理表的非實品顯示欄位的物品設想位置欄位當中,將與步驟S2505所特定的位置固定物品相對應的欄位所記憶的三維位置,導出作為步驟S2505所特定的位置固定物品的三維位置。但是,若要像這樣地進行來導出位置固定物品的三維位置,則當位置固定物品未安置於按照設計的位置之情況下,有時會無法導出正確的位置來作為位置固定物品的三維位置。從而,在要像這樣地進行來導出位置固定物品的三維位置之情況下,作業人員(操作人員)較理想的是依據顯示S2511中所輸出的位置固定物品的三維位置之資訊,來確認該位置固定物品是否被安置在該三維位置。
又,在本實施形態中,位置導出部1206是導出已安置於被安置區域的位置固定物品的三維位置。從而,在步驟S2509中藉由位置導出部1206導出位置固定物品的三維位置之後,該位置固定物品的三維位置並不一定需要更新。圖17的步驟S1710、S1713所示的「更新」在圖25的步驟S2510、S2513中成為「記憶」就是顯示此情形。但是,在步驟S2509中藉由位置導出部1206導出位置固定物品的三維位置之後,亦可更新該位置固定物品的三維位置。例如,作業人員(操作人員)亦可依據步驟S2511中所輸出之顯示位置固定物品的三維位置之資訊,在該三維位置明顯和實際的三維位置不同的情況下,對物品管理裝置1200指示該位置固定物品的三維位置之再導出。在此情況下,會再次執行圖25的流程圖之處理,並且在步驟S2510中,更新該位置固定物品的三維位置。
如以上,在本實施形態中,物品管理裝置1200是取得包含顯示有ID的顯示區域的第1拍攝圖像,前述ID是顯示在安置於地面、地下的位置固定物品的資訊,且是該位置固定物品的製造廠商所管理的ID。物品管理裝置1200是依據該已取得的第1拍攝圖像、及拍攝該第1拍攝圖像的第1拍攝裝置的位置,來導出位置固定物品的ID顯示區域的三維位置,並將顯示該三維位置的資訊與該位置固定物品的ID建立關連而記憶於記憶媒體中。從而,例如,即使當位置固定物品已安置後,變得實際上無法確認顯示於位置固定物品的資訊之情況下,仍然可以管理哪一個位置固定物品是位於哪一個位置。據此,可以適當地管理已安置在被安置區域的位置固定物品的位置。 另外,已安置在被安置區域的物品並不限定於圖22所示的結構材及圖23所示的管。又,在本實施形態中亦可採用第1實施形態中所說明的各種變形例。
(其他變形例) 另外,以上說明的本發明的實施形態,可以藉由電腦執行程式來實現。又,記錄有前述程式的電腦可讀取的記錄媒體以及前述程式等的電腦程式產品也可以作為本發明的實施形態來應用。作為記錄媒體可以使用例如軟式磁碟(flexible disc)、硬碟、光碟、磁光碟、CD-ROM、磁帶、非揮發性的記憶卡、ROM等。又,本發明的實施形態亦可藉由PLC(可程式化邏輯控制器,Programmable Logic Controller)來實現,亦可藉由ASIC(特定用途積體電路,Application Specific Integrated Circuit)等專用的硬體來實現。 又,以上說明的本發明的實施形態均只不過是顯示實施本發明時的具體化的例子,不能用這些來限定地解釋本發明的技術性範圍。亦即,本發明可以在不脫離其技術思想或其主要特徵的情形下以各種形式來實施。
(硬體) 針對物品管理裝置1200的硬體的一例進行說明。在圖26中,物品管理裝置1200具有CPU2601、主記憶裝置2602、輔助記憶裝置2603、通訊電路2604、訊號處理電路2605、圖像處理電路2606、I/F電路2607、使用者介面2608、顯示器2609、及匯流排2610。
CPU2601是整合控制物品管理裝置1200的整體。CPU2601是將主記憶裝置2602作為工件區來使用,並執行記憶在輔助記憶裝置2603的程式。主記憶裝置2602是暫時地保存資料。輔助記憶裝置2603除了由CPU2601所執行的程式之外,還記憶有各種資料。另外,亦可使用CPU以外的處理器(例如GPU)。
通訊電路2604是用於進行與物品管理裝置1200的外部之通訊的電路。通訊電路2604亦可和物品管理裝置1200的外部進行無線通訊,亦可進行有線通訊。
訊號處理電路2605是對通訊電路2604所接收到的訊號、或按照CPU2601的控制而輸入的訊號,進行各種訊號處理。 圖像處理電路2606是對按照CPU2601的控制而輸入的訊號,進行各種圖像處理。已進行此圖像處理的訊號會輸出至例如顯示器2609。 使用者介面2608是操作人員對物品管理裝置1200進行指示的部分。使用者介面2608具有例如按鈕、開關、及刻度盤等。又,使用者介面2608亦可具有使用顯示器2609的圖形使用者介面。
顯示器2609是顯示依據於圖像處理電路2606所輸出的訊號之圖像。I/F電路2607是在與連接於I/F電路2607的裝置之間進行資料的交換。在圖26中,是顯示使用者介面2608及顯示器2609來作為連接於I/F電路2607的裝置。然而,連接於I/F電路2607的裝置並不限定於這些。例如,可攜式的記憶媒體亦可連接於I/F電路2607。又,使用者介面2608的至少一部分及顯示器2609亦可位於物品管理裝置1200的外部。 輸出部1208例如是藉由使用通訊電路2604及訊號處理電路2605、圖像處理電路2606、I/F電路2607、及顯示器2609中的至少一者來實現。
另外,CPU2601、主記憶裝置2602、輔助記憶裝置2603、訊號處理電路2605、圖像處理電路2606、及I/F電路2607是連接於匯流排2610。這些構成要素間的通訊是透過匯流排2610來進行。又,物品管理裝置1200的硬體只要可以實現前述物品管理裝置1200的功能,則不限定於圖26所示的硬體。 產業上之可利用性
本發明可以利用在例如管理物品的位置。
201,201',1111,1121,1131,1141,2001:顯示區域
202:標籤
203,204,1401a,1401b,1501a,1501b,2002a,2002b,2002c,2002d:頂點
301:標記
302:消費者名稱
303,311:規格
304,313:尺寸
305,312,2202a,2202b,2302:ID
306,315:消費者代碼
307:訂購編號
314:交期
400:輸送船
410:支架式起重機
411:載貨裝置
412:吊架
413:腳結構物
420,1002a,1002b,1100,1110,1120,1130,1140:厚板
430a,430b,430c,430d,430e,430f,430g,430h,430i,430j,430k,430l,430m,430n,430o, 430p,430q,430r,430s,430t,430u,430v,430w,430x,430y:第1拍攝裝置
440a,440b,440c:無人飛機
700:輸送車輛
1000:生產設備
1001:搬送輥(搬送工作台)
1200:物品管理裝置
1201:第1圖像取得部
1202:辨識部
1203:獲得部
1204:對照部
1205:特定部
1206:位置導出部
1207:記憶部
1208:輸出部
1209:第2圖像取得部
1210:識別資訊取得部
1300,2400:管理表
2001:四角錘
2002:拍攝元件
2003a,2003b,2003c,2003d:直線
2201a,2201b,2201c,2201d:結構材
2301a,2301b,2301c:管
2303a, 2303b:接合構件
2304:孔
2601:CPU
2602:主記憶裝置
2603:輔助記憶裝置
2604:通訊電路
2605:訊號處理電路
2606:圖像處理電路
2607:I/F電路
2608:使用者介面
2609:顯示器
2610:匯流排
B,D,E,F,O,P,Q,R,S,T,O',R':點
FP:主點
H,h
p,h
1,h
2,L,l,l
p,w
y,w
01,w
02:長度
Ls1,Ls10,Ls11:x軸座標
S1701,S1702,S1703,S1704,S1705,S1706,S1707,S1708,S1709,S1710,S1711,S1712,S1713,S2501,S2502,S2503,S2504,S2505,S2506,S2507,S2508,S2509,S2510,S2511,S2512,S2513:步驟
Ws1,Ws2,Ws3,Ws4,Ws5,Ws6,Ws7,Ws8,Ws9,Ws10,Ws11:y軸座標
(x
e,y
e):x-y座標
(x
p,y
p,z
p),(x
r,y
r,z
r),(x
s,y
s,z
s):x-y-z座標
α,β,δ,φ
B,φ
P,θ,θ
1,θ
2:角度
圖1是說明工廠中的製品的流程的一例的圖。 圖2是顯示對厚板的顯示區域的一例的圖。 圖3A是顯示字模的顯示內容的一例的圖。 圖3B是顯示標籤的顯示內容的一例的圖。 圖4是顯示對輸送船裝載及卸下厚板的情形的一例的圖。 圖5是從吊架的延伸設置方向(y軸方向)觀看厚板被載貨裝置吊起的情形的圖。 圖6A是顯示厚板的搬送形態的第1例的圖。 圖6B是顯示厚板的搬送形態的第2例的圖。 圖6C是顯示厚板的搬送形態的第3例的圖。 圖6D是顯示厚板的搬送形態的第4例的圖。 圖6E是顯示厚板的搬送形態的第5例的圖。 圖7是顯示對輸送車輛裝載及卸下厚板的情形的一例的圖。 圖8是顯示厚板已裝載於輸送車輛的狀態的一例的圖。 圖9A是顯示放置於工廠內的放置場之厚板的情形的第1例的圖。 圖9B是顯示放置於工廠內的放置場之厚板的情形的第2例的圖。 圖9C是顯示放置於工廠內的放置場之厚板的情形的第3例的圖。 圖10是顯示在生產設備中處理厚板的情形的一例的圖。 圖11是顯示原本的厚板與裁切後的厚板的一例的圖。 圖12是顯示物品管理裝置的功能上的構成的一例的圖。 圖13是顯示管理表的第1例的圖。 圖14是顯示字模的物品內位置、以及字模的顯示中的各顯示項目之構成要素的位置的一例的圖。 圖15是顯示標籤的物品內位置、以及標籤的顯示中的各顯示項目之構成要素的位置的一例的圖。 圖16A是顯示記憶於管理表的資訊的第1例的圖。 圖16B是顯示記憶於管理表的資訊的第2例的圖。 圖17是說明物品管理裝置的處理的第1例的流程圖。 圖18是說明導出字模的顯示區域的三維位置的方法的一例的圖。 圖19是說明導出字模的顯示區域的高度方向(z軸方向)的位置的方法的一例的圖。 圖20A是顯示包含字模的顯示區域的第1拍攝圖像之一例的圖。 圖20B是顯示第1拍攝裝置的內部與字模的顯示區域的幾何學關係的一例的圖。 圖21是說明導出字模的顯示區域的三維位置的方法的變形例的圖。 圖22是顯示安置在地面的結構物的鋼骨之一例的圖。 圖23是顯示安置在地下的管的一例的圖。 圖24是顯示管理表的第2例的圖。 圖25是說明物品管理裝置的處理的第2例的流程圖。 圖26是顯示物品管理裝置的硬體的構成之一例的圖。
1200:物品管理裝置
1201:第1圖像取得部
1202:辨識部
1203:獲得部
1204:對照部
1205:特定部
1206:位置導出部
1207:記憶部
1208:輸出部
1209:第2圖像取得部
1210:識別資訊取得部
Claims (11)
- 一種物品管理裝置,是管理物品的位置之物品管理裝置,其特徵在於具有: 1或2個以上的圖像取得機構,取得包含顯示資訊的區域的拍攝圖像,前述顯示資訊是顯示於前述物品; 識別資訊取得機構,取得前述物品的識別資訊; 位置導出機構,依據前述圖像取得機構所取得的前述拍攝圖像,來導出資訊顯示位置,前述資訊顯示位置是顯示有前述顯示資訊的三維位置;及 記憶機構,將前述位置導出機構所導出的前述物品中的前述資訊顯示位置,和前述識別資訊取得機構所取得的該物品的識別資訊建立關連來記憶於記憶媒體中。
- 如請求項1之物品管理裝置,其中在顯示於前述物品的前述顯示資訊中,包含有該物品的識別資訊, 前述識別資訊取得機構具有以下的至少1個機構: 辨識機構,依據前述圖像取得機構所取得的前述拍攝圖像,來辨識前述物品的識別資訊;及 獲得機構,獲得記憶於前述記憶機構的前述物品的識別資訊。
- 如請求項2之物品管理裝置,其中和前述物品的識別資訊建立關連而記憶於前述記憶媒體的前述資訊顯示位置,作為與顯示有前述顯示資訊的三維位置相關的資訊,包含與以該物品的預定位置為基準的三維位置相關的資訊, 在前述圖像取得機構所取得的前述拍攝圖像中,包含有包含前述物品的預定位置的區域。
- 如請求項2或3之物品管理裝置,其中前述識別資訊取得機構具有: 前述辨識機構; 前述獲得機構; 對照機構,對照前述辨識機構所辨識之前述物品的識別資訊、以及前述獲得機構所獲得之前述物品的識別資訊;及 特定機構,依據前述對照機構所進行的對照之結果,來特定出前述圖像取得機構所取得的前述拍攝圖像所包含之前述物品的識別資訊。
- 如請求項1至3中任一項之物品管理裝置,其中前述位置導出機構是依據2個以上的前述圖像取得機構所取得的2個以上的拍攝圖像,來導出顯示有前述顯示資訊的前述物品的面的高度方向的位置。
- 如請求項1至3中任一項之物品管理裝置,其中前述記憶機構是將前述位置導出機構所導出的前述物品中的前述資訊顯示位置作為前述物品的現在的位置而記憶於前述記憶媒體中,並且將該物品被放置於該現在的位置的日期時間,和該物品中的前述資訊顯示位置建立關連來記憶於前述記憶媒體中。
- 如請求項1至3中任一項之物品管理裝置,其中前述物品管理裝置是管理存在的位置會改變的物品的位置, 在前述物品中的前述資訊顯示位置與該物品的識別資訊已互相建立關連並記憶於前述記憶媒體的情況下,藉由前述位置導出機構新導出了該物品中的前述資訊顯示位置時,前述記憶機構將已記憶於前述記憶媒體的前述資訊顯示位置更新至前述位置導出機構新導出的前述資訊顯示位置。
- 如請求項1至3中任一項之物品管理裝置,其中前述物品管理裝置是管理已安置在被安置區域的物品的位置。
- 一種物品管理方法,是管理物品的位置之物品管理方法,其特徵在於具有: 1或2個以上的圖像取得步驟,取得包含顯示資訊的區域的拍攝圖像,前述顯示資訊是顯示於前述物品; 識別資訊取得步驟,取得前述物品的識別資訊; 位置導出步驟,依據前述圖像取得步驟所取得的前述拍攝圖像,來導出資訊顯示位置,前述資訊顯示位置是顯示有前述顯示資訊的三維位置;及 記憶步驟,將前述位置導出步驟所導出的前述物品中的前述資訊顯示位置,和前述識別資訊取得步驟所取得的該物品的識別資訊建立關連來記憶於記憶媒體中。
- 一種物品管理用資料的資料結構,具有: 顯示資訊,顯示於物品;及 非顯示資訊,不顯示於前述物品, 前述非顯示資訊包含顯示有前述顯示資訊的三維位置即資訊顯示位置, 物品管理裝置是使用於:依據包含顯示於前述物品的顯示資訊的區域的拍攝圖像,來導出該物品中的前述資訊顯示位置。
- 一種程式,是用於使電腦執行管理物品的位置的處理之程式,其特徵是使電腦執行: 1或2個以上的圖像取得步驟,取得包含顯示資訊的區域的拍攝圖像,前述顯示資訊是顯示於前述物品; 識別資訊取得步驟,取得前述物品的識別資訊; 位置導出步驟,依據前述圖像取得步驟所取得的前述拍攝圖像,來導出資訊顯示位置,前述資訊顯示位置是顯示有前述顯示資訊的三維位置;及 記憶步驟,將前述位置導出步驟所導出的前述物品中的前述資訊顯示位置,和前述識別資訊取得步驟所取得的該物品的識別資訊建立關連來記憶於記憶媒體中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111120284A TWI841973B (zh) | 2022-05-31 | 物品管理裝置、物品管理方法、及程式 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111120284A TWI841973B (zh) | 2022-05-31 | 物品管理裝置、物品管理方法、及程式 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202349152A true TW202349152A (zh) | 2023-12-16 |
TWI841973B TWI841973B (zh) | 2024-05-11 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105480864B (zh) | 一种集装箱起重机自动化检测标定系统及方法 | |
US10473594B2 (en) | Arrangement, method, apparatus and software for inspecting a container | |
CA3082445A1 (en) | Object measurement system | |
CN107324041A (zh) | 用于片盒夹持的机械手及自动片盒搬运装置 | |
JP2010008352A (ja) | 寸法測定方法及び寸法測定装置 | |
WO2009052854A1 (en) | Device, method and system for recording inspection data about a freight container | |
JP2012192490A (ja) | 荷姿認識装置 | |
JP6481178B2 (ja) | クレーンの遠隔運転方法及びクレーンの遠隔運転装置 | |
Borstell | A short survey of image processing in logistics | |
JP2006300929A (ja) | 物体の3次元位置認識装置およびデパレタイズシステム | |
CN111046983A (zh) | 标签读取系统 | |
JP2012137304A (ja) | 物流システムにおける自動計測装置 | |
US10929811B2 (en) | Systems and methods for mapping locations of cartons in pallets and containers | |
JP7288231B2 (ja) | トラッキング装置、トラッキング方法、およびプログラム | |
JP6813952B2 (ja) | 仮設モジュール組立システム | |
TWI841973B (zh) | 物品管理裝置、物品管理方法、及程式 | |
TW202349152A (zh) | 物品管理裝置、物品管理方法、物品管理用資料之資料結構、及程式 | |
JP2019014606A (ja) | 可動プロジェクタ式ピッキング装置 | |
JP7506352B2 (ja) | 物品管理装置、物品管理方法、およびプログラム | |
JP6976986B2 (ja) | 可動プロジェクタ式ピッキング装置 | |
US20240127471A1 (en) | Information processing apparatus, information processing system, information processing method, and recording medium | |
JPH09255158A (ja) | 物体配置認識装置 | |
Astafiev et al. | Method of controlling the movement of large metal products with the use of algorithms for localization and recognition of bar code markings | |
KR102588246B1 (ko) | 드론 영상을 이용한 조선소 적치장 모니터링 시스템 및 그 방법 | |
JPH08304025A (ja) | 矩形荷物の位置計測方法 |