TW202113681A - 用以形成用於一物件辨識系統之至少一實況資料庫之裝置及方法 - Google Patents
用以形成用於一物件辨識系統之至少一實況資料庫之裝置及方法 Download PDFInfo
- Publication number
- TW202113681A TW202113681A TW109119099A TW109119099A TW202113681A TW 202113681 A TW202113681 A TW 202113681A TW 109119099 A TW109119099 A TW 109119099A TW 109119099 A TW109119099 A TW 109119099A TW 202113681 A TW202113681 A TW 202113681A
- Authority
- TW
- Taiwan
- Prior art keywords
- database
- spectrum
- color space
- luminescence
- spectra
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001228 spectrum Methods 0.000 claims abstract description 110
- 238000001748 luminescence spectrum Methods 0.000 claims abstract description 44
- 238000004020 luminiscence type Methods 0.000 claims abstract description 42
- 238000000985 reflectance spectrum Methods 0.000 claims abstract description 42
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 27
- 238000004891 communication Methods 0.000 claims abstract description 27
- 238000013500 data storage Methods 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 9
- 238000000295 emission spectrum Methods 0.000 claims description 18
- 239000013589 supplement Substances 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000001502 supplementing effect Effects 0.000 abstract 1
- 238000002189 fluorescence spectrum Methods 0.000 description 29
- 239000000463 material Substances 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 19
- 238000005259 measurement Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 239000000049 pigment Substances 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 5
- 238000000576 coating method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 230000032683 aging Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004064 recycling Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000003963 antioxidant agent Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009500 colour coating Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003618 dip coating Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 235000015927 pasta Nutrition 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000006862 quantum yield reaction Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1429—Identifying or ignoring parts by sensing at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Alarm Systems (AREA)
Abstract
本發明係關於一種用以形成用於一物件辨識系統之至少一實況資料庫且用以將該至少一實況資料庫保持為最新之裝置及方法。該裝置包括至少以下組件：一資料儲存單元，其經組態以儲存不同物件之色彩空間位置及/或反射光譜及/或發光光譜；及一處理器，其經程式化以用於與該資料儲存單元及該物件辨識系統進行通信，該處理器經程式化以進行以下操作：
經由一通信介面而接收不同物件之所量測色彩空間位置及/或反射光譜及/或發光光譜，
將每一色彩空間位置及/或反射光譜及/或發光光譜指派給該等不同物件中之一者作為一標籤，
將該等色彩空間位置及/或反射光譜及/或發光光譜連同被分別指派該等色彩空間位置及/或反射光譜及/或發光光譜之該等各別不同物件一起儲存於該資料儲存單元中，從而形成該至少一實況資料庫，
藉由使用至少一個感測器及/或人工智慧工具而監測包含該等不同物件中之至少某些物件之一場景是否發生一觸發及/或辨識事件，
在該觸發及/或辨識事件發生之情形中，在該至少一資料庫中之至少一者中動態地更新及/或補充儲存於該各別至少一資料庫中之該等色彩空間位置及/或該等反射光譜及/或發光光譜，及
提供對最新色彩空間位置及/或反射光譜及/或發光光譜之立即存取。
Description
本發明係關於一種用以形成用於一物件辨識系統之至少一實況資料庫且用以將該至少一實況資料庫保持為最新之裝置及方法。
由於電子裝置之大量使用，因此電腦視覺係迅速發展之一領域，該等電子裝置能夠基於結構化光或立體視覺(僅舉幾例)經由感測器(諸如攝影機)、距離感測器(諸如LiDAR或雷達)及深度攝影機系統而收集關於其周圍環境之資訊。此等電子裝置提供將由一電腦處理單元處理之原始影像資料且因此使用人工智慧及/或電腦輔助演算法來形成對一環境或一場景之一瞭解。存在可形成對環境之此瞭解之多種方式。一般而言，形成二維或三維影像及/或地圖，且分析此等影像及/或地圖以用於形成對場景及彼場景中之物件之一瞭解。用於改良電腦視覺之一種前景係量測場景中之物件之化學組成之成分。儘管可使用環境中獲取為二維或三維影像之物件之形狀及外觀來形成對環境之一瞭解，但此等技術具有某些缺點。
在電腦視覺領域中之一種挑戰係能夠使用感測器、計算能力、光探頭等中之一最小量之資源以高準確性及低延時來在每一場景內識別儘可能多之物件。多年來，已將物件識別程序稱作遠端感測、物件識別、分類、鑑認或辨識。在本發明之範疇中，將一電腦視覺系統識別一場景中之一物件之能力稱作「物件辨識」。舉例而言，一電腦分析一圖像並識別/標記彼圖像中之一球(有時利用更進一步資訊，諸如一球之類型(籃球、足球、棒球)、品牌、內容脈絡等)歸於術語「物件辨識」。
一般而言，用於在電腦視覺系統中辨識一物件之技術可如下進行分類：技術 1 ：
實體標籤(基於影像)：條碼、QR碼、序列號、文字、圖案、全像圖等。技術 2 ：
實體標籤(基於掃描/緊密接觸)：觀看角度相依顏料、上轉換顏料、異染性材料、色彩(紅色/綠色)、發光材料。技術 3 ：
電子標籤(被動)：RFID標籤等。附接至所關注物件之裝置不具有電源、未必可見但可在其他頻率(舉例而言，無線電)下進行操作。技術 4 ：
電子標籤(主動)：無線通信、光、無線電、交通工具至交通工具、交通工具至任何事物(X)等。所關注物件上之經供電裝置發出呈各種形式之資訊。技術 5 ：
特徵檢測(基於影像)：影像分析及識別，亦即，自側面看一汽車在特定距離處之兩個輪子；針對臉部辨識之兩隻眼睛、一鼻子及嘴巴(以彼次序)等。此依賴於已知幾何形狀/形狀。技術 6 ：
基於深度學習/CNN (基於影像)：利用汽車、臉部等之經標記影像之諸多圖像來訓練一電腦，且該電腦判定將檢測之特徵並預測所關注物件是否存在於新區域中。需要針對每一類別之待識別物件而重複進行訓練程序。技術 7 ：
物件追蹤方法：以一特定次序來組織一場景中之物品並在開始時標記經排序物件。此後利用已知色彩/幾何形狀/三維座標來跟隨場景中之物件。若物件離開場景且重新進入，則「辨識」丟失。
在以下內容中，呈現上文所提及技術之某些缺點。技術 1 ：
當影像中之一物件被遮蔽或物件之僅一小部分處於視野中時，可無法讀取條碼、標誌等。此外，撓性物品上之條碼等可被扭曲，從而限制可見性。一物件之所有側面將必須攜載自一定距離處可見之較大條碼，否則僅可在近距離且具有正確定向之情況下辨識物件。舉例而言，當將要掃描一商店之貨架上之一物體上之一條碼時，此將係一問題。當在一整個場景內進行操作時，技術1依賴於可變化之周圍光照。技術 2 ：
上轉換顏料由於其較小量子產率而具有低位準之發射光，因此在觀看距離上具有限制。該等上轉換顏料需要強光探頭。該等上轉換顏料通常係不透明的且係大顆粒，從而限制塗層之選項。以下事實使該等上轉換顏料之使用進一步複雜化：與螢光及光反射相比，上轉換回應係較慢的。儘管某些應用取決於所使用之化合物而利用此獨特回應時間，但此僅在預先知曉彼感測器/物件系統之飛行距離時間時係可能的。在電腦視覺應用軟體中很少出現此情形。出於此等原因，防偽感測器具有經覆蓋/暗區段以用於讀取、具有1級或2級雷射作為探頭以及距所關注物件之一固定且有限距離以確保準確性。
類似地，觀看角度相依顏料系統僅在近距離起作用且需要在多個角度下進行觀看。而且，為了視覺上令人愉快之效果，色彩並非係均勻的。必須管理入射光光譜來獲得正確量測。在一單個影像/場景內，具有角度相依色彩塗層之一物件將沿著樣本尺寸具有對攝影機可見之多種色彩。
基於色彩之辨識係困難的，此乃因所量測色彩部分地取決於周圍光照條件。因此，針對每一場景需要參考樣本及/或受控制光照條件。不同感測器亦將具有用以區分不同色彩之不同能力，且將自一種感測器類型/製造商至另一感測器類型/製造商而不同，從而針對每一感測器需要校準檔案。
在周圍光照下基於發光之辨識係一挑戰性任務，此乃因物件之反射及發光成分被添加在一起。通常，基於發光之辨識將替代地利用一暗量測條件及對發光材料之激發區之一先驗知曉，因此可使用正確光探頭/光源。技術 3 ：
諸如RFID標籤之電子標籤需要將一電路、集電器及天線附接至所關注物品/物件，從而增加設計之成本及複雜性。RFID標籤提供當前類型資訊或不提供類型信息，但不提供精確位置資訊，除非使用場景內之諸多感測器。技術 4 ：
此等主動方法需要將所關注物件連接至一電源，此對於如一足球、一襯衫或一麵食盒之簡單物品而言係成本高昂的且因此係不實際的。技術 5 ：
預測準確性在很大程度上取決於影像之品質及攝影機在場景內之位置，此乃因遮蔽、不同觀看角度及諸如此類可容易改變結果。標誌類型影像可存在於場景內之多個位置中(亦即，一標誌可位於一球、一T恤、一帽子或一咖啡杯上)且物件辨識係藉由推斷。必須盡力將物件之視覺參數轉換為數學參數。可改變其形狀之撓性物件係成問題的，此乃因每一可能形狀必須包含於資料庫中。總是存在固有之模糊性，此乃因類似形狀之物件可被誤認為所關注物件。技術 6 ：
訓練資料集之品質決定方法之成功。針對待辨識/分類之每一物件，需要諸多訓練影像。如針對技術5之相同遮蔽及撓性物件形狀限制適用。需要利用數千個或更多影像來訓練每一類別之材料。技術 7 ：
此技術在對場景進行預組織時起作用，但此係很少實際的。若所關注物件離開場景或被完全遮蔽，則無法辨識該物件，除非與以上其他技術組合。
分類之一總數目取決於由一各別最終使用情形判定之所需準確性。儘管通用及一般化系統需要用以辨識較高數目個類別之能力，但在以下情形下基於三維位置而對待辨識之物件進行聚類以使在每一場景中可獲得之類別之數目最小化係可能的：可利用此等類別叢集來動態地更新三維位置而無需使用電腦視覺系統本身但使用可保持追蹤之其他動態資料庫。除了電腦視覺技術之外，智慧型家居、啟用電腦視覺之商店及製造以及類似受控制環境可提供此資訊以限制所需要之類別數目。
除現有技術之上文所提及缺點之外，亦存在值得提及之某些其他挑戰。用以看到一長距離之能力、用以看到小物件之能力或用以看到足夠詳細之物件之能力皆需要高解析度成像系統，亦即，高解析度攝影機、LiDAR、雷達等。高解析度需要增加相關聯感測器成本且增加待處理之資料量。
針對如自主駕駛或安全之需要即時回應之應用，延時係另一重要態樣。需要處理之資料量判定邊緣或雲端計算是否適合於應用，該雲端計算僅在資料載入較小之情況下係可能的。當邊緣計算與繁重處理一起使用時，操作系統之裝置變得更龐大且限制易用性並因此限制實施。
與在辨識/鑑認應用中使用發光材料相關聯之一個挑戰係對於該等發光材料、尤其係螢光材料隨時間降級之擔憂。針對此降級存在兩種可能結果：在曝露於環境條件(諸如紫外線輻射、濕氣、pH及溫度改變等)後，發光可隨時間減少或在光譜空間中移位。儘管利用UV吸收體、抗氧化劑、囊封技術等來使此等系統針對此等環境條件進行穩定化係可能的，但存在與每一此方法相關聯之限制。
因此，尤其係鑒於上文所提及缺點，需要適合於改良針對電腦視覺應用軟體之物件辨識能力之系統及方法。
因此，本發明之一目標係提供一種用以形成用於一物件辨識系統之至少一實況資料庫且用以將該至少一實況資料庫保持為最新之裝置及方法。
本發明提供一種具有獨立技術方案之特徵之裝置及方法。實施例係附屬技術方案及說明以及圖式之主題。
因此，提供一種用以形成用於一物件辨識系統之至少一實況資料庫且用以將該至少一實況資料庫保持為最新之裝置，該裝置包括至少以下組件：
a) 至少一個資料儲存單元，其經組態以儲存不同物件之色彩空間位置/座標及/或反射光譜及/或發光光譜；及
b) 一處理器，其經程式化以用於與該資料儲存單元進行通信，亦即，該處理器與該資料儲存單元且與該物件辨識系統進行一通信連接，該處理器經程式化以進行以下操作：
經由一通信介面而接收不同物件之色彩空間位置/座標及/或反射光譜及/或發光光譜，
將每一所接收色彩空間位置及/或反射及/或發光光譜指派給該等不同物件中之一者作為一標籤，
將該等色彩空間位置及/或反射及/或發光光譜連同被分別指派該等色彩空間位置及/或反射及/或發光光譜之該等各別不同物件一起儲存於該至少一個資料儲存單元中，從而形成該至少一實況資料庫，
藉由使用皆與該處理器連接或整合於該處理器中之至少一個感測器及/或人工智慧工具而監測包含該等不同物件中之至少某些物件之一場景是否發生一觸發事件及/或一辨識事件，
在該觸發及/或辨識事件發生之情形中，若需要，則在該至少一實況資料庫中之至少一者中動態地更新及/或補充儲存於該各別至少一資料庫中之該等色彩空間位置及/或該等反射及/或發光光譜，及
提供對最新色彩位置及/或反射光譜及/或發光光譜之立即存取。
在以下內容中，同義地使用術語「觸發事件」及「觸發及/或辨識事件」。
該裝置進一步包括一量測裝置(諸如一分光光度計)及/或一基於攝影機之量測裝置係可能的，該量測裝置及/或該基於攝影機之量測裝置與該處理器進行通信連接且經組態以判定/量測不同物件之反射光譜及/或發光光譜及/或色彩空間位置。攝影機可為一多光譜及/或一超光譜攝影機。量測裝置可為物件辨識系統之一組件。
針對監測步驟，該裝置可進一步包括皆與該處理器進行通信連接或整合於該處理器中之該至少一個感測器、特定而言至少一個視覺感測器、特定而言一攝影機及該等人工智慧工具，從而使得該處理器能夠藉助於感測器構件而檢測觸發事件及/或辨識事件，且藉助於人工智慧工具而識別觸發事件及/或辨識事件。人工智慧工具經訓練且經組態以使用來自感測器構件(亦即，至少一個感測器，諸如攝影機、麥克風、無線信號)之輸入來推斷觸發及/或辨識事件。因此，該處理器經組態以作為觸發及/或辨識事件之一直接或間接結果而宣告將被添加至該至少一實況資料庫中之至少一者或將自該至少一實況資料庫中之至少一者被刪除之至少一個物件。人工智慧工具包括或可以存取觸發事件及/或辨識事件或至少之前已被訓練之關於該等觸發事件及/或辨識事件之基本資訊以及針對結論之規則。人工智慧工具及/或感測器構件可整合於處理器中。可經由一相應經訓練神經網路而達成人工智慧工具。
此觸發及/或辨識事件可為位於該場景中之不同物件中之至少某些物件之新量測及接收之各別色彩空間位置/座標及/或反射光譜及/或發光光譜，使得亦可在各別至少一資料庫中追蹤各別物件之小且連續的改變。一進一步觸發事件可為發生具有各別新色彩空間座標及/或反射光譜及/或發光光譜之新物件明顯地進入該場景。此等色彩空間座標及/或反射光譜及/或發光光譜將被判定、特定而言量測且被指派給各別物件。舉例而言，一進一步觸發事件可為藉由人工智慧工具而對已由感測器構件接收之不同資料集進行一合併。可將可由感測器構件檢測到之任何其他動作定義為一觸發事件。由用作感測器構件之一各別接收單元接收之信用卡交易、收據、電子郵件、文字訊息亦可觸發/引起至少一實況資料庫之一更新，因此充當各別觸發事件。舉例而言，在具備上文所提及感測器構件功能(諸如分別配備有攝影機)之一廚房中拆裝雜貨將誘導處理器藉由使用上文所提及人工智慧工具而將拆開動作辨識為觸發事件。此將然後係將經拆裝物品添加至該至少一實況資料庫之觸發事件。將物品仍至垃圾箱或回收箱將類似地觸發自至少一實況資料庫移除該等物品，因此充當各別觸發事件。雜貨店收據/交易可將所購買之物品(物件)直接添加至該至少一實況資料庫。一新家庭物品之線上訂購/確認郵件可為將該物品添加至該至少一實況資料庫之一觸發事件。一新物品(物件)穿過具備一攝影機(作為感測器構件)功能之門而明顯進入將誘導處理器辨識該進入且將該物品添加至該至少一實況資料庫。類似地，一物品(物件)穿過該門而離開將觸發自該至少一實況資料庫移除彼物品。當在一AI (人工智慧)裝置(諸如一智慧型揚聲器)上將一購物清單物品添加至清單時，可將彼物品添加至該至少一實況資料庫，亦即，購物清單物品之添加係觸發事件。該AI裝置用作適合於檢測及識別一觸發及/或辨識事件之一體式裝置。
所提出裝置提供用於一基於表面化學/色彩之物件辨識系統之至少一實況資料庫。本發明解決與電腦視覺應用軟體中基於化學/色彩空間之物件辨識系統之實況資料庫形成中之褪色或色彩移位有關之問題。提出利用基於發光或色彩空間之物件辨識技術且具體而言藉由具體設計色彩空間規範以不僅包含每一物件之原始色彩空間位置及其標準偏差且亦包含具有相關聯標準偏差之一降級路徑及一周圍空間而管理用作所關注物件之各別標籤之色彩空間或反射/發光光譜。此外，所提出裝置闡述利用基於色彩/化學之辨識技術之電腦視覺系統可如何用於動態地更新實況資料庫以增加辨識效能。
進一步可能包含使用所關注物件之三維位置叢集以藉由連續監測在辨識所關注物項(物件)中之任何色彩移位而改良物件辨識預測之準確性。
在本發明之範疇內，同義地使用術語「螢光(fluorescent)」及「發光(luminescent)」。此同樣適用於術語「螢光(fluorescence)」及「發光(luminescence)」。
根據一項進一步實施例，所提出裝置包括該處理器經程式化以用於提供一主資料庫及一區域資料庫作為該至少一實況資料庫，該區域資料庫與該主資料庫結合(亦即，進行通信連接)。此外，藉由自該物件辨識系統接收該場景中之該等不同物件之經重新量測各別色彩空間位置及/或反射光譜及/或發光光譜而隨時間更新及/或補充儲存於該區域資料庫中之色彩空間位置及/或反射光譜及/或發光光譜，且因此至少追蹤在該區域資料庫中之該等各別物件之小且連續的改變。
具體而言，該區域資料庫在本端儲存於該場景中或儲存於一雲端伺服器上，該區域資料庫僅對於在本端用於該場景中之該物件辨識系統係可存取的。該主資料庫對於已訂閱使用藉由所提出裝置而形成之實況資料庫中之任一者(亦即，已被授權藉由訂閱而使用彼等資料庫)之所有物件辨識系統係可存取的。
根據一項進一步實施例，該裝置包括該處理器經程式化以用於藉由監測該等各別物件之螢光發射量值及/或螢光發射光譜形狀之改變而追蹤該等各別物件之小且連續的改變。
該裝置進一步包括該處理器經程式化以用於當一物件在該場景中係新的(新進入該場景)且由該本端使用之物件辨識系統量測的該新物件之色彩空間位置及/或反射及發光光譜可與儲存於該主資料庫中之一物件之一色彩空間位置及/或一反射光譜及/或發光光譜匹配時，藉由使用該主資料庫而由該物件之一色彩空間位置及/或一反射光譜及/或發光光譜來補充該區域資料庫。
該裝置進一步包括該處理器經程式化以用於在預定義時間間隔內或在若干個預定義事件中之一者發生時，關於該場景中之該等不同物件而使該主資料庫與該區域資料庫同步。當更新或改良主資料庫時，或當區域資料庫經歷一觸發事件(諸如一未經辨識物件、新物件購買檢測等)時，可以一設定間隔、以一非設定間隔使該主資料庫與該區域資料庫同步。
用於更新至少區域資料庫之進一步觸發及/或辨識事件由「最終使用」辨識事件定義。此等「最終使用」辨識事件之發生導致各別物件自各別區域資料庫之一迅速移除，從而增加區域資料庫效率。可將此等「最終使用」辨識事件列示為回收、處理、消耗或適合於待辨識之各別物件之其他最終使用定義。通常，具有其經指派標籤之一物件僅自區域資料庫移除且保持在主資料庫中。自主資料庫移除具有其經設計標籤之一物件之一個原因將係移除用以針對所有使用者而辨識該物件之能力。
此外，為觸發物件至一各別區域資料庫之一登記，將起始辨識事件定義為用於在此等起始辨識事件中之任一者發生時相應地更新各別區域資料庫之各別觸發及/或辨識事件。可將此等起始辨識事件列示為：拆裝、進入至場景或(感測器之)視域中、結帳離開(check out)事件(離開場景)、製造品質控制、色彩匹配量測等。舉例而言，一使用者或另一自動化系統可藉由在首次獲取一物件時將該物件添加至區域資料庫而「起始」該物件。類似地，可藉由當在物件之使用壽命結束時對其進行處置時將該物件自區域資料庫移除而「引退」該物件。另一選擇係或另外，可形成另一資料庫以追蹤被丟棄於一回收箱、廢料箱或其他實體空間中之物件之色彩位置，該等物件可用於未來任務(諸如分類/分離可回收物及/或不同類型之廢棄物以進行高效處理)中。
根據本發明之一進一步實施例，該主資料庫針對該等不同物件中之每一者包括原始物件之色彩空間位置及/或反射光譜及/或發光光譜以及自該原始物件下降之至少一個經降級/老化物件之色彩空間位置及/或反射光譜及/或發光光譜。
一物件可以多種方法被賦予(亦即，具備)發光、特定而言螢光材料。螢光材料可分散於一塗層中，可透過諸如噴霧塗佈、浸漬塗佈、線圈塗佈、捲對捲塗佈及其他之方法而施加該塗層。可將螢光材料印刷至物件上。可將螢光材料分散至物件中且擠製、模製或鑄造。某些材料及物件係自然螢光的且可利用所提出系統及/或方法來辨識。某些生物材料(蔬菜、水果、細菌、組織、蛋白質等)可被基因工程設計為螢光的。某些物件可藉由以本文中所提及之方法中之任一者來添加螢光蛋白質而被製作為螢光的。不同物件之色彩位置及/或反射及螢光光譜可由至少一個攝影機及/或至少一個分光光度計或其等之一組合量測，且提供至處理器以用於形成至少一實況資料庫。
諸多螢光及反射材料在曝露於光(特定而言紫外線光)或氧氣之情況下隨時間降級。此等材料中之大多數材料使其螢光發射之量值減小，但某些材料可經歷其螢光發射光譜形狀(亦即，其螢光光譜)之改變。在第一情形中，除了量測較低量之螢光發射量之難度之外，若具有不同降級速率之多種螢光材料存在於場景中，則可出現匹配一資料庫中之一已知螢光光譜之難度。在第二情形中，匹配一經改變螢光光譜與原始光譜之一資料庫之問題係顯著的。因此，提出主資料庫針對每一原始物件包括至少自該原始物件下降之至少一個經降級/老化物件之色彩空間位置及/或反射光譜及/或發光光譜。
本發明提出包含一區域資料庫連同一主資料庫(與該主資料庫進行通信連接)。假定場景中之一新物件具有一未經降級光譜，則將最初利用主資料庫來對該物件進行分類。一旦被檢測到，該物件便可包含於區域資料庫中以用於在未來進行更快識別。另外，可隨時間更新由物件辨識系統量測之物件之光譜，使得在區域資料庫中追蹤物件之小且連續的改變。在一物件之使用壽命結束(最終使用辨識事件)時，儘管該物件之當前發射光譜(在此期間)較佳地匹配主資料庫中之另一物件之原始發射光譜，但該物件可由區域資料庫正確地識別。
一物件不需要始終在感測器之視野中。舉例而言，感測器可位於其中首先識別一物件之一廚房備餐室中。可將該物件移除達一定時間週期(亦即，晚餐準備)且然後放回。當該物件在感測器之視野之外時，將不會自區域資料庫移除該物件，因此該物件在返回時將仍被辨識出。僅在該物件離開場景(在感測器之視野之外)達一預定義時間週期時，將自區域資料庫移除該物件。可關於正常習慣來定義此時間週期。
將陳述，不需要在本端儲存區域資料庫，該區域資料庫仍可係基於雲端的，但僅本端場景(亦即，在本端使用之物件辨識系統)將可以存取該區域資料庫。可在各種位置/區域中存在多個區域資料庫且此等區域資料庫可在某些情形中重疊。
如上文所提及，所提出裝置之另一可能實施例係使主資料庫包含各別物件之老化/所包含樣本。主資料庫將首先與各別物件之原始樣本匹配。然而，隨著時間流逝，主資料庫將進行與係所觀察物件之近似使用年限之老化/經降級樣本之比較。因此，區域資料庫與主資料庫之間的一交換係必要的。
上文所提及組件中之任何者之間(諸如處理器與資料儲存單元之間、處理器與物件辨識系統之間、處理器與量測裝置之間、處理器與感測器構件之間及區域資料庫與主資料庫之間)的每一通信連接可為一有線或一無線連接。可使用每一適合通信技術。各別組件(諸如區域資料庫及主資料庫)各自可包含用於彼此進行通信之一或多個通信介面。可使用一有線資料傳輸協定(諸如光纖分散式資料介面(FDDI)、數位訂戶線(DSL)、乙太網路、異步傳送模式(ATM)或任何其他有線傳輸協定)來執行此通信。另一選擇係，可使用多種協定(諸如一般封包無線電服務(GPRS)、通用行動電信系統(UMTS)、分碼多重存取(CDMA)、長期演進(LTE)、無線通用串列匯流排(USB)及/或任何其他無線協定)中之任一者經由無線通信網路而無線地進行該通信。各別通信可為一無線通信與一有線通信之一組合。
為達成在一場景中所觀察到之一光譜與區域資料庫及/或主資料庫中之一光譜之間的此匹配演算法，需要置信度臨限值及誤差臨限值。舉例而言，在一場景中所觀察到之一光譜與區域資料庫及/或主資料庫中之一光譜之間的一匹配必須滿足置信度臨限值以使得能夠對與所量測光譜相關聯之物件進行一識別。然而，同一物件之所量測/所觀察光譜與所指派/所儲存光譜之間仍可存在某一誤差。若此誤差大於誤差臨限值，則可需要更新區域資料庫及/或主資料庫中之光譜。
亦可藉由要求一使用者經由與處理器耦合在一起之一使用者介面自可能物件辨識/識別(區域資料庫中及/或主資料庫中)進行選擇而將其他改良添加至裝置。可藉由一輸入及輸出裝置(例如，一圖形使用者介面或一聲音介面)而達成使用者介面。可存在用於顯示各別探詢之一顯示器。另一選擇係，一擴音器可輸出任何選擇，一使用者被要求自該任何選擇來選擇可能識別中之一或多者。可經由一GUI及/或一麥克風而達成各別使用者輸入。使用者回饋用於改良資料庫內、特定而言區域資料庫內之未來識別之準確性。另一選擇係，裝置可經由使用者介面而詢問使用者一特定所選擇識別是否係正確的且使用回饋來改良區域資料庫內之未來識別。
本發明進一步係關於一種用以形成用於一物件辨識系統之至少一實況資料庫且用以將該至少一實況資料庫保持為最新之電腦實施之方法，該方法包括至少以下步驟：
經由一通信介面(例如，藉助於至少一個分光光度計)而提供不同物件之色彩空間位置/座標及/或反射光譜及/或發光光譜，
藉由一處理器而將每一色彩空間位置及/或反射光譜及/或發光光譜指派給該等不同物件中之一者作為一標籤，
藉由該處理器而將該等色彩空間位置及/或反射光譜及/或發光光譜連同被分別指派該等色彩空間位置及/或反射光譜及/或發光光譜之該等各別不同物件一起儲存於一資料儲存單元中，從而形成該至少一實況資料庫，
藉由使用皆與該處理器進行通信連接之至少一個感測器及/或人工智慧工具而監測包含該等不同物件中之至少某些物件之一場景是否發生一觸發及/或辨識事件，
在該觸發及/或辨識事件發生之情形中，若需要，則藉由該處理器而在該至少一資料庫中之至少一者中動態地更新及/或補充儲存於該至少一資料庫中之該等色彩空間位置及/或該等反射光譜及/或發光光譜，因此在該至少一資料庫中之至少一者中追蹤該等各別物件之小且連續的改變，及
提供對最新色彩位置及/或反射光譜及/或發光光譜之立即存取。
所提出方法可進一步包括以下步驟：藉助於至少一個分光光度計而量測不同物件之色彩空間位置/座標及/或反射光譜及/或發光光譜。該至少一個分光光度計可為物件辨識系統之一組件。此外，所提出方法可包括分別給不同物件提供螢光材料之步驟。
可藉由一或多個新物件明顯地進入該場景及/或藉由位於該場景中之不同物件中之一或多者之經改變各別色彩空間位置及/或光譜(其已由物件辨識系統重新量測)而達成觸發及/或辨識事件。
針對監測步驟，可提供感測器構件、特定而言一攝影機及人工智慧工具，感測器構件及人工智慧工具兩者皆與該處理器進行通信連接或整合於該處理器中，從而使得該處理器能夠藉助於感測器構件而檢測觸發事件，且藉助於各別人工智慧工具而識別觸發事件。人工智慧工具經訓練且經組態以使用來自感測器構件(諸如攝影機、麥克風、無線信號)之輸入來推斷觸發及/或辨識事件。因此，該處理器經組態以作為觸發及/或辨識事件之一直接或間接結果而宣告將被添加至該至少一實況資料庫中之至少一者或將自該至少一實況資料庫中之至少一者被刪除之至少一個物件。人工智慧工具包括或可以存取觸發及/或辨識事件或至少之前已被訓練之關於該等觸發及/或辨識事件之基本資訊以及針對結論之規則。人工智慧工具及/或感測器構件可整合於處理器中。可經由一相應經訓練神經網路而達成人工智慧工具。
根據所提出方法之一實施例，該方法進一步包括提供一主資料庫及一區域資料庫作為該至少一實況資料庫，該區域資料庫與該主資料庫結合(進行通信連接)。藉由由該物件辨識系統重新量測該場景中之該等不同物件之該等各別色彩空間位置及/或該等反射光譜及/或發光光譜或藉由監測該場景是否有新物件進入該場景或者藉由辨識一進一步觸發及/或辨識事件之發生而隨時間更新及/或補充儲存於該區域資料庫中之該等色彩空間位置及/或該等反射光譜及/或發光光譜，且因此至少追蹤在該區域資料庫中之該場景中之小且連續的改變。
該區域資料庫可在本端儲存於該場景中或儲存於一雲端伺服器上，該區域資料庫僅對於在本端用於該場景中之該物件辨識系統係可存取的。
根據所提出方法之一進一步實施例，藉由監測該等各別物件之螢光光譜之螢光發射量值/振幅及/或螢光發射光譜形狀之改變而追蹤該等各別物件之小且連續的改變。
當一物件在該場景中係新的且由該本端使用之物件辨識系統量測的該新物件之色彩空間位置及/或反射光譜及/或發光光譜可與儲存於該主資料庫中之一物件之一色彩空間位置及/或一反射光譜及/或發光光譜匹配時，藉由使用該主資料庫而由該物件之一色彩空間位置及/或一反射光譜及/或發光光譜來補充該區域資料庫。
在預定義時間間隔內或在若干個預定義事件中之至少一者發生時，關於該場景中之該等不同物件而使該主資料庫與該區域資料庫同步。取決於物件，此等更新時間間隔可為數小時、數天、數周或數月。
該主資料庫原始物包括原始物件之色彩空間位置及/或反射光譜及/或發光光譜以及自該原始物件下降之至少一個經降級/老化物件之色彩空間位置及/或反射光譜及/或發光光譜。
本發明進一步係關於一種儲存指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時致使一機器：
經由一通信介面而接收不同物件之色彩空間位置/座標及/或反射光譜及/或發光光譜，
將每一色彩空間位置及/或反射光譜及/或發光光譜指派給該等不同物件中之一者作為一標籤，
將該等色彩空間位置及/或反射光譜及/或發光光譜連同被分別指派該等色彩空間位置及/或反射光譜及/或發光光譜之該等各別不同物件一起儲存於一資料儲存單元中，從而形成至少一實況資料庫，
藉由使用至少一個感測器及/或人工智慧工具而監測包含該等不同物件中之至少某些物件之一場景是否發生一觸發及/或辨識事件，
在該觸發及/或辨識事件發生之情形中，若需要，則在該至少一資料庫中之至少一者中動態地更新及/或補充儲存於該至少一資料庫中之該等色彩空間位置及/或該等反射光譜及/或發光光譜，因此在該至少一資料庫中之至少一者中追蹤該場景中之小且連續的改變，及
提供對最新色彩位置及/或反射光譜及/或發光光譜之立即存取。
可藉由新物件明顯地進入該場景及/或藉由接收位於該場景中之該等不同物件之各別經重新量測色彩位置及/或光譜而給出此觸發及/或辨識事件。
此外，提供具有可由一或多個處理器執行之指令之一各別電腦程式產品，該等指令致使一機器執行上文所提及方法步驟。
該處理器可包含一或多個輸入單元(諸如一觸控螢幕、一音訊輸入、一移動輸入、一滑鼠、一小鍵盤輸入及/或諸如此類)或者可與該一或多個輸入單元進行通信(亦即，進行通信連接)。此外，該處理器可包含一或多個輸出單元(諸如一音訊輸出、一視訊輸出、螢幕/顯示器輸出及/或諸如此類)或者可與該一或多個輸出單元進行通信。
本發明之實施例可與一電腦系統一起使用或併入於該電腦系統中，該電腦系統可為一獨立單元或包含經由一網路(例如，網際網路或一內部網路)而與位於(舉例而言)一雲端中之一中央電腦進行通信之一或多個遠端終端或裝置。如此，本文中所闡述之資料處理單元/處理器及相關組件可為一區域電腦系統或一遠端電腦或一線上系統或者其等之一組合之一部分。本文中所闡述之資料庫，亦即，資料儲存單元及軟體可儲存於電腦內部記憶體中或儲存於一非暫時性電腦可讀媒體中。
在以下實例中進一步定義本發明。應理解，藉由指示本發明之較佳實施例而僅以圖解說明方式給出此等實例。依據以上論述及實例，熟習此項技術者可確定本發明之基本特性，且可在不背離本發明之精神及範疇之情況下作出本發明之各種改變及修改以使本發明適用於各種用途及條件。
圖1示意性地展示用於經由一物件辨識系統而使用一實況資料庫來辨識一場景中之一物件之一方法之一流程圖，該實況資料庫使用由本發明提出之方法之一實施例來形成並保持為最新。
在此處所闡述之實例中，提供一物件辨識系統，該物件辨識系統用於藉由以下操作而辨識一場景中之物件：經由一感測器(例如，一分光光度計)而感測/量測存在於場景中之物件之反射光譜及/或發光光譜，及藉助於一所量測螢光光譜而識別一特定物件，該特定物件之特定螢光光譜作為一標籤儲存於可由物件辨識系統存取之一各別實況資料庫中。
用於辨識場景中之物件之物件辨識系統至少可以存取儲存於一資料儲存單元中之一區域資料庫，該區域資料庫儲存係或已被本端定位於各別場景中之物件之螢光光譜。除此一區域資料庫之外，資料儲存單元亦可主控一主資料庫，該主資料庫與區域資料庫以通信方式連接但儲存不僅僅本端所量測物件之螢光光譜。因此，主資料庫不僅僅對於在本端用於辨識在場景本端之物件之物件辨識系統係可存取的。主資料庫亦可儲存於與儲存區域資料庫之資料儲存單元進行一通信連接之另一資料儲存單元中。
可藉由單個獨立伺服器及/或藉由一雲端伺服器而達成儲存區域資料庫之資料儲存單元以及儲存主資料庫之資料儲存單元。區域資料庫以及主資料庫兩者皆可儲存於一雲端上。
除已提及之至少一個資料儲存單元之外，用以形成用於物件辨識系統之區域資料庫及亦主資料庫且用於將區域資料庫及主資料庫保持為最新之所提出裝置亦包括一處理器，該處理器經程式化以用於與資料儲存單元及物件辨識系統進行一通信。該處理器經程式化以進行以下操作：
經由一通信介面而接收不同物件之色彩空間位置/座標及/或反射光譜及/或發光光譜，
將每一色彩空間位置及/或反射光譜及/或發光光譜指派給該等不同物件中之一者作為一標籤，
將該等色彩空間位置及/或反射光譜及/或發光光譜連同被分別指派該等色彩空間位置及/或反射光譜及/或發光光譜之該等各別不同物件一起儲存於該資料儲存單元中，從而形成至少一實況資料庫，亦即區域資料庫及/或主資料庫，
藉由使用至少一個感測器及/或人工智慧工具而監測包含該等不同物件中之至少某些物件之一場景是否發生一觸發及/或辨識事件，
藉由連續監測該場景是否發生一觸發及/或辨識事件及因此在各別資料庫中追蹤該場景中之小且連續的改變而在該區域資料庫及該主資料庫中之至少一者中動態地更新及/或補充該等色彩空間位置及/或該等反射光譜及/或發光光譜。
當使用/載入包括如圖2中所展示之指令之所提出非暫時性電腦可讀媒體之一實施例時，可由處理器執行此等方法步驟。
一觸發及/或辨識事件可為一新物件進入該場景且因此，引起/起始在該場景內對一新反射光譜及/或發光光譜進行量測。可藉由接收已存在於場景中但已隨時間降級之物件之新量測之色彩空間位置及/或反射光譜及/或發光光譜而給出一進一步觸發及/或辨識事件。
在一步驟101中，藉由在本端用於辨識一場景中之物件之一物件辨識系統而感測/量測一反射光譜及一螢光光譜。舉例而言，物件辨識系統提供待辨識/識別之一物件之一特定螢光光譜。因此，對儲存目前為止已在該場景中識別之所有物件之螢光光譜之區域資料庫進行搜尋以找到一匹配螢光光譜。在於一方法步驟102中找到一匹配之情形中，進一步檢查在區域資料庫中找到之光譜是否需要更新，此乃因所識別螢光光譜自所儲存螢光光譜偏離，但仍滿足一置信度臨限值以使得能夠基於所量測螢光光譜而進行一識別。一般而言，為實施區域資料庫，需要置信度臨限值及誤差臨限值。舉例而言，在場景中觀察到之一螢光光譜與區域資料庫中之一螢光光譜之間的一匹配必須滿足置信度臨限值以使得能夠進行一識別。然而，仍可在所觀察螢光光譜與所指派螢光光譜之間存在某一誤差。若此誤差大於誤差臨限值(如由箭頭103所指示)，則在步驟104中，更新區域資料庫中之所儲存螢光光譜。若在步驟105中表明所觀察螢光光譜及儲存於區域資料庫中之螢光光譜滿足誤差臨限值，則在一步驟106中，識別物件而無需更新區域資料庫。若在一步驟107中，在區域資料庫中未找到針對所量測螢光光譜之匹配結果，則在步驟108中，對主資料庫進行搜尋以找到與所感測/所量測螢光光譜匹配之一螢光光譜。若在步驟109中，在主資料庫中找到一匹配，則在一步驟110中，可識別物件且將所識別物件之匹配螢光光譜連同其所指派物件一起添加至區域資料庫，從而指示各別物件當前位於場景中且因此，相應地更新可被指派給各別場景之區域資料庫。若在一步驟111中，在主資料庫中無法找到匹配，則在步驟112中表明無法檢測到匹配且無法辨識物件。
進一步可能經由一輸出單元(諸如一顯示器)而輸出對可能物件之一選擇且經由一使用者介面(諸如一觸控螢幕)而要求一使用者自區域資料庫或主資料庫中之可能物件識別之此選擇來進行選擇，並且使用使用者回饋來改良區域資料庫內之未來識別之一準確性。彼意味著亦可藉由使用者回饋而動態地訓練物件辨識系統，從而動態地改良預測。亦可能經由一通信介面而詢問使用者一識別是否係正確的且使用回饋來改良區域資料庫內之未來識別。另外，若在區域資料庫及主資料庫兩者中皆無法找到匹配，則必須由一使用者手動地識別物件且可然後將該物件之新量測之螢光光譜連同各別物件一起儲存於區域資料庫及主資料庫兩者中。不僅一使用者且亦另一自動化系統可藉由在首次獲取此一物件時將該物件添加至區域資料庫而「起始」該物件。類似地，可藉由當在一物件之使用壽命結束時對其進行處置時將該物件自區域資料庫(且亦自主資料庫(若需要))移除而「引退」該物件。
已使用一特定物件之一螢光光譜之實例來闡述物件辨識程序，可使用待辨識之物件之一反射光譜及/或色彩座標來執行相同程序，前提係各別實況資料庫包括物件之反射光譜及/或色彩座標。
一般而言，一物件辨識系統可藉由使用區別性螢光發射及反射光譜作為一物件識別方法而進行操作。此需要具有已知或所量測螢光光譜及/或反射光譜之一資料庫(比較未知物件與該資料庫)且自各別資料庫選擇一最佳匹配。本發明認為用於物件辨識之諸多螢光及/或反射材料在曝露於光或氧氣之情況下隨時間降級。此等材料中之大多數材料使其螢光發射之量值減小，但某些材料可經歷其螢光發射光譜形狀(亦即，其螢光光譜)之改變。本發明現在提出包含一區域資料庫連同一主資料庫。假定進入一場景之一新物件具有一未經降級反射光譜及/或發光光譜，則將最初利用主資料庫來對該物件進行分類。一旦被檢測到，該物件便可包含於區域資料庫中以用於在未來進行更快識別。區域資料庫僅可由在本端用於各別場景中之物件辨識系統存取。另外，可隨時間更新由物件辨識系統量測之物件之螢光光譜及反射光譜，使得在區域資料庫中追蹤物件之小且連續的改變。在一物件之使用壽命結束時，儘管該物件之當前發射光譜較佳地匹配主資料庫中之另一物件之原始發射光譜，但該物件可由區域資料庫正確地識別。界定置信度臨限值及誤差臨限值。在場景中所觀察到之一光譜與區域資料庫中之光譜之間的匹配必須滿足置信度臨限值以使得能夠進行一識別。然而，由於基本螢光及反射材料隨時間之可能降級，因此仍可在所觀察反射光譜及/或螢光光譜與所指派反射光譜及/或螢光光譜之間存在某一誤差。若此誤差大於誤差臨限值，則可需要更新區域資料庫中之物件之各別光譜，從而連續檢查區域資料庫中之物件之小的改變。此使得可在即使一物件之螢光及/或反射材料已隨時間改變之情況下識別該物件。若無法找到匹配，則進行以下操作係可能的：經由一通信介面而向一使用者提供對於區域資料庫或主資料庫中之可能物件識別(其光譜超出置信度臨限值但仍在一可能識別區域中)之一選擇且要求使用者自此所提供選擇進行選擇並使用此使用者回饋來改良區域資料庫內之未來識別之準確性。另一選擇係，亦可詢問使用者一識別是否係正確的且亦使用此回饋來改良區域資料庫內之未來識別。針對起始此一使用者互動，所提出裝置提供使用者可進行某些輸入之一使用者介面(亦即，一通信介面)。此使用者介面與處理器直接連接且經由處理器而亦與各別資料庫連接。亦可藉由為一使用者提供輸入裝置之一獨立計算裝置而達成使用者介面。所有適合之已知技術係可能的。
101:步驟
102:方法步驟
103:箭頭
104:步驟
105:步驟
106:步驟
107:步驟
108:步驟
109:步驟
110:步驟
111:步驟
112:步驟
圖1示意性地展示用於使用至少一實況資料庫來進行物件辨識之方法之一流程圖，該至少一實況資料庫使用所提出裝置及/或所提出方法之一項實施例來形成及更新。
圖2示意性地展示所提出電腦可讀媒體之一實施例之指令之一流程圖。
101:步驟
102:方法步驟
103:箭頭
104:步驟
105:步驟
106:步驟
107:步驟
108:步驟
109:步驟
110:步驟
111:步驟
112:步驟
Claims (15)
- 一種用以形成用於一物件辨識系統之至少一實況資料庫且用以將該至少一實況資料庫保持為最新之裝置，該裝置包括至少以下組件： a) 一資料儲存單元，其經組態以儲存不同物件之色彩空間位置及/或反射光譜及/或發光光譜；及 b) 一處理器，其經程式化以用於與該資料儲存單元及該物件辨識系統進行通信，該處理器經程式化以進行以下操作： 經由一通信介面而接收不同物件之所量測色彩空間位置及/或反射光譜及/或發光光譜， 將每一色彩空間位置及/或反射光譜及/或發光光譜指派給該等不同物件中之一者作為一標籤， 將該等色彩空間位置及/或反射光譜及/或發光光譜連同被分別指派該等色彩空間位置及/或反射光譜及/或發光光譜之該等各別不同物件一起儲存於該資料儲存單元中，從而形成該至少一實況資料庫， 藉由使用至少一個感測器及/或人工智慧工具而監測包含該等不同物件中之至少某些物件之一場景是否發生一觸發及/或辨識事件， 在該觸發及/或辨識事件發生之情形中，在該至少一資料庫中之至少一者中動態地更新及/或補充儲存於該各別至少一資料庫中之該等色彩空間位置及/或該等反射光譜及/或發光光譜，及 提供對最新色彩空間位置及/或反射光譜及/或發光光譜之立即存取。
- 如請求項1之裝置，其進一步包括該處理器經程式化以用於提供一主資料庫及一區域資料庫作為該至少一實況資料庫，該區域資料庫係連同該主資料庫結合而用，且藉由自該物件辨識系統接收該場景中之該等不同物件中之至少某些物件之經重新量測各別色彩空間位置及/或反射光譜及/或發光光譜而隨時間更新及/或補充儲存於該區域資料庫中之該等色彩空間位置及/或該等反射光譜及/或發光光譜，且因此至少追蹤在該區域資料庫中之該等各別物件之小且連續的改變。
- 如請求項2之裝置，其中該區域資料庫在本端儲存於該場景中或儲存於一雲端伺服器上，該區域資料庫僅對於在本端用於該場景中之該物件辨識系統係可存取的。
- 如前述請求項中任一項之裝置，其進一步包括該處理器經程式化以用於藉由監測該等不同物件之螢光發射量值及/或螢光發射光譜形狀之改變而追蹤該等各別物件之小且連續的改變。
- 如請求項2至4中任一項之裝置，其進一步包括該處理器經程式化以用於當一物件在該場景中係新的且由該本端使用之物件辨識系統量測的該新物件之色彩空間位置及/或反射及發光光譜可與儲存於該主資料庫中之一物件之一色彩空間位置及/或一反射光譜及/或發光光譜匹配時，藉由使用該主資料庫而由該物件之一色彩空間位置及/或一反射光譜及/或發光光譜來補充該區域資料庫。
- 如請求項2至5中任一項之裝置，其進一步包括該處理器經程式化以用於關於該場景中之該等不同物件而使該主資料庫與該區域資料庫同步。
- 如請求項2至6中任一項之裝置，其中該主資料庫針對該等不同物件中之每一者包括原始物件之色彩空間位置及/或反射光譜及/或發光光譜以及自該原始物件下降之至少一個經降級/老化物件之色彩空間位置及/或反射光譜及/或發光光譜。
- 一種用以形成用於一物件辨識系統之至少一實況資料庫且用以將該至少一實況資料庫保持為最新之電腦實施之方法，該方法包括至少以下步驟： 經由一通信介面而提供不同物件之色彩空間位置及/或反射光譜及/或發光光譜， 藉由一處理器而將每一色彩空間位置及/或反射光譜及/或發光光譜指派給該等不同物件中之一者作為一標籤， 將該等色彩空間位置及/或反射光譜及/或發光光譜連同被分別指派該等色彩空間位置及/或反射光譜及/或發光光譜之該等各別不同物件一起儲存於一資料儲存裝置中，從而形成該至少一實況資料庫， 藉由使用至少一個感測器及/或人工智慧工具而監測包含該等不同物件中之至少某些物件之一場景是否發生一觸發及/或辨識事件， 在該觸發及/或辨識事件發生之情形中，在該至少一資料庫中之至少一者中動態地更新及/或補充儲存於該至少一資料庫中之該等色彩空間位置及/或該等反射光譜及/或發光光譜，及 提供對最新色彩位置及/或反射光譜及/或發光光譜之立即存取。
- 如請求項8之方法，其進一步包括提供一主資料庫及一區域資料庫，該區域資料庫係連同該主資料庫結合而用，且藉由由該物件辨識系統重新量測該等不同物件之該等各別色彩空間位置及/或反射光譜及/或發光光譜而隨時間更新及/或補充儲存於該區域資料庫中之該等色彩空間位置及/或該等反射光譜及/或發光光譜，且因此至少追蹤在該區域資料庫中之該等各別物件之小且連續的改變。
- 如請求項9之方法，其中該區域資料庫在本端儲存於該場景中或儲存於一雲端伺服器上，該區域資料庫僅對於在本端用於該場景中之該物件辨識系統係可存取的。
- 如請求項8至10之方法，其中藉由監測該等不同物件之螢光發射量值及/或螢光發射光譜形狀之改變而追蹤該等各別物件之小且連續的改變。
- 如請求項9至11中任一項之方法，其中當一物件在該場景中係新的且由該本端使用之物件辨識系統量測的該新物件之色彩空間位置及/或反射光譜及/或發光光譜可與儲存於該主資料庫中之一物件之一色彩空間位置及/或一反射光譜及/或發光光譜匹配時，藉由使用該主資料庫而由該物件之一色彩空間位置及/或一反射光譜及/或發光光譜來補充該區域資料庫。
- 如請求項9至12中任一項之方法，其中當若干個預定義事件中之至少一者發生時，關於該場景中之該等不同物件而使該主資料庫與該區域資料庫同步。
- 如請求項13之方法，其中該主資料庫針對該等不同物件中之每一者包括原始物件之一色彩空間位置及/或一反射光譜及/或發光光譜以及自該原始物件下降之至少一個經降級/老化物件之一色彩空間位置及/或一反射光譜及/或發光光譜。
- 一種儲存指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時致使一機器： 經由一通信介面而接收不同物件之色彩空間位置及/或反射光譜及/或發光光譜， 將每一色彩空間位置及/或反射光譜及/或發光光譜指派給該等不同物件中之一者作為一標籤， 將該等色彩空間位置及/或反射光譜及/或發光光譜連同被分別指派該等色彩空間位置及/或反射光譜及/或發光光譜之該等各別不同物件一起儲存於一資料儲存裝置中，從而形成該至少一實況資料庫， 藉由使用至少一個感測器及/或人工智慧工具而監測包含該等不同物件中之至少某些物件之一場景是否發生一觸發及/或辨識事件， 在該觸發及/或辨識事件發生之情形中，在該至少一資料庫中之至少一者中動態地更新及/或補充儲存於該至少一資料庫中之該等色彩空間位置及/或該等反射光譜及/或發光光譜，及 提供對最新色彩位置及/或反射光譜及/或發光光譜之立即存取。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962858354P | 2019-06-07 | 2019-06-07 | |
| US62/858,354 | 2019-06-07 | ||
| EP19179166.4 | 2019-06-07 | ||
| EP19179166 | 2019-06-07 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202113681A true TW202113681A (zh) | 2021-04-01 |
Family
ID=70977981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109119099A TW202113681A (zh) | 2019-06-07 | 2020-06-05 | 用以形成用於一物件辨識系統之至少一實況資料庫之裝置及方法 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US20220309766A1 (zh) |
| EP (1) | EP3980940A1 (zh) |
| JP (1) | JP7402898B2 (zh) |
| KR (1) | KR20220004741A (zh) |
| CN (1) | CN113811880A (zh) |
| AU (1) | AU2020286660A1 (zh) |
| BR (1) | BR112021019024A2 (zh) |
| CA (1) | CA3140446A1 (zh) |
| MX (1) | MX2021014924A (zh) |
| SG (1) | SG11202113368YA (zh) |
| TW (1) | TW202113681A (zh) |
| WO (1) | WO2020245440A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023180178A1 (en) * | 2022-03-23 | 2023-09-28 | Basf Coatings Gmbh | System and method for object recognition utilizing color identification and/or machine learning |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4156084B2 (ja) | 1998-07-31 | 2008-09-24 | 松下電器産業株式会社 | 移動物体追跡装置 |
| US6633043B2 (en) * | 2002-01-30 | 2003-10-14 | Ezzat M. Hegazi | Method for characterization of petroleum oils using normalized time-resolved fluorescence spectra |
| US8428310B2 (en) | 2008-02-28 | 2013-04-23 | Adt Services Gmbh | Pattern classification system and method for collective learning |
| JP4730431B2 (ja) | 2008-12-16 | 2011-07-20 | 日本ビクター株式会社 | 目標追尾装置 |
| JP5177068B2 (ja) | 2009-04-10 | 2013-04-03 | 株式会社Ｊｖｃケンウッド | 目標追尾装置、目標追尾方法 |
| JP5290865B2 (ja) | 2009-05-18 | 2013-09-18 | キヤノン株式会社 | 位置姿勢推定方法および装置 |
| SG193515A1 (en) | 2011-03-21 | 2013-10-30 | Coloright Ltd | Systems for custom coloration |
| US9122929B2 (en) * | 2012-08-17 | 2015-09-01 | Ge Aviation Systems, Llc | Method of identifying a tracked object for use in processing hyperspectral data |
| US8825371B2 (en) | 2012-12-19 | 2014-09-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Navigation of on-road vehicle based on vertical elements |
| US9212996B2 (en) | 2013-08-05 | 2015-12-15 | Tellspec, Inc. | Analyzing and correlating spectra, identifying samples and their ingredients, and displaying related personalized information |
| JP6043706B2 (ja) | 2013-09-25 | 2016-12-14 | 日本電信電話株式会社 | マッチング処理装置およびマッチング方法 |
| JP2015127910A (ja) | 2013-12-27 | 2015-07-09 | 株式会社Ｊｖｃケンウッド | 色変化検出装置、色変化検出方法及び色変化検出プログラム |
| DE102014222331B4 (de) * | 2014-10-31 | 2021-01-28 | Hochschule Für Angewandte Wissenschaften Coburg | Verfahren zur Quantifizierung der Oxidationsstabilität und/oder des Alterungsgrades eines Kraftstoffes |
| JP5901824B1 (ja) | 2015-06-01 | 2016-04-13 | ナレッジスイート株式会社 | 顔認証システム及び顔認証プログラム |
| CN105136742A (zh) * | 2015-08-21 | 2015-12-09 | 董海萍 | 基于云端光谱数据库的微型光谱仪及光谱检测方法 |
| CN108254351B (zh) * | 2016-12-29 | 2023-08-01 | 同方威视技术股份有限公司 | 用于物品查验的拉曼光谱检测方法 |
| US20180232689A1 (en) * | 2017-02-13 | 2018-08-16 | Iceberg Luxembourg S.A.R.L. | Computer Vision Based Food System And Method |
| CN108662842A (zh) * | 2017-03-27 | 2018-10-16 | 青岛海尔智能技术研发有限公司 | 冰箱内食物的检测系统与冰箱 |
-
2020
- 2020-06-05 CA CA3140446A patent/CA3140446A1/en active Pending
- 2020-06-05 SG SG11202113368YA patent/SG11202113368YA/en unknown
- 2020-06-05 JP JP2021572402A patent/JP7402898B2/ja active Active
- 2020-06-05 CN CN202080034863.4A patent/CN113811880A/zh active Pending
- 2020-06-05 MX MX2021014924A patent/MX2021014924A/es unknown
- 2020-06-05 TW TW109119099A patent/TW202113681A/zh unknown
- 2020-06-05 AU AU2020286660A patent/AU2020286660A1/en not_active Abandoned
- 2020-06-05 BR BR112021019024A patent/BR112021019024A2/pt unknown
- 2020-06-05 EP EP20730646.5A patent/EP3980940A1/en active Pending
- 2020-06-05 US US17/616,792 patent/US20220309766A1/en active Pending
- 2020-06-05 KR KR1020217039561A patent/KR20220004741A/ko unknown
- 2020-06-05 WO PCT/EP2020/065747 patent/WO2020245440A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JP7402898B2 (ja) | 2023-12-21 |
| KR20220004741A (ko) | 2022-01-11 |
| CN113811880A (zh) | 2021-12-17 |
| MX2021014924A (es) | 2022-01-24 |
| US20220309766A1 (en) | 2022-09-29 |
| SG11202113368YA (en) | 2021-12-30 |
| JP2022535887A (ja) | 2022-08-10 |
| WO2020245440A1 (en) | 2020-12-10 |
| AU2020286660A1 (en) | 2022-01-06 |
| BR112021019024A2 (pt) | 2021-12-21 |
| EP3980940A1 (en) | 2022-04-13 |
| CA3140446A1 (en) | 2020-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11087130B2 (en) | Simultaneous object localization and attribute classification using multitask deep neural networks | |
| EP3910608B1 (en) | Article identification method and system, and electronic device | |
| Wei et al. | Deep learning for retail product recognition: Challenges and techniques | |
| US10650040B2 (en) | Object recognition of feature-sparse or texture-limited subject matter | |
| KR20190031431A (ko) | 물품의 위치 파악, 식별 및 카운트하는 방법 및 시스템 | |
| US8320633B2 (en) | System and method for identifying produce | |
| US11922259B2 (en) | Universal product labeling for vision-based commerce | |
| JP2004127013A (ja) | 販売時点情報管理装置 | |
| CN109635705B (zh) | 一种基于二维码和深度学习的商品识别方法及装置 | |
| US11450119B2 (en) | Information acquisition system, control apparatus, information acquisition method, and storage medium | |
| US20200202091A1 (en) | System and method to enhance image input for object recognition system | |
| US20240112135A1 (en) | Dynamic Product Marketing Through Computer Vision | |
| Chen et al. | Analysis of the role and robustness of artificial intelligence in commodity image recognition under deep learning neural network | |
| US20220319205A1 (en) | System and method for object recognition using three dimensional mapping tools in a computer vision application | |
| AU2017231602A1 (en) | Method and system for visitor tracking at a POS area | |
| Gothai et al. | Design features of grocery product recognition using deep learning | |
| TW202113681A (zh) | 用以形成用於一物件辨識系統之至少一實況資料庫之裝置及方法 | |
| Mosberger et al. | A customized vision system for tracking humans wearing reflective safety clothing from industrial vehicles and machinery | |
| EP3629237B1 (en) | Device and method to improve the robustness against 'adversarial examples' | |
| Nesteruk et al. | PseudoAugment: Enabling Smart Checkout Adoption for New Classes Without Human Annotation | |
| KR102476498B1 (ko) | 인공지능 기반의 복합 인식을 통한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| KR102469015B1 (ko) | 서로 다른 파장 범위를 갖는 복수의 카메라를 이용한 상품 식별 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| KR102476493B1 (ko) | 상품 식별 장치 및 이를 이용한 상품 식별 방법 | |
| CN117523273A (zh) | 一种确定物品空间位置的方法、装置及电子设备 |