TW202103107A

TW202103107A - 通過計算機視覺應用進行物件識別之方法及系統

Info

Publication number: TW202103107A
Application number: TW109106497A
Authority: TW
Inventors: 由諾斯艾瑪瑞科特格魯; 馬修伊恩查爾德斯
Original assignee: 德商巴斯夫塗料有限責任公司
Priority date: 2019-03-01
Filing date: 2020-02-27
Publication date: 2021-01-16
Also published as: CN113474791A; SG11202107525QA; BR112021013986A2; KR20210127951A; AU2020230852A1; WO2020178052A1; EP3931750A1; JP2022522822A; CA3125937A1; MX2021010582A

Abstract

本發明係關於通過計算機視覺應用進行物件識別之一種方法及一種系統，該系統至少包括以下組件：待識別物件，該物件具有物件特定發光光譜圖案，光源，其係由至少兩個照明體組成且經組態以藉由在該兩個照明體之間進行切換來照明包含該待識別物件之場景，感測器，其經組態以在由該光源照明包含該物件之該場景時擷取該場景之輻射率資料，資料儲存單元，其包括連同適當指派之各別物件的螢光光譜圖案，資料處理單元，其經組態以自該場景之該輻射率資料提取物件特定螢光光譜圖案，且將經提取物件特定螢光光譜圖案與儲存於該資料儲存單元中之該等螢光光譜圖案匹配，且辨別最佳匹配螢光光譜圖案且因此辨別其經指派物件。

Description

通過計算機視覺應用進行物件識別之方法及系統

本發明係關於通過計算機視覺應用進行物件識別之一種方法及一種系統。

計算機視覺係快速發展之領域，此乃因大量使用之電子裝置能夠通過感測器(諸如相機)、距離感測器(諸如LIDAR或雷達)及基於結構化光或立體視覺之深度相機系統(僅舉幾例)收集關於其周圍環境之資訊。此等電子裝置提供將由計算機處理單元處理之原始影像資料且因此使用人工智慧及/或計算機輔助演算法來開發對環境或場景之理解。存在可如何開發對環境之此理解之多種方式。一般而言，形成2D或3D影像及/或地圖，且分析此等影像及/或地圖用於開發對場景及彼場景中之物件之理解。用於改良計算機視覺之一個前景係量測場景中之物件之化學組成之組分。雖然獲取為2D或3D影像之環境中的物件之形狀及外觀可用於開發對該環境之理解，但此等技術具有某些缺點。

計算機視覺領域中之一種挑戰係能夠使用最小量之感測器、計算能力、光探頭等資源以高準確度及低延遲來辨別每場景內儘可能多的物件。多年來，物件辨別程序一直被稱為遙測、物件辨別、分類、鑑別或識別。在本發明之範疇中，計算機視覺系統辨別場景中之物件之能力被稱為「物件識別」。舉例而言，計算機分析圖像且辨別/標示彼圖像中之球，有時甚至具有進一步資訊，諸如球之類型(籃球、足球、棒球)、品牌、情境等皆被歸入術語「物件識別」。

一般而言，用於在計算機視覺系統中識別物件之技術可分類如下：技術 1 ：實體標籤(基於影像)：條碼、QR碼、序號、文字、圖案、全息圖等。技術 2 ：實體標籤(基於掃描/緊密接觸)：視角相依顏料、向上轉換顏料、因光變色、色彩(紅色/綠色)、發光材料。技術 3 ：電子標籤(被動式)：RFID標籤等，在無電源之情況下，附接至所關注物件之裝置未必可見但可在其他頻率(舉例而言，無線電)下操作。技術 4 ：電子標籤(主動式)：無線通信、光、無線電、車對車、車對任何事物(X)等。以各種形式發射資訊的所關注物件上之供電型裝置。技術 5 ：特徵偵測(基於影像)：影像分析及辨別，亦即，自側面觀察汽車在某一距離處之兩個輪子；兩隻眼睛、一個鼻子及一張嘴巴(以彼次序)用於面部識別等。此依賴於已知幾何結構/形狀。技術 6 ：深度學習/基於CNN(基於影像)：用汽車、面部等之經標示影像之圖像中之諸多圖像訓練計算機，且計算機判定特徵以偵測且預測所關注物件是否出現在新區域中。需要重複每一類之待辨別物件之訓練程序步驟。技術 7 ：物件追蹤方法：在開始處以特定次序組織場景中之物品且標示經排序物件。其後用已知色彩/幾何結構/3D座標跟隨場景中之物件。若物件離開場景且重新進入，則「識別」丟失。在下文中，呈現以上所提及技術之某些缺點。技術 1 ：當影像中之物件被遮蔽或物件之僅一小部分處於視圖中時，條碼、標誌等可係不可讀取的。此外，撓性物品上之條碼等可被扭曲，從而限制可見性。物件之所有側將必須攜帶自一距離係可見的大條碼，否則可僅在近距離中及僅以右邊定向識別物件。此可係一問題，舉例而言當將掃描倉庫處之架子上之物件上之條碼時。當在整個場景內操作時，技術1依賴於可變化之周圍照明。技術 2 ：向上轉換顏料具有觀察距離之限制，此乃因所發射光之低位準歸因於其小的量子產率。其等需要強光探頭。其等通常係透明的及大顆粒，從而限制對於塗層之選擇。進一步複雜化其使用係與螢光及光反射相比向上轉換回應係較慢的之事實。雖然某些應用利用取決於所使用化合物之獨特回應時間，但此僅在預先知曉彼感測器/物件系統之飛行時間距離時係可能的。此情況在計算機視覺應用中很少發生。出於此等原因，防偽感測器具有用於讀取之經覆蓋/暗區段、作為探頭之類1或2雷射及針對準確度之至所關注物件之固定及有限距離。類似地，視角相依顏料系統僅在近距離中工作且需要以多個角度觀察。而且，對於視覺上舒適效應，色彩係不均勻的。入射光之光譜必須經管理以進行正確量測。在單影像/場景內，具有角度相依色彩塗層之物件將具有沿著取樣維度相機可見之多個色彩。基於色彩之識別係困難的，此乃因經量測色彩部分取決於周圍照明條件。因此，對於每場景存在參考樣本及/或受控照明條件之需要。不同感測器亦將具有區別不同色彩之不同能力，且感測器之類型/製作者彼此不同，從而需要每感測器之校準檔案。在周圍照明下基於發光之識別係挑戰性任務，此乃因物件之反射及發光分量被添加在一起。通常，基於發光之識別將改為利用暗量測條件及發光材料之激發區之先驗知識，因此可使用正確光探頭/源。技術 3 ：電子標籤(諸如RFID標籤)需要將電路、集電器及天線附接至所關注物品/物件，從而添加設計成本及複雜性。RFID標籤提供目前或無類型資訊但不精確位置資訊，除非使用在場景內之諸多感測器。技術 4 ：此等現用方法需要將所關注物件連接至電源，該電源對於像足球、襯衣或一盒麵食之簡單物品係成本高昂的且因此係不實用的。技術 5 ：預測準確度主要取決於影像之品質及場景內之相機之位置，此乃因遮蔽、不同觀察角度及諸如此類可容易改變結果。標誌類型影像可存在於場景內之多個地點中(亦即，標誌可處於球、T恤、帽子或咖啡杯上)且物件識別係藉由推理。必須很努力地將物件之視覺參數轉換為數學參數。可改變其形狀之撓性物件係有問題的，此乃因每一可能形狀必須包含於資料庫中。總是存在內在歧義，此乃因類似形狀的物件可被誤辨別為所關注物件。技術 6 ：訓練資料集之品質判定方法之成功。對於每一待識別/分類之物件，需要諸多訓練影像。適用與技術5相同之遮蔽及撓性物件形狀限制。存在用數千或更多個影像來訓練每一類材料之需要。技術 7 ：此技術在場景被預組織時有效，但此很少係實用的。若所關注物件離開場景或被完全遮蔽，則不能識別該物件，除非與以上其他技術結合。除已存在技術之以上所提及缺點之外，存在某些值得提及之其他挑戰。看見長距離之能力、看見小物件之能力或足夠詳細地看見物件之能力全部需要高解析度成像系統，亦即高解析度相機、光達、雷達等。高解析度需要增加相關聯感測器成本及增加待處理資料之數量。對於需要像自主駕駛或安全性之瞬時回應之應用，延遲係另一重要態樣。需要處理之資料之數量判定邊緣或雲端計算是否適合於該應用，若資料負載係小的則僅後者係可能的。當邊緣計算與繁重處理一起使用時，操作該等系統之裝置變得笨重且限制使用之方便性且因此限制實施。由於周圍照明條件以及主動光探頭/源係在用於物件識別之影像分析中所收集資料之重要部分，因此本發明之目標係提供將對於與成像感測器裝置相關聯之經特殊化光探頭之需要與對於視覺上舒適周圍照明之需要組合至單一照明裝置中之可能性。此外，一般而言此設計降低計算機視覺應用對周圍照明之敏感度，此乃因現在經特殊化光探頭強度與周圍照明強度直接相關，且在某些情況中，達成基於化學/物理之識別技術。因此，存在適合於簡化通過計算機視覺應用進行物件識別之需要之系統及方法之需要。

藉由具有各別獨立技術方案之特徵之系統及方法來解決以上所提及目標。由以下說明及各別相依技術方案呈現進一步實施例。

在第一態樣中，本發明之實施例提供一種通過計算機視覺應用進行物件識別之系統。所提出系統至少包括以下組件： -待識別物件，該物件具有物件特定反射及發光光譜圖案， -光源，其由至少兩個照明體組成且經組態以對需求給予一特定光譜回應且藉由在該至少兩個照明體之間進行切換來照明包含該待識別物件之場景，其中該至少兩個照明體中之至少一者基於至少一個固態系統， -感測器，其經組態以在由該光源照明包含該物件之該場景時量測該場景之輻射率資料， -資料儲存單元，其儲存且提供連同適當指派之各別物件的發光光譜圖案， -資料處理單元，其經組態以自該場景之該輻射率資料提取/估計該待識別物件之該物件特定發光光譜圖案，且將該經估計/經提取物件特定發光光譜圖案與儲存於該資料儲存單元中之該等發光光譜圖案比較/匹配，且辨別最佳匹配發光光譜圖案，且因此辨別經指派至該經辨別最佳匹配發光光譜圖案之該物件。

該至少一個固態系統可選自包括以下各項之固態系統之群組：半導體發光二極體(LED)、有機發光二極體(OLED)或聚合物發光二極體(PLED)。

在某些實施例中，在該光源之該等照明體之間以快於人類眼睛可偵測的速率切換可係有利的。將快速切換LED搭配寬發射頻帶或更理想地窄頻帶使用可係較佳的。

藉由設計獨特發光光譜圖案且形成物件/製品之發光光譜圖案之資料庫，使用所提出系統來識別顯示彼等發光光譜圖案中之一者之物件係可能的。所提出系統允許辨別由感測器拍攝之影像之光譜維度中之離散發光光譜圖案。要闡明的是光譜特性之數目係獨立於該待識別物件之形狀。此使得所提出系統能夠在分類之數目上不受限於物件之幾何結構/形狀。具有相同形狀及甚至相同色彩之物件可藉由分析由該資料處理單元提取之化學(發光)資訊來區別。

根據該系統之一可能實施例，該系統進一步包括顯示單元，該顯示單元經組態以至少顯示經指派至該經辨別最佳匹配發光光譜圖案之經辨別物件。

根據另一實施例，該待識別物件被賦予(例如，塗佈)預界定表面發光材料(特定而言，發光染料)，該發光材料之發光化學性質(亦即發光光譜圖案)係已知的且用作標籤。藉由將該物件之發光化學性質用作標籤，物件識別係可能的而不管該物件之形狀或部分遮蔽如何。

發光係自無熱量之材料發射光之性質。各種發光機制(諸如化學發光、機械發光及電發光)係已知的。光致發光係歸因於其他光子之吸收的光/光子之發射。光致發光包含螢光、磷光、向上轉換及拉曼散射(Raman scattering)。光致發光、螢光及磷光能夠在普通光條件下改變物件之色彩外觀。雖然在螢光與磷光之化學機制與時間尺度之間存在差異，但對於大部分計算機視覺系統，其等將顯現為相同。在本發明之範疇內，多數情況下使用術語「螢光（fluorescense）」及「螢光（fluorescent）」(例示性地且作為佔位符)，然而，各種發光機制可應用於本發明。

可以各種方法賦予(亦即，提供)該物件螢光材料。可使螢光材料分散成塗層，可透過方法(諸如旋塗、浸漬塗佈、線圈塗佈、捲對捲塗佈及其他塗佈)施加該塗層。可將該螢光材料印刷於該物件上。可將該螢光材料分散至該物件中且擠壓、模製或鑄造。某些材料及物件係自然螢光的且可用所提出系統及/或方法識別。某些生物材料(蔬菜、水果、細菌、組織，蛋白質等)在基因上工程化為螢光的。可藉由以本文中所提及方式中之任一者添加螢光蛋白來使某些物件成為螢光的。

大量螢光材料係可商購的。理論上，任何螢光材料應適合於計算機視覺應用，此乃因待辨別物件之螢光光譜圖案係在生產之後量測。主要限制係螢光材料之耐久性及與主體材料(待識別物件之)相容性。適合螢光材料之一項實例係染料之BASF Lumogen^® F系列，諸如，舉例而言，黃色170、橙色240、粉紅色285、紅色305、黃色170與橙色240之組合或其任何其他組合。適合螢光材料之另一實例係Clariant Hostasol^® 螢光染料紅色GG、紅色5B及黃色3G。光學增亮劑係一類螢光材料，該等螢光材料通常包含於物件配方中以減少諸多有機聚合物之黃色色彩。其等藉由使不可見紫外線光發螢光成可見藍色光，因此使所生產物件顯現為較白而起作用。諸多光學增亮劑係可商購的，包含BASF Tinopal^® SFP及Tinopal^® NFW及Clariant Telalux^® KSI及Telalux^® OB1。

根據所提出系統之又一實施例，該資料處理單元經組態以藉由在該經提取/經估計物件特定螢光光譜圖案與該等經儲存螢光光譜圖案之間使用任何數目之匹配演算法來辨別該最佳匹配螢光光譜圖案，該等匹配演算法選自包括但不限於以下各項之群組：最低均方根誤差、最低平均絕對誤差、最高判定係數、最大波長值之匹配。

該處理單元進一步經組態以使用該至少兩個照明體下之該經量測輻射率資料來估計/計算該物件之螢光光譜圖案且然後，將該經估計/經計算螢光光譜圖案與複數個螢光光譜圖案之已知資料庫匹配。根據所主張系統之一實施例，該處理單元經組態以使用該至少兩個照明體下之該經量測輻射率資料來估計多步驟最佳化程序中之物件之發光光譜圖案及反射光譜圖案。

該感測器一般而言係具有光子計數能力之光學感測器。更具體而言，其可係單色相機或RGB相機或多光譜相機或高光譜相機。該感測器可係以上感測器中之任一者之組合，或以上感測器中之任一者與可調諧或可選擇濾光器組之組合，諸如，舉例而言，具有特定濾光器之單色感測器。該感測器可量測該場景之單個像素或一次量測諸多像素。光學感測器可經組態以計數特定光譜範圍中之光子，特定而言在多於三個頻帶中。其可係具有用於大視野之多個像素之相機，特定而言同時讀取所有頻帶或在不同時間讀取不同頻帶。

多光譜相機擷取跨越電磁光譜之特定波長範圍內之影像資料。該等波長可藉由濾光器或藉由使用對特定波長敏感之儀器而分離，該等特定波長包含來自超過可見光範圍之頻率之光，亦即紅外線及紫外線。光譜成像可允許提取人類眼睛對於紅色、綠色及藍色不能用其感受器擷取之額外資訊。多光譜相機量測小數目(通常3個至15個)之光譜頻帶中之光。高光譜相機係特殊情況之光譜相機，其中通常可獲取數以百計之連續光譜頻帶。

該光源較佳地被選為能夠在至少兩個不同照明體之間切換。對於某些方法，可需要三個或更多個照明體。照明體之總組合被稱作該光源。這樣做的一種方法係由不同波長發光二極體(LED)形成照明體。LED可迅速地接通及關閉，從而允許在照明體之間快速切換。亦可使用具有不同發射之螢光光源。亦可使用具有不同濾光器之白熾燈光源。可以對人類眼睛係不可見的速率在照明體之間切換該光源。類正弦照明體亦可形成有LED或其他光源，此對所提出計算機視覺演算法中之某些係有用的。

經組態以量測該場景之輻射率資料之感測器係與光源在照明體之間的切換聯繫且同步。其可經組態以僅在一個照明體係作用中之時間週期期間擷取資訊。其可經組態以在一或多個照明體係作用中之期間擷取/量測資訊，且使用各種演算法來計算且發出照明體之子集之輻射率。其可經組態以在光源之啟動之前、之後或期間之一特定週期擷取場景輻射率，且可持續長於或短於光脈衝。此意味著感測器係與切換聯繫，但未必需要在僅一個照明體係作用中之時間週期期間擷取輻射率資料。此程序步驟在某些系統中可係有利的以減少雜訊，或歸因於感測器時序限制。

感測器與光源同步且感測器在感測器積分時間期間追蹤照明體之狀態係可能的。光源之光譜改變由控制單元通過網路來管理，從而與感測器之積分時間同步工作。連接至網路之多個光源可經同步以具有相同時間及光譜改變頻率，從而放大效應。

在另一態樣中，本發明之實施例係關於一種通過計算機視覺應用進行物件識別之方法。所提出方法至少包括以下方法步驟： -提供具有物件特定反射及螢光光譜圖案之物件，該物件係待識別的， -藉由在至少兩個照明體之間進行切換而用由該至少兩個照明體組成之光源來照明包含該物件之場景，其中該至少兩個照明體中之至少一者基於至少一個固態系統， -在包含該待識別物件之該場景由該光源照明時，借助感測器量測該場景之輻射率資料， -為資料儲存單元(諸如資料庫)提供與適當指派之各別物件聯繫之螢光光譜圖案， -藉由資料處理單元，自該場景之該輻射率資料估計該待識別物件之物件特定螢光光譜圖案，及 -藉由該資料處理單元，將該待識別物件之該經估計物件特定螢光光譜圖案與儲存於該資料儲存單元中之該等螢光光譜圖案比較/匹配，及 -藉由該資料處理單元，辨別最佳匹配螢光光譜圖案且因此，辨別經指派至該最佳匹配螢光光譜圖案之物件。

根據可能實施例，在人工物件之情況中，提供具有物件特定反射及螢光光譜圖案之物件之步驟包括，舉例而言用螢光材料將螢光賦予至該待識別物件。

在自然物件作為該待識別物件之情況中，該物件本質上已具有物件特定反射及螢光光譜圖案係可能的。

將螢光賦予至該物件之步驟可藉由用該螢光材料塗佈該物件或以其他方式將螢光賦予至該物件之表面而達成。在後者情況中，螢光可遍及整個物件分佈且可因此亦可在該表面處偵測。

根據所提出方法之可能實施例，該方法進一步包括通過顯示裝置來顯示被指派至該經辨別最佳匹配螢光光譜圖案之至少經辨別物件之步驟。

所提出方法之匹配步驟特定而言包括藉由在該經估計物件特定螢光光譜圖案與該等經儲存螢光光譜圖案之間使用任何數目之匹配演算法來辨別該最佳匹配螢光光譜圖案，該等匹配演算法選自包括但不限於以下各項之群組：最低均方根誤差、最低平均絕對誤差、最高判定係數、最大波長值之匹配。一般而言，該等匹配演算法係任意的。

所提出方法之估計步驟特定而言包括使用該至少兩個照明體下之該經量測輻射率資料來估計該物件之螢光光譜及反射光譜。

提供該資料儲存單元之步驟包括藉由設計多個螢光配方形成物件之螢光化學性質資訊(亦即物件/製品之螢光光譜圖案)之資料庫，將每螢光配方施加且因此指派至物件，使得該物件在由該光源照明時獲得且顯示物件特定螢光光譜圖案。此可藉由使用具有不同發射輪廓之螢光化學品以特定比率之特定混合物來達成不同獨特光譜圖徵/螢光光譜圖案而達成。

特定而言，該光源被選為具有兩個照明體及在該兩個照明體之間具有短切換時間之可切換光源，亦即該兩個照明體在彼此之中迅速改變。進一步可能的係該兩個照明體係兩個相反相位之類正弦照明體。該兩個照明體可被選為LED照明體。

擷取該場景之該輻射率資料之步驟特定而言由感測器執行，該感測器與該光源在該至少兩個照明體之間之切換聯繫且同步。僅在一個照明體係作用中之時間週期期間擷取資訊係可能的。另一選擇係，在一或多個照明體係作用中之時間週期期間擷取資訊且使用各種演算法來計算該等照明體之子集之輻射率係可能的。

在另一態樣中，本發明之實施例提供具有可由計算機執行之指令之計算機程式產品，該計算機程序產品包括實現/執行/運行所提出方法之該等實施例中之任一者之指令。

本發明係關於一種系統及一種方法，其中在受控及時間照明條件下及在所關注光譜頻帶/線處表徵待識別物件之螢光光譜，同時將施加至該待識別物件之螢光配方之光譜圖徵用於計算機視覺應用中之物件識別。所提出系統及方法藉由使用螢光化學性質(亦即作為標籤之該待識別物件之螢光光譜圖案)達成物件之識別，而不管其形狀、周圍照明及部分遮蔽如何。

為了提供所提出系統之資料儲存單元，使用針對特定物件/製品量測且因此與彼等物件聯繫之獨特螢光光譜圖案以便形成特定物件之螢光化性質資訊之資料庫。螢光作為添加劑、塗層、塗料等被施加或其係生物材料(亦即水果、蔬菜)之部分，或者其自然存在(不是人工放置)但可偵測。該資料儲存單元提供獨特螢光光譜圖案之工具，每一獨特螢光光譜圖案與特定物件唯一地聯繫。借助資料儲存單元，使得所提出系統能夠使用所提出系統藉由以下操作來識別顯示特定螢光化學性質之物件：首先藉由光源照明各別物件，藉由感測器感測物件之輻射率資料且藉由資料處理單元自輻射率資料估計物件特定螢光光譜圖案且將經估計物件特定螢光光譜圖案與儲存於該資料儲存單元中之螢光光譜圖案比較。

此項技術中已知，與其他技術相比，具有可容易界定且偵測之經工程化特徵係在視覺上辨別物件之最具計算效率之方式。舉例而言，藉由條碼之掃描，系統立即連接至資料庫以辨別掃描之物件。類似地，所提出系統歸因於其在影像之光譜維度中辨別離散螢光光譜圖案之能力甚至更高效，像條碼讀取器在空間維度中操作。光譜特性之數目獨立於所關注之物件之形狀。此使得所提出系統及方法能夠在分類之數目上不受限於物件之幾何結構/形狀。具有相同形狀及甚至相同色彩之物件可藉由分析由計算機視覺系統提取之螢光化學性質來區別。

本發明之關鍵態樣中之一者係可將周圍照明元件作為光探頭用於所提出系統及方法。室內條件通常需要存在受控及均勻照明環境以促進計算機視覺應用。然而，所提出系統及方法替代地利用照明條件之差異來識別物件。此外，該系統之一項獨特態樣係其利用來自LED光源或可比較配置之周圍照明之迅速改變以自各別物件提取螢光化學性質資訊。此等照明條件之迅速改變對人類眼睛係不可見的，且照明源之光譜改變可由該系統透過網路來管理，從而與感測器之積分時間同步工作。連接至網路之多個光源可經同步以具有相同時間及光譜改變頻率，從而放大效應。

本發明之另一獨特態樣係物件之螢光(或化學性質)資訊可與關於彼物件之資訊(亦即材料之類型、價格、手冊等)及保持在動態(實時)資料庫(亦即追蹤且更新3D地圖中之資訊之資料儲存單元)處之資訊聯繫在一起。藉由使用所提出系統及可能結合其他方法來動態地追蹤3D空間中之物件，所提出系統將具備藉由彼等物件之3D位置區別兩個相同物件之能力，只要物件位置動態地更新且物件處於所提出系統之感測器之視野中。

強調所提出系統之獨特效用之以上所提及實例係不完整的且其不意欲限於彼等特定應用。其他應用可基於使用包含單色、RGB類型、光之多光譜或高光譜感測器之各種類型之相機之平臺。

根據所提出方法之一項實施例，待識別物件具備選自至少包括以下各項之群組之發光材料：

在UV、VIS、NIR及/或IR中具有螢光(Stokes)特性之任何材料、在VIS及/或NIR中具有向上轉換(反Stokes)特性之任何材料、設計有螢光效應之生物材料、設計有自然螢光效應之生物材料及/或食物著色劑。

用於將發光材料賦予待識別物件之技術可被選為以下技術之一種或組合：噴塗、輥壓、壓延、沈積(PVC、CVD等)、擠出、薄膜施加/黏附、玻璃形成、模製技術、諸如油墨之印刷、所有類型之凹版印刷、噴墨、添加劑製造、織物/紡織品處理(染料或印刷程序)、染料/顏料吸收、拉製(手/其他)、賦予黏著劑、賦予標示、賦予標籤、化學表面接枝、乾賦予、濕賦予、提供成固體之混合物、提供反應性/非反應性染料。

量測場景之輻射率資料之感測器可選自至少包括以下各項之群組：所有類型之光電二極體、涵蓋自250 nm及以上之波長之感測器、涵蓋高至1800 nm波長之感測器、具有動態或靜態濾光器之感測器、基於稜鏡或可比較空間波長分離系統、多個相機、立體相機、高光譜感測器(≥10頻帶)、多光譜感測器(＞3頻帶)、RGB感測器(3頻帶)、涵蓋所有頻帶或僅經選擇頻帶之感測器、涵蓋所有圖框速率之感測器、回應於光子及/或電磁輻射(250 nm至1800 nm)之其他感測器、包括偏光濾光器(圓形、線性等)之感測器、具有非偏光濾光器之感測器。

資料庫可儲存於邊緣計算系統上或其可儲存於雲端上。資料可與或不與關於所附接各別物件之額外資訊廣告、價格、所有者、SDS、卡路里值、處方一起儲存。進一步，資料可具備各別物件之過期日期、製造日期、名稱、儲放壽命、配料列表、位置、時間戳記。進一步，資料可具備關於各別物件之使用說明、製造商、原產地、回收指南、手冊、額定值、評論。進一步，資料可具備關於各別物件之以下各項：關於交通標牌資訊之資訊、關於材料之類型(諸如紡織品、布匹、牽狗繩、自行車、汽車等)之資料。進一步，其可具備關於各別物件之使用位準、剩餘數量、重量、體積、酒精含量、所消耗酒精之資料。

經指派至最佳匹配發光光譜圖案之經辨別物件可通過以下裝置之一種或組合來顯示：智慧眼鏡、智慧電話、智慧鐘錶、其他可穿戴設備(諸如胸部相機、間諜相機、鞋子、襯衣、紐扣、隱形眼鏡)、安全相機、運載工具、無人機、機器人、家庭助理、膝上型電腦、平板電腦、交通監視相機、室內及室外系統、行動或固定系統、TV、玩具、可攜式掃描器、固定掃描器、咖啡機、家庭電器、工業機器、生產裝備/設備、回收/分選裝備、智慧垃圾桶、智慧回收桶、鋼筆。

所提出方法具有諸多應用領域。因此，舉例而言，其可用於：物件識別、物件追蹤、物件之分類、物件辨別、物件定位、庫存管理、自動化訂購、零售、線上商店、事故預防自主運載工具、防偽、擴增實境或混合實境應用、廣告、健身/健康管理、倉儲、製造、組裝、計數、學習、運動、指南、手冊、指導、烹調及人工智慧支援。

在以下實例中進一步界定本發明。應理解，藉由指示本發明之較佳實施例，僅以圖解說明之方式給出此等實例。依據以上論述及實例，熟習此項技術者可確定本發明之基本特性，且可在不背離其精神及範疇之情況下對本發明做出各種改變及修改以使其適用於各種用途及條件。

圖1a及圖 1b示意地展示所提出系統100之實施例。系統100包含至少一個待識別物件130。進一步，系統100包含可由成像器(諸如相機，特定而言多光譜或高光譜相機)實現之感測器120。系統100進一步包含光源110。光源110係由不同個別照明體組成，該等照明體之數目及其本質取決於所使用方法。對於如圖1a中所指示之實例1，提供三個照明體且三個照明體係可商購之白熾燈111、緊湊型螢光燈112及白光LED 113燈泡。光源亦可由如圖1b中所展示之兩個照明體組成。對於實例2，僅提供兩個照明體，兩個照明體係定製LED照明體114及115。照明體114由以5 V操作之三個LED構成。一個LED係來自VCC(VAOL-5GUV0T4)之400 nm LED，具有3300歐姆之直插式電阻器。第二LED係來自Lumex^® (SSL-LX5093UEGC)之500 nm LED，具有3300歐姆之直插式電阻器。第三LED係來自Lumex^® (SSL-LX5094SOC)之610 nm LED，具有680歐姆之直插式電阻器。照明體115由以5 V操作之三個LED構成。一個LED係來自Cree,Inc.(C503B-BCS-CV0Z0461)之470 nm LED，具有5000歐姆之直插式電阻器。第二LED係來自Kingbright^® (WP7113CGCK)之574 nm LED，具有100歐姆之直插式電阻器。第三LED係來自VCC(VAOL-5GAE4)之643 nm LED，具有47歐姆之直插式電阻器。

光源可經組態以藉由在不同照明體(圖1a中之111、112及113，或圖1b中之114及115)之間迅速切換來照明包含待識別物件130之場景。系統100進一步包括資料處理單元，亦即CPU 140，其經組態以估計具有儲存於資料儲存單元150中之反射及/或螢光光譜圖案之物件特定反射及/或螢光光譜圖案，資料儲存單元150無線地或經由線與CPU 140連接，及辨別最佳匹配反射及/或螢光光譜圖案且因此經指派至該最佳匹配反射及/或螢光光譜圖案之物件。系統100進一步包含顯示單元160，其經組態以顯示指派至經辨別最佳匹配螢光光譜圖案之至少經辨別物件。系統100可包括多於一個感測器、多於一個光源及/或多於一個物件，其中該系統之所有組件形成網路。使用系統100，執行用於物件識別之所提出方法之一實施例係可能的。賦予待識別物件130螢光材料，因此為該物件提供物件特定反射及螢光光譜圖案。為形成具有獨特螢光光譜圖案/圖徵之材料，使用擴散至單組分汽車清漆中之BASF Lumogen^® F系列染料。包含黃色170、橙色240、粉紅色285或紅色305(標識為A、B、C及D)及黃色170與橙色240之組合(標識為E)之四種不同染料用於形成實例1及2之材料。經設色清漆係以200微米厚度壓延至白色鋼板上且固化。可使用將螢光施加至物件之其他方法。

用由多個照明體組成之光源110照明經塗佈物件130。可以對人類眼睛係不可見的速率迅速切換照明體，且照明體改變由所提出系統透過網路來管理，從而與感測器120之積分時間同步工作。一般而言，連接至網路之多個光源可經同步以具有相同時間及光譜改變頻率從而放大效應係可能的。當包含物件130之場景由光源110照明時，包含物件130之場景之輻射率資料由感測器120擷取/量測。資料處理單元140藉由首先將物件之螢光與反射光譜分離而自場景之輻射率資料估計物件特定反射及/或螢光光譜圖案。

已知將螢光與反射分離之多種方法。用於實例1中之方法闡述於Yinqiang Zheng、Imari Sato及Yoichi Sato，「Spectra Estimation of Fluorescent and Reflective Scenes by Using Ordinary Illuminates」，ECCV 2014,Part V, LNCS 8693,pp.188-202,2014中。其中所闡述之方法在三個不同寬頻帶照明體下用高光譜相機使螢光材料成像。此論文全部以引用的方式併入。

根據本發明，在如圖1a中所展示之三個不同照明體111、112及113下使用經量測輻射率資料，在多步驟最佳化程序中計算反射及螢光光譜圖案。由處理單元140將物件130之經計算螢光光譜圖案與來自儲存於資料庫150中之材料庫之已知及經量測(使用螢光計)光譜圖案比較。資料庫150包含分別與特定物件聯繫之多個螢光光譜圖案。為形成此資料庫，設計不同螢光配方且將彼等螢光配方應用於各別不同物件上使得每一物件與物件特定螢光光譜圖案唯一聯繫係可能的。螢光配方可藉由使用具有不同發射輪廓之螢光化學品以特定比率之特定混合物來分別達成獨特光譜圖徵而設計。施加至物件130之螢光材料然後可藉由經計算物件特定螢光光譜圖案與儲存於資料庫150中之已知材料光譜圖案之間的任何數目之匹配演算法(舉例而言，藉由最低均方根誤差、最低平均絕對誤差、最高判定係數、或最大發射波長值之匹配)而辨別。螢光材料之辨別然後允許使用資料庫資訊來辨別物件130。

最後，資料處理單元140將經估計螢光光譜圖案與儲存於資料儲存單元150中之物件特定螢光光譜圖案匹配且辨別最佳匹配螢光光譜圖案。最後，資料處理單元140可借助經辨別最佳匹配螢光光譜圖案自資料儲存單元150讀取出與此最佳匹配螢光光譜圖案聯繫之物件，且可將該物件連同螢光光譜圖案一起顯示在顯示單元160上。

成像器120可係高光譜相機或多光譜感測器。替代高光譜感測器中之24或更多個個別感測器頻帶，多光譜感測器具有大約4至20個感測器頻帶。多光譜感測器可在快照模式中操作，從而在單個曝光期間擷取整個場景。相比而言，高光譜感測器通常在線掃描模式中操作，意味著其等無法一次成像整個場景。另外，多光譜感測器比高光譜相機更具經濟性。多光譜感測器不具有與高光譜相機相同之光譜解析度，但其等足以使用所提出方法與適當匹配演算法來預測材料辨別。感測器亦可以單色方式操作、具有改變透過時序量測之光譜區之機制。感測器可與窄頻帶濾光器一起操作。在窄頻帶濾光器對應於夫朗和斐線(Fraunhofer lines)(其係由於太陽內元素吸收而自太陽光譜丟失之波長)時，此在室外條件或具有太陽照明組件之其他條件中可係有用的。以此方式，可大量排除與人工光源相比可係超功率之太陽輻射，從而允許反射與螢光之分離及因此物件辨別。

螢光物件130係在如圖1a中所指示之實例1之不同照明體111、112及113或如圖1b中所指示之實例2之LED照明體114及115下成像。所使用感測器120係用於實例1及2之Resonon Pika L高光譜成像器，由在大約384 nm與1024 nm之間的300個波長頻帶構成且定位在距物件130大致0,5米。對於實例2，所得輻射率在420 nm與740 nm之間重新分級為10 nm間隔。

用於將實例2中所使用之螢光與反射分離之方法係在Fu等人之論文「Separating Reflective and Fluorescent Compenents Using High Frequency Illumination in the Spectral Domain」中，ICCV 2013。如其論文中所應用，該方法需要能夠輸出類正弦光譜之可定製光源(Nikon ELS-VIS)。該可定製光源係低功率且昂貴的，從而阻止廣泛使用或在通常大小之場景中之使用。出人意料地，此處已發現，可用廉價且高功率LED來代替該光源，儘管當前LED技術不能形成像Nikon ELS-VIS那樣窄的發射頻帶。高光譜影像係以與實例1相同之方式記錄且重新分級為10 nm間隔。歸因於計算之本質，省略兩個LED照明體114、115具有類似輻射率之波長。使用螢光分光光度計將經計算/經估計發射結果與針對每一材料量測之螢光發射比較。為促進容易比較，經量測發射光譜亦重新分級為相同10 nm間隔且相同波長省略。

為達成經計算/經估計發射結果，在兩個LED照明體114、115中之每一照明體下將簡單演算法應用於每波長處之經量測輻射率資料，且因此允許待擷取之反射與螢光發射光譜之分離。

由於反射與螢光具有不同物理行為，其等需要藉由不同模型來闡述。經反射表面之輻射率取決於入射光及其反射。使用以上所提及之Fu等人之論文之命名法，將波長λ處之普通經反射表面之經觀測輻射率計算為：

(1) 其中l(λ)係波長λ處之入射光之光譜且r(λ)係波長λ處之表面之光譜反射。

純螢光表面之經觀測輻射率取決於入射光、材料之吸收光譜及其發射光譜。螢光通常吸收某些波長處之光且以較長波長將其等發射。表面之吸收光譜將判定吸收多少光。然後將經吸收能量中之某一能量以發射光譜之形式在比入射光長的波長處釋放。將剩餘之經吸收能量以熱量釋放。波長λ處之純螢光表面之經觀測光譜就其吸收及發射光譜闡述為：

(2)

其中a(λ^' )及e(λ)表示吸收及發射光譜。其中k = (ʃ l(λ')a(λ')d　λ')，p_f (λ)可寫為p_f (λ) = ke(λ)，此意味著所發射光譜之形狀或分佈係恆定的，但所發射光譜之標度k在不同照明下改變。即是，螢光發射之輻射率在不同照明下改變，但其色彩保持相同而不管照明色彩如何。最後，反射及螢光的表面展示根據下式之輻射率：

(3)

當如根據所提出方法所提出，在光譜域中使用高頻率正弦照明時，在此等兩個正弦照明體下之物件之輻射率可闡述為:

(4)

自此，反射r(λ)及螢光發射ke(λ)可恢復為

(5)

(6)

借助以上所闡述之方程式，依據來自照明體之輻射率資料p(λ)及強度l(λ)計算已由光源照明之物件之反射r(λ)及螢光發射e(λ)係可能的。藉此，螢光發射對應於該物件之物件特定螢光光譜圖案。然後將經計算物件特定螢光光譜圖案與儲存於資料庫中且與各別特定物件聯繫之螢光光譜圖案比較。

圖2展示實例照明體光譜230、240及250。圖式200展示沿著其標繪波長之水平軸線210，且垂直軸線220展示照明之強度。曲線230展示第一照明體、也就是CFL(緊湊型螢光燈)之照明，具有至少三個顯著極大值，也就是在435,15 nm處，在546,47 nm處及在611,45 nm處之最大值。曲線240展示第二照明體、也就是白熾燈照明體之照明體光譜，其中光強度隨著波長增加而增加。曲線250展示第三照明體、也就是LED之照明體光譜，具有兩個顯著極大值，也就是在453,54 nm處及在603,02 nm處。

圖3展示實例1之經計算發射結果(經計算螢光光譜圖案)與使用螢光計針對材料A量測之螢光發射之比較。圖式300橫跨展示波長之水平軸線310及展示經正規化發射強度之垂直軸線320。如可自曲線330及340看見，其中曲線330展示具有565,26 nm處之最大值之經計算發射，且曲線340展示具有568 nm處之最大值之經量測發射，良好一致性係可見的。

圖4針對實例1之不同材料A、B、C、D、E，在頂部部分上展示經量測發射光譜(經量測螢光光譜圖案)及在底部部分上展示各別經計算發射光譜(經計算螢光光譜圖案)。在每一圖式中，針對每一不同材料A、B、C、D、E，如所指示標繪不同曲線。

圖5展示實例1之經計算與經量測螢光發射光譜之間的定量比較之結果。針對與每一經量測材料之光譜相關之每個經計算光譜，計算平均絕對誤差(圖5a)、光譜角度(圖5b)及歐幾裡德距離(圖5c)。平均絕對誤差係將經計算值之誤差與認定真實值比較之共用方法，較低平均絕對誤差值指示經計算值與認定真實值之間的較佳匹配。光譜角度映射(圖5b)係用於光譜成像中之概念以將物件分類至已知光譜資料庫。對於光譜角度映射，較低值指示未知物件與經量測物件之間的接近匹配。歐幾裡德距離(圖5c)係以與光譜角度相同方式用於光譜成像中之另概念。此外，較低值指示歐幾裡德距離之較佳匹配。針對材料A、C、D及E，平均絕對誤差、光譜角度及歐幾裡德距離計算結果正確地辨別未知材料(除了材料B)，如可分別自圖5a、圖5b及圖5c中所展示之表格看見。

圖6展示在實例2之每一照明體下實例照明體光譜及經量測輻射率。圖式600展示水平軸線610及垂直軸線620，沿著水平軸線610繪製波長且垂直軸線620展示照明之強度。曲線640展示第一照明體之照明且曲線641展示由第一照明體照明之物件之各別輻射率資料。曲線630展示第二照明體之照明體光譜且曲線631展示在由第二照明體照明時物件之各別輻射率資料。螢光發射之效應在自≈ 530 nm至650 nm之範圍中係明顯的。

圖7展示實例2之經計算發射結果(經計算螢光光譜圖案)與使用螢光計真對材料A量測之螢光發射之比較。圖式700橫跨展示波長之水平軸線710及展示經正規化發射強度之垂直軸線720。如可自曲線730及740看見，其中曲線730展示經計算發射且曲線740展示經量測發射，良好一致性係可見的。

圖8在左邊側上展示實例2之經計算發射光譜(經計算螢光光譜圖案)及在右邊側上展示不同材料A、B、C、D、E之各別經量測發射光譜。在每一圖式中，針對每一不同材料A、B、C、D、E，如所指示標繪不同曲線。

圖9展示實例2之經計算與經量測螢光發射光譜之間的定量比較之結果。針對與每一經量測材料之光譜相關之每個經計算光譜，計算平均絕對誤差(圖9a)、光譜角度(圖9b)及歐幾裡德距離(圖9c)。對於材料A、B、C、D及E中之每一者，平均絕對誤差、光譜角度及歐幾裡德距離計算結果正確地辨別未知材料，如可自圖9a、圖9b及圖9c中所展示之表格看見。

100:所提出系統/系統 110:光源 111:白熾燈/照明體 112:緊湊型螢光燈/照明體 113:白光發光二極體/照明體 114:定製LED照明體/照明體/LED照明體 115:定製LED照明體/照明體/LED照明體 120:感測器/成像器 130:待識別物件/經塗佈物件/物件/螢光物件 140:CPU/資料處理單元/處理單元 150:資料儲存單元/資料庫 160:顯示單元 200:圖式 210:水平軸線 220:垂直軸線 230:實例照明體光譜/曲線 240:橙色/實例照明體光譜/曲線 250:實例照明體光譜/曲線 300:圖式 310:水平軸線 320:垂直軸線 330:曲線 340:曲線

圖1示意地展示所提出系統之實施例。圖2展示用於實例1中之三個寬頻帶光源之經量測輻射率。圖3展示來自實例1之一種材料之經量測及經計算發射光譜圖案之一實例比較。圖4展示實例1之所有材料之經量測(頂部)及經計算(底部)發射光譜(光譜圖案)。圖5在不同表格中展示實例1之不同比較/匹配演算法。圖6展示在用於所提出系統之一實施例中之LED光源下實例照明體光譜與經量測輻射率之一圖式。圖7展示經量測及經計算發射光譜(光譜圖案)之一實例比較之一圖式。圖8展示經計算發射光譜(光譜圖案)(左邊)及經量測發射光譜(光譜圖案)(右邊)。圖9在不同表格中展示可用於實例2之不同比較/匹配演算法。

100:所提出系統/系統

110:光源

111:白熾燈/照明體

112:緊湊型螢光燈/照明體

113:白光發光二極體/照明體

120:感測器/成像器

130:待識別物件/經塗佈物件/物件/螢光物件

140:資料處理單元/處理單元

150:資料儲存單元/資料庫

160:顯示單元

Claims

一種通過計算機視覺應用進行物件識別之系統，該系統包括至少以下組件：待識別物件，該物件具有物件特定反射及發光光譜圖案，光源，其係由至少兩個照明體組成且經組態以藉由在該至少兩個照明體之間進行切換來照明包含該待識別物件之場景，其中該至少兩個照明體中之至少一者基於至少一個固態照明系統，感測器，其經組態以在由該光源照明包含該物件之該場景時量測該場景之輻射率資料，資料儲存單元，其包括連同適當指派之各別物件的發光光譜圖案，資料處理單元，其經組態以自該場景之該輻射率資料提取該待識別物件之該物件特定發光光譜圖案，且將該經提取物件特定發光光譜圖案與儲存於該資料儲存單元中之該等發光光譜圖案匹配，且辨別最佳匹配發光光譜圖案且因此辨別其經指派物件。
如請求項1之系統，其進一步包括顯示單元，該顯示單元經組態以顯示經指派至該經辨別最佳匹配發光光譜圖案之至少該經辨別物件。
如請求項1或2之系統，其中該待識別物件被賦予預界定發光材料且所得物件之發光光譜圖案係已知的且用作標籤。
如請求項1或2之系統，其中該資料處理單元經組態以藉由在該經提取物件特定發光光譜圖案與該等經儲存發光光譜圖案之間使用任何數目之匹配演算法來辨別該最佳匹配發光光譜圖案，該等匹配演算法選自包括至少以下各項之群組：最低均方根誤差、最低平均絕對誤差、最高判定係數、最大波長值之匹配。
如請求項1或2之系統，其中該處理單元經組態以使用該至少兩個照明體下之該經量測輻射率資料來估計該待識別物件之該發光光譜圖案及該反射光譜圖案。
如請求項1或2之系統，其中該感測器係高光譜相機或多光譜相機。
如請求項1或2之系統，其中該光源係具有各自由一或多個LED構成之兩個照明體且該兩個照明體之間具有短切換時間之可切換光源。
如請求項1或2之系統，其中該感測器與該光源之該切換同步以一次僅發出在該至少兩個照明體中之一者下之該場景之該輻射率資料。
一種通過計算機視覺應用進行物件識別之方法，該方法包括至少以下步驟：提供具有物件特定反射及發光光譜圖案之物件，該物件係待識別的，藉由在至少兩個照明體之間進行切換而用由該至少兩個照明體組成之光源來照明包含該物件之場景，其中該兩個照明體中之至少一者基於至少一個固態系統，借助感測器在由該光源照明包含該物件之該場景時量測該場景之輻射率資料，為資料儲存單元提供連同適當指派之各別物件的發光光譜圖案，藉由資料處理單元自該場景之該輻射率資料估計該待識別物件之該物件特定發光光譜圖案，及藉由該資料處理單元將該經估計物件特定發光光譜圖案與儲存於該資料儲存單元中之發光光譜圖案匹配，及藉由該資料處理單元辨別最佳匹配發光光譜圖案且因此辨別其經指派物件。
如請求項9之方法，其中提供待識別物件之該步驟包括賦予該物件發光材料，因此提供具有物件特定反射及發光光譜圖案之該物件。
如請求項9或10之方法，其進一步包括以下步驟：通過顯示裝置來顯示經指派至該經辨別最佳匹配發光光譜圖案之至少該經辨別物件。
如請求項9或10之方法，其中該匹配步驟包括藉由在該經估計物件特定發光光譜圖案與該經儲存發光光譜圖案之間使用任何數目之匹配演算法來辨別該最佳匹配特定發光光譜圖案，該等匹配演算法選自包括至少以下各項之群組：最低均方根誤差、最低平均絕對誤差、最高判定係數、最大波長值之匹配。
如請求項9或10之方法，其中該估計步驟包括使用該至少兩個照明體下之該經量測輻射率資料來在多步驟最佳化程序中估計該物件之該發光光譜圖案及該反射光譜圖案。
如請求項9或10之方法，其中該光源被選為具有各自由一或多個LED構成之兩個照明體且在該兩個照明體之間具有短切換時間之可切換光源。
一種具有可由計算機執行之指令之計算機程序產品，該計算機程式產品包括指令：提供具有物件特定反射及發光光譜圖案之物件，該物件係待識別的，藉由在至少兩個照明體之間進行切換而用由該至少兩個照明體組成之光源來照明包含該物件之場景，其中該兩個照明體中之至少一者基於至少一個固態系統，借助感測器在由該光源照明包含該物件之該場景時量測該場景之輻射率資料，藉由資料儲存單元提供連同適當指派之各別物件的發光光譜圖案，藉由處理單元自該場景之該輻射率資料估計該待識別物件之該物件特定發光光譜圖案，及藉由該處理單元將該經估計物件特定發光光譜圖案與儲存於該資料儲存單元中之發光光譜圖案匹配，及辨別最佳匹配發光光譜圖案且因此辨別其經指派物件。