TW202113674A - 用於在一電腦視覺應用軟體中使用三維製圖工具之物件辨識的系統及方法 - Google Patents

用於在一電腦視覺應用軟體中使用三維製圖工具之物件辨識的系統及方法 Download PDF

Info

Publication number
TW202113674A
TW202113674A TW109119098A TW109119098A TW202113674A TW 202113674 A TW202113674 A TW 202113674A TW 109119098 A TW109119098 A TW 109119098A TW 109119098 A TW109119098 A TW 109119098A TW 202113674 A TW202113674 A TW 202113674A
Authority
TW
Taiwan
Prior art keywords
scene
pattern
light
identified
luminescence spectrum
Prior art date
Application number
TW109119098A
Other languages
English (en)
Inventor
由諾斯 艾瑪瑞 科特格魯
馬修 伊恩 查爾德斯
Original Assignee
德商巴斯夫塗料有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 德商巴斯夫塗料有限責任公司 filed Critical 德商巴斯夫塗料有限責任公司
Publication of TW202113674A publication Critical patent/TW202113674A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本發明係關於一種用於經由一電腦視覺應用軟體進行物件辨識之系統及方法,該系統包括至少以下組件: 一待辨識物件(130、130'),該物件具有物件特有反射及發光光譜型樣, 一光源(110、110'),其經組態以將至少一個光型樣投影於包含該待辨識物件之一場景(140、140')上, 一感測器(120、121、120'),其經組態以在包含該物件之該場景由該光源照明時量測該場景之輻射資料, 一資料儲存單元,其包括發光光譜型樣連同經適當指派各別物件, 一資料處理單元,其經組態以 自該場景(140、140')之該輻射資料檢測該待辨識物件之該物件特有發光光譜型樣且將該所檢測物件特有發光光譜型樣與儲存於該資料儲存單元中之該等發光光譜型樣匹配,並且識別一最佳匹配發光光譜型樣及因此其所指派物件,及 藉由由該感測器(120、121、120')量測之反射特性而計算該場景(140、140')中之該所識別物件(130、130')之一距離、一形狀、一深度及/或表面資訊。

Description

用於在一電腦視覺應用軟體中使用三維製圖工具之物件辨識的系統及方法
本發明係關於一種用於使用三維製圖工具經由一電腦視覺應用軟體進行物件辨識之系統及方法。
由於電子裝置之大量使用,因此電腦視覺係迅速發展之一領域,該等電子裝置能夠基於結構化光或立體視覺(僅舉幾例)經由感測器(諸如攝影機)、距離感測器(諸如LiDAR或雷達)及深度攝影機系統而收集關於其周圍環境之資訊。此等電子裝置提供將由一電腦處理單元處理之原始影像資料且因此使用人工智慧及/或電腦輔助演算法來形成對一環境或一場景之一瞭解。存在可形成對環境之此瞭解之多種方式。一般而言,形成二維或三維影像及/或地圖,且分析此等影像及/或地圖以用於形成對場景及彼場景中之物件之一瞭解。用於改良電腦視覺之一種前景係量測場景中之物件之化學組成之成分。儘管可使用環境中獲取為二維或三維影像之物件之形狀及外觀來形成對環境之一瞭解,但此等技術具有某些缺點。
在電腦視覺領域中之一種挑戰係能夠使用感測器、計算能力、光探頭等中之一最小量之資源以高準確性及低延時來在每一場景內識別儘可能多之物件。多年來,已將物件識別程序稱作遠端感測、物件識別、分類、鑑認或辨識。在本發明之範疇中,將一電腦視覺系統識別一場景中之一物件之能力稱作「物件辨識」。舉例而言,一電腦分析一圖像並識別/標記彼圖像中之一球(有時利用更進一步資訊,諸如一球之類型(籃球、足球、棒球)、品牌、內容脈絡等)歸於術語「物件辨識」。
一般而言,用於在電腦視覺系統中辨識一物件之技術可如下進行分類:技術 1 實體標籤(基於影像):條碼、QR碼、序列號、文字、圖案、全像圖等。技術 2 實體標籤(基於掃描/緊密接觸):觀看角度相依顏料、上轉換顏料、異染性材料、色彩(紅色/綠色)、發光材料。技術 3 電子標籤(被動):RFID標籤等。附接至所關注物件之裝置不具有電源、未必可見但可在其他頻率(舉例而言,無線電)下進行操作。技術 4 電子標籤(主動):無線通信、光、無線電、交通工具至交通工具、交通工具至任何事物(X)等。所關注物件上之經供電裝置發出呈各種形式之資訊。技術 5 特徵檢測(基於影像):影像分析及識別,亦即,自側面看一汽車在特定距離處之兩個輪子;針對臉部辨識之兩隻眼睛、一鼻子及嘴巴(以彼次序)等。此依賴於已知幾何形狀/形狀。技術 6 基於深度學習/CNN (基於影像):利用汽車、臉部等之經標記影像之諸多圖像來訓練一電腦,且該電腦判定將檢測之特徵並預測所關注物件是否存在於新區域中。需要針對每一類別之待識別物件而重複進行訓練程序。技術 7 物件追蹤方法:以一特定次序來組織一場景中之物品並在開始時標記經排序物件。此後利用已知色彩/幾何形狀/三維座標來跟隨場景中之物件。若物件離開場景且重新進入,則「辨識」丟失。
在以下內容中,呈現上文所提及技術之某些缺點。技術 1 當影像中之一物件被遮蔽或物件之僅一小部分處於視野中時,可無法讀取條碼、標誌等。此外,撓性物品上之條碼等可被扭曲,從而限制可見性。一物件之所有側面將必須攜載自一定距離處可見之較大條碼,否則僅可在近距離且具有正確定向之情況下辨識物件。舉例而言,當將要掃描一商店之貨架上之一物體上之一條碼時,此將係一問題。當在一整個場景內進行操作時,技術1依賴於可變化之周圍光照。技術 2 上轉換顏料由於其較小量子產率而具有低位準之發射光,因此在觀看距離上具有限制。該等上轉換顏料需要強光探頭。該等上轉換顏料通常係不透明的且係大顆粒,從而限制塗層之選項。以下事實使該等上轉換顏料之使用進一步複雜化:與螢光及光反射相比,上轉換回應係較慢的。儘管某些應用取決於所使用之化合物而利用此獨特回應時間,但此僅在預先知曉彼感測器/物件系統之飛行距離時間時係可能的。在電腦視覺應用軟體中很少出現此情形。出於此等原因,防偽感測器具有經覆蓋/暗區段以用於讀取、具有1級或2級雷射作為探頭以及距所關注物件之一固定且有限距離以確保準確性。 類似地,觀看角度相依顏料系統僅在近距離起作用且需要在多個角度下進行觀看。而且,為了視覺上令人愉快之效果,色彩並非係均勻的。必須管理入射光光譜來獲得正確量測。在一單個影像/場景內,具有角度相依色彩塗層之一物件將沿著樣本尺寸具有對攝影機可見之多種色彩。 基於色彩之辨識係困難的,此乃因所量測色彩部分地取決於周圍光照條件。因此,針對每一場景需要參考樣本及/或受控制光照條件。不同感測器亦將具有用以區分不同色彩之不同能力,且將自一種感測器類型/製造商至另一感測器類型/製造商而不同,從而針對每一感測器需要校準檔案。 在周圍光照下基於發光之辨識係一挑戰性任務,此乃因物件之反射及發光成分被添加在一起。通常,基於發光之辨識將替代地利用一暗量測條件及對發光材料之激發區之一先驗知曉,因此可使用正確光探頭/光源。技術 3 諸如RFID標籤之電子標籤需要將一電路、集電器及天線附接至所關注物品/物件,從而增加設計之成本及複雜性。RFID標籤提供當前類型資訊或不提供類型信息,但不提供精確位置資訊,除非使用場景內之諸多感測器。技術 4 此等主動方法需要將所關注物件連接至一電源,此對於如一足球、一襯衫或一麵食盒之簡單物品而言係成本高昂的且因此係不實際的。技術 5 預測準確性在很大程度上取決於影像之品質及攝影機在場景內之位置,此乃因遮蔽、不同觀看角度及諸如此類可容易改變結果。標誌類型影像可存在於場景內之多個位置中(亦即,一標誌可位於一球、一T恤、一帽子或一咖啡杯上)且物件辨識係藉由推斷。必須盡力將物件之視覺參數轉換為數學參數。可改變其形狀之撓性物件係成問題的,此乃因每一可能形狀必須包含於資料庫中。總是存在固有之模糊性,此乃因類似形狀之物件可被誤認為所關注物件。技術 6 訓練資料集之品質決定方法之成功。針對待辨識/分類之每一物件,需要諸多訓練影像。如針對技術5之相同遮蔽及撓性物件形狀限制適用。需要利用數千個或更多影像來訓練每一類別之材料。技術 7 此技術在對場景進行預組織時起作用,但此係很少實際的。若所關注物件離開場景或被完全遮蔽,則無法辨識該物件,除非與以上其他技術組合。 除現有技術之上文所提及缺點之外,亦存在值得提及之某些其他挑戰。用以看到一長距離之能力、用以看到小物件之能力或用以看到足夠詳細之物件之能力皆需要高解析度成像系統,亦即,高解析度攝影機、LiDAR、雷達等。高解析度需要增加相關聯感測器成本且增加待處理之資料量。 針對如自主駕駛或安全之需要即時回應之應用,延時係另一重要態樣。需要處理之資料量判定邊緣或雲端計算是否適合於應用,該雲端計算僅在資料載入較小之情況下係可能的。當邊緣計算與繁重處理一起使用時,操作系統之裝置變得更龐大且限制易用性並因此限制實施。 因此,需要適合於改良電腦視覺應用軟體之物件辨識能力之系統及方法。
具有商業意義之一個新興領域係用於各種電腦視覺應用軟體(諸如人工智慧、自主系統、擴增實境,僅舉幾例)之室內及室外環境之三維製圖。製圖技術中與正在進行之討論相關之某些製圖技術涉及光探頭,該等光探頭以脈衝方式輸送至一場景中(時間)、部分地發射至該場景中(結構化光)或此兩者之一組合(點矩陣投影機、LiDAR等)。結構化光系統通常使用在信號返回至攝影機/感測器後與被引入至場景之光之一已知幾何形狀之一偏差,且使用失真來計算物件之距離/形狀。用於此等系統中之光波長可處於光譜之UV、可見或近IR區中之任何地方。在點投影機類型系統中,將一光探頭以脈衝方式輸送至場景中且執行飛行時間量測以計算目標物件形狀及距離。在某些版本中,光探頭將多個區域引入至投影機/感測器之視域中,而在其他版本中,一次僅照明一單個區域且重複進行程序以隨時間掃描場景之不同區域。在兩種系統中,區別已存在於場景中之周圍光與經引入以執行製圖任務之光。此等系統嚴格依賴於探頭所照明之物件之反射性質且在光探頭操作之光譜頻帶上進行讀取。兩種類型之系統皆經設計以使所關注大小及尺寸適應電腦視覺系統且因此由探頭照明之區域之解析度具有與待量測、待製圖或待辨識之所關注物件類似之長度尺度。
本發明提供一種具有獨立技術方案之特徵之系統及方法。實施例係附屬技術方案及說明以及圖式之主題。
根據技術方案1,提供一種用於經由一電腦視覺應用軟體進行物件辨識之系統,該系統包括至少以下組件: 一待辨識物件,該物件具有一物件特有反射光譜型樣及一物件特有發光光譜型樣, 一光源,其經組態以將至少一個光型樣投影於包含該待辨識物件之一場景上, 一感測器,其經組態以在該場景由該光源照明時量測該場景之輻射資料, 一資料儲存單元,其包括發光光譜型樣連同經適當指派各別物件, 一資料處理單元,其經組態以 o   自該場景之該輻射資料檢測/提取該待辨識物件之該物件特有發光光譜型樣且將該所檢測/所提取物件特有發光光譜型樣與儲存於該資料儲存單元中之該等發光光譜型樣匹配,並且識別一最佳匹配發光光譜型樣及因此其所指派物件,及 o   藉由由該感測器量測之反射特性而計算該場景中之該所識別物件之一距離、一形狀、一深度及/或表面資訊。
反射特性可包含時間元素(諸如經反射光(形成物件特有反射型樣之一部分)返回至感測器所花費之時間量),或空間量測(諸如經發射空間光型樣之所量測失真,亦即,在射到物件之一表面時光型樣變形之方式)。
將鑒於已知物件特有反射型樣而考量反射特性。
光源可經組態以將一第一光型樣投影於該場景上,且然後基於感測器之結果而選擇一第二光型樣,將該第二光型樣投影於該場景上,使用彼等結果來投影另一第三光型樣等。因此,光源可相繼地將多個光型樣投影於該場景上。另一選擇係,光源可同時將多個光型樣投影於該場景上。以下情形亦係可能的:光源在一第一時間點將不同光型樣之一第一群組投影於該場景上,且然後選擇不同光型樣之一第二群組並在一第二時間點將該第二群組投影於該場景上。使用可同時或連續地操作之多個光源亦係可能的,每一光源經組態以將一個預定義光型樣或一光型樣群組或者一系列連續光型樣投影於該場景上。一個光源或多個光源中之每一者可由一控制器(亦即,一控制單元)控制。可存在一個中央控制器,該中央控制器可控制多個光源中之所有光源且因此可清晰地定義該多個光源之一操作序列。
光源、控制單元、感測器、資料處理單元與資料儲存單元可彼此進行通信連接,亦即,在彼此當中進行網路連結。
在本發明之範疇內,同義地使用術語「螢光(fluorescent)」及「發光(luminescent)」。此同樣適用於術語「螢光(fluorescence)」及「發光(luminescence)」。在本發明之範疇內,資料庫可為資料儲存單元之一部分或可表示資料儲存單元本身。同義地使用術語「資料庫」及「資料儲存單元」。同義地使用且將廣泛地解釋術語「資料處理單元」及「處理器」。
根據所提出系統之一實施例,可由光源投影於場景上之光型樣或光型樣中之至少一者係選自由以下各項組成之群組:一時間光型樣、一空間光型樣及一時間與空間光型樣。
在該光源經組態以將一空間光型樣或一時間與空間光型樣投影於該場景上之情形中,該光型樣之空間部分形成為一柵格、一水平條、垂直條及/或對角條配置、一點陣列或者其等之一組合。
在該光源經組態以將一時間光型樣或一時間與空間光型樣投影於該場景上之情形中,該光源包括至少一個脈衝光源,該至少一個脈衝光源經組態而以單個脈衝發射光,從而提供該光型樣之時間部分。
根據所提出系統之一進一步實施例,將該光源選擇為一點矩陣投影機及一飛行時間(光)感測器中之一者,該點矩陣投影機及該飛行時間(光)感測器可將光一次發射於該場景之一或多個區域/區段上或者同時發射於多個區域/區段上。飛行時間感測器可使用結構化光。具體而言,光感測器可為一LiDAR。
在該系統之仍一進一步實施例中,該感測器係一超光譜攝影機或一多光譜攝影機。
該感測器一般係具有光子計數能力之一光學感測器。更具體而言,該感測器可為一單色攝影機、或一RGB攝影機或者一多光譜攝影機或一超光譜攝影機。該感測器可為以上各項中之任何者之一組合,或者以上各項中之任何者與一可調諧或可選擇濾光器集合(例如,一單色感測器與特定濾光器)之組合。該感測器可一次量測場景之一單個像素或量測諸多像素。該光學感測器可經組態以對一特定光譜範圍、特定而言三個以上頻帶內之光子進行計數。該光學感測器可為具有多個像素以獲得一較大視域之一攝影機,從而特定而言同時讀取所有頻帶或在不同時間讀取不同頻帶。
一多光譜攝影機跨越電磁光譜而擷取特定波長範圍內之影像資料。波長可藉由濾光器或藉由使用對特定波長(包含來自超出可見光範圍之頻率(亦即,紅外線及紫外線)之光)敏感之儀器而分離。光譜成像可允許提取人眼無法利用其紅色、綠色及藍色受體擷取之額外資訊。一多光譜攝影機量測較小數目個(通常3個至15個)光譜頻帶中之光。一超光譜攝影機係光譜攝影機之一特殊情形,其中通常數百個連續光譜頻帶係可用的。
在該系統之一進一步實施例中,該光源經組態以在該光型樣中同時或在不同時間發射UV、可見及/或紅外線光內之一或多個光譜頻帶。
該待辨識物件可具備一預定義發光材料且所得的物件之發光光譜型樣係已知的並用作一標籤。該物件可塗佈有該預定義發光材料。另一選擇係,該物件可固有地本質上包括該預定義發光材料。
所提出系統可進一步包括一輸出單元,該輸出單元經組態以至少輸出該所識別物件以及該所識別物件之該所計算距離、形狀、深度及/或表面資訊。該輸出單元可為一顯示單元,該顯示單元經組態以顯示至少該所識別物件以及該所識別物件之該所計算距離、形狀、深度及/或表面資訊。另一選擇係,該輸出單元係一聲音輸出單元(諸如一擴音器)或顯示器與擴音器之一組合。該輸出單元與該資料處理單元進行通信連接。
所提出系統之某些或所有技術組件,亦即光源、感測器、資料處理單元、資料儲存單元、控制單元及/或輸出單元可彼此進行通信連接。組件中之任何者之間的一通信連接可為一有線或一無線連接。可使用每一適合通信技術。各別組件各自可包含用於彼此進行通信之一或多個通信介面。可使用一有線資料傳輸協定(諸如光纖分散式資料介面(FDDI)、數位訂戶線(DSL)、乙太網路、異步傳送模式(ATM)或任何其他有線傳輸協定)來執行此通信。另一選擇係,可使用多種協定(諸如一般封包無線電服務(GPRS)、通用行動電信系統(UMTS)、分碼多重存取(CDMA)、長期演進(LTE)、無線通用串列匯流排(USB)及/或任何其他無線協定)中之任一者經由無線通信網路而無線地進行該通信。各別通信可為一無線通信與一有線通信之一組合。
本發明亦係關於一種用於經由一電腦視覺應用軟體進行物件辨識之方法,該方法包括至少以下步驟: 提供具有物件特有反射及發光光譜型樣之一物件,該物件將待辨識, 將至少一個光型樣投影於包含該待辨識物件之一場景上, 當包含該物件之該場景由該光源照明時,藉助於一感測器而量測該場景之輻射資料, 提供一資料儲存單元,該資料儲存單元包括發光光譜型樣連同經適當指派各別物件, 提供一資料處理單元,該資料處理單元經程式化以 自該場景之該輻射資料檢測/提取該待辨識物件之該物件特有發光光譜型樣且將該所檢測/所提取物件特有發光光譜型樣與儲存於該資料儲存單元中之該等發光光譜型樣匹配,並且識別一最佳匹配發光光譜型樣及因此其所指派物件,及 藉由由該感測器量測之反射特性而計算該場景中之該所識別物件之一距離、一形狀、一深度及/或表面資訊。
反射特性可包含時間元素(諸如光(形成物件特有反射型樣之一部分)返回至感測器所花費之時間量),或空間量測(諸如經發射空間光型樣之所量測失真,亦即,在射到物件之一表面時光型樣變形之方式)。
在一項態樣中,提供一待辨識物件之該步驟包括:對該物件賦予/提供一發光材料,從而提供具有物件特有反射及發光光譜型樣之該物件。
因此,對該待辨識物件提供/賦予(例如,塗佈)預定義表面發光材料(特定而言,發光染料),該等預定義表面發光材料之發光化學品(亦即,發光光譜型樣)係已知的並用作一標籤。藉由使用該物件之發光化學品作為一標籤,物件辨識係可能的,而不管物件之形狀或部分遮蔽如何。
可以多種方法對一物件賦予(亦即,提供)發光、特定而言螢光材料。螢光材料可分散於一塗層中,可透過諸如噴霧塗佈、浸漬塗佈、線圈塗佈、捲對捲塗佈及其他之方法而施加該塗層。可將螢光材料印刷至物件上。可將螢光材料分散至物件中且擠製、模製或鑄造。某些材料及物件係自然螢光的且可利用所提出系統及/或方法來辨識。某些生物材料(蔬菜、水果、細菌、組織、蛋白質等)可被基因工程設計為螢光的。某些物件可藉由以本文中所提及之方法中之任一者來添加螢光蛋白質而被製作為螢光的。
大量螢光材料係可商業購得的。理論上,任何螢光材料應適合於電腦視覺應用軟體,此乃因在生產之後量測待識別物件之螢光光譜型樣。主要限制係螢光材料之耐久性及與(待辨識物件之)主體材料之相容性。光亮劑係通常包含於物件配方中以減少諸多有機聚合物之黃色之一種螢光材料類別。該等光亮劑藉由使不可見紫外線光發螢光成可見藍色光而起作用,從而使所產生物件更起來更白。諸多光亮劑係可商業購得的。將螢光賦予物件之步驟可藉由用螢光材料來塗佈物件或以其他方式將螢光賦予物件之表面而達成。在後一情形中,螢光可遍及整個物件而分佈,且可因此亦可在表面處檢測到。
可將用於給待辨識物件提供一發光材料之技術選擇為以下技術中之一者或一組合:噴塗、輥壓、鍛延(drawing down)、沈積(PVC、CVD等)、擠製、膜施加/黏附、玻璃成形、模製技術、印刷(諸如油墨)、所有類型之凹版印刷、噴墨、增材製造、織物/紡織處理(染料或印刷程序)、染料/顏料吸收、拉製(手動/其他)、賦予黏著劑、賦予標記、賦予標籤、化學表面接枝、乾式賦予、濕式賦予、提供固體混合物、提供反應性/非反應性染料。
在一進一步態樣中,該方法另外包括以下步驟:經由一輸出裝置而至少輸出該所識別物件以及該所識別物件之該所計算距離、形狀、深度及/或表面資訊。該輸出裝置可藉由一顯示裝置而達成,該顯示裝置與資料處理單元耦合(進行通信連接)。該輸出裝置亦可為一聲音輸出裝置(諸如一擴音器)或一視覺與聲音輸出裝置。
根據所提出方法之仍一進一步實施例,該匹配步驟包括:藉由在所估計物件特有發光光譜型樣與該等所儲存發光光譜型樣之間使用任何數目個匹配演算法而識別該最佳匹配特定發光光譜型樣。該等匹配演算法可選自包括以下各項中之至少一者之群組:最低均方根誤差、最低平均絕對誤差、最高判定係數、最大波長值匹配。一般而言,該等匹配演算法係任意的。
在仍另一態樣中,該提取步驟包括:在一多步驟最佳化程序中使用該所量測輻射資料來估計該物件之該發光光譜型樣及該反射光譜型樣。
資料處理單元可包含一或多個輸入單元(諸如一觸控螢幕、一音訊輸入、一移動輸入、一滑鼠、一小鍵盤輸入及/或諸如此類)或者可與該一或多個輸入單元進行通信。此外,該資料處理單元可包含一或多個輸出單元(諸如一音訊輸出、一視訊輸出、螢幕/顯示器輸出及/或諸如此類)或者可與該一或多個輸出單元進行通信。
本發明之實施例可與一電腦系統一起使用或併入於該電腦系統中,該電腦系統可為一獨立單元或包含經由一網路(例如,網際網路或一內部網路)而與位於(舉例而言)一雲端中之一中央電腦進行通信之一或多個遠端終端或裝置。如此,本文中所闡述之資料處理單元及相關組件可為一區域電腦系統或一遠端電腦或一線上系統或者其等之一組合之一部分。本文中所闡述之資料庫,亦即,資料儲存單元及軟體可儲存於電腦內部記憶體中或儲存於一非暫時性電腦可讀媒體中。
本發明進一步係關於一種具有指令之電腦程式產品,該等指令可由一電腦執行,該等指令致使一機器: 提供具有物件特有反射及發光光譜型樣之一物件,該物件將待辨識, 將至少一個光型樣投影於包含該待辨識物件之一場景上, 當包含該物件之該場景由該光源照明時,藉助於一感測器而量測該場景之輻射資料, 提供一資料儲存單元,該資料儲存單元包括發光光譜型樣連同經適當指派各別物件, 自該場景之該輻射資料提取該待辨識物件之該物件特有發光光譜型樣, 將該所提取物件特有發光光譜型樣與儲存於該資料儲存單元中之該等發光光譜型樣匹配, 識別一最佳匹配發光光譜型樣及因此其所指派物件,及 藉由由該感測器量測之反射特性而計算該場景中之該所識別物件之一距離、一形狀、一深度及/或表面資訊。
反射特性可包含時間元素(諸如經反射光返回至感測器所花費之時間量),或空間量測(諸如經發射空間光型樣之所量測失真,亦即,在射到物件之一表面時光型樣變形之方式)。
本發明進一步係關於一種儲存指令之非暫時性電腦可讀媒體,該等指令在由一或多個處理器執行時致使一機器: 提供具有物件特有反射及發光光譜型樣之一物件,該物件將待辨識, 藉由一光源而將至少一個光型樣投影於包含該待辨識物件之一場景上, 當包含該物件之該場景由該光源照明時,藉助於一感測器而量測該場景之輻射資料, 提供一資料儲存單元,該資料儲存單元包括發光光譜型樣連同經適當指派各別物件, 自該場景之該輻射資料提取該待辨識物件之該物件特有發光光譜型樣, 將該所提取物件特有發光光譜型樣與儲存於該資料儲存單元中之該等發光光譜型樣匹配, 識別一最佳匹配發光光譜型樣及因此其所指派物件,及 藉由由該感測器量測之反射特性而計算該場景中之該所識別物件之一距離、一形狀、一深度及/或表面資訊。
在以下實例中進一步定義本發明。應理解,藉由指示本發明之較佳實施例而僅以圖解說明方式給出此等實例。依據以上論述及實例,熟習此項技術者可確定本發明之基本特性,且可在不背離本發明之精神及範疇之情況下作出本發明之各種改變及修改以使本發明適用於各種用途及條件。
圖1a及圖1b示意性地展示所提出系統之實施例。在圖1a中,系統100包含至少一個待辨識物件130。此外,系統包含可藉由一成像器(諸如一攝影機、特定而言分別一多光譜攝影機或超光譜攝影機)而達成之兩個感測器120及121。系統100進一步包含一光源110。光源110由不同個別照明體組成,該等不同個別照明體之數目及其性質取決於所使用之方法。舉例而言,光源110可由普遍可用之兩個照明體或三個照明體組成。可將該兩個照明體選擇為定製LED照明體。三個照明體可為普遍可用之白熾燈泡、緊湊型螢光燈泡及白光LED燈泡。
圖1a中之光源110經組態以在一場景140上投影一光型樣,該場景包含待辨識物件130。在此處將由光源110投影於場景140上之光型樣選擇為一空間光型樣,亦即,選擇為一柵格。彼意指僅場景140內之某些點且因此僅待辨識物件130之某些點被光源110所發射之光照射。
圖1a中所展示之感測器皆經組態以在包含物件130之場景140由光源110照明時量測場景140之輻射資料。選擇不同感測器(亦即,經組態以僅量測具有與所發射結構化光相同之波長之光的一個感測器)係可能的。因此,使周圍光照條件之效應最小化且感測器可在反射之光返回至感測器120、121後旋即清晰地量測與被引入至場景140之光之已知幾何形狀之一偏差,使得此處未展示之一資料處理單元可使用此等失真來計算待辨識物件130之一距離、一形狀、一深度及/或其他物件資訊。由此感測器120、121使用之光波長可處於整個光譜之UV、可見或近IR區中之任何地方。第二感測器120、121可為一多光譜或超光譜攝影機,該多光譜或超光譜攝影機經組態以在整個光譜內或在至少該光譜之包括物件130之螢光光譜型樣之彼部分內量測包含物件130之場景140之輻射資料。因此,第二感測器120、121亦經組態以量測包含物件130之場景140之輻射資料,該輻射資料不僅由物件130之反射回應且亦由該物件之螢光回應產生。資料處理單元經組態以自場景140之輻射資料提取待辨識物件130之物件特有發光光譜型樣且將所提取物件特有發光光譜型樣與儲存於一資料儲存單元(此處未展示)中之發光光譜型樣匹配並且識別一最佳匹配發光光譜型樣及因此其所指派物件。此外,如上文已提及,資料處理單元經組態以藉由在射到場景140中之所識別物件130之一表面時經反射光型樣變形之方式而計算物件130之一距離、一形狀、一深度及/或表面資訊。此處所展示之系統100在一側上使用結構化光以在物件130由自光源110發射之光照射時藉助於該物件之反射響應而計算諸如距物件130之距離或物件形狀之事物。另一方面,所提出系統100使用待辨識物件130之螢光發射與反射分量之分離以藉由物件130之光譜簽章(亦即,藉由該物件之特定螢光光譜型樣)而識別該物件。因此,所提出系統100組合兩種方法,亦即,藉由物件130之物件特有螢光型樣而識別該物件之方法以及另外,由於結構化光型樣之失真而利用光譜之經反射部分來識別該物件之距離、形狀及其他性質之方法。資料處理單元及資料儲存單元亦係系統100之組件。
圖1b展示所提出系統之一替代實施例。系統100'包括一光源110',該光源經組態而以一已知型樣(諸如一點矩陣)發射UV、可見或紅外線光,如圖1b中所指示。一般而言,以下情形係可能的:光源110'經組態以將光脈衝發射至場景140'中,從而產生一時間光型樣,將光部分地發射至場景140'中,從而產生一空間光型樣,或發射此兩者之一組合。舉例而言,可藉由一點矩陣投影機、一LiDAR等而發射脈衝光與空間結構化光之一組合。圖1b中所展示之系統100'進一步包括一感測器120',該感測器經組態以在不同波長範圍內感測/記錄場景140'內之輻射資料/回應。彼意指不僅記錄包含待辨識物件130'之場景140'之一僅反射回應且亦記錄物件130'之一螢光回應。系統100'進一步包括一資料處理單元及一資料儲存單元。資料儲存單元包括複數個不同物件之螢光光譜型樣之一資料庫。資料處理單元與資料儲存單元且亦與感測器120'進行通信連接。因此,資料處理單元可計算待辨識物件130'之發光發射光譜且搜尋資料儲存單元之資料庫以找到與所計算發光發射光譜之一匹配。因此,若可在資料庫內找到一匹配,則可識別待辨識物件130'。另外,可能藉由使用已自光源110'被發射並被投影於場景140'上且因此被投影於待辨識物件130'上之結構化光,以自反射回至感測器120'之光型樣之一所量測失真導出關於待辨識物件130'之進一步資訊,諸如物件130'之距離、形狀、表面資訊。彼意指藉由選擇一般用於三維製圖工具之一光源110'來適應來自待辨識物件之發光回應且利用具有特定光譜讀取頻帶之一感測器120',所提出系統100'能夠不僅計算一最佳匹配光譜發光材料且亦計算距物件130'之一距離或一物件形狀及關於物件130'之其他三維資訊。所提出系統使得能夠同時使用基於發光色彩之物件辨識系統與三維空間製圖工具。彼意指除了利用已被投影至場景140'中之光之經反射部分來計算物件130'之距離/形狀/其他性質之外,所提出系統100'亦允許藉由該物件之光譜簽章(諸如其物件特有發光光譜)而識別該物件。
此外,將陳述,光源相繼地發射複數個不同光型樣或同時發射複數個不同光型樣係可能的。藉由使用不同光型樣,自場景之各別不同經反射回應以及場景內之物件導出關於物件之形狀、深度及距離之詳細資訊係可能的。被投影至場景中之複數個光型樣中之每一者在物件之表面之不同區段/區域處照射該物件且因此,每一型樣提供可自各別反射回應導出之不同資訊。與記錄所有彼等反射回應之感測器進行通信連接之資料處理單元可合併被指派至不同光型樣之所有不同反射回應且可自此計算待辨識物件之一詳細三維結構。總結,所提出系統可由於對物件特有發光光譜型樣進行一量測而識別物件且提供關於物件距感測器之距離之詳細資訊且此外,由於反射回至感測器之光型樣之失真而提供物件之三維資訊。不僅可將不同光型樣投影至物件上以便照射物件之所有表面區段,且亦可將處於不同波長範圍之不同光型樣投影至物件上,從而提供關於物件之表面之反射性質及亦螢光性質之進一步資訊。
100:系統 100':系統 110:光源 110':光源 120:感測器/第二感測器 120':感測器 121:感測器/第二感測器 130:待辨識物件/所識別物件/物件 130':待辨識物件/所識別物件/物件 140:場景 140':場景
圖1a及圖1b示意性地展示所提出系統之實施例。
100:系統
110:光源
120:感測器/第二感測器
121:感測器/第二感測器
130:待辨識物件/所識別物件/物件
140:場景

Claims (15)

  1. 一種用於經由一電腦視覺應用軟體進行物件辨識之系統,該系統包括至少以下組件: 一待辨識物件(130、130'),該物件具有物件特有反射及發光光譜型樣, 一光源(110、110'),其經組態以將至少一個光型樣投影於包含該待辨識物件之一場景(140、140')上, 一感測器(120、121、120'),其經組態以在包含該物件之該場景由該光源照明時量測該場景之輻射資料, 一資料儲存單元,其包括發光光譜型樣連同經適當指派各別物件, 一資料處理單元,其經組態以 自該場景(140、140')之該輻射資料檢測該待辨識物件之該物件特有發光光譜型樣且將該所檢測物件特有發光光譜型樣與儲存於該資料儲存單元中之該等發光光譜型樣匹配,並且識別一最佳匹配發光光譜型樣及因此其所指派物件,及 藉由由該感測器(120、121、120')量測之反射特性而計算該場景(140、140')中之該所識別物件(130、130')之一距離、一形狀、一深度及/或表面資訊。
  2. 如請求項1之系統,其中該至少一個光型樣係一時間光型樣、一空間光型樣或一時間與空間光型樣。
  3. 如請求項2之系統,其中在該光源(110、110')經組態以將一空間光型樣或一時間與空間光型樣投影於該場景上之情形中,該光型樣之空間部分形成為一柵格、一水平條、垂直條及/或對角條配置、一點陣列或者其等之一組合。
  4. 如請求項2或3之系統,其中在該光源(110、110')經組態以將一時間光型樣或一時間與空間光型樣投影於該場景上之情形中,該光源包括一脈衝光源,該脈衝光源經組態而以單個脈衝發射光,從而提供該光型樣之時間部分。
  5. 如請求項2至4中任一項之系統,其中將該光源(110、110')選擇為一點矩陣投影機及一飛行時間感測器中之一者。
  6. 如前述請求項中任一項之系統,其中該感測器(120、121、120')係一超光譜攝影機或一多光譜攝影機。
  7. 如前述請求項中任一項之系統,其中該光源(110、110')經組態以在該至少一個光型樣中同時或在不同時間發射UV、可見及/或紅外線光內之一或多個光譜頻帶。
  8. 如前述請求項中任一項之系統,其中該待辨識物件(130、130')具備一預定義發光材料且所得的物件之發光光譜型樣係已知的並用作一標籤。
  9. 如前述請求項中任一項之系統,其進一步包括一顯示單元,該顯示單元經組態以顯示至少該所識別物件以及該所識別物件之該所計算距離、形狀、深度及/或表面資訊。
  10. 一種用於經由一電腦視覺應用軟體進行物件辨識之方法,該方法包括至少以下步驟: 提供具有物件特有反射及發光光譜型樣之一物件,該物件將待辨識, 藉助於一光源而將至少一個光型樣投影於包含該待辨識物件之一場景上, 當包含該物件之該場景由該光源照明時,藉助於一感測器而量測該場景之輻射資料, 提供一資料儲存單元,該資料儲存單元包括發光光譜型樣連同經適當指派各別物件, 提供一資料處理單元,該資料處理單元經程式化以 自該場景之該輻射資料檢測該待辨識物件之該物件特有發光光譜型樣且將該所檢測物件特有發光光譜型樣與儲存於該資料儲存單元中之該等發光光譜型樣匹配,並且識別一最佳匹配發光光譜型樣及因此其所指派物件,及 藉由由該感測器量測之反射特性而計算該場景中之該所識別物件之一距離、一形狀、一深度及/或表面資訊。
  11. 如請求項10之方法,其中提供一待辨識物件之該步驟包括提供具有一發光材料之該物件,從而提供具有一物件特有發光光譜型樣之該物件。
  12. 如請求項10或11之方法,其進一步包括以下步驟:經由一顯示裝置顯示至少該所識別物件以及該所識別物件之該所計算距離、形狀、深度及/或表面資訊。
  13. 如請求項10至12之方法,其中該匹配步驟包括:藉由在所估計物件特有發光光譜型樣與該所儲存發光光譜型樣之間使用任何數目個匹配演算法而識別該最佳匹配特定發光光譜型樣。
  14. 如請求項10至13中任一項之方法,其中該檢測步驟包括:在一多步驟最佳化程序中使用該所量測輻射資料來估計該物件之該發光光譜型樣及該反射光譜型樣。
  15. 一種儲存指令之非暫時性電腦可讀媒體,該等指令在由一或多個處理器執行時致使一機器: 提供具有物件特有反射及發光光譜型樣之一物件,該物件將待辨識, 藉由一光源而將至少一個光型樣投影於包含該待辨識物件之一場景上, 當包含該物件之該場景由該光源照明時,藉助於一感測器而量測該場景之輻射資料, 提供一資料儲存單元,該資料儲存單元包括發光光譜型樣連同經適當指派各別物件, 自該場景之該輻射資料提取該待辨識物件之該物件特有發光光譜型樣, 將該所提取物件特有發光光譜型樣與儲存於該資料儲存單元中之該等發光光譜型樣匹配, 識別一最佳匹配發光光譜型樣及因此其所指派物件,及 藉由由該感測器量測之反射特性而計算該場景中之該所識別物件之一距離、一形狀、一深度及/或表面資訊。
TW109119098A 2019-06-07 2020-06-05 用於在一電腦視覺應用軟體中使用三維製圖工具之物件辨識的系統及方法 TW202113674A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962858355P 2019-06-07 2019-06-07
EP19179172.2 2019-06-07
US62/858,355 2019-06-07
EP19179172 2019-06-07

Publications (1)

Publication Number Publication Date
TW202113674A true TW202113674A (zh) 2021-04-01

Family

ID=70977982

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109119098A TW202113674A (zh) 2019-06-07 2020-06-05 用於在一電腦視覺應用軟體中使用三維製圖工具之物件辨識的系統及方法

Country Status (12)

Country Link
US (1) US20220319205A1 (zh)
EP (1) EP3980924A1 (zh)
JP (1) JP7225435B2 (zh)
KR (1) KR20220004735A (zh)
CN (1) CN113811885A (zh)
AU (1) AU2020286971A1 (zh)
BR (1) BR112021019029A2 (zh)
CA (1) CA3140186A1 (zh)
MX (1) MX2021014926A (zh)
SG (1) SG11202113366VA (zh)
TW (1) TW202113674A (zh)
WO (1) WO2020245441A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821050B (zh) * 2022-11-28 2023-11-01 中國鋼鐵股份有限公司 泛用型遠端專家擴增實境協作系統

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023180178A1 (en) 2022-03-23 2023-09-28 Basf Coatings Gmbh System and method for object recognition utilizing color identification and/or machine learning
US11960968B2 (en) * 2022-08-25 2024-04-16 Omron Corporation Scanning device utilizing separate light pattern sequences based on target distance

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19858456A1 (de) * 1998-12-18 2000-07-06 Leica Microsystems Verfahren zum Auffinden, zur Aufnahme und gegebenenfalls zur Auswertung von Objektstrukturen
AU2003287735A1 (en) * 2002-11-12 2004-06-03 Argose, Inc. Non-invasive measurement of analytes
US20060118738A1 (en) * 2003-06-26 2006-06-08 Ncr Corporation Security markers for ascertaining navigational information
WO2007099540A2 (en) * 2006-03-01 2007-09-07 Green Vision Systems Ltd. Processing and analyzing hyper-spectral image data and information via dynamic database updating
US7995196B1 (en) * 2008-04-23 2011-08-09 Tracer Detection Technology Corp. Authentication method and system
US9117133B2 (en) * 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US9234618B1 (en) * 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
US9448110B2 (en) * 2012-09-27 2016-09-20 Northrop Grumman Systems Corporation Three-dimensional hyperspectral imaging systems and methods using a light detection and ranging (LIDAR) focal plane array
JP2018514748A (ja) * 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンThe University of Akron 光学撮像システムおよびその方法
EP3741303A3 (en) * 2015-03-06 2020-12-30 Micromass UK Limited Chemically guided ambient ionisation mass spectrometry
CN108351417B (zh) * 2015-10-19 2022-05-24 斯堪森斯公司 使用影像和其他遥感数据从目标获得数据
JP6810167B2 (ja) * 2016-05-27 2021-01-06 ヴェリリー ライフ サイエンシズ エルエルシー 4dハイパースペクトル撮像のためのシステムおよび方法
US10482340B2 (en) * 2016-12-06 2019-11-19 Samsung Electronics Co., Ltd. System and method for object recognition and ranging by deformation of projected shapes in a multimodal vision and sensing system for autonomous devices
US11182915B2 (en) * 2017-07-12 2021-11-23 Gentex Corporation Visual, depth and micro-vibration data extraction using a unified imaging device
US11067448B2 (en) * 2018-10-05 2021-07-20 Parsons Corporation Spectral object detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI821050B (zh) * 2022-11-28 2023-11-01 中國鋼鐵股份有限公司 泛用型遠端專家擴增實境協作系統

Also Published As

Publication number Publication date
CN113811885A (zh) 2021-12-17
SG11202113366VA (en) 2021-12-30
CA3140186A1 (en) 2020-12-10
MX2021014926A (es) 2022-01-24
AU2020286971A1 (en) 2022-01-06
WO2020245441A1 (en) 2020-12-10
US20220319205A1 (en) 2022-10-06
BR112021019029A2 (pt) 2021-12-21
JP2022536298A (ja) 2022-08-15
KR20220004735A (ko) 2022-01-11
EP3980924A1 (en) 2022-04-13
JP7225435B2 (ja) 2023-02-20

Similar Documents

Publication Publication Date Title
TW202113674A (zh) 用於在一電腦視覺應用軟體中使用三維製圖工具之物件辨識的系統及方法
US11295152B2 (en) Method and system for object recognition via a computer vision application
EP3931750A1 (en) Method and system for object recognition via a computer vision application
TW202105330A (zh) 用於使用光之三維製圖及模型化之物件辨識之系統及方法
US20220319149A1 (en) System and method for object recognition under natural and/or artificial light
US20220245842A1 (en) System and method for object recognition using fluorescent and antireflective surface constructs
US20220307981A1 (en) Method and device for detecting a fluid by a computer vision application
US20220230340A1 (en) System and method for object recognition using 3d mapping and modeling of light