TWI774004B - 適用於自助結帳服務之辨識設備及辨識方法 - Google Patents

適用於自助結帳服務之辨識設備及辨識方法 Download PDF

Info

Publication number
TWI774004B
TWI774004B TW109119925A TW109119925A TWI774004B TW I774004 B TWI774004 B TW I774004B TW 109119925 A TW109119925 A TW 109119925A TW 109119925 A TW109119925 A TW 109119925A TW I774004 B TWI774004 B TW I774004B
Authority
TW
Taiwan
Prior art keywords
target
light
information
transmitting element
identification device
Prior art date
Application number
TW109119925A
Other languages
English (en)
Other versions
TW202147177A (zh
Inventor
吳德常
黃博裕
吳韋良
何名軒
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW109119925A priority Critical patent/TWI774004B/zh
Publication of TW202147177A publication Critical patent/TW202147177A/zh
Application granted granted Critical
Publication of TWI774004B publication Critical patent/TWI774004B/zh

Links

Images

Landscapes

  • Cash Registers Or Receiving Machines (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Abstract

一種適用於自助結帳服務之辨識設備及辨識方法,係藉由多數個感測器進行商品數量偵測、商品影像辨識及商品定位,再配合重量感測器偵測商品之總重,以進行辨識結果之整合確認,故本發明之辨識設備可於商品任意擺放下進行辨識,並能迅速及有效判斷出商品之品項,大幅提升便利性。

Description

適用於自助結帳服務之辨識設備及辨識方法
本發明係關於一種辨識物品之設備及方法,尤指一種適用於自助結帳服務之辨識設備及辨識方法。
為減少零售業人力需求與無人商店的興起,業界導入自助結帳(Self-checkout)已成為趨勢。
目前自助結帳普遍使用條碼技術,其必須將掃描器逐一對齊商品之條碼才能讀取;若商品之條碼印刷不良、污損或表面有水霧,會導致無法讀取,且仍需以人工方式輸入商品編號,極為耗時。
因此,業界遂發展出人工智慧辨識商品技術,其將商品平放於櫃台上,以令感測器掃描商品之輪廓,即可推測出商品之價錢。
然而,習知人工智慧辨識商品技術,需將各商品間隔平放,且商標需朝上,故若商品受其它物品遮蔽或商標朝向它側,則無法判斷出該商品之真實品項,導致無法計價,造成使用不便。
本發明之目地係通過多數個多數個感測器,以降低多商品相互遮蔽現象,並整合該重量感測器,以提升演算該目標物所代表之品項及數量之精準度,使商品可任意擺放(平放、直放或堆疊等)下進行辨識,並能迅速及有效判斷出商品之真實品項,因而大幅提升便利性之適用於自助結帳服務之辨識設備及辨識方法。
本發明遂揭露一種適用於自助結帳服務之辨識設備,係包括:載台,係具有一用於承載目標物之透光元件,且該透光元件係具有相對之第一表面與第二表面;多數個感測器,係配置於該透光元件之第一表面與第二表面之上下方;荷重感測器,係設於該透光元件之第二表面上;以及資料處理系統,係通訊連接該多數個感測器及該荷重感測器。
前述之辨識設備中,該載台係具有多數個供架設該多數個感測器與該荷重感測器之支撐架。
前述之辨識設備中,該載台係作為結帳櫃台,其透光元件包括透光板。
前述之辨識設備中,該感測器係為感光型攝像頭。
前述之辨識設備中,該感測器係擷取該目標物之局部外觀特徵。
前述之辨識設備中,該感測器之感測範圍係基於該荷重感測器之感測範圍。
前述之辨識設備中,該荷重感測器係用以獲取該透光元件所承受之總壓力,該荷重感測器係貼附於該透光元件之第二表面上。
前述之辨識設備中,該資料處理系統係包含接收部及演算部,該接收部係用以接收該多數個感測器所擷取之目標物外觀資訊及該荷重感測器所獲取之目標物荷重資訊,使該演算部利用該目標物外觀資訊與目標物荷重資訊演算出該目標物所代表之品項。例如,該資料處理系統更包含一影像處理部,以處理該目標物外觀資訊中包含手部之影像。
前述之辨識設備中,該資料處理系統復配置有一資料庫,其內容包含該目標物之局部外觀特徵、該目標物之重量及該目標物之價格。
本發明亦提供一種適用於自助結帳服務之辨識方法,係包括:提供一種前述之適用於自助結帳服務之辨識設備;將至少一目標物置放於該載台之透光元件上;藉由該多數個感測器擷取該載台之透光元件上之影像,且該影像係包含該目標物之局部外觀特徵,以作為第一資訊,並藉由該荷重感測器獲取該透光元件所承受之壓力,以作為第二資訊;以及藉由資料處理系統處理該第一資訊及該第二資訊,以演算出該目標物所代表之品項及數量。
前述之辨識方法中,該目標物係為商品,且該局部外觀特徵係為該商品之形體及/或顏色。
前述之辨識方法中,該資料處理系統係將該第一資訊中包含手部之影像分類成第三資訊。
前述之辨識方法中,該資料處理系統係藉由座標轉換方式定位該目標物。
前述之辨識方法中,該資料處理系統係採用機率分析推測出該目標物所代表之品項及數量。
由上可知,本發明之適用於自助結帳服務之辨識設備及辨識方法中,通過在不同角度與高度配置多數個多數個感測器,以降低多商品相互遮蔽現象,並整合該重量感測器,以提升演算該目標物所代表之品項及數量之精準度,本發明之適用於自助結帳服務之辨識設備可於商品任意擺放(平放、直放或堆疊等)下進行辨識,並能迅速及有效判斷出商品之真實品項,因而大幅提升便利性。
以下藉由特定的具體實施例說明本發明之實施方式,熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。
須知,本說明書所附圖式所繪示之結構、比例、大小等,均僅用以配合說明書所揭示之內容,以供熟悉此技藝之人士之瞭解與閱讀,並非用以限定本發明可實施之限定條件,故不具技術上之實質意義,任何結構之修飾、比例關係之改變或大小之調整,在不影響本發明所能產生之功效及所能達成之目的下,均應仍落在本發明所揭示之技術內容得能涵蓋之範圍內。同時,本說明書中所引用之如「上」、「下」、「前」、「後」、「左」、「右」、「第一」、「第二」、「第三」及「一」等之用語,亦僅為便於敘述之明瞭,而非用以限定本發明可實施之範圍,其相對關係之改變或調整,在無實質變更技術內容下,當視為本發明可實施之範疇。
如第1圖所示,本發明之適用於自助結帳服務之辨識設備1係包括:一載台10、多數個感測器11a,11b,11c,11d、至少一荷重感測器12以及一資料處理系統13。
於本實施例中,該辨識設備1係適用於商店中辨識商品之自助結帳服務。
所述之載台10係具有一用於承載至少一目標物9a,9b,9c9d(如第2圖所示)之透光元件100,且該透光元件100係具有相對之第一表面10a與第二表面10b。
於本實施例中,該載台10係作為一結帳櫃台,其透光元件100為一如矩形板體之透光板或玻璃,且於該透光元件100之第一表面10a(或該透光板上側)之其中一邊緣(如後側)上配置有一組支撐架101,並於該支撐架101頂端向前延伸出另一支架101a,而於該透光元件100之第二表面10b上(即該透光板下方)配置一包括多數個支撐架102a之基座102,以令該透光元件100架設於該基座102上。例如,該透光元件100可由透明材質或其它適當透光材質所製成,並無特別限制。具體地,該載台10具有支撐架101與基座102,該基座102為一框架102a構成一矩形或正方形之座體、或為一似正方體或長方體(圖未示)等構成之基座102,且該支撐架101為一支架101a構成一ㄇ字形支撐架101,其設置於該基座102一側,並向該透光元件100上方延伸出另一支架101a。在另一實施例,該支撐架101可為一板體狀。
所述之感測器11a,11b,11c,11d係佈設於該透光元件100之第一表面10a與第二表面10b之上。
於本實施例中,各該感測器11a,11b,11c,11d係為感光型攝像頭,如電荷耦合裝置(Charge-coupled Device,縮寫CCD),以擷取該目標物9a,9b,9c,9d之形體及顏色。例如,於該透光元件100上方之支撐架101及另一支架101a上配置三個朝不同方向,如朝左邊方向之透光元件100上(或位於支撐架101的左側上)、朝右邊方向之透光元件100上(或位於支撐架101的右側上)及朝下方(或位於另一支架101a上)拍攝之感測器11a,11b,11c,且於該透光元件100之第二表面10b(或該基座102)上(即該透光元件100下方)配置一個朝上方拍攝之感測器11d。具體地,單一感測器11a,11b,11c,11d因鏡頭之廣角限制而僅能擷取該目標物9a,9b,9c,9d之局部外觀特徵,如第2A至2D圖所示之表面特徵。在一實施例中,該些感測器11a,11b,11c,11d均朝該透光元件100的區域內拍攝。
所述之荷重感測器12係貼附於該透光元件100之第二表面10b上,以藉由該荷重感測器12獲取該透光元件100所承受之總壓力。在其它實施例中,該荷重感測器12亦可設置於該透光元件100內部,本發明之創作精神不限於此。在可能情況下,可測得重量均為本發明所包括之創作精神。
於本實施例中,於該透光元件100之第二表面10b(或該透光板下方)之各邊緣對應該基座102之支撐架102a上貼附四個荷重感測器12,以偵測出該透光元件100之各處之壓力,俾供獲取該透光元件100所承受之總壓力。
再者,由於單一荷重感測器12係用於偵測該透光元件100之各處之壓力,因而將各該荷重感測器12所偵測出之數值(如電阻)透過額外轉換器(圖未示)進行計算,即可獲得所有目標物9a,9b,9c,9d之平均總重量,亦即該荷重感測器12並未偵測出每一個目標物9a,9b,9c,9d之個別重量。
所述之資料處理系統13係配置於一電腦中,其通訊連接該些感測器11a,11b,11c,11d及該荷重感測器12,以操控該些感測器11a,11b,11c,11d及該荷重感測器12。
請參閱第1至3圖,於本實施例中,該資料處理系統13係包含一接收部13a及一演算部13b,該接收部13a係用以接收該些感測器11a,11b,11c,11d所擷取之目標物外觀資訊(來自該些感測器11a,11b,11c,11d所擷取之該目標物9a,9b,9c,9d之形體及顏色,其作為第一資訊)及該荷重感測器12所獲取之目標物荷重資訊(即來自該荷重感測器12所獲取之該透光元件100所承受之總壓力,其作為第二資訊),且該演算部13b係利用該第一資訊與第二資訊演算出該目標物9a,9b,9c,9d所代表之品項。進一步,該資料處理系統13更包含一影像處理部13e,以處理如購物者之手部位於該透光元件100之第一表面10a上之影像,例如,購物者於該透光元件100上方來回伸手取放商品時,可能局部或完全包覆商品,故當手部移到該透光元件100上之前,先辨識一次該透光元件100上方之商品影像,而當手部移到該透光元件100上時,該影像處理部13e可將包含手部之影像態樣分類成第三資訊,以利於該演算部13b進行演算(如將影像中之手部移除後所得之另一影像與先前商品影像進行交叉比對)。應可理解地,雖然該第一資訊之任何資料均不會出現「人手」之外觀影像,但該第一資訊仍可包含具有手部圖案(如手套)之商品外觀影像。
再者,該資料處理系統13復配置有一資料庫13c,其內容包含每一商品之各種局部外觀特徵、每一商品之重量及所有商品之價格。例如,每一商品之各種局部外觀特徵係包含顏色、形體或其它包裝特徵。具體地,該資料處理系統13可配置有一人工智慧(Artificial Intelligence)訓練模組13d,以整合出各種局部外觀特徵所代表之商品,並將訓練整合結果儲存至該資料庫13c中,以令該資料庫13c配合該演算部13b進行比對作業。較佳地,將每一商品從各個角度拍攝的照片,並將商品準確的標記座標在照片上,在利用深度學習(faster-RCNN)自己去提取可能的外觀特徵提供大量的照片至該人工智慧訓練模組13d利用深度學習(faster-RCNN)進行訓練,以提取出可能的外觀特徵,使該人工智慧訓練模組13d輸出的模型可用於配合該演算部13b進行比對作業,故當該些商品不論以何種情況放置於該透光元件100時,即使單一感測器11a,11b,11c,11d僅能擷取商品之局部外觀特徵,該資料處理系統13仍可推測出該商品所代表之品項。該人工智慧訓練模組13d例如為類神經網路、支持向量機(Support Vector Machines)、K-Nearest Neighbors(KNN)或其它模型。
又,由於該些感測器11a,11b,11c,11d所獲取之商品影像係無法得知商品位置,故該演算部13b需藉由座標轉換方式,將該影像所處之初始二維座標(其係由框出商品的矩形左上與右下的基準點P1,P2所構成,如第3A圖所示)轉換為各該感測器11a,11b,11c,11d所需之平面(2D)態樣之目標二維座標(如世界座標系),以令該商品之位置定位於該目標二維座標之方位上,使各該感測器11a,11b,11c,11d所擷取之影像均可以該目標二維座標進行標示,以準確定義出單一商品之局部外觀特徵之位置。
如第3’圖所示,於步驟S30中,先以該荷重感測器12之感測範圍為基礎,設定出該感測器11a,11b,11c,11d之感測範圍(即該感測器11a,11b,11c,11d之感測範圍需涵蓋該荷重感測器12之局部或全部感測範圍);接著,於步驟S31中,計算出各該感測器11a,11b,11c,11d以其視角所拍攝之畫面A1(如第3A’圖所示)投影於一平面A2(如第3A’圖所示)上所需之參數,以獲取平面二維座標,且進一步計算出將各該感測器11a,11b,11c,11d之平面二維座標之矩陣[A]轉換成目標二維座標之矩陣[W]之轉換矩陣[T],即[A][T]=[W]。
之後,於步驟S32~S33中,以該支撐架101之左側上之感測器11b為例,將其所擷取之包含商品8a,8b之畫面(如第3A圖所示之影像A1)透過該資料庫13c進行比對,以辨識出該商品8a,8b之品項(例如,商品8a為餅乾,商品8b為糖果);最後,於步驟S34中,將該包含商品8a,8b之畫面所定義出之初始二維座標x’-y’-z’(如第3A圖所示)套用已知參數(如第3A’圖所示)進行計算而得出該平面二維座標x-y-z,以獲取該些商品8a,8b於該平面二維座標x-y-z上之位置(如第3B圖所示),再藉由該轉換矩陣[T]將該平面二維座標x-y-z轉換為目標二維座標X-Y-Z,如第3C圖所示,以將該商品8a,8b之局部外觀特徵之影像中心位置定位於該目標二維座標X-Y-Z之方位上。因此,各該感測器11a,11b,11c,11d所擷取之影像均能依據該目標二維座標X-Y-Z定義出一絕對位置。
另外,即使各種商品之整體外觀完全不同,但某些商品之局部外觀特徵可能相同,故該資料處理系統13需藉由該荷重感測器12所獲取之荷重資訊,以進一步區分該些商品所代表之品項。例如,當該些商品相互堆疊放置時,該些感測器11a,11b,11c,11d所擷取之商品之局部外觀特徵可能相同,此時,該資料處理系統13藉由該荷重感測器12所獲取之荷重資訊,以推測各商品分別代表之品項。
具體地,如第4圖所示,基於該目標二維座標X-Y-Z,第一個視角之感測器11a所擷取之商品影像之局部外觀特徵係包含兩個藍色圓形特徵4a(如圖所示之○)、一個綠色圓形特徵4b(如圖所示之⊕)及一個紅色圓形特徵4c(如圖所示之⊙),第二個視角之感測器11b所擷取之商品影像之局部外觀特徵包含兩個藍色圓形特徵4a及兩個紅色圓形特徵4c,第三個視角之感測器11c所擷取之影像之局部外觀特徵包含兩個藍色圓形特徵4a及一個綠色圓形特徵4b,再藉由該荷重感測器12所獲取之總重量,使該資料處理系統13可藉由該資料庫13c分析出該些商品影像呈現機率最高之商品組合,如兩個藍色圓形特徵4a、一個綠色圓形特徵4b及一個紅色圓形特徵4c個別代表之商品之組合,共四件商品。由此可知,第二個視角之感測器11b所擷取之兩個紅色圓形特徵4c應屬於不同之商品,但其局部外觀特徵相同。
於使用該辨識設備1時,如第5圖所示之步驟S50~S60,具體如下所述。
於步驟S50中,進行前置作業。具體地,將該些感測器11a,11b,11c,11d拍攝該透光元件100及其周圍之影像,即進行前、後景偵測,以進行前、後環境之分類,並確認該載台10及其周圍無任何商品,且進一步分類前景有手或無手之畫面情況。
接著,於步驟S51~S52中,將多數個多數個商品任意置放於該載台10之透光元件100之第一表面10a上(或該透光板上方),再藉由該些感測器11a,11b,11c,11d擷取該載台10之透光元件100之第一表面10a上(或該透光板上方)之影像,如該些商品於置放後之外觀特徵之影像。同時,於步驟S53中,藉由該些荷重感測器12獲取該透光元件100所承受之總壓力(即該些商品之總重量)。
於步驟S54~S56中,該資料處理系統13之接收部13a接收來自該些感測器11a,11b,11c,11d所擷取之影像以作為第一資訊,且接收來自該些荷重感測器12所獲取之商品總重量,以作為第二資訊,並藉由該資料處理系統13之演算部13b演算出該些商品所代表之品項。
於本實施例中,如步驟S54~S55’,該演算部13b配合該資料庫13c將該第一資訊進行比對作業以辨識商品,再進行商品定位作業,以獲取商品之暫時品項清單。同時,如步驟S56,該演算部13b藉由該第二資訊與該資料庫13c進行匯集作業,以列出呈現可能呈現出該第二資訊所得之總重量的各種商品之可能清單。
另一方面,於步驟S57~S58中,由於購物者可一次取放多件商品或逐一置放商品於該透光元件100之第一表面10a上,甚至反悔從該透光元件100之第一表面10a上取回商品,故購物者之手不斷進出該透光元件100之第一表面10a之上方,因而該些感測器11a,11b,11c,11d需連續擷取任何時段之影像至該接收部13a,以令該影像處理部13e分類出具手部之影像資料,供作為第三資訊,其中,該第三資訊可包含「人手與商品」之外觀影像或「人手」之外觀影像。因此,於步驟S58中,該演算部13b會依據該第三資訊選擇包含「人手與商品」之外觀影像,以配合該資料庫13c將該第三資訊進行另一比對作業,藉以辨識商品之品項,而獲取另一批商品之暫時品項清單。
於本實施例中,該些感測器11a,11b,11c,11d係不斷偵測該透光元件100之第一表面10a上之商品置放變化狀態,且該些荷重感測器12也會不斷偵測該透光元件100之第一表面10a上之商品總重變化狀態。例如,於結帳前或置放過程中,購買者可能會不斷改變商品位置,以避免商品掉落或取回反悔商品,故該接收部13a需不斷更新第一至第三資訊,以利於該演算部13b處理。
之後,於步驟S59中,該演算部13b進一步演算出該些商品所代表之品項及數量。
於本實施例中,將步驟S55’及步驟S58所得之暫時品項清單與步驟S56所得之可能清單進行票選作業,以推測各商品分別代表之目標品項及目標數量。例如,該票選作業係透過解集合(solution set)方程式,如下所示之公式:
Figure 02_image001
其中,m係代表為商品之數量,M代表為商品之重量,W係代表為第二資訊之總重量,藉此得到所有可能的非負整數解,如下所示之解集合,
Figure 02_image003
Figure 02_image005
Figure 02_image007
其中,ak1 ……… akn 為商品清單,且利用第一資訊與第三資訊所對應的可能性,將該商品清單進行機率分析,以獲取最佳對應商品組合。
具體地,以第4圖為例,基於該目標二維座標X-Y-Z,第一資訊係包含藍色圓形特徵4a、綠色圓形特徵4b及紅色圓形特徵4c,且第三資訊係包含藍色圓形特徵4a及紅色圓形特徵4c,並由該資料庫13c可知藍色圓形特徵4a代表15公斤之品項,且綠色圓形特徵4b係代表45公斤之品項,而紅色圓形特徵4c係代表30公斤之品項,故依據該荷重感測器12所獲取之總重量,進行機率分析(即投票機制),其機率值為P – nε,其中,P代表某一商品為某一數量之最大可能性,ε代表誤差值,n代表某一數量與其它數量之個數差。例如,假設兩個藍色圓形特徵4a出現於三個視角影像中,則藍色圓形特徵4a為兩個的可能性最高,其可能性為p,而其它x個之可能性為p –∣ 2-x∣ε。
因此,基於第一資料與第三資料可得到各特徵之相關機率值,如下表所示,其中m代表第一資料,h代表第三資料:
  第一資料 第三資料
藍色圓形特徵 2個的機率 𝑝m , x個的機率 𝑝m -|2-𝑥| 𝜀m 1個的機率 𝑝h , x個的機率 𝑝h -|1-𝑥| 𝜀h
綠色圓形特徵 1個的機率 𝑝m , x個的機率 𝑝m -|1-𝑥| 𝜀m  
紅色圓形特徵 1個的機率 𝑝m , x個的機率 𝑝m -|1-𝑥| 𝜀m 1個的機率 𝑝h , x個的機率 𝑝h -|1-𝑥| 𝜀h
接著,將各特徵之相關機率值加總,再配合該第二資訊經由匯集作業所得之可能清單進行分析,以獲取如第6圖所示之票選清單(共八組),再依據該票選清單取得最佳解,以作為票選結果,如步驟S60,因而推測出該些商品所代表之品項及數量之最佳組合(如第6圖所示之編號六係為最佳解,其共四件商品,各商品係分別具有兩個藍色圓形特徵4a、一個綠色圓形特徵4b及一個紅色圓形特徵4)。
有關機率方式之演算種類繁多,並不限於上述。
最後,該演算部13b依據該票選結果配合該資料庫13c換算出該透光元件100上之商品之總價。
因此,本發明之辨識方法係整合三組流程,如下:
第一組流程,係由多數個感測器11a,11b,11c,11d組成之多角度商品辨識模組,以協同拍攝的方式,於商品擺上該載台10後進行商品影像辨識作業。
第二組流程,係利用重量感測器12得知所有商品之總重量,以與外觀資訊(即第一資訊及第三資訊)進行融合比對而產出辨識結果。
第三組流程,係在商品擺放過程中,利用裝設於該載台10上方的感測器13a,13b,13c拍攝手持商品的畫面,再經過演算法辨識商品。
綜上所述,本發明之適用於自助結帳服務之辨識設備及其辨識方法,主要藉由感測器進行商品數量偵測、商品影像辨識及商品定位,再配合該重量感測器偵測商品之總重,以進行辨識結果之整合確認,故相較於習知技術,本發明之適用於自助結帳服務之辨識設備可於商品任意擺放(平放、直放或堆疊等)下進行辨識,並能迅速及有效判斷出商品之真實品項,因而大幅提升便利性。
上述實施例係用以例示性說明本發明之原理及其功效,而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下,對上述實施例進行修改。因此本發明之權利保護範圍,應如後述之申請專利範圍所列。
1:辨識設備 10:載台 10a:第一表面 10b:第二表面 100:透光元件 101,101a,102a:支撐架 102:基座 11a,11b,11c,11d:感測器
12:荷重感測器
13:資料處理系統
13a:接收部
13b:演算部
13c:資料庫
13d:人工智慧訓練模組
13e:影像處理部
4a:藍色圓形特徵
4b:綠色圓形特徵
4c:紅色圓形特徵
8a,8b:商品
9a,9b,9c,9d:目標物
A1:立體畫面
A2:平面
P1,P2:基準點
S30-S34,S50-S60:步驟
第1圖係為本發明之適用於自助結帳服務之辨識設備之立體示意圖。
第2圖係為本發明之適用於自助結帳服務之辨識設備置放目標物之立體示意圖。
第2A至2D圖係為第2圖之各視角感測器所擷取之目標物之影像畫面。
第3圖係為本發明之適用於自助結帳服務之辨識設備之資料處理系統之架構示意圖。
第3’圖係為本發明之適用於自助結帳服務之辨識設備之定位方式之流程圖。
第3A至3C圖係為本發明之適用於自助結帳服務之辨識設備之定位作業之過程之示意圖。
第3A’圖係為本發明之適用於自助結帳服務之辨識設備之定位作業於獲取參數之過程之示意圖。
第4圖係為本發明之適用於自助結帳服務之辨識設備之資料處理系統之品項判斷之示意圖。
第5圖係為本發明之適用於自助結帳服務之辨識方法之流程示意圖。
第6圖係為本發明之適用於自助結帳服務之辨識方法之票選清單之圖表。
1:辨識設備
10:載台
10a:第一表面
10b:第二表面
100:透光元件
101,101a,102a:支撐架
102:基座
11a,11b,11c,11d:感測器
12:荷重感測器
13:資料處理系統

Claims (14)

  1. 一種適用於自助結帳服務之辨識設備,係包括:載台,係具有一用於承載目標物之透光元件,且該透光元件係具有相對之第一表面與第二表面;多數個感測器,係配置於該透光元件之第一表面與第二表面之上下方;荷重感測器,係設於該透光元件之第二表面上;以及資料處理系統,係通訊連接該多數個感測器及該荷重感測器,其中,該資料處理系統係採用機率分析推測出該目標物所代表之品項及數量之最佳組合。
  2. 如申請專利範圍第1項所述之辨識設備,其中,該載台係具有多數個供架設該多數個感測器與該荷重感測器之支撐架。
  3. 如申請專利範圍第1項所述之辨識設備,其中,該載台係作為結帳櫃台,其透光元件包括透光板。
  4. 如申請專利範圍第1項所述之辨識設備,其中,該感測器係為感光型攝像頭。
  5. 如申請專利範圍第1項所述之辨識設備,其中,該感測器係擷取該目標物之局部外觀特徵。
  6. 如申請專利範圍第1項所述之辨識設備,其中,該感測器之感測範圍係基於該荷重感測器之感測範圍。
  7. 如申請專利範圍第1項所述之辨識設備,其中,該荷重感測器係用以獲取該透光元件所承受之總壓力。
  8. 如申請專利範圍第1項所述之辨識設備,其中,該資料處理系統係包含接收部及演算部,該接收部係用以接收該多數個感測器所擷取之目標物 外觀資訊及該荷重感測器所獲取之目標物荷重資訊,以令該演算部利用該目標物外觀資訊與目標物荷重資訊演算出該目標物所代表之品項。
  9. 如申請專利範圍第8項所述之辨識設備,其中,該資料處理系統更包含一影像處理部,以處理該目標物外觀資訊中包含手部之影像。
  10. 如申請專利範圍第1項所述之辨識設備,其中,該資料處理系統復配置有一資料庫,其內容包含該目標物之局部外觀特徵、該目標物之重量及該目標物之價格。
  11. 一種適用於自助結帳服務之辨識方法,係包括:提供一種如申請專利範圍第1項所述之辨識設備;將至少一目標物置放於該載台之透光元件之第一表面上;藉由該多數個感測器擷取該載台之透光元件之第一表面上之該目標物的影像,並藉由該荷重感測器獲取該透光元件所承受之壓力,其中,該經擷取之影像係包含該目標物之局部外觀特徵並作為第一資訊,且該經獲取之壓力係作為第二資訊;以及藉由資料處理系統處理該第一資訊及該第二資訊,其中,該資料處理系統係採用機率分析推測出該目標物所代表之品項及數量之最佳組合。
  12. 如申請專利範圍第11項所述之辨識方法,其中,該目標物係為商品,且該局部外觀特徵係為該商品之形體及/或顏色。
  13. 如申請專利範圍第11項所述之辨識方法,其中,該資料處理系統復將該第一資訊中包含手部之影像分類出而作為第三資訊。
  14. 如申請專利範圍第11項所述之辨識方法,其中,該資料處理系統係藉由座標轉換方式定位該目標物。
TW109119925A 2020-06-12 2020-06-12 適用於自助結帳服務之辨識設備及辨識方法 TWI774004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109119925A TWI774004B (zh) 2020-06-12 2020-06-12 適用於自助結帳服務之辨識設備及辨識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109119925A TWI774004B (zh) 2020-06-12 2020-06-12 適用於自助結帳服務之辨識設備及辨識方法

Publications (2)

Publication Number Publication Date
TW202147177A TW202147177A (zh) 2021-12-16
TWI774004B true TWI774004B (zh) 2022-08-11

Family

ID=80784013

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109119925A TWI774004B (zh) 2020-06-12 2020-06-12 適用於自助結帳服務之辨識設備及辨識方法

Country Status (1)

Country Link
TW (1) TWI774004B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482879A (zh) * 2008-01-10 2009-07-15 国际商业机器公司 使用传感器识别放置在表面上的物体的系统和方法
US9892438B1 (en) * 2012-05-03 2018-02-13 Stoplift, Inc. Notification system and methods for use in retail environments
CN109118682A (zh) * 2018-08-30 2019-01-01 深圳市有钱科技有限公司 智能计数及结算方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482879A (zh) * 2008-01-10 2009-07-15 国际商业机器公司 使用传感器识别放置在表面上的物体的系统和方法
US9892438B1 (en) * 2012-05-03 2018-02-13 Stoplift, Inc. Notification system and methods for use in retail environments
CN109118682A (zh) * 2018-08-30 2019-01-01 深圳市有钱科技有限公司 智能计数及结算方法和装置

Also Published As

Publication number Publication date
TW202147177A (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
KR102454854B1 (ko) 영상 모니터링에 기반하는 물품 감지 시스템 및 물품 감지 방법
US10467454B2 (en) Synchronization of image data from multiple three-dimensional cameras for image recognition
EP3447681B1 (en) Separation of objects in images from three-dimensional cameras
US20190220692A1 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
CN107705293A (zh) 一种基于ccd面阵相机视觉检测的五金零件尺寸测量方法
CN110807808A (zh) 一种基于物理引擎和深度全卷积网络的商品识别方法
US11281888B2 (en) Separation of objects in images from three-dimensional cameras
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN111160450A (zh) 一种基于神经网络的果蔬称重方法及储存介质、装置
KR102093450B1 (ko) 원단의 물성 측정 시스템 및 방법
TWI774004B (zh) 適用於自助結帳服務之辨識設備及辨識方法
KR20230171858A (ko) 참조패턴을 이용한 사물 식별 장치 및 방법
WO2023138447A1 (zh) Ai称重系统和利用多种数据集增加ai模型的精度的方法