TW202004528A - 商品特定裝置、記錄媒體及學習方法 - Google Patents

商品特定裝置、記錄媒體及學習方法 Download PDF

Info

Publication number
TW202004528A
TW202004528A TW108119650A TW108119650A TW202004528A TW 202004528 A TW202004528 A TW 202004528A TW 108119650 A TW108119650 A TW 108119650A TW 108119650 A TW108119650 A TW 108119650A TW 202004528 A TW202004528 A TW 202004528A
Authority
TW
Taiwan
Prior art keywords
product
commodity
mentioned
server
seal
Prior art date
Application number
TW108119650A
Other languages
English (en)
Inventor
松葉靖寿
下山荘介
福田雅宣
藤岡智愛
鳥居晶仁
Original Assignee
日商資生堂股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商資生堂股份有限公司 filed Critical 日商資生堂股份有限公司
Publication of TW202004528A publication Critical patent/TW202004528A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本發明之商品特定裝置(1)之特徵在於具備：取得部，其取得攝像圖像；標章檢測部，其使用標章檢測器對取得之上述攝像圖像判定是否為具備符合之標章之商品；商品群特定部，其對檢測出上述標章之上述攝像圖像，使用已學習具備上述標章之商品的第1神經網路，特定是否屬於複數個商品群之任一者；及商品特定部，其使用已按上述複數個商品群學習之第2神經網路而特定商品。

Description

商品特定裝置、記錄媒體及學習方法
本發明係關於一種商品特定裝置、記錄媒體及學習方法。
有對拍攝商品之攝像圖像進行圖像辨識，並特定拍攝之商品之技術。例如於專利文獻1中，揭示有資訊處理系統等，其藉由使用依據深度學習之辨識模型，而根據攝像圖像辨識事先登錄之商品，進而驗證商品之大小及顏色，從而高精度地特定商品。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特許第6209717號公報
[發明所欲解決之問題]
然而，專利文獻1之發明需以拍攝之物體為事先登錄之商品群之任一者為前提。因此，於拍攝未登錄之商品之情形時，有將該商品強制分類為已登錄商品之任一者之問題。
本發明之一態樣之目的在於，提供一種可根據攝像圖像適當地特定商品之商品特定裝置等。 [解決問題之技術手段]
一態樣之商品特定裝置之特徵在於具備：取得部，其取得攝像圖像；標章檢測部，其使用標章檢測器對取得之上述攝像圖像判定是否為具備符合之標章之商品；商品群特定部，其對檢測出上述標章之上述攝像圖像，使用已學習具備上述標章之商品之第1神經網路，特定是否屬於複數個商品群之任一者；及商品特定部，其使用已按上述複數個商品群學習之第2神經網路而特定商品。
可讀取一態樣之程式之記錄媒體之特徵在於使電腦執行如下處理：取得攝像圖像；自取得之上述攝像圖像檢測符合之標章，而判定是否為具備該標章之商品；對檢測出上述標章之上述攝像圖像，使用已學習具備上述標章之商品之第1神經網路，特定是否屬於複數個商品群之任一者；及使用已使之按上述複數個商品群學習之第2神經網路而特定商品。
一態樣之學習方法之特徵在於使電腦執行如下處理：取得教導資料，該資料包含經拍攝商品之教導用圖像、及顯示上述商品、該商品從屬之商品群、以及該商品所具備之標章的資訊；基於該教導資料，分別產生識別上述商品、商品群、及標章之識別器。 [發明之效果]
於本發明之一態樣中，可根據攝像圖像適當地特定商品。
以下，對本發明基於顯示其實施形態之圖式進行詳細說明。 (實施形態) 圖1係顯示商品特定系統之構成例之模式圖。於本實施形態中，對根據使用者拍攝之商品之攝像圖像，特定該圖像所反映之商品的商品特定系統進行說明。商品特定系統具有商品特定裝置1、終端2。商品特定裝置1及終端2經由網際網路等之網路N通信連接。
商品特定裝置1係可進行各種資訊處理、資訊之收發送之資訊處理裝置，例如為伺服器裝置、個人電腦等。本實施形態之商品特定裝置1設為伺服器裝置，以下為求簡潔而換稱為伺服器1。伺服器1進行根據拍攝商品之攝像圖像，特定該圖像內之商品之處理。具體而言，伺服器1進行根據教導用之商品圖像學習商品之特徵量之機械學習處理，預先構築用於根據圖像特定商品之學習模型。伺服器1參照該學習模型，特定使用者拍攝之圖像所含之商品。
終端2係各使用者攜帶之終端裝置，例如為智慧型手機、平板終端、及個人電腦等。本實施形態之終端2以具有攝像功能之智慧型手機進行說明。終端2根據使用者之操作拍攝商品，且將拍攝之圖像向伺服器1發送。伺服器1對自終端2取得之圖像進行圖像辨識，並特定商品。
圖2係顯示伺服器1之構成例之方塊圖。伺服器1具備控制部11、主記憶部12、通信部13、及輔助記憶部14。 控制部11具有一個或複數個CPU(Central Processing Unit：中央處理單元)、MPU(Micro-Processing Unit：微處理單元)、GPU(Graphics Processing Unit：圖形處理單元)等運算處理裝置，藉由讀取並執行記憶於輔助記憶部14之程式P，而進行伺服器1之各種資訊處理、控制處理等。主記憶部12係SRAM(Static Random Access Memory：靜態隨機存取記憶體)、DRAM(Dynamic Random Access Memory：動態隨機存取記憶)、及快閃記憶體等暫時記憶區域，為控制部11執行運算處理而暫時性地記憶必要之資料。通信部13包含用於進行通信相關之處理之處理電路等，與終端2等進行資訊之收發送。
輔助記憶部14係大容量記憶體、硬碟等，為控制部11執行處理而記憶有必要之程式P、及其他資料。又，輔助記憶部14記憶有藉由機械學習處理而構築之學習模型之資料。具體而言，輔助記憶部14記憶有：標章識別器(標章檢測器)141，其用於根據拍攝商品之圖像檢測標註於商品容器之標章；商品群識別器142(第1神經網路)，其用於特定拍攝之商品是否屬於預先設定之複數個商品群之任一者；及商品識別器143(第2神經網路)，其用於特定具體之各個商品。伺服器1使用各識別器進行根據攝像圖像特定商品之處理。
另，輔助記憶部14亦可為連接於伺服器1之外部記憶裝置。又，伺服器1亦可為包含複數台電腦之多伺服器，又可為藉由軟體虛擬性構築之虛擬機器。
又，本實施形態之伺服器1未限定於上述構成，亦可包含例如受理操作輸入之輸入部、顯示伺服器1之資訊之顯示部、及讀取可攜型記憶媒體所記憶之資訊的讀取部等。
圖3係顯示本實施形態之概要之說明圖。於圖3中，圖示有已學習了特定之商品相關之圖像特徵量之伺服器1，對終端2發送之圖像內之商品加以特定的情況。 例如伺服器1進行機械學習處理，根據拍攝事先登錄之商品(例如企業之本公司商品)之教導用之圖像資料，學習商品容器之顏色、形狀等之特徵量，從而預先構築學習模型。伺服器1自終端2取得使用者拍攝之商品之圖像資料，且參照上述學習模型，特定攝像圖像所含之商品是否符合預先登錄之特定之商品之任一者。例如伺服器1對使用者提供特定之商品之資訊。
然而，可能亦有使用者拍攝未登錄之商品(例如其他公司商品)之情形。於該情形時，伺服器1將攝像圖像之商品分類為登錄商品之任一者。如此，於輸入不特定多數之圖像之情形時，有強制分類為已登錄之商品之任一者而錯誤特定商品之虞。
因此伺服器1藉由進行排除未登錄商品之圖像之前處理，而防止上述事態。具體而言，伺服器1使用標章識別器141，根據攝像圖像檢測標註於登錄商品之標章。於未檢測出登錄商品之標章之情形時，伺服器1自處理對象中排除該圖像。
圖4A及B係用於說明標章特定處理之說明圖。圖4A圖示有自攝像圖像擷取局部特徵量之情況。於圖4B中圖示有進行擷取之局部特徵量之分組之情況。 例如伺服器1自攝像圖像擷取顯示亮度之梯度之局部特徵量，並基於擷取之局部特徵量，檢測標註於商品容器之標章。局部特徵量係例如HOG(Histograms of Oriented Gradients：梯度方向分佈圖)特徵量。HOG特徵量係藉由將以特定單位分割攝像圖像之局部區域(單元)中之亮度之梯度方向直方圖化，而向量表現亮度梯度之特徵量。HOG特徵量如圖4A所示，將5×5之像素設為1單元，將3×3之單元設為1區塊，以8方向之二進制(圖4A所示之箭頭)之直方圖表現1區塊之亮度梯度。另，上述區塊及單元之構成單位為一例，亦可任意地變更。又，表現梯度之二進制未限定於8方向。HOG特徵量有幾何學變化較強，圖像照明之變動上較穩健之特長。本實施形態之伺服器1使用HOG特徵量作為用於特定標章之特徵量。
例如伺服器1基於HOG特徵量，使用SVM(Support Vector Machine：支援向量機)之運算法特定標章。SVM係使用教導式學習之圖案辨識方法，即對輸入資料(攝像圖像)進行分組之方法。如圖4B概念性所示，於SVM中，將各組(於圖4B中為2組)之資料樣本投影於多維之特徵量空間，求出與最近樣本之距離(邊限)為最大之識別面，藉此產生以該識別面為識別邊界進行分組的識別器。於SVM中藉由使用該識別器，判定識別對象即輸入資料之特徵量是否位於以識別面為邊界之空間之任一者，從而進行分組。
於本實施形態中，伺服器1對於容器上標註有標章之登錄商品之教導用圖像，取得(輸入)標記有該圖像中之標章部分之座標位置之正解值的教導資料。標章係包含文字、圖形、記號等之所謂之標誌，即消費者識別商品時著眼之標示。另，如後述之變化例所說明，本實施形態中之「標章」未限定於標誌，標章亦包含消費者識別商品時作為特徵之商品容器等之構造，即商品之形狀。伺服器1藉由自教導用圖像擷取由教導資料規定之座標位置之HOG特徵量，而以多維之特徵量向量表現標章部分之亮度梯度。且，伺服器1藉由將標章部分之HOG特徵量投影於多維之特徵空間，求出邊限為最大之識別邊界，從而產生自HOG特徵量識別標章之標章識別器141。如為自終端2取得攝像圖像之情形，伺服器1使用標章識別器141，檢測該圖像反映之商品所標註的標章。
如因上述之機械學習時作為學習對象之登錄商品之標章未標註於所拍攝之商品，或標註有標章但非登錄商品等之理由，而未自攝像圖像檢測出登錄商品之標章之情形時，伺服器1將攝像圖像之商品作為非登錄商品，自處理對象中排除。例如伺服器1通知終端2標章檢測失敗之主旨，結束一連串處理。
圖5係用於說明商品特定處理之說明圖。於標章檢測成功之情形時，伺服器1特定該商品是否符合登錄商品之任一者。具體而言，伺服器1自教導資料預先產生ResNet(Residual Network：剩餘網絡)之神經網路即商品群識別器142及商品識別器143，使用各識別器特定各個商品。
ResNet係神經網路之一種，具有所謂之層非常深、識別精度較高之特長。於圖5上側，顯示ResNet之概念性模式圖。於ResNet中，具有對特定數之神經元層(於圖5為每2層)逐次計算輸入值與輸出值之殘差，將計算後之殘差作為輸入值輸入至後續層之網路構造。於ResNet中重複上述殘差計算直至最終層(輸出層)為止。藉此，可抑制層數較多之情形時產生之梯度消失、梯度發散等問題，可確保較高之識別精度。
於本實施形態中採用ResNet-101，伺服器1產生具有101層之神經元層之神經網路構造之識別器。更詳細而言，伺服器1建構包含執行卷積運算之神經元層之CNN(Convolution Neural Network：卷積神經網絡)模型之識別器。伺服器1使用產生之識別器特定各個商品。
具體而言，伺服器1取得(輸入)包含教導用圖像、及顯示登錄商品所屬之商品群及商品自身之資訊的教導資料，並根據該教導資料分別產生商品群識別器142及商品識別器143。商品群係例如關於系列化之商品品牌之容器彼此相似之商品等，特徵量於某種程度上近似之商品的區分。伺服器1係取得標記有商品群之正解值(例如商品群之名稱。以下，稱為「系列名」)之教導用圖像。伺服器1藉由根據教導用圖像擷取商品容器之顏色、形狀、或商品容器所表述之系列名之文字等之特徵量，產生商品群識別器142。
又，伺服器1根據標記有可於教導圖像特定各個商品之資訊(例如商品名)的教導資料，產生識別各個商品之商品識別器143。於本實施形態中，伺服器1按各商品群產生不同之商品識別器143a、143b、143c…。藉由按外觀相似之商品群學習各個商品之特徵，並按各商品群分別使用商品識別器143，可提高精度且不使圖像辨識處理變得複雜。
伺服器1使用上述商品群識別器142及商品識別器143特定商品。首先伺服器1對商品群識別器142輸入由標章識別器141檢測出標章之攝像圖像，並特定商品群。例如伺服器1根據攝像圖像擷取商品容器之形狀、顏色、或標註於商品容器之文字等之特徵量，識別商品容器是否接近某個商品群之容器、或是否標註有某個商品群之系列名等。藉此，伺服器1特定攝像圖像之商品屬於何種商品群。
於特定商品群後，伺服器1使用與商品群相應之商品識別器143，特定所拍攝之商品具體符合何種商品。例如，如圖5下側概念性所示，伺服器1於由商品群識別器142特定商品之系列為｢系列A｣之主旨之情形時，選擇用於識別｢系列A｣之商品之商品識別器143a，作為商品特定用之識別器。伺服器1對商品識別器143a輸入圖像資料，擷取商品容器之顏色、形狀、或標註於商品容器之文字等之特徵量，特定拍攝之商品為｢商品A1｣。如此，伺服器1根據商品之系列(商品群)使用不同之商品識別器143，特定個別之商品。
圖6係顯示商品特定畫面之一例之說明圖。伺服器1輸出商品之特定結果，終端2顯示圖6所示之商品特定畫面。如圖6所示，終端2除顯示特定之商品之樣本圖像外，一併顯示標章(標誌)之檢測結果、商品之系列名、及商品名。另，圖6中標註於系列名及商品名之數字為圖像辨識時計算之可靠度。
另，雖於圖6中顯示有系列名及商品名之兩者，但於例如圖像辨識時之可靠度為特定之閾值以下之情形等時，亦可能存在伺服器1之個別之商品之辨識失敗，且無法特定商品名之情形。於該情形時伺服器1於終端2僅顯示系列名。因商品群識別器142係匯總外觀上具有某種程度相似性之商品容器而對作為識別對象之商品群進行識別者，故精度較識別各個商品更高。藉由對使用者最低限度地提示該商品群之特定結果(系列名)，即使於個別商品特定失敗之情形時，使用者亦可以系列名為線索獲得商品資訊。
另，於商品群特定時之可靠度較低，商品群之特定亦失敗之情形時，伺服器1於終端2僅輸出根據攝像圖像檢測出之標章之檢測結果，並結束一連串之圖像辨識處理。
圖7係顯示學習模型之學習處理之處理順序之一例之流程圖。基於圖7，對伺服器1執行之機械學習處理之處理內容進行說明。 伺服器1之控制部11取得教導資料(步驟S11)，該教導資料包含拍攝有作為學習對象之商品之商品容器的教導用圖像、及顯示標註於商品容器之標章、商品所屬之商品群、及各個商品的資訊。標章係包含例如文字、圖形、記號之所謂之標誌。商品群係例如系列化之商品品牌般，某種程度上特徵量近似之商品之區分。控制部11取得已將標章、商品群、及商品自身之正解值標記於商品圖像之訓練用之教導資料。例如，控制部11取得標記有於商品容器中標註標章之座標位置、商品所屬之商品群之系列名、及各個商品之商品名等資訊的教導資料。
控制部11進行根據教導用圖像擷取特徵量之機械學習處理，分別產生根據攝像圖像特定標章、商品群、及商品自身之識別器(步驟S12)。例如，控制部11擷取教導資料顯示之座標位置之亮度梯度之局部特徵量(HOG特徵量)，將擷取之局部特徵量投影於特徵空間並求出識別邊界，藉此產生可根據局部特徵量檢測(分組)標註於對象商品之標章的標章識別器141。又，控制部11擷取商品容器之顏色、形狀、或標註於商品之文字等之特徵量，與顯示商品群及商品自身之資訊(例如系列名及商品名)建立關聯，藉此產生根據圖像之特徵量特定商品群及商品之商品群識別器142及商品識別器143。具體而言，控制部11具有按特定數之神經元層重複輸入值與輸出值之殘差計算之ResNet之網路構造，且分別產生包含執行卷積運算之神經元層的CNN模型之識別器。控制部11按各商品群產生不同之商品識別器143a、143b、143c…。控制部11結束一連串之處理。
圖8係顯示商品特定處理之處理順序之一例之流程圖。基於圖8，對基於上述學習模型而特定商品之商品特定處理之處理內容進行說明。 伺服器1之控制部11自終端2取得使用者拍攝商品容器之攝像圖像(步驟S31)。控制部11對攝像圖像使用標章識別器141，檢測標註於圖像內之商品之容器之標章(步驟S32)。具體而言，控制部11將攝像圖像分割為特定單位之局部區域，擷取顯示各局部區域之亮度梯度之局部特徵量(HOG特徵量)。控制部11藉由判定擷取之局部特徵量是否位於特徵空間中由識別邊界區分之任一空間，而檢測事先登錄之商品之標章。
控制部11判定標章之檢測是否失敗(步驟S33)。於標章之檢測失敗之情形時(S33：是(YES))，控制部11對終端2輸出標章檢測失敗之主旨(步驟S34)，結束一連串之處理。
於標章之檢測未失敗之情形時(S33：否(NO))，控制部11使用商品群識別器142(第1神經網路)，特定拍攝之商品是否屬於預先設定之複數個商品群之任一者(步驟S35)。商品群係例如系列化之品牌商品等，特徵量於某種程度上近似之商品之區分。控制部11使用ResNet之神經網路即商品群識別器142，特定攝像圖像之商品是否為屬於複數個商品群之任一者之商品。
控制部11判定商品群之特定是否失敗(步驟S36)。例如，控制部11根據圖像辨識時計算之可靠度是否為特定之閾值以下而進行判定。於商品群之特定失敗之情形時(S36：是(YES))，控制部11於終端2輸出步驟S32之標章之檢測結果(步驟S37)，結束一連串之處理。
於商品群之特定未失敗之情形時(S36：否(NO))，控制部11根據特定出之商品群使用不同之商品識別器143(第2神經網路)而特定個別之商品(步驟S38)。商品識別器143係按複數個商品群經學習個別之商品之特徵量之ResNet的神經網路。控制部11根據由步驟S35特定出之商品群對不同之神經網路輸入攝像圖像而特定各個商品。
控制部11判定步驟S35中個別商品之特定是否失敗(步驟S39)。例如控制部11根據圖像辨識時之可靠度是否為特定之閾值以下而進行判定。於商品之特定未失敗之情形時(S39：否(NO))，控制部11產生表示特定之商品及商品群之商品特定畫面，輸出至終端2(步驟S40)。具體而言如圖6所示，控制部11將商品名與系列名輸出至附帶顯示可靠度之商品特定畫面。於商品之特定失敗之情形時(S39：YES)，控制部11將僅顯示商品群之商品特定畫面輸出至終端2(步驟S41)。控制部11結束一連串之處理。
另，於上文中使用SVM法檢測標章，但亦可藉由例如OCR(Optical Character Recognition：光學字元辨識)等光學方法檢測標章。即，只要能藉由圖像辨識檢測標章即可，檢測運算法不限定於機械學習者。
又，使用了HOG特徵量作為用於標章檢測之特徵量，但亦可使用例如SIFT(Scale-invariant feature transform：尺度不變特徵轉換)、SURF(Speeded-up robust features：加速穩健特徵)等之特徵量。
又，於本實施形態中，非以使用者側之終端2而是以雲端上之伺服器1執行處理，但亦可將學習模型之資料安裝於終端2，以終端2進行一連串之特定處理。
如上所述，根據本實施形態，伺服器1首先自攝像圖像特定標註於商品之標章，其後特定個別之商品。標章被標註於多數之商品，以此為基礎鎖定處理對象，藉此可適當地判斷自攝像圖像辨識出之物體是否為應作為對象之商品。又，伺服器1於特定商品群後，特定個別之商品。如此，藉由將商品大致地分類後進行個別地特定，從而學習內容不會變得複雜，可提高精度。藉由上述，可自攝像圖像適當地特定商品。
又，根據本實施形態，伺服器1係自攝像圖像擷取表示亮度梯度之局部特徵量(HOG特徵量)，且使用SVM法於特徵空間中檢測標章。於例如使用OCR技術之情形時，會有因容器表面之材質(凹凸、鏡面等)或標章自身之設計等之條件導致難以進行正常之辨識之虞。另一方面，如本實施形態所示，藉由擷取局部特徵量進行圖案辨識，可精度較佳地檢測標章。
又，根據本實施形態，藉由將表示自攝像圖像特定出之商品及商品群之商品特定畫面顯示於終端2，使用者可簡單地取得商品之資訊，且可進行適當之服務支援。
又，根據本實施形態，即使於具體之商品之特定失敗之情形時，亦可對使用者提示商品群(例如商品品牌)，而可進行更適當之服務支援。
(變化例) 於上述實施形態中，捕捉標註於商品容器之標誌為標章，使用標章識別器141檢測標誌。而於變化例中，對捕捉作為標章的並非標誌，而是商品具有之特徵性形狀，且標章識別器141檢測是否具有已學習之商品形狀之形態進行說明。
圖9係顯示變化例之概要之說明圖。於圖9中，圖示有基於拍攝之商品之容器之形狀(於圖9以粗線圖示)，判定該商品是否為本公司商品等之登錄商品之情況。
於變化例中，伺服器1進行根據教導用之圖像事先學習商品容器之形狀之學習處理，產生根據攝像圖像檢測(識別)特定之商品容器之形狀之標章識別器141。例如伺服器1按商品群、或每個商品等之單位，產生各商品A、B、…之標章識別器141a、141b、…。
伺服器1將自終端2取得之攝像圖像輸入各標章識別器141，判定拍攝之商品之容器是否具有作為標章之已學習之形狀。藉此伺服器1判定是否為具有本公司之標章之商品。例如圖9所示，於本公司之商品A之攝像圖像輸入標章識別器141之情形時，根據該圖像檢測商品A之容器之形狀，判定為具有符合標章之商品形狀者。其結果，伺服器1將該圖像繼續輸入商品群識別器142，與上述實施形態同樣進行各個商品之特定。另一方面，於圖9所示輸入其他公司商品即商品D之攝像圖像之情形時，因任一標章識別器141皆未檢測符合標章之商品形狀，故該圖像自處理對象排除。
如上所述，標章不限定於文字、圖形、記號等標誌，亦可為商品自身之形狀。 另，雖未特別進行說明，但標章識別器141檢測作為標章之商品之形狀不僅為商品之整體之形狀，亦可為商品之一部分之形狀。例如於上述之例中，於容器之蓋部分有特徵之形狀之情形時，亦可僅基於蓋部分之形狀判定是否有標章。如此，標章識別器141檢測之標章亦可為商品之整體之形狀，又可為一部分之形狀。
圖10係顯示變化例之商品特定處理之處理順序之一例之流程圖。於取得拍攝商品容器之圖像之後(步驟S31)，伺服器1之控制部11執行以下之處理。控制部11使用學習商品容器之形狀之標章識別器141，根據攝像圖像檢測符合標章之商品之形狀(步驟S201)。控制部11判定符合標章之商品形狀之檢測是否失敗(步驟S202)。於符合標章之形狀之檢測失敗之情形時(S202：YES)，控制部11移至步驟S34。於符合標章之形狀之檢測未失敗之情形時(S202：否(NO))，控制部11移至步驟S35。
如上所述，於根據攝像圖像特定商品時，亦可藉由商品之形狀鎖定應設為處理對象之圖像。
圖11係顯示上述形態之伺服器1之動作之功能方塊圖。控制部11藉由執行程式P，伺服器1如下述般動作。取得部111取得攝像圖像。標章檢測部112對取得之上述攝像圖像使用標章檢測器，判定是否為具備符合之標章的商品。商品群特定部113對檢測出上述標章之上述攝像圖像，使用已使之學習具備上述標章之商品的第1神經網路，特定是否屬於複數個商品群之任一者。商品特定部114使用已使之按上述複數個商品群學習的第2神經網路來特定商品。
應瞭解本次揭示之實施形態之所有方面皆為例示而非限制性者。本發明之範圍並非上述之意，而由申請專利範圍表示，且意圖包含與申請專利範圍均等之意味及範圍內之全部變更。
1‧‧‧伺服器(商品特定裝置) 2‧‧‧終端 11‧‧‧控制部 12‧‧‧主記憶部 13‧‧‧通信部 14‧‧‧輔助記憶部 111‧‧‧取得部 112‧‧‧標章檢測部 113‧‧‧商品群特定部 114‧‧‧商品特定部 141‧‧‧標章識別器 141a‧‧‧標章識別器 141b‧‧‧標章識別器 142‧‧‧商品群識別器 143‧‧‧商品識別器 143a‧‧‧商品識別器 143b‧‧‧商品識別器 143c‧‧‧商品識別器 A‧‧‧系列 A1‧‧‧商品 N‧‧‧網路 P‧‧‧程式 S11～S12‧‧‧步驟 S31～S41‧‧‧步驟 S201～S202‧‧‧步驟
圖1係顯示商品特定系統之構成例之模式圖。 圖2係顯示伺服器之構成例之方塊圖。 圖3係顯示本實施形態之概要之說明圖。 圖4A係用於說明標章特定處理之說明圖。 圖4B係用於說明標章特定處理之說明圖。 圖5係用於說明商品特定處理之說明圖。 圖6係顯示商品特定畫面之一例之說明圖。 圖7係顯示學習模型之學習處理之處理順序之一例之流程圖。 圖8係顯示商品特定處理之處理順序之一例之流程圖。 圖9係顯示變化例之概要之說明圖。 圖10係顯示變化例之商品特定處理之處理順序之一例之流程圖。 圖11係顯示上述形態之伺服器之動作之功能方塊圖。
1‧‧‧伺服器(商品特定裝置)
11‧‧‧控制部
12‧‧‧主記憶部
13‧‧‧通信部
14‧‧‧輔助記憶部
141‧‧‧標章識別器
142‧‧‧商品群識別器
143‧‧‧商品識別器
P‧‧‧程式

Claims (7)

  1. 一種商品特定裝置，其特徵在於具備： 取得部，其取得攝像圖像； 標章檢測部，其使用標章檢測器對取得之上述攝像圖像判定是否為具備符合之標章之商品； 商品群特定部，其對檢測出上述標章之上述攝像圖像，使用已學習具備上述標章之商品的第1神經網路，特定是否屬於複數個商品群之任一者；及 商品特定部，其使用已按上述複數個商品群學習之第2神經網路而特定商品。
  2. 如請求項1之商品特定裝置，其具備： 局部特徵量擷取部，其擷取表示上述攝像圖像之亮度梯度之局部特徵量；且 上述標章檢測部使用已學習於特徵空間中識別對象之上述標章之識別邊界的上述標章檢測器，自擷取出之上述局部特徵量檢測上述標章。
  3. 如請求項1或2之商品特定裝置，其具備： 輸出部，其於上述商品群及商品之特定後，輸出特定結果。
  4. 如請求項3之商品特定裝置，其中 於上述商品特定部特定上述商品失敗之情形時，上述輸出部輸出上述商品群相關之特定結果。
  5. 如請求項1至4中任一項之商品特定裝置，其中 上述標章為上述商品之形狀； 上述標章檢測部基於使用上述標章檢測器自上述攝像圖像是否檢測出上述商品之形狀，判定是否為具備上述標章之上述商品。
  6. 一種可讀取程式之記錄媒體，其使電腦執行如下處理： 取得攝像圖像； 自取得之上述攝像圖像檢測符合之標章，判定是否為具備該標章之商品； 對檢測出上述標章之上述攝像圖像，使用已學習具備上述標章之商品的第1神經網路，特定是否屬於複數個商品群之任一者； 使用已按上述複數個商品群學習之第2神經網路而特定商品。
  7. 一種學習方法，其特徵在於使電腦執行如下處理： 取得教導資料，其包含經拍攝商品之教導用圖像、及顯示上述商品、該商品從屬之商品群、及該商品具備之標章的資訊；且 基於該教導資料，分別產生識別上述商品、商品群、及標章之識別器。
TW108119650A 2018-06-07 2019-06-06 商品特定裝置、記錄媒體及學習方法 TW202004528A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018109429A JP7048423B2 (ja) 2018-06-07 2018-06-07 商品特定装置、プログラム及び学習方法
JP2018-109429 2018-06-07

Publications (1)

Publication Number Publication Date
TW202004528A true TW202004528A (zh) 2020-01-16

Family

ID=68770488

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108119650A TW202004528A (zh) 2018-06-07 2019-06-06 商品特定裝置、記錄媒體及學習方法

Country Status (5)

Country Link
US (1) US11741685B2 (zh)
JP (1) JP7048423B2 (zh)
CN (1) CN112272838A (zh)
TW (1) TW202004528A (zh)
WO (1) WO2019235554A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021120205A (ja) * 2020-01-31 2021-08-19 サトーホールディングス株式会社 プリンタ、プログラム、印字方法、ユニークｉｄ生成方法
JP7037788B1 (ja) 2021-08-23 2022-03-17 株式会社Toreru 情報処理装置、学習済みモデルの作成方法、情報処理方法及び情報処理プログラム
CN115393639B (zh) * 2022-08-16 2023-08-11 广州市玄武无线科技股份有限公司 商品智能打标方法、系统、终端设备及可读存储介质
CN116912633B (zh) * 2023-09-12 2024-01-05 深圳须弥云图空间科技有限公司 目标追踪模型的训练方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5918890A (ja) 1982-07-20 1984-01-31 住友金属鉱山株式会社 地中穿孔ドリルビツト
JP5707375B2 (ja) * 2012-11-05 2015-04-30 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP2014153894A (ja) * 2013-02-07 2014-08-25 Toshiba Tec Corp 情報処理装置及びプログラム
JP2015099550A (ja) * 2013-11-20 2015-05-28 東芝テック株式会社 商品認識装置及び商品認識プログラム
CN103617420A (zh) * 2013-11-27 2014-03-05 上海电机学院 基于图像特征匹配的商品快速识别方法及系统
US9720934B1 (en) * 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
JP2015210651A (ja) * 2014-04-25 2015-11-24 サントリーシステムテクノロジー株式会社 商品識別システム
US9830631B1 (en) * 2014-05-02 2017-11-28 A9.Com, Inc. Image recognition result culling
CN105938558B (zh) * 2015-03-06 2021-02-09 松下知识产权经营株式会社 学习方法
US10007863B1 (en) * 2015-06-05 2018-06-26 Gracenote, Inc. Logo recognition in images and videos
CN106021575A (zh) * 2016-05-31 2016-10-12 北京奇艺世纪科技有限公司 一种视频中同款商品检索方法及装置
JP6209716B1 (ja) 2016-06-02 2017-10-11 サインポスト株式会社 情報処理システム、情報処理方法、及びプログラム
JP2018041261A (ja) * 2016-09-07 2018-03-15 東芝テック株式会社 情報処理装置及びプログラム
US10417527B2 (en) * 2017-09-06 2019-09-17 Irdeto B.V. Identifying an object within content
US11531840B2 (en) * 2019-02-08 2022-12-20 Vizit Labs, Inc. Systems, methods, and storage media for training a model for image evaluation

Also Published As

Publication number Publication date
WO2019235554A1 (ja) 2019-12-12
US20210217160A1 (en) 2021-07-15
CN112272838A (zh) 2021-01-26
JP7048423B2 (ja) 2022-04-05
US11741685B2 (en) 2023-08-29
JP2019212157A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
TW202004528A (zh) 商品特定裝置、記錄媒體及學習方法
JP7113657B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20190272284A1 (en) Image Recognition Verification
CN112381775B (zh) 一种图像篡改检测方法、终端设备及存储介质
US9864758B2 (en) Image recognition verification
JP4877374B2 (ja) 画像処理装置及びプログラム
CN107403128B (zh) 一种物品识别方法及装置
US9633284B2 (en) Image processing apparatus and image processing method of identifying object in image
TW201112134A (en) Face recognition apparatus and methods
JP6410450B2 (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
CN108961358B (zh) 一种获得样本图片的方法、装置及电子设备
CN110751069A (zh) 一种人脸活体检测方法及装置
CN111738252B (zh) 图像中的文本行检测方法、装置及计算机系统
KR20190018274A (ko) 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
Liu et al. Presentation attack detection for face in mobile phones
JP6738293B2 (ja) カメラキャリブレーション方法、プログラムおよび装置
Nan et al. Pedestrian detection based on HOG features and SVM realizes vehicle-human-environment interaction
US20210166028A1 (en) Automated product recognition, analysis and management
US11960569B2 (en) System and method for refining an item identification model based on feedback
US11823444B2 (en) System and method for aggregating metadata for item identification using digital image processing
US11790651B2 (en) System and method for capturing images for training of an item identification model
US20220414398A1 (en) Database management system and method for updating a training dataset of an item identification model
Zhu et al. Exploiting gaussian mixture importance for person re-identification
Neiva et al. A dynamic gesture recognition system to translate between sign languages in complex backgrounds
Pul et al. Automatic Functionality Verification of Hybrid Set-Top Boxes With Dynamic User Interface