JP6709320B6 - 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備 - Google Patents

畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備 Download PDF

Info

Publication number
JP6709320B6
JP6709320B6 JP2019502005A JP2019502005A JP6709320B6 JP 6709320 B6 JP6709320 B6 JP 6709320B6 JP 2019502005 A JP2019502005 A JP 2019502005A JP 2019502005 A JP2019502005 A JP 2019502005A JP 6709320 B6 JP6709320 B6 JP 6709320B6
Authority
JP
Japan
Prior art keywords
products
product
classification
image
accounting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019502005A
Other languages
English (en)
Other versions
JP2019536121A (ja
JP6709320B2 (ja
Inventor
▲呉▼一黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yi Tunnel Beijing Technology Co Ltd
Original Assignee
Yi Tunnel Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yi Tunnel Beijing Technology Co Ltd filed Critical Yi Tunnel Beijing Technology Co Ltd
Publication of JP2019536121A publication Critical patent/JP2019536121A/ja
Publication of JP6709320B2 publication Critical patent/JP6709320B2/ja
Application granted granted Critical
Publication of JP6709320B6 publication Critical patent/JP6709320B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Description

本発明は、画像認識技術分野に関し、特に畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備に関する。
顧客は、スーパーやレストラン等のショッピング場所で自分が好きな又は必要な商品を見るとき、購入するためにはレジカウンターで会計することが必要である。
従来技術において、よく使う会計方法は、２種類がある。第１種類は、バーコードに基づく会計方法である。該方法では、商品におけるバーコードを走査することによって商品を認識し、認識された商品を会計し、走査操作がキャッシャ又は顧客自助（セルフサービス）で完成される。しかし、該方法は、以下のような欠点がある。即ち、走査は面倒であり、人力が浪費され、かつ操作に所定の条件がある。また、通常１回当たり一件の商品のみを走査でき、複数件の商品を同時に走査できなくて、效率が低い。第２種類は、ＲＦＩＤに基づく会計方法である。該方法では、電池を必要としない小さい無線周波数モジュール（ＲＦＩＤ）を商品に貼り付け、該商品がレジカウンターを通すとき、レジカウンターが該商品に無線信号を送信し、該小さい無線周波数モジュールは、該信号を受信した後レジカウンターに１つの信号をフィードバックし、該フィードバック信号には商品のＩＤ情報が携帯され、そしてそれに基づいて会計を行う。しかし、該方法は、以下の欠点がある。即ち、商品ごとには小さい無線周波数モジュールが貼り付けられる必要があるので、面倒であって、また小さい無線周波数モジュールが自然に落ちても人為的に引き剥がされても、商品から落ちると、店側に損害が発生する。なお、商品が金属商品であるときは、該金属商品にＲＦＩＤが貼り付けられると、信号がブロックされる虞がある。
従来技術に存在する問題を少なくとも解決するために、本発明の一側面により、畳み込みニューラルネットワーク画像認識技術による会計方法が提供されている。該会計方法は、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得する取得ステップと、まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する目標検出ステップと、前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する第１分類ステップと、各商品に対応する前記１次分類結果を各商品の１回目の分類結果とする確認ステップと、各商品の前記１回目の分類結果に基づいてＭ個の商品を会計する会計ステップと、を含んでおり、Ｍ、Ｎは、２以上の自然数である。
上記の会計方法において、好ましくは、前記会計方法は、前記１次分類結果が類似する商品であるとき、第１分類ステップの後、確認ステップの前に、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とし、確認ステップへ移行する、第２分類ステップをさらに含んでおり、前記２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである。
上記の会計方法において、好ましくは、前記会計方法は、確認ステップの後、会計ステップの前に、各商品に対応する第１矩形領域画像と、残り矩形領域画像と、各商品の前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が前記１回目の分類結果と一致するか否かを判断し、一致であるときは、会計ステップへ移行し、そうではないときは、商品は在庫がないことを顧客に提示するステップをさらに含んでいる。
上記の会計方法において、好ましくは、分類しようとするＭ個の商品の真上に１つの撮像ヘッドを配置して、Ｍ個の前記商品を真上から下へ向いて撮像して画像を取得し、分類しようとするＭ個の前記商品の周りに４つの撮像ヘッドを配置して、Ｍ個の前記商品を斜め上から撮像して画像を取得する。
本発明の他の側面は、畳み込みニューラルネットワーク画像認識技術による会計設備を提供している。該会計設備は、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得する取得装置と、まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する目標検出装置と、前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する第１分類装置と、各商品に対応する前記１次分類結果を各商品の１回目の分類結果とする確認装置と、各商品の前記１回目の分類結果に基づいてＭ個の商品を会計する会計装置と、を備えており、Ｍ、Ｎは、２以上の自然数である。
上記の会計設備において、好ましくは、前記会計設備は、前記１次分類結果が類似する商品であるとき、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とする第２分類装置をさらに備え、対応的に、前記会計装置は、前記１次分類結果が類似する商品であるとき、前記第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、前記第１分類装置で取得された１次分類結果に基づいて会計を行う。
上記の会計設備において、好ましくは、前記会計設備は、各商品に対応する第１矩形領域画像と、残り矩形領域画像と、各商品の前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、一致であるときは、前記会計装置を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置と、をさらに備えている。
上記の会計設備において、好ましくは、前記取得装置は撮像ヘッドであり、分類しようとするＭ個の商品の真上に１つの撮像ヘッドを配置して、Ｍ個の前記商品を真上から下へ向いて撮像して画像を取得し、分類しようとするＭ個の前記商品の周りに４つの撮像ヘッドを配置して、Ｍ個の前記商品を斜め上から撮像して画像を取得する。
本発明の更に他の側面は、畳み込みニューラルネットワーク画像認識技術による会計設備を提供している。該会計設備は、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得するＮ個の撮像ヘッドと、プロセッサと、プロセッサが実行可能なコマンドを記憶するメモリと、を備え、前記プロセッサは、まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得し、前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得し、各商品に対応する前記１次分類結果を各商品の１回目の分類結果として、各商品の前記１回目の分類結果に基づいてＭ個の商品を会計するように構成され、Ｍ、Ｎは２以上の自然数である。
上記の会計設備において、好ましくは、前記プロセッサは、前記１次分類結果が類似する商品であるときは、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とし、そうではないときは、前記１次分類結果を１回目の分類結果とするようにさらに構成されている。
本発明の実施例は、上記技術案により以下のような有益な効果をもたらした。
商品を確実に認識でき、自助会計に便利である。
本発明の１つの実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。 本発明の他の実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。 本発明のまた別の実施例による畳み込みニューラルネットワーク画像認識技術による会計方法のフローチャートである。 本発明の実施例による畳み込みニューラルネットワーク画像認識技術による会計設備の構造模式図である。
本発明の目的、技術案及びメリットがより明瞭になるように、以下、図面を参照して本発明の実施形態をさらに詳しく説明する。
会計効率を高めるために、本発明の実施例は、特に、顧客がＭ個の商品（Ｍは２以上の自然数である）をレジカウンターに載置する場合に適用されている。
図１を参照して、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計方法の一実施例を説明する。この実施例による該会計方法は、
レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像（Ｎは２以上の自然数である）であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得する取得ステップ１０１と、
まず第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の、商品を含む矩形領域画像である第１矩形領域画像を取得し、そして第１矩形領域画像の数に応じてＮ枚の画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の、商品を含む矩形領域画像である残り矩形領域画像を各画像から取得する目標検出ステップ１０２と、
第１矩形領域画像と、残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する第１分類ステップ１０３と、
各商品に対応する１次分類結果を各商品の１回目の分類結果とする確認ステップ１０４と、
各商品の１回目の分類結果に基づいてＭ個の商品を会計する会計ステップ１０５と、を含んでいる。
これにより、複数の撮像角度で複数の商品に対して画像取得を行ってから、第１撮像角度での画像を用いて商品の数を確定し、第１矩形領域画像を取得し、該数により複数枚の画像における残りの画像にそれぞれ目標検出を行うことで、各画像において同数の残り矩形領域画像を取得し、１次分類モデルを用いて複数の第１矩形領域画像を処理し、各商品の１つの分類結果を得る。１次分類モデルを用いて複数の画像における残りの画像のそれぞれの複数の残り矩形領域画像を処理し、各商品のいくつかの分類結果を取得し、該分類結果の数に前記分類結果の数（即ち１つ）を加える数は、画像の数と同一である。そして、各商品の複数の分類結果をデータ融合することにより、１つの最終的な結果を出力し、つまり、線形回帰モデルを用いて処理し、該商品がどの商品であるかを得ることができる。さらに、複数の商品がそれぞれどの商品であるかを対応に得ることができる。そのため、会計効率を高めるとともに、商品認識の正確率を高める。
図２を参照して、本発明にかかる畳み込みニューラルネットワーク画像認識技術による会計方法の他の実施例を説明する。以下において、本実施例に含まれるステップ２０１〜ステップ２０７を詳細に説明する。
ステップ２０１において、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像を取得する。前記Ｎ枚の画像は、少なくとも１つの、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を有するＮ個の撮像角度に１対１で対応している。
具体的には、該ステップにおいて、１つの撮像角度から該商品を撮像し、１枚の画像を取得する。１つの撮像角度が１枚の画像に対応するため、異なる撮像角度に変えることで、異なる撮像角度に対応する画像を取得できる。撮像角度の数がＮ個であるとき、Ｎ枚の画像を取得でき、このように商品を認識するためのキー情報を捕えることが確保できる。該キー情報とは、商品の外観で商品識別（又は分類と称する）に重要な役割を果たす情報を意味している。例えば、商品がミネラルウォーターであるとき、さまざまな種類のミネラルウォーターがあるので、異なる種類のミネラルウォーターを区別することは、ミネラルウォーター瓶に貼られているプラスチック紙上の図案を主に依存している。該図案は、ミネラルウォーターのキー情報である。
レジカウンターにＮ個の撮像角度を形成するようにＮ個の撮像ヘッド、例えば、５つ、４つ又は６つを配置し、撮像ヘッドの数は、画像の枚数と同一である。Ｍ個の商品を確実に認識するために、Ｎ個の撮像角度は、少なくとも１つの、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する第１撮像角度という撮像角度を有し、つまり、Ｍ個の商品の真上に１つの撮像ヘッドを配置し、Ｍ個の商品を真上から下へ向いて撮像する。撮像ヘッド数量が５つとされる場合の撮像ヘッドの撮像角度を説明すると、分類しようとする商品の真上に１つの撮像ヘッドを配置し、真上から下に向いて商品を撮像し、分類しようとする商品の周りに４つの撮像ヘッドを均一に配置し、いずれも斜め上から商品を撮像してもよく、または分類しようとする商品の周りに４つの撮像ヘッドを均一に配置し、そのうちの２つの撮像ヘッドが斜め上から商品を撮像し、ほかの２つの撮像ヘッドが斜め下から商品を撮像してもよい。本実施例は、撮像ヘッドの数及び配置方式を限定しない。通常、撮像ヘッドの数が多ければ多いほど取得した画像の数が多くなり、画像全体に含まれた商品の情報も多くなる。このように商品の分類に有利になる。しかし、これは、ハードウェアの複雑度を増加させ、演算量を増大させるため、実際の状況に応じて撮像ヘッドの数を選択できる。
なお、本文中の撮像角度は、撮像方向の１つの要素を指してもよく、撮像方向及び撮像距離の２つの要素を指してもよく、さらに他の要素又は他の数値の要素を指してもよい。本実施例は、これに対して限定しない。
取得動作（又は撮像動作と称する）は、レジカウンターに配置される秤により触発され得る。例えば、秤は、圧力センサーを備える秤であり、秤が感知した重量の変化に基づいて撮像を触発するか否かを決定する。秤が重量の変化を感知し、また該変化が既に安定したと感知したとき、例えば、予定時間（即ち、重量が変化した時刻を初期時刻とし、初期時刻＋予定時間を終了時刻とする時間帯）内に重量が変化しないとき、撮像ヘッドは、撮像を始める。このように条件を満たす画像を撮像することが保証できる。つまり、顧客が商品を載置した後、その時刻の画像を撮像できる。他の実施例において、撮像ヘッドの撮像動作の触発は、図形認識や計算機視覚の技術手段を利用してもよい。撮像ヘッドは、まず、物品が載置される領域を継続的に観察及び撮像し、例えば、顧客の手が差し込み、１つの商品を下ろし、そして手を離すこのような１つの動作をビデオから捕らえることができたとき、初期時刻を記録し、予定時間（即ち、該動作を捕捉した時刻を初期時刻とし、初期時刻＋予定時間を終了時刻とする時間帯）内にこのような動作をビデオから捕らえることができたとき、撮像が指令されて、撮像ヘッドは触発されて撮像する。
ステップ２０２において、まず第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして第１矩形領域画像の数に応じてＮ枚の画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する。
具体的には、まず第１撮像角度で取得された画像に目標検出を行う時に、該画像からＭ個の商品を含む矩形枠（または矩形領域と称する）を切り出し、ステップ２０３に出力する。各矩形枠には、１つの商品が含まれ、該矩形枠に対応する画像（または第１矩形領域画像と称する）は、商品を分類するための画像である。矩形枠の数は、分類しようとする商品の数と同一である。遮蔽がないため、Ｍ個の商品の真上から下へ向いて撮像して取得された画像により、レジカウンターに載置して分類しようとする商品の数を確実に確定できる。この数に基づいて、他の撮像角度で取得された各画像に目標検出を行う時に、他の撮像角度での各画像から商品の数と同一の矩形枠を切り出し、ステップ２０３に出力する。各矩形枠には、１つの商品も含まれ、該矩形枠に対応する画像（または残り矩形領域画像と称する）は、商品を分類するための画像である。商品の数Ｍが４個であり、画像の数Ｎが５枚であり、第１撮像角度で取得された画像が１枚である場合、商品を含む矩形領域に対応する４つの画像を第１撮像角度で取得された画像から取得し、商品を含む矩形領域に対応する４つの画像を残りの４枚の画像のそれぞれから取得する。
ステップ２０３において、第１矩形領域画像と、残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得する。
具体的には、データを取得してデータセットを作成する。データを取得する過程は、１）ショッピング場所における全ての商品を各角度及び各姿勢で撮像して大量の写真を取得することと、２）そしてこれらの写真に関して注記を行い、例えば、写真中の商品の位置、大きさ及び類別を注記することと、を含む。データセットに含まれるデータとは、前述のこれらの写真及びこれらの写真に関して行われた注記である。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術によるフレームワークのモデルであり、ショッピング場所における全ての商品のデータを用いて１次分類モデルが訓練される。訓練する時に勾配降下の方式で行うことができる。
訓練された１次分類モデルは、各画像のＭ枚の第１矩形領域画像又はＭ枚の残り矩形領域画像中の商品を分類する。画像の枚数は、Ｎ枚であるため、各商品に対応するＮ個のプライマリー分類結果を得る。即ち、プライマリー分類結果の数は、画像の枚数と一致する。該プライマリー分類結果は、１つのＯ次元ベクトルである。Ｏは、ショッピング場所における商品の総数を示す。ベクトルにおける各元素の意味は、１次分類しようとする該商品がＯ個の商品における各商品に属すると分類モデルの認定する確率を示している。画像の数Ｎが５枚である場合、プライマリー分類結果の数は、５つのＯ次元ベクトルである。
ステップ２０４において、各商品に対応するＮ個のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得し、１次分類結果が類似する商品であるとき、下記ステップ２０５を実行し、そうではないとき、各商品に対応する１次分類結果を各商品の１回目の分類結果とする。
具体的には、ステップ２０３において、１次分類モデルを訓練しているときに、１次分類モデルが出力するプライマリー分類結果を１次線形回帰モデルの入力とし、該プライマリー分類結果に対応する画像に含まれる商品の正しい分類を１次線形回帰モデルの出力とすることで、１次線形回帰モデルを訓練する。訓練された１次線形回帰モデルによって各商品のＮ個のプライマリー分類結果をデータ融合して１つの１次分類結果を得る。該１次分類結果は、１次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属することを予測した結果を示している。
ショッピング場所における商品は多種である。該多種の商品の中ではいくらか外観が類似し、また視覚で混同しやすい商品が存在しており、これらの商品を類似する商品と呼ぶ。例えば、ゴールデンデリシャスリンゴ（Ｇｏｌｄｅｎ Ｄｅｌｉｃｉｏｕｓ Ａｐｐｌｅ）と黄色い雪梨（Ｓｎｏｗｆｌａｋｅ Ｐｅａｒ）がある。分類しようとする一個の商品が類似する商品であるときに、１次分類モデルによって該商品を的確に分類するのが難しい。例えば、ゴールデンデリシャスリンゴを黄色い雪梨と混同し、ゴールデンデリシャスリンゴを黄色い雪梨に分類してしまう。したがって、下記のステップ２０５を実行する必要がある。類似する商品ではないとき、１次分類結果を直接に１回目の分類結果とし、会計に応用する。
第２分類ステップ２０５、類似する商品に対応する第１矩形領域画像と、残り矩形領域画像と、事前訓練された２次分類モデルに基づいて、類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、類似する商品に対応する２次分類結果を取得し、２次分類結果を類似する商品の１回目の分類結果とする。２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品組における商品で訓練されたモデルである。
具体的には、ステップ２０３において作成したデータセット中の類似する商品のデータで２次分類モデルを訓練する。訓練する時に勾配降下の方式によって行うことができる。２次分類モデルは、訓練する時に用いるデータという点において１次分類モデルとは異なる。１次分類モデルに用いられるデータはショッピング場所における全ての商品のデータであり、２次分類モデルに用いられるデータはショッピング場所における類似する商品のデータである。
訓練された２次分類モデルによって、類似する商品に対応する第１矩形領域画像及び残り矩形領域画像における商品を分類し、類似する商品に対応するＮ個のセカンダリー分類結果を得る。該セカンダリー分類結果も１つのｐ次元ベクトルであり、ベクトル中の各元素の意味は、分類しようとする商品がｐ個の類似する商品における各商品に属すると２次分類モデルが認定する確率を表している。画像の数Ｎは５枚である時に、セカンダリー分類結果の数は５つのｐ次元ベクトルである。ＰはＯ以下であり、且つショッピング場所における類似する商品の総数を表している。
実際において、ショッピング場所における類似する商品は複数組がある。例えば、１組の類似する商品は、ゴールデンデリシャスリンゴと黄色い雪梨を含み、他の組の類似する商品には、ばら売りの塩とばら売りの白糖を含み、また他の組の類似する商品は、ソーダ灰と普通の小麦粉を含んでいる。全ての組の類似する商品に対して１つの２次分類モデルを訓練することができる。商品分類の正確率をさらに高めるために、各組の類似する商品に対して１つの２次分類モデルを訓練するとき、１次分類結果が類似する商品であれば、該１次分類結果に対応する２次分類モデルを使用する。
２次分類モデルを訓練するとき、２次分類モデルが出力するセカンダリー分類結果を２次線形回帰モデルの入力とし、該セカンダリー分類結果に対応する画像に含まれる商品の正確な分類を２次線形回帰モデルの出力とするように、２次線形回帰モデルを訓練する。訓練された２次線形回帰モデルによって、類似する商品に対応するＮ個のセカンダリー分類結果のデータ融合を行い、１つのセカンダリー分類結果を得るとともに、それを類似する商品の１回目の分類結果とする。該セカンダリー分類結果は、２次線形回帰モデルによって画像中の商品がショッピング場所における商品の中のどの類別に属するかを予測した結果を表している。
ステップ２０６において、各商品の１回目の分類結果に基づいてＭ個の商品を会計する。
具体的には、１回目の分類結果を取得した後、１回目の分類結果に対応する商品の価格を取得し、さらにレジカウンターに載置されたＭ個の商品の価格を取得すれば、顧客がレジカウンターに載置した商品のために支払うべき費用を確定することができる。商品名称と、商品価格と、支払い費用と、をレジカウンターに備えられているディスプレイに表示してもよく、また音声によって商品名称を顧客に提示してもよい。顧客が費用を支払うとき、ディスプレイに表示される二次元コードを走査することによって、又は携帯端末に表示される自分の口座の二次元コードをレジカウンターに備えられているコードスキャナ端末に合わせて走査させることによって支払いを済ませることが可能である。
図３に示されているように、分類エラーを回避し、会計の正確率を高めるために、ステップ２０６の前に、さらに、ステップ２０７を含んでもよい。
ステップ２０７においては、各商品に対応する第１矩形領域画像と、残り矩形領域画像と、該商品の１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断し、一致であるときは、上記ステップ２０６に移行し、そうではないときは、商品は在庫がないことを顧客に提示する。
具体的には、ショッピング場所における商品ごとにサポートベクトルマシンの機械学習モデル（又はサポートベクトルマシンモデルと称する）を構築する。即ち、商品ごとは、それに対応するサポートベクトルマシンモデルを有し、ステップ２０３において作成されたデータセット中の商品に対応するデータを用いて該モデルを訓練する。１次分類モデルを構築するときに、１つの中間計算結果が存在し、それは、長さが１０２４となるベクトルである。該ベクトルは、画像の１つの特徴と見なすことができ、そうすることによって該ベクトルから該商品はある類別の商品に属するか否かを判断するための１つのサポートベクトルマシンモデルを構築する。
各商品の１回目の分類結果を取得した後、そのうち１つの商品の１回目の分類結果に対応するサポートベクトルマシンモデルを用いてＮ枚画像中の第１矩形領域画像及び残り矩形領域画像に含まれる該商品をそれぞれ判断し、各画像中の該商品が１回目の分類結果に一致するか否かを表すＮ個の初歩的な判断結果を得る。第１矩形領域画像及び残り矩形領域画像の数はＮ枚であると、初歩的な判断結果は合計Ｎ個がある。Ｎ個の初歩的な判断結果における一致する数が予め設定された閾値以上であるときは、該画像中のその該商品は１回目の分類結果に一致するように判断し、そうではないときは、該商品は在庫がないことを顧客に提示し、つまり、会計することができない。第１撮像角度で取得された画像において、Ｍ個の商品における該商品が会計できないことを表明できるように、該商品に表記するとともにディスプレイにより顧客に提示する。例えば画像の枚数が５枚であり、予め設定された閾値が３であり、５つの初歩的な判断結果は、順に一致、一致、不一致、不一致、一致となると、一致となる数は３である。一致となる数は予め設定された閾値に等しいので、サポートベクトルマシンモデルは、該画像中の商品が１回目の分類結果に一致することを判断し、前述の分類過程は正しいと認定する。即ち、一種の正しい商品を識別した。この時、顧客は、会計を通して該商品を取得できる。仮に５つの初歩的な判断結果は、順に、不一致、不一致、不一致、不一致、一致なると、一致となる数が１である。一致となる数は、予め設定された閾値より小さいので、サポートベクトルマシンモデルは、該画像中の商品が１回目の分類結果に不一致となることを判断し、前述の分類過程は不成功だと認定する。即ち、識別が失敗した。このとき、音声及び／又は画面による「在庫には該商品がない、該商品を識別できない」等の提示によって該商品を会計できないことが顧客に提示される。このように循環することで、サポートベクトルマシンモデルを用いてＭ個の商品に対する判断を完成することができる。
以下に、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計設備の一実施例を説明する。この会計設備は、取得装置３０１と、目標検出装置３０２と、第１分類装置３０３と、確認装置３０４と、会計装置３０５と、を備えている。
取得装置３０１は、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像を取得する。Ｎ枚の画像は、Ｎ個の撮像角度に１対１で対応する。Ｎ個の撮像角度は、少なくとも１つの第１撮像角度を有する。第１撮像角度は、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である。Ｍ、Ｎのそれぞれは２以上の自然数である。
好ましくは、取得装置３０１は、撮像ヘッドであり、分類しようとするＭ個の商品の真上に１つの撮像ヘッドを配置して、該Ｍ個の商品を真上から下へ向いて撮像して画像を取得し、分類しようとするＭ個の商品の周りに４つの撮像ヘッドを配置して、該商品を斜め上から撮像して画像を取得する。
目標検出装置３０２は、まず第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして第１矩形領域画像の数に応じてＮ枚の画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する。
第１分類装置３０３は、第１矩形領域画像と、残り矩形領域画像と、事前訓練された１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する。１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである。
確認装置３０４は、各商品に対応する１次分類結果を各商品の１回目の分類結果とする。
会計装置３０５は、各商品の１回目の分類結果に基づいてＭ個の商品を会計する。
該会計設備は、１次分類結果が類似する商品であるとき、類似する商品に対応する第１矩形領域画像と、残り矩形領域画像と、事前訓練された２次分類モデルとに基づいて、類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、類似する商品に対応する２次分類結果を取得し、２次分類結果を類似する商品の１回目の分類結果とする第２分類装置をさらに備え、対応的に、会計装置は、１次分類結果が類似する商品であるとき、第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、第１分類装置で取得された１次分類結果に基づいて会計を行う。ここで、２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである。
該会計設備は、各商品に対応する第１矩形領域画像と、残り矩形領域画像と、各商品の１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、一致であるときは、会計装置３０５を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置をさらに備えている。
なお、取得装置３０１についての具体的な説明は、上記の実施例におけるステップ１０１と２０１に関連する内容を参照し得る。目標検出装置３０２についての具体的な説明は、上記の実施例におけるステップ１０２と２０３に関連する内容を参照し得る。第１分類装置３０３についての具体的な説明は、上記の実施例におけるステップ１０３と２０３に関連する内容を参照し得る。確認装置３０４についての具体的な説明は、上記の実施例におけるステップ１０４と２０４に関連する内容を参照し得る。会計装置３０５についての具体的な説明は、上記の実施例におけるステップ１０５と２０６に関連する内容を参照し得る。第２分類装置についての具体的な説明は、上記の実施例におけるステップ２０５に関連する内容を参照し得る。判断装置と選別装置についての具体的な説明は、上記の実施例におけるステップ２０７に関連する内容を参照し得る。ここで一々その詳細な重複説明を省略する。
また、下記においては、本発明に係る畳み込みニューラルネットワーク画像認識技術による会計設備の他の実施例を説明する。この会計設備は、撮像ヘッドと、プロセッサ及びメモリを備えている。
Ｎ個の撮像ヘッドは、レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像を取得するためである。Ｎ枚の画像は、Ｎ個の撮像角度に１対１で対応する。Ｎ個の撮像角度は、少なくとも１つの第１撮像角度を有する。第１撮像角度は、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である。メモリは、プロセッサが実行可能なコマンドを記憶するためである。プロセッサは、まず第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に対応するＭ個の第１矩形領域画像を取得し、そして第１矩形領域画像の数に応じてＮ枚の画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得し、第１矩形領域画像と、残り矩形領域画像と、事前訓練された１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個のプライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得し、各商品に対応する１次分類結果を各商品の１回目の分類結果として、各商品の１回目の分類結果に基づいてＭ個の商品を会計するように構成されている。ここで、１次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである。Ｍ、Ｎのそれぞれは２以上の自然数である。
プロセッサは、さらに、１次分類結果が類似する商品であるときは、類似する商品に対応する第１矩形領域画像と、残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個のセカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、類似する商品に対応する２次分類結果を取得し、２次分類結果を類似する商品の１回目の分類結果とし、そうではないときは、１次分類結果を１回目の分類結果とするように構成されている。
以下、本方法の具体的な動作過程を説明する。
顧客が清算する過程において、秤量台に１本のミネラルウォーター及び１袋のクアズが順に載置した。秤量台の電子秤が重量の変化を検出し、そして重量領域が安定になった時に、５つの撮像ヘッドからデータを取得し始め、５枚の写真を取得した。まず、この５枚の写真を画一的にある予め設定された寸法まで縮小／拡大し、そして目標検出モデルにより真上から下へ向いてミネラルウォーター及びクアズである商品を検出する。検出結果は、写真において見つかった商品を含む２つの矩形領域である。商品の数は２つであるため、矩形領域の数は２つである。その後、目標検出モデルによって残りの４枚の写真に対し、数を２つとして商品検出を行う。検出結果も、各写真において見つかった商品を含む２つの矩形領域である。次に、１次分類モデルによって各商品に対応する各矩形領域を分類することで、各商品が各類別の商品に属する確率を得る。その後、各商品の全ての確率結果は、１つの１次線形回帰モデルの使用によって、全ての商品類別における各商品の１次分類結果が得られる。該１次分類結果が２次分類モデルによってさらに分類される必要がある商品類別に属する場合、つまり、１次分類結果が類似する商品である場合、対応の２次分類モデルを使用し、類似する商品に対応する各矩形領域を分類し、該商品が各類別に属するそれぞれの確率値を得る。そして２次線形回帰モデルの使用により該物体は全ての商品類別での分類結果が得られる。最後には、該類別のサポートベクトルマシンモデル（又は小モデルと称する）によって、５枚の写真中の矩形領域を判断し、該商品が該類別に属するか否かを判別する。そうであると判別するときは、該商品類別に戻り、そうではないと判別するときは、該物品がいずれかの商品類別に属しないと認定する。
以上のように、本発明の実施例は、以下のような有益な効果をもたらすことができる。
商品を確実に認識でき、自助会計に便利である。
技術常識からわかるように、本発明は、その技術的な主旨又は必要な特徴から逸脱しない範囲内の他の実施案によって実現することができる。したがって、上記開示された各実施例は、各側面については、例示に過ぎず、唯一のものではないと理解すべきである。本発明の範囲内に又は本発明の範囲と均等する範囲内の変更のすべては、本発明に含まれる。

Claims (10)

  1. レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得する取得ステップと、
    まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する目標検出ステップと、
    前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する第１分類ステップと、
    各商品に対応する前記１次分類結果を各商品の１回目の分類結果とする確認ステップと、
    各商品の前記１回目の分類結果に基づいてＭ個の商品を会計する会計ステップと、
    を含んでおり、
    Ｍ、Ｎは、２以上の自然数であることを特徴とする畳み込みニューラルネットワーク画像認識技術による会計方法。
  2. 前記１次分類結果が類似する商品であるとき、第１分類ステップの後、確認ステップの前に、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とし、前記会計ステップへ移行し、前記１次分類結果が類似する商品でないとき、確認ステップへ移行する、第２分類ステップをさらに含んでおり、
    前記２次分類モデルは、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルであることを特徴とする請求項１に記載の会計方法。
  3. 確認ステップの後、会計ステップの前に、各商品に対応する第１矩形領域画像と、残り矩形領域画像と、各商品の前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が前記１回目の分類結果と一致するか否かを判断し、一致であるときは、会計ステップへ移行し、一致でないときは、商品は在庫がないことを顧客に提示するステップをさらに含んでいることを特徴とする請求項１又は２に記載の会計方法。
  4. 分類しようとするＭ個の商品の真上に１つの撮像ヘッドを配置して、Ｍ個の前記商品を真上から下へ向いて撮像して画像を取得し、
    分類しようとするＭ個の前記商品の周りに４つの撮像ヘッドを配置して、Ｍ個の前記商品を斜め上から撮像して画像を取得することを特徴とする請求項１に記載の会計方法。
  5. レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得する取得装置と、
    まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得する目標検出装置と、
    前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得する第１分類装置と、
    各商品に対応する前記１次分類結果を各商品の１回目の分類結果とする確認装置と、
    各商品の前記１回目の分類結果に基づいてＭ個の商品を会計する会計装置と、を備えており、
    Ｍ、Ｎは、２以上の自然数であることを特徴とする畳み込みニューラルネットワーク画像認識技術による会計設備。
  6. 前記１次分類結果が類似する商品であるとき、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とする第２分類装置をさらに備え、
    対応的に、前記会計装置は、前記１次分類結果が類似する商品であるとき、前記第２分類装置で取得された２次分類結果に基づいて会計を行い、そうではないとき、前記第１分類装置で取得された１次分類結果に基づいて会計を行うことを特徴とする請求項５に記載の会計設備。
  7. 各商品に対応する第１矩形領域画像と、残り矩形領域画像と、各商品の前記１回目の分類結果に対応する事前訓練されたサポートベクトルマシンモデルとに基づいて、画像中の商品が１回目の分類結果と一致するか否かを判断する判断装置と、
    一致であるときは、前記会計装置を使用し、そうではないときは、商品は在庫がないことを顧客に提示する選択装置と、をさらに備えていることを特徴とする請求項５に記載の会計設備。
  8. 前記取得装置は撮像ヘッドであり、
    分類しようとするＭ個の商品の真上に１つの撮像ヘッドを配置して、Ｍ個の前記商品を真上から下へ向いて撮像して画像を取得し、
    分類しようとするＭ個の前記商品の周りに４つの撮像ヘッドを配置して、Ｍ個の前記商品を斜め上から撮像して画像を取得することを特徴とする請求項５に記載の会計設備。
  9. レジカウンターに載置して分類しようとするＭ個の商品のＮ枚の画像であって、Ｍ個の商品をＭ個の商品の真上から下へ向いて撮像する撮像角度である第１撮像角度を少なくとも１つ有するＮ個の撮像角度に１対１で対応するＮ枚の画像を取得するＮ個の撮像ヘッドと、
    プロセッサと、
    プロセッサが実行可能なコマンドを記憶するメモリと、を備え、
    前記プロセッサは、
    まず前記第１撮像角度で取得された画像に目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の第１矩形領域画像を取得し、そして前記第１矩形領域画像の数に応じてＮ枚の前記画像における残りの画像にそれぞれ目標検出を行うことで、Ｍ個の商品に１対１で対応するＭ個の残り矩形領域画像を各画像から取得し、前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における全ての商品で訓練されたモデルである１次分類モデルとに基づいて、各商品に対応するＮ個のプライマリー分類結果を取得し、各商品に対応するＮ個の前記プライマリー分類結果と事前訓練された１次線形回帰モデルとに基づいて、各商品に対応する１次分類結果を取得し、各商品に対応する前記１次分類結果を各商品の１回目の分類結果として、各商品の前記１回目の分類結果に基づいてＭ個の商品を会計するように構成され、
    Ｍ、Ｎは２以上の自然数であることを特徴とする畳み込みニューラルネットワーク画像認識技術による会計設備。
  10. 前記プロセッサは、さらに、
    前記１次分類結果が類似する商品であるときは、前記類似する商品に対応する前記第１矩形領域画像と、前記残り矩形領域画像と、事前訓練された、畳み込みニューラルネットワーク画像認識技術で構築されかつショッピング場所における類似する商品で訓練されたモデルである２次分類モデルとに基づいて、前記類似する商品に対応するＮ個のセカンダリー分類結果を取得し、そしてＮ個の前記セカンダリー分類結果と事前訓練された２次線形回帰モデルとに基づいて、前記類似する商品に対応する２次分類結果を取得し、前記２次分類結果を前記類似する商品の１回目の分類結果とし、そうではないときは、前記１次分類結果を１回目の分類結果とするように構成されていることを特徴とする請求項９に記載の会計設備。
JP2019502005A 2017-07-24 2017-12-11 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備 Active JP6709320B6 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201710607759.X 2017-07-24
CN201710607759 2017-07-24
CN201711008973.XA CN109300263A (zh) 2017-07-24 2017-10-25 基于卷积神经网络的图像识别技术的结算方法和装置
CN201711008973.X 2017-10-25
PCT/CN2017/115443 WO2019019525A1 (zh) 2017-07-24 2017-12-11 基于卷积神经网络的图像识别技术的结算方法和装置

Publications (3)

Publication Number Publication Date
JP2019536121A JP2019536121A (ja) 2019-12-12
JP6709320B2 JP6709320B2 (ja) 2020-06-10
JP6709320B6 true JP6709320B6 (ja) 2020-08-05

Family

ID=63804471

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018567956A Active JP6709862B6 (ja) 2017-07-24 2017-09-08 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備
JP2019502005A Active JP6709320B6 (ja) 2017-07-24 2017-12-11 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018567956A Active JP6709862B6 (ja) 2017-07-24 2017-09-08 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備

Country Status (4)

Country Link
US (2) US10853702B2 (ja)
JP (2) JP6709862B6 (ja)
CN (4) CN109299715B (ja)
WO (2) WO2019019291A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190034897A1 (en) 2017-07-26 2019-01-31 Sbot Technologies Inc. Self-Checkout Anti-Theft Vehicle Systems and Methods
US11562614B2 (en) * 2017-12-25 2023-01-24 Yi Tunnel (Beijing) Technology Co., Ltd. Method, a device and a system for checkout
US20200151692A1 (en) * 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft
JP7218984B2 (ja) * 2018-04-27 2023-02-07 日本電気株式会社 商品登録装置、商品登録方法及びプログラム
CN111222388B (zh) * 2018-12-11 2023-09-19 图灵通诺（北京）科技有限公司 基于视觉识别的结算方法和系统
JP7261022B2 (ja) * 2019-01-30 2023-04-19 キヤノン株式会社 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体
CN109816045A (zh) * 2019-02-11 2019-05-28 青岛海信智能商用系统股份有限公司 一种商品识别方法及装置
JP7398779B2 (ja) * 2019-02-12 2023-12-15 株式会社イシダ 計量機
CN109919086A (zh) * 2019-03-05 2019-06-21 北京美餐巧达科技有限公司 一种基于图像识别的智能餐台系统及结算方法
US11170186B2 (en) * 2019-03-29 2021-11-09 Ncr Corporation Scanner bar
CN110032654B (zh) * 2019-04-19 2021-02-09 浪潮集团有限公司 一种基于人工智能的超市商品录入方法及系统
CN110414559B (zh) * 2019-06-26 2021-09-03 武汉大学 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
US11128737B1 (en) * 2019-08-28 2021-09-21 Massachusetts Mutual Life Insurance Company Data model monitoring system
CN110718016A (zh) * 2019-09-02 2020-01-21 上海理工大学 一种生鲜自助售卖系统
CN110706075B (zh) * 2019-09-27 2022-04-29 支付宝(杭州)信息技术有限公司 一种基于ai模型的物料铺设的方法和设备
CN110781823B (zh) * 2019-10-25 2022-07-26 北京字节跳动网络技术有限公司 录屏检测方法、装置、可读介质及电子设备
US11743418B2 (en) 2019-10-29 2023-08-29 Accel Robotics Corporation Multi-lighting conditions rapid onboarding system for visual item classification
US11205094B2 (en) 2019-10-29 2021-12-21 Accel Robotics Corporation Multi-angle rapid onboarding system for visual item classification
CN110987140A (zh) * 2019-11-28 2020-04-10 浙江由由科技有限公司 一种商品称重辅助设备及称重设备
CN111062786B (zh) * 2019-12-25 2023-05-23 创新奇智(青岛)科技有限公司 一种基于建立商品外观特征映射表的模型更新方法
CN111104988B (zh) * 2019-12-28 2023-09-29 Oppo广东移动通信有限公司 图像识别方法及相关装置
CN111401499A (zh) * 2020-02-11 2020-07-10 王娅雯 一种基于ai条形码防伪的方法
US11809999B2 (en) * 2020-02-24 2023-11-07 Zebra Technologies Corporation Object recognition scanning systems and methods for implementing artificial based item determination
CN111368900A (zh) * 2020-02-28 2020-07-03 桂林电子科技大学 一种图像目标物识别方法
CN111401422B (zh) * 2020-03-09 2024-03-08 南京览笛信息科技有限公司 一种基于多角度深度推理的深度网络图像分类方法
JP7264401B2 (ja) * 2020-03-09 2023-04-25 ▲図▼▲霊▼通▲諾▼（北京）科技有限公司 会計方法、装置及びシステム
CN111613225A (zh) * 2020-04-27 2020-09-01 深圳壹账通智能科技有限公司 基于语音及图像处理的道路违规自动上报方法及系统
CN111428698A (zh) * 2020-06-10 2020-07-17 北京云迹科技有限公司 一种模型样本采集方法、更新方法、电子设备及存储介质
CN111860219B (zh) * 2020-06-30 2024-01-05 杭州科度科技有限公司 一种高速占道判断方法、装置及电子设备
CN112001419A (zh) * 2020-07-22 2020-11-27 李峰 一种防伪识别方法和装置
US20220277313A1 (en) * 2021-02-26 2022-09-01 Ncr Corporation Image-based produce recognition and verification
CN113344012B (zh) * 2021-07-14 2022-08-23 马上消费金融股份有限公司 物品识别方法、装置及设备
CN113688893A (zh) * 2021-08-19 2021-11-23 西交利物浦大学 一种图片分类的方法、装置、电子设备及存储介质
CN113743481B (zh) * 2021-08-20 2024-04-16 北京电信规划设计院有限公司 类人化图像识别方法和系统
US11681997B2 (en) * 2021-09-30 2023-06-20 Toshiba Global Commerce Solutions Holdings Corporation Computer vision grouping recognition system
JP2023077805A (ja) * 2021-11-25 2023-06-06 東芝テック株式会社 決済者監視装置及びそのプログラム、決済者監視方法
CN114299395A (zh) * 2021-12-30 2022-04-08 百富计算机技术（深圳）有限公司 商品结算处理方法、装置、终端设备及存储介质
CN114660112B (zh) * 2022-05-25 2022-09-02 河南源宏高分子新材料有限公司 一种再生聚酯材料温度阻隔性能的检测方法
CN114813635B (zh) * 2022-06-28 2022-10-04 华谱智能科技(天津)有限公司 煤炉燃烧参数的优化方法及电子设备
CN117077083B (zh) * 2023-10-10 2024-01-05 上海英内物联网科技股份有限公司 装箱物品自动识别统计方法

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729623A (en) * 1993-10-18 1998-03-17 Glory Kogyo Kabushiki Kaisha Pattern recognition apparatus and method of optimizing mask for pattern recognition according to genetic algorithm
US5497314A (en) * 1994-03-07 1996-03-05 Novak; Jeffrey M. Automated apparatus and method for object recognition at checkout counters
JP2007293575A (ja) * 2006-04-25 2007-11-08 Shigeru Furuno 電子商取引システム
CN102119387B (zh) * 2008-08-08 2014-12-03 株式会社尼康 检索辅助系统、检索辅助方法以及检索辅助程序
CN102063616A (zh) 2010-12-30 2011-05-18 上海电机学院 一种基于图像特征匹配的商品自动识别系统及方法
JP2012247968A (ja) * 2011-05-27 2012-12-13 Toshiba Tec Corp 情報処理装置、情報処理方法及び制御プログラム
JP5554796B2 (ja) 2011-09-06 2014-07-23 東芝テック株式会社 情報処理装置およびプログラム
US9179075B2 (en) * 2012-06-11 2015-11-03 Stylinity, Inc. Photographic stage
CN103034839B (zh) * 2012-12-04 2016-08-03 南京航空航天大学 基于图像识别技术的食堂支付系统及方法
WO2014169238A1 (en) * 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US10296814B1 (en) * 2013-06-27 2019-05-21 Amazon Technologies, Inc. Automated and periodic updating of item images data store
CN103412938B (zh) * 2013-08-22 2016-06-29 成都数之联科技有限公司 一种基于图片交互式多目标提取的商品比价方法
CN103632460A (zh) 2013-11-08 2014-03-12 青岛中科英泰商用系统有限公司 同步向顾客提供交易过程视频的超市自助结算用防损方法
CN103729777A (zh) * 2013-12-12 2014-04-16 福建伊时代信息科技股份有限公司 基于图像识别技术的网络购物方法、购物装置及购物系统
US9275293B2 (en) * 2014-02-28 2016-03-01 Thrift Recycling Management, Inc. Automated object identification and processing based on digital imaging and physical attributes
JP6145416B2 (ja) 2014-02-28 2017-06-14 富士フイルム株式会社 商品検索装置及び方法、商品検索システム
US20150310601A1 (en) * 2014-03-07 2015-10-29 Digimarc Corporation Methods and arrangements for identifying objects
CN104077842B (zh) * 2014-07-02 2017-02-15 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法
JP6336351B2 (ja) * 2014-08-08 2018-06-06 東芝テック株式会社 情報処理装置及びプログラム
US10282722B2 (en) * 2015-05-04 2019-05-07 Yi Sun Huang Machine learning system, method, and program product for point of sale systems
US20160350336A1 (en) * 2015-05-31 2016-12-01 Allyke, Inc. Automated image searching, exploration and discovery
CN106355188B (zh) * 2015-07-13 2020-01-21 阿里巴巴集团控股有限公司 图像检测方法及装置
CN106023220B (zh) * 2016-05-26 2018-10-19 史方 一种基于深度学习的车辆外观部件图像分割方法
CN106096932A (zh) 2016-06-06 2016-11-09 杭州汇萃智能科技有限公司 基于餐具形状的菜品自动识别系统的计价方法
US9928448B1 (en) * 2016-09-23 2018-03-27 International Business Machines Corporation Image classification utilizing semantic relationships in a classification hierarchy
US10970701B2 (en) * 2016-10-20 2021-04-06 Jes Labs System for identifying or assisting the identification of a product or set of products
CN106548145A (zh) * 2016-10-31 2017-03-29 北京小米移动软件有限公司 图像识别方法及装置
US20180197218A1 (en) * 2017-01-12 2018-07-12 Verizon Patent And Licensing Inc. System and method for object detection in retail environment
US10600043B2 (en) * 2017-01-31 2020-03-24 Focal Systems, Inc. Automated checkout system through mobile shopping units
CN208957427U (zh) * 2017-08-16 2019-06-11 图灵通诺（北京）科技有限公司 结算装置用货架
US11562614B2 (en) * 2017-12-25 2023-01-24 Yi Tunnel (Beijing) Technology Co., Ltd. Method, a device and a system for checkout
MX2020008117A (es) * 2018-01-31 2021-08-24 Walmart Apollo Llc Sistemas y metodos para verificar etiquetas legibles por maquina asociadas con mercancias.
US20200151692A1 (en) * 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft
US10867186B2 (en) * 2018-05-15 2020-12-15 Genetec Inc. Transaction monitoring
EP3794577A4 (en) * 2018-05-16 2022-03-09 Conex Digital LLC SMART PLATFORM COUNTER DISPLAY INTELLIGENT METHOD AND SYSTEM
WO2020056041A1 (en) * 2018-09-11 2020-03-19 Pointivo, Inc. Improvements in data acquistion, processing, and output generation for use in analysis of one or a collection of physical assets of interest
CA3112321A1 (en) * 2018-09-18 2020-03-26 Focal Systems, Inc. Product onboarding machine
US11423648B2 (en) * 2018-09-27 2022-08-23 Ncr Corporation Item recognition processing over time
US10783403B2 (en) * 2018-10-29 2020-09-22 EMC IP Holding Company LLC Automated design testing through deep learning

Also Published As

Publication number Publication date
CN109299715B (zh) 2021-07-13
JP6709862B2 (ja) 2020-06-17
US10853702B2 (en) 2020-12-01
CN109300263A (zh) 2019-02-01
JP2019536121A (ja) 2019-12-12
WO2019019525A1 (zh) 2019-01-31
JP2019526848A (ja) 2019-09-19
CN207993164U (zh) 2018-10-19
US20190220692A1 (en) 2019-07-18
JP6709320B2 (ja) 2020-06-10
CN209028742U (zh) 2019-06-25
JP6709862B6 (ja) 2020-07-22
CN109299715A (zh) 2019-02-01
WO2019019291A1 (zh) 2019-01-31
US20190244055A1 (en) 2019-08-08
US11151427B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
JP6709320B6 (ja) 畳み込みニューラルネットワーク画像認識技術による会計方法及び会計設備
CN109559457B (zh) 基于神经网络识别商品的收银方法以及自助收银台
US7416119B1 (en) Methods and apparatus for automatically determining and deducting weight of containers for products
US11120265B2 (en) Systems and methods for verifying machine-readable label associated with merchandise
JP2019530923A (ja) 会計方法、装置及びシステム
US20200193404A1 (en) An automatic in-store registration system
JP6549558B2 (ja) 売上登録装置、プログラム及び売上登録方法
WO2019062812A1 (zh) 用于自动结算的人机交互装置及其应用
US20190005343A1 (en) Fast item identification for checkout counter
CN111222389B (zh) 商超货架上商品的分析方法和系统
EP3901841A1 (en) Settlement method, apparatus, and system
WO2019127618A1 (zh) 结算方法、装置和系统
CN111222870B (zh) 结算方法、装置和系统
EP3901818A1 (en) Method and system for analyzing commodities on supermarket shelf
CN111222388B (zh) 基于视觉识别的结算方法和系统
CN110781752A (zh) 一种动态视觉智能柜多品类场景下的物体识别方法
KR102655145B1 (ko) 무인 결제 시스템
KR102550560B1 (ko) 인공지능을 이용한 전자 시스템
JP2021103349A (ja) 情報処理システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200522

R150 Certificate of patent or registration of utility model

Ref document number: 6709320

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250