JP7125179B1 - 商品認識装置、商品認識システム、商品認識方法、及びプログラム - Google Patents

商品認識装置、商品認識システム、商品認識方法、及びプログラム Download PDF

Info

Publication number
JP7125179B1
JP7125179B1 JP2022010869A JP2022010869A JP7125179B1 JP 7125179 B1 JP7125179 B1 JP 7125179B1 JP 2022010869 A JP2022010869 A JP 2022010869A JP 2022010869 A JP2022010869 A JP 2022010869A JP 7125179 B1 JP7125179 B1 JP 7125179B1
Authority
JP
Japan
Prior art keywords
product
product name
image
correct
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022010869A
Other languages
English (en)
Other versions
JP2023109386A (ja
Inventor
知也 中川西
康次 柳浦
輝和 金子
満輝 藤崎
裕泰 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2022010869A priority Critical patent/JP7125179B1/ja
Priority to PCT/JP2022/022171 priority patent/WO2023145104A1/ja
Priority to JP2022123073A priority patent/JP7323228B1/ja
Application granted granted Critical
Publication of JP7125179B1 publication Critical patent/JP7125179B1/ja
Publication of JP2023109386A publication Critical patent/JP2023109386A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】学習時間の増大及び記憶領域の圧迫を低減する商品認識装置、商品認識システム、商品認識方法、及びプログラムを提供する。【解決手段】商品認識装置１００は、複数の商品の学習用画像情報と商品名とが対応付けられた画像データベース１３１と、外観が類似する複数の商品の商品名が対応付けられた類似画像商品名リスト１３２とを予め記憶する記憶部１３０と、機械学習済みの識別エンジン１３３を生成する学習部１１１と、識別エンジン１３３を用いて、対象商品の画像情報に基づいて商品名を識別する識別部１２１と、を備え、識別部１２１による識別が間違っており、ユーザによって正しい商品名が指定された場合に、識別部１２１によって識別された商品名と当該正しい商品名とが、類似画像商品名リスト１３２に記憶されていない場合に、対象商品の画像情報と正しい商品名とを画像データベース１３１に格納する、画像管理部１２２をさらに備える。【選択図】図１

Description

本発明は、商品認識装置、商品認識システム、商品認識方法、及びプログラムに関する。
ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅｓ）システム等で用いられる商品認識装置は、対象商品を撮影し、当該対象商品の画像に対して画像認識処理を行って、当該対象商品の商品名等を識別する。具体的には、商品認識装置は、複数の商品について、商品の学習用の画像（以下、「学習用画像」と称する。）と当該商品の商品名とを対応付けて予め記憶し、深層学習等の機械学習を行い、学習済みの識別エンジンを生成する。そして、商品認識装置は、学習済みの識別エンジンを用いて、撮影した対象商品の画像に基づいて、当該対象商品の商品名を識別する。
しかし、商品認識装置による識別が常に正しいとは限らない。そのため、ある対象商品について、商品認識装置による識別結果が間違っている場合、ユーザは、商品認識装置を操作して、正しい商品名を選択する。そして、ユーザが正しい商品名を選択すると、撮影された対象商品の画像と当該正しい商品名とが対応付けられて、商品認識装置に新たに登録され、再度、機械学習が行われる。
特許文献１には、機械学習に用いられるデータを調整する技術について記載されている。具体的には、特許文献１では、機械学習に用いられた学習データが機械学習に与えた影響度を測定し、影響度が低いデータを除外し、影響度が高いデータに対応する新規データを取得し、取得した新規データを追加することにより、学習データを調整している。
国際公開第２０２１／２００３９２号
しかしながら、商品認識装置が識別を間違えるたびに、対象商品の画像と当該正しい商品名とが対応付けられて商品認識装置に記憶されると、商品認識装置の記憶領域が圧迫されてしまう可能性がある。さらに、商品認識装置に記憶される対象商品の画像及び商品名が増えるほど、商品認識装置における学習時間が増大してしまうという問題がある。
本開示の目的は、学習時間の増大及び記憶領域の圧迫を低減する商品認識装置、商品認識システム、商品認識方法、及びプログラムを提供することである。
本開示に係る商品認識装置は、複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶する記憶部と、前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成する学習部と、前記識別エンジンを用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別する識別部と、を備え、前記記憶部は、一の商品の前記学習用画像情報と他の商品の前記学習用画像情報が類似する場合に、当該一の商品の前記商品名と当該他の商品の前記商品名とが対応付けられた類似画像商品名リストをさらに予め記憶し、前記識別部によって識別された前記対象商品の前記商品名が間違っており、ユーザによって正しい商品名が指定された場合に、前記識別部によって識別された前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されているか否かを判断し、前記識別部によって識別された前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されていない場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する、画像管理部をさらに備える。
本開示に係る商品認識システムは、商品認識サーバと、前記商品認識サーバと通信可能な端末装置とを備える商品認識システムであって、前記端末装置は、複数の対象商品の画像情報を取得する取得部を備え、前記商品認識サーバは、複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶する記憶部と、前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成する学習部と、前記識別エンジンを用いて、前記取得部によって取得された前記対象商品の画像情報に基づいて、当該対象商品の商品名を識別する識別部と、を備え、前記記憶部は、一の商品の前記学習用画像情報と他の商品の前記学習用画像情報が類似する場合に、当該一の商品の前記商品名と当該他の商品の前記商品名とが対応付けられた類似画像商品名リストをさらに予め記憶し、前記端末装置は、前記識別部によって識別された前記対象商品の前記商品名が間違っており、ユーザによって正しい商品名が指定された場合に、前記対象商品の画像情報と、ユーザによって指定された前記正しい商品名とを前記商品認識サーバに送信するフィードバック部をさらに備え、前記商品認識サーバは、前記端末装置から送信された前記正しい商品名と、前記識別部によって識別された前記商品名とが、前記類似画像商品名リストに対応付けられて記憶されているか否かを判断し、前記識別部によって識別された前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されていない場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する、画像管理部をさらに備える。
本開示に係る商品認識方法は、商品認識装置が、複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶し、前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成し、前記識別エンジンを用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別し、一の商品の前記学習用画像情報と他の商品の前記学習用画像情報が類似する場合に、当該一の商品の前記商品名と当該他の商品の前記商品名とが対応付けられた類似画像商品名リストをさらに予め記憶し、識別した前記対象商品の前記商品名が間違っており、ユーザによって正しい商品名が指定された場合に、識別した前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されているか否かを判断し、識別した前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されていない場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する、方法である。
本開示に係るプログラムは、商品認識装置に、複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶する処理と、前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成する処理と、前記識別エンジンを用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別する処理と、一の商品の前記学習用画像情報と他の商品の前記学習用画像情報が類似する場合に、当該一の商品の前記商品名と当該他の商品の前記商品名とが対応付けられた類似画像商品名リストをさらに予め記憶する処理と、識別した前記対象商品の前記商品名が間違っており、ユーザによって正しい商品名が指定された場合に、識別した前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されているか否かを判断し、識別した前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されていない場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する処理と、を実行させる、プログラムである。
本発明の実施の形態は、以下の書面による説明から、実施の形態のみにより、及び図面とともに、当業者にはさらに理解され、容易に明らかになるであろう。
実施の形態１に係る商品認識装置の構成を示すブロック図である。 実施の形態２に係る商品認識システムの構成を示すブロック図である。 実施の形態２に係る商品認識サーバの構成を示すブロック図である。 実施の形態２に係る画像データベースのデータ構造を示す図である。 実施の形態２に係る類似画像商品名リストのデータ構造を示す図である。 実施の形態２に係るＰＯＳ端末装置の構成を示すブロック図である。 実施の形態２に係るＰＯＳ端末装置の表示画面の一例を示す図である。 実施の形態３に係る商品認識方法における学習処理を示すフローチャートである。 実施の形態３に係る商品認識方法における類似画像商品名リストの作成処理を示すフローチャートである。 実施の形態３に係る商品認識方法における識別処理を示すフローチャートである。 実施の形態３に係る商品認識方法における識別処理を示すフローチャートである。
以下、図面を参照しつつ、実施の形態について説明する。なお、図面は簡略的なものであるから、この図面の記載を根拠として実施の形態の技術的範囲を狭く解釈してはならない。また、同一の要素には、同一の符号を付し、重複する説明は省略する。
以下の実施の形態においては便宜上その必要があるときは、複数のセクション又は実施の形態に分割して説明する。ただし、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部又は全部の変形例、応用例、詳細説明、補足説明等の関係にある。また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む。）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施の形態において、その構成要素（動作ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似又は類似するもの等を含むものとする。このことは、上記数等（個数、数値、量、範囲等を含む。）についても同様である。
実施の形態１
本実施の形態１について、図１を用いて説明する。図１は、本実施の形態１に係る商品認識装置１００の構成を示すブロック図である。
本実施の形態１における商品認識装置１００は、データベースへ商品の情報を登録する装置である。例えば、商品認識装置１００は、ＰＯＳシステム等において用いられる装置であり、商品の販売時点において、当該商品を認識し、当該商品の売り上げデータを売り上げデータベースに登録する装置である。ここで、当該データベースは、後述する記憶部１３０に格納されていてもよいし、商品認識装置１００の外部のサーバ等に格納されていてもよい。
商品認識装置１００は、図１に示すように、機械学習を行う学習ブロック１１０、商品名の識別を行う識別ブロック１２０を備える。学習ブロック１１０は、学習部１１１、記憶部１３０を備える。識別ブロック１２０は、識別部１２１、画像管理部１２２、記憶部１３０を備える。換言すれば、学習ブロック１１０と識別ブロック１２０とは、記憶部１３０を共有している。
記憶部１３０は、画像データベース１３１、類似画像商品名リスト１３２、識別エンジン１３３等を記憶している。
画像データベース１３１は、複数の商品について、少なくとも当該商品の学習用の画像情報（以下、「学習用画像情報」と称する。）と当該商品の商品名とが対応付けられたデータベースである。換言すれば、画像データベース１３１は、複数の商品について、商品毎に、商品の学習用画像情報と、正解ラベルとしての当該商品の商品名とが対応付けられたデータベースである。
類似画像商品名リスト１３２は、複数の商品について、一の商品の学習用画像情報と他の商品の学習用画像情報が類似する場合に、当該一の商品の商品名と当該他の商品の商品名とが対応付けられたリストである。換言すれば、類似画像商品名リスト１３２は、学習用画像情報が互いに類似する商品の商品名を対応付けてリストアップしたリストである。
識別エンジン１３３は、商品の画像情報に基づいて当該商品の商品名を識別する機械学習モデルである。換言すれば、識別エンジン１３３は、商品の画像情報を入力として、当該商品の商品名を推論して出力する機械学習モデルである。なお、本明細書において、機械学習は深層学習であってもよいが、特に限定されない。
学習部１１１は、画像データベース１３１に記憶されている学習用画像情報と商品名とを用いて機械学習を行って、学習済みの識別エンジン１３３を生成する。具体的には、学習部１１１は、画像データベース１３１に記憶されている学習用画像情報を識別エンジン１３３に入力し、商品名を推論させ、当該推論結果（商品名）が画像データベース１３１に記憶されている商品名（正解ラベル）となるように、識別エンジン１３３において用いられるパラメータの重み（「重みづけ」とも称する。）を更新する。これにより、学習部１１１は、学習済みの識別エンジン１３３を生成する。また、学習部１１１は、生成された学習済みの識別エンジン１３３を記憶部１３０に格納する。
識別部１２１は、学習済みの識別エンジン１３３を用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別する。具体的には、識別部１２１は、対象商品の画像情報を識別エンジン１３３に入力し、当該対象商品の商品名を推論させ、推論結果としての商品名を出力する。識別部１２１から出力された商品名は、商品認識装置１００の表示部（図示省略）に表示され、ユーザに提示される。
ユーザは、商品認識装置１００の表示部（図示省略）に表示された商品名が間違っている場合、商品認識装置１００の入力部（図示省略）を操作して、正しい商品名を指定する。
商品認識装置１００においてユーザによって正しい商品名が指定されると、画像管理部１２２は、識別部１２１によって識別された商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト１３２に対応付けられて記憶されているか否かを判断する。識別部１２１によって識別された商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト１３２に対応付けられて記憶されていない場合、画像管理部１２２は、対象商品の画像情報と正しい商品名とを対応付けて画像データベース１３１に格納する。
本実施の形態１によれば、学習時間の増大及び記憶領域の圧迫を低減する商品認識装置１００を提供することができる。具体的には、識別部１２１によって識別された商品名が間違っており、ユーザによって正しい商品名が指定された場合に、画像管理部１２２が、識別部１２１によって識別された商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト１３２に対応付けられて記憶されているか否かを判断する。そして、識別部１２１によって識別された商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト１３２に対応付けられて記憶されていない場合に、画像管理部１２２が、対象商品の画像情報と正しい商品名とを対応付けて画像データベース１３１に格納する。そのため、似た形を有する中身が異なるパン等、外観の特徴に差分がない複数の商品名に亘って、類似する画像情報が画像データベース１３１に格納されることを防ぐことができ、記憶領域の圧迫を低減できる。さらに、画像データベース１３１に格納されるデータ量が増えることによる学習時間の増大を低減することができる。これにより、学習時間の増大及び記憶領域の圧迫を低減する商品認識装置１００を提供することができる。
実施の形態２
本実施の形態２について、図２を用いて説明する。図２は、本実施の形態２に係る商品認識システム２００の構成を示すブロック図である。
本実施の形態２の商品認識システム２００は、例えばレストランやスーパーマーケット等において用いられるＰＯＳシステムとして構成されるが、これに限られず、通信可能なサーバ及び端末装置を備えるシステムであればよい。本実施の形態２において、商品認識システム２００は、商品認識サーバ３００及びＰＯＳ端末装置４００を備える。商品認識サーバ３００及びＰＯＳ端末装置４００は互いに通信可能である。また、商品認識システム２００は、ＰＯＳ端末装置４００を複数備えてもよい。換言すれば、商品認識サーバ３００と複数のＰＯＳ端末装置４００とは互いに通信可能となっていてもよい。
図３に、商品認識サーバ３００の構成の一例を示す。商品認識サーバ３００は、図３に示すように、学習用データ取得部３０１、学習部３０２、リスト作成部３０３、識別部３０４、画像管理部３０５、制御部３０６、入力部３０７、表示部３０８、サーバ側記憶部３０９、及びサーバ側通信部３１０を備える。入力部３０７と表示部３０８は、タッチパネル付ディスプレイとして一つの構成としてもよいし、それぞれ別個に設けてもよい。商品認識サーバ３００は、後に説明するとおり、識別エンジン３１３（後述）を用いて、ＰＯＳ端末装置４００において取得された対象商品の画像情報に基づいて、当該対象商品の商品名を識別する。商品認識サーバ３００は、ＰＯＳ端末装置４００の運用状況の管理等、様々な販売情報の管理を行う機能を更に備えてもよい。
学習用データ取得部３０１は、ＰＯＳ端末装置４００によって撮影された商品の学習用画像情報と、当該商品の商品名とを取得する。商品の学習用画像情報は、機械学習に用いられる商品の画像（以下、「学習用画像」と称する。）と当該学習用画像から算出された１以上の特徴点とを含む。また、商品の学習用画像は、商品を上面から撮影して得られる画像、商品を側面から撮影して得られる画像等、商品の認識に有用な画像であってもよい。また、学習用画像情報は、学習用画像を特定する、当該学習用画像のバイナリ情報や当該学習用画像の保存先パスに関する情報であってもよい。本明細書では、学習用画像情報として、商品の学習用画像と当該学習用画像から算出された１以上の特徴点とを例に挙げて説明する。また、学習用画像は、対象商品の識別を行うための基準画像としての役割も担う。なお、学習用データ取得部３０１は、商品を撮影するカメラを備え、当該カメラによって撮影された商品の画像を学習用画像として取得してもよい。学習用データ取得部３０１は、取得した学習用画像情報と商品名とを対応付けて、画像データベース３１１（後述）に登録する。なお、学習用画像情報と商品名とは、ユーザによって、画像データベース３１１に登録されてもよい。
また、学習用データ取得部３０１は、ＰＯＳ端末装置４００から送信された商品の画像から更に商品のバーコードやＱＲコード（登録商標）等の商品識別情報を読み取ってもよい。また、学習用データ取得部３０１は、商品の画像からＰＯＳ端末装置４００が読み取った商品バーコード等の商品識別情報を、当該ＰＯＳ端末装置４００から取得してもよい。学習用データ取得部３０１は、取得した商品識別情報を学習用画像と商品名とを対応付けて、画像データベース３１１（後述）に登録してもよい。
学習部３０２は、サーバ側記憶部３０９に記憶されている画像データベース３１１に記憶されている学習用画像情報と商品名とを用いて機械学習を行って、学習済みの識別エンジン３１３を生成する。具体的には、学習部３０２は、画像データベース３１１に記憶されている学習用画像を識別エンジン３１３に入力し、商品名を推論させ、当該推論結果（商品名）が画像データベース３１１に記憶されている商品名（正解ラベル）となるように、識別エンジン３１３において用いられるパラメータの重み（「重みづけ」とも称する。）を更新する。これにより、学習部３０２は、学習済みの識別エンジン３１３を生成する。また、学習部３０２は、生成された学習済みの識別エンジン３１３をサーバ側記憶部３０９に格納する。
より具体的には、学習部３０２が、画像データベース３１１に記憶されている商品の学習用画像を識別エンジン３１３に入力することにより、識別エンジン３１３において当該学習用画像の１つ以上の特徴点が算出される。なお、学習用画像からの特徴点の算出処理は、既知の画像認識処理と同様であるため、その詳細については説明を省略する。次に、識別エンジン３１３において、画像データベース３１１に記憶されている複数の商品毎に、当該商品の特徴点と、入力された学習用画像から算出した当該特徴点とに基づいて、類似度が算出される。ここで、類似度とは、一の画像と他の画像とがどの程度似ているかを示す指標である。そして、識別エンジン３１３から、画像データベース３１１に記憶されている商品名のうち、最も類似度が高い商品名が、入力された学習用画像の商品の商品名として出力される。次に、学習部３０２は、識別エンジン３１３から出力された商品名と、識別エンジン３１３に入力した学習用画像の商品名（正解ラベル）との差異を算出する。そして、学習部３０２は、当該差異が所定の値より大きい場合、識別エンジン３１３において用いられるパラメータの重みを更新し、上述の処理を再度行う。当該差異が所定の値以下となった場合、学習部３０２は、機械学習が終了したと判断し、重みが更新された識別エンジン３１３をサーバ側記憶部３０９に格納する。なお、所定の値は、目的に応じて決定される比較的小さな値である。
リスト作成部３０３は、類似画像商品名リスト３１２を作成する。具体的には、リスト作成部３０３は、画像データベース３１１に格納されている一の商品の学習用画像の特徴点と他の商品の学習用画像の特徴点とを比較し、類似度を算出する。次に、リスト作成部３０３は、当該類似度が所定の値以上である複数の商品の商品名を対応付けた類似画像商品名リスト３１２を作成する。そして、作成された類似画像商品名リスト３１２はサーバ側記憶部３０９に格納される。
識別部３０４は、ＰＯＳ端末装置４００から送信された対象商品の画像を取得する。そして、識別部３０４は、学習済みの識別エンジン３１３を用いて、対象商品の画像に基づいて、対象商品の商品名を識別する。具体的には、識別部３０４は、ＰＯＳ端末装置４００から送信された対象商品の画像を識別エンジン３１３に入力し、対象商品の商品名を推論させる。
より具体的には、識別部３０４が対象商品の画像を学習済みの識別エンジン３１３に入力することにより、識別エンジン３１３において対象商品の画像の１つ以上の特徴点が算出される。次に、識別エンジン３１３において、対象商品の画像の特徴点と、サーバ側記憶部３０９に記憶された基準画像の特徴点とが比較され、対象商品の画像とサーバ側記憶部３０９に記憶された商品の基準画像との類似度が算出される。なお、識別部３０４は、画像データベース３１１に格納されている学習用画像を基準画像として用いる。また、識別部３０４は、ＰＯＳ端末装置４００から送信された、複数の対象商品の画像部分を含む画像を取得してもよい。その場合、識別部３０４は、複数の対象商品の画像部分を含む画像から、当該複数の対象商品のそれぞれの画像部分を特定し、それぞれの対象商品について、対象商品の画像部分を学習済みの識別エンジン３１３に入力して上記類似度を算出させる。そして、学習済みの識別エンジン３１３から、推論結果として、それぞれの対象商品について、画像データベース３１１に格納されている商品の商品名と類似度とが対応付けられて出力される。
なお、対象商品の画像からの特徴点の算出処理は、既知の画像認識処理と同様であるため、その詳細については説明を省略する。また、算出された類似度は「スコア」とも称される。
そして、識別部３０４は、学習済みの識別エンジン３１３から出力された類似度のうち、類似度が最も高い商品名を対象商品の商品名と設定する。
また、識別部３０４は、学習済みの識別エンジン３１３から出力された類似度が高い順に所定の数の商品名を候補商品の商品名として設定する。
そして、サーバ側通信部３１０によって、識別部３０４によって設定された対象商品の商品名及びその類似度、並びに識別部３０４によって設定された候補商品の商品名及びその類似度がＰＯＳ端末装置４００に送信される。なお、対象商品の商品名は候補商品の商品名に含まれてもよい。
ＰＯＳ端末装置４００は、商品認識サーバ３００から送信された対象商品の商品名を表示部４０７（後述）に表示する。また、ＰＯＳ端末装置４００は、商品認識サーバ３００から送信された所定の数の候補商品の商品名を表示部４０７に選択可能に表示する。ユーザは、ＰＯＳ端末装置４００の表示部４０７に表示された対象商品の商品名が間違っている場合、ＰＯＳ端末装置４００の入力部４０６（後述）を操作して、表示部４０７に選択可能に表示された候補商品の商品名から正しい商品名を指定する。
ＰＯＳ端末装置４００においてユーザによって正しい商品名が指定されると、画像管理部３０５は、識別部３０４によって対象商品の商品名として識別された商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト３１２に対応付けられて記憶されているか否かを判断する。
識別部３０４によって対象商品の商品名として識別された商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト３１２に対応付けられて記憶されていない場合、画像管理部３０５は、対象商品の画像情報と正しい商品名とを対応付けて画像データベース３１１に格納する。
また、識別部３０４によって対象商品の商品名として識別された商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト３１２に対応付けられて記憶されている場合、画像管理部３０５は、対象商品の画像情報と正しい商品名とを対応付けて画像データベース３１１に格納しない。
あるいは、識別部３０４によって対象商品の商品名として識別された商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト３１２に対応付けられて記憶されている場合、画像管理部３０５は、対象商品の画像情報と正しい商品名とを対応付けて画像データベース３１１に格納する回数を計測してもよい。そして、画像管理部３０５は、当該回数が所定の値を超えたら、対象商品の画像情報と正しい商品名との画像データベース３１１への格納を止めてもよい。
制御部３０６は、商品認識サーバ３００の各部の動作を制御する。制御部３０６は、中央演算処理装置（ＣＰＵ）、記憶手段、入出力ポート（Ｉ／Ｏ）等を備える。記憶手段は、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）等であってもよい。そして、中央演算処理装置（ＣＰＵ）が、記憶手段に格納された各種プログラムを実行することにより、制御部３０６の機能が実現される。
入力部３０７は、ユーザからの操作指示を受け付ける。入力部３０７は、キーボードにより構成されてもよいし、タッチパネル式の表示装置によって構成されてもよい。入力部３０７は、商品認識サーバ３００本体と接続されるキーボードやタッチパネルによって構成されてもよい。なお、ユーザからの操作指示を、入力部３０７の代わりに、ＰＯＳ端末装置４００の入力部４０６が受け付けてもよい。
表示部３０８は、学習用データ取得部３０１によって取得された商品の画像を表示する。表示部３０８は、識別部３０４が特徴点計算処理において算出した商品の特徴点に基づいて、商品名の候補を表示してもよい。表示部３０８は、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ），ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）等、様々な表示手段によって構成される。表示部３０８に表示される内容は、ＰＯＳ端末装置４００の表示部４０７に表示されてもよい。また、表示部３０８に表示される内容は、ユーザが所有する携帯電話機（いわゆるスマートフォンを含む。）等の機器に表示されてもよい。
サーバ側記憶部３０９は、画像データベース３１１、類似画像商品名リスト３１２、識別エンジン３１３等を格納している。また、サーバ側記憶部３０９は、処理に必要な各種のプログラムや各種のデータが固定的に記憶されている不揮発性のメモリ（例えば、ＲＯＭ（Read Only Memory））を含むことができる。また、サーバ側記憶部３０９は、ＨＤＤやＳＳＤを用いるものであってもよい。さらに、サーバ側記憶部３０９は、作業領域として用いられる揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））を含むことができる。上記プログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよいし、ネットワーク上のサーバ装置からダウンロードされてもよい。
画像データベース３１１は、複数の商品について、少なくとも当該商品の学習用画像情報と当該商品の商品名とが対応付けられたデータベースである。本明細書では、学習用画像情報として、商品の学習用画像と当該学習用画像から算出された１以上の特徴点とを例に挙げて説明する。また、学習用画像は、商品の識別を行うための基準画像としての役割も担う。図４に、画像データベース３１１のデータ構造の一例を示す。図４に示すように、画像データベース３１１は、商品の商品名３１１Ａと、商品識別情報としての商品識別コード３１１Ｂと、学習用画像（基準画像）３１１Ｃと、学習用画像から予め算出された特徴点３１１Ｄとを対応付けて記憶している。ここで、商品識別コード３１１Ｂは、例えば、学習用データ取得部３０１によって、ＰＯＳ端末装置４００から送信された商品の画像から取得される。また、商品識別コードとして、例えばＰＬＵ（Ｐｒｉｃｅ Ｌｏｏｋ Ｕｐ）コードやＪＡＮ（Ｊａｐａｎｅｓｅ Ａｒｔｉｃｌｅ Ｎｕｍｂｅｒ）コード等の商品を識別するためのコードを用いることができる。また、学習用画像３１１Ｃは、学習用データ取得部３０１によって取得された商品の画像であり、例えば、ＰＯＳ端末装置４００によって撮影された商品の画像である。換言すれば、画像データベース３１１は、複数の商品について、商品毎に、正解ラベルとしての当該商品の商品名３１１Ａと、商品識別コード３１１Ｂと、学習用画像３１１Ｃと、特徴点３１１Ｄとが対応付けられたデータベースである。
類似画像商品名リスト３１２は、複数の商品について、一の商品の学習用画像情報と他の商品の学習用画像情報が類似する場合に、当該一の商品の商品名と当該他の商品の商品名とが対応付けられたリストである。換言すれば、類似画像商品名リスト３１２は、学習用画像３１１Ｃが互いに類似する商品の商品名を対応付けてリストアップしたリストである。また、類似画像商品名リスト３１２は、リスト作成部３０３によって作成されたものである。より具体的には、類似画像商品名リスト３１２は、画像データベース３１１に格納されている一の商品の特徴点３１１Ｄと他の商品の特徴点３１１Ｄとの類似度が所定の値以上である場合に、当該一の商品の商品名３１１Ａと他の商品の商品名３１１Ａとを対応付けて記憶している。
図５に、類似画像商品名リスト３１２のデータ構造の一例を示す。図５に示すように、類似画像商品名リスト３１２は、類似商品番号３１２Ａ毎に、学習用画像３１１Ｃが互いに類似する商品の商品名３１２Ｂ、３１２Ｃ、３１２Ｄ、・・・を対応付けて記憶している。例えば、図５に示す例では、類似画像商品名リスト３１２は、類似商品番号「０００００１」の行に、学習用画像３１１Ｃが互いに類似する商品の商品名「グラタン」、「エビドリア」、「シチュー」、・・・を対応付けて記憶している。また、類似画像商品名リスト３１２は、類似商品番号「０００００２」の行に、学習用画像３１１Ｃが互いに類似する商品の商品名「たまごパン」、「ツナパン」、「ポテトパン」、・・・を対応付けて記憶している。
識別エンジン３１３は、商品の画像情報に基づいて当該商品の商品名を識別する機械学習モデルである。換言すれば、識別エンジン３１３は、商品の画像情報を入力として、当該商品の商品名を推論して出力する機械学習モデルである。なお、本明細書において、機械学習は深層学習であってもよいが、特に限定されない。
サーバ側通信部３１０は、ＰＯＳ端末装置４００と通信を行う。サーバ側通信部３１０は、ＰＯＳ端末装置４００と無線通信を行うアンテナ（不図示）を備えてもよいし、有線通信を行うためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等のインタフェースを備えてもよい。そして、サーバ側通信部３１０は、ＰＯＳ端末装置４００から送信された、対象商品の画像を受信する。また、サーバ側通信部３１０は、当該対象商品について、識別部３０４によって識別された対象商品の商品名及びその類似度と、候補商品の商品名及びその類似度とをＰＯＳ端末装置４００に送信する。
図６に、ＰＯＳ端末装置４００の構成の一例を示す。ＰＯＳ端末装置４００は、撮像部４０１、ソート部４０２、出力部４０３、フィードバック部４０４、制御部４０５、入力部４０６、表示部４０７、端末側記憶部４０８、端末側通信部４０９、及び精算処理部４１０を備える。入力部４０６と表示部４０７は、タッチパネル付ディスプレイとして一つの構成であってもよいし、それぞれ別個に設けられてもよい。ＰＯＳ端末装置４００は、例えばレジに設置される専用コンピュータ等である。また、ＰＯＳ端末装置４００は、後に説明するとおり、対象商品を撮影し、商品認識サーバ３００から送信された類似度に基づいて、対象商品の商品名及び候補商品の商品名を選択可能に表示し、決済処理を行う。
撮像部４０１は、登録を行う対象商品を撮影し、当該対象商品の画像を取得する。また、撮像部４０１は、登録を行う複数の対象商品を一度に撮影し、複数の対象商品の画像部分を含む画像を取得してもよい。また、撮像部４０１は、商品の学習用画像を取得してもよい。また、撮像部４０１は、商品のバーコードやＱＲコード（登録商標）等の商品識別情報を読み取る機能を備えてもよい。撮像部４０１は、対象商品を撮影するカメラを備えてもよい。撮像部４０１が取得した対象商品の画像、商品の学習用画像、商品識別情報は、端末側通信部４０９によって、商品認識サーバ３００に送信される。
ソート部４０２は、商品認識サーバ３００から送信された候補商品の商品名を類似度の高い順にソートする。
出力部４０３は、表示部４０７（後述）の画面の所定の部分に表示される合成画像と、表示部４０７の画面の他の部分に表示される候補商品リストとを生成する。
具体的には、出力部４０３は、対象商品の画像部分に、識別部３０４によって識別された当該対象商品の商品名が重ねて配置された合成画像を生成する。
また、出力部４０３は、ソート部４０２によってソートされた順番に従って候補商品の商品名を選択可能に配列した候補商品リストを生成する。
また、出力部４０３が生成した合成画像及び候補商品リストは、表示部４０７へ出力され、表示部４０７に表示される。
表示部４０７に表示された対象商品の商品名が間違っている場合、ユーザは、入力部４０６（後述）を操作して、正しい商品名を指定する。フィードバック部４０４は、ユーザによって正しい商品名が指定されると、当該正しい商品名を端末側通信部４０９に出力し、端末側通信部４０９によって当該正しい商品名が商品認識サーバ３００に送信される。
制御部４０５は、ＰＯＳ端末装置４００の各部の動作を制御する。制御部４０５は、中央演算処理装置（ＣＰＵ）、記憶手段、入出力ポート（Ｉ／Ｏ）等を備える。記憶手段は、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）等であってもよい。そして、中央演算処理装置（ＣＰＵ）が、記憶手段に格納された各種プログラムを実行することにより、制御部４０５の機能が実現される。
入力部４０６及び表示部４０７は、それぞれ商品認識サーバ３００の入力部３０７及び表示部３０８と同様の機能を備えるため、その説明を省略する。
端末側記憶部４０８の構成等は、サーバ側記憶部３０９と同様であるため、その説明を省略する。
端末側通信部４０９は、商品認識サーバ３００と通信を行う。端末側通信部４０９は、商品認識サーバ３００と無線通信を行うアンテナ（不図示）を備えてもよいし、有線通信を行うためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等のインタフェースを備えてもよい。そして、端末側通信部４０９は、撮像部４０１が取得した、対象商品の画像、商品の学習用画像、商品識別情報を商品認識サーバ３００に送信する。また、端末側通信部４０９は、商品認識サーバ３００から送信された、対象商品の商品名及びその類似度と候補商品の商品名及びその類似度とを受信する。また、端末側通信部４０９は、フィードバック部４０４から入力された正しい商品名を商品認識サーバ３００に送信する。
精算処理部４１０は、ユーザが購入等を行う商品の合計金額を算出し、決済処理を行う。精算処理部４１０は、売り上げの処理や売り上げの内容を処理する機能を備えてもよい。
出力部４０３によって生成された合成画像４０と候補商品リスト５０を表示する表示部４０７の画面３０の一例を図７に示す。図７において、表示部４０７はタッチパネルである。図７に示す画面３０では、当該画面３０の左側に合成画像４０が表示され、右側に候補商品リスト５０が表示されている。候補商品リスト５０には、候補商品のうち、類似度の高い順に１番目～５番目の候補商品の商品名が選択可能に配列されている。また、図７に示す画面３０には、候補商品リスト５０の上側に、ユーザによって操作されることにより、候補商品を候補商品リスト５０に挙げるための選択ボタン６０が表示されている。選択ボタン６０には、「あ行」ボタン、「か行」ボタン、・・・、「わ行」ボタン、「候補」ボタン６１、「０円」ボタンが含まれている。そして、ユーザが選択ボタン６０の例えば「あ行」ボタンをタッチすると、候補商品リスト５０に、あ行の文字から始まる商品名であって、類似度の高い順に１番目～５番目の候補商品の商品名が選択可能に配列される。また、図７に示す画面３０には、その他に、「確定」ボタン７１、「ページアップ」ボタン７２、「ページダウンボタン」７３等の画像が表示されている。
図７に示す例では、レストランにおいてユーザ（顧客）が当該ＰＯＳ端末装置４００において精算を行う際に、ユーザが購入する複数の対象商品が載せられたトレイ４１を撮像部４０１が撮影する。そして、撮像部４０１が撮像した複数の対象商品の画像部分を含む画像が商品認識サーバ３００に送信される。図７に示す例では、トレイ４１上に、２つの対象商品Ａ、Ｂが載せられており、対象商品Ａは「エビドリア」、対象商品Ｂは「ミニサラダ」である。
そして、識別部３０４が、２つの対象商品Ａ、Ｂのそれぞれについて、類似度が最も高い商品名を対象商品の商品名として識別し、類似度が高い順に所定の数の商品名を候補商品の商品名として設定する。図７に示す例では、対象商品Ａについて、類似度が高い順に５つの商品名「グラタン」、「エビドリア」、「シチュー」、「カレー」、「コーンスープ」が候補商品の商品名として設定され、対象商品Ｂについて、類似度が高い順に５つの商品名「ミニサラダ」、「冷やしうどん」、「コロッケ」、「から揚げ」、「野菜チゲ」が候補商品の商品名として設定されている。
次に、ソート部４０２が、対象商品Ａ、Ｂのそれぞれについて、識別部３０４が設定した候補商品の商品名を類似度の高い順にソートする。図７に示す例では、対象商品Ａについて、類似度が高い順に５つの候補商品の商品名「グラタン」、「エビドリア」、「シチュー」、「カレー」、「コーンスープ」がソートされている。また、対象商品Ｂについて、類似度が高い順に５つの候補商品の商品名「ミニサラダ」、「冷やしうどん」、「コロッケ」、「から揚げ」、「野菜チゲ」がソートされている。
そして、出力部４０３は、合成画像４０と候補商品リスト５０とを生成する。この時、出力部４０３は、対象商品の画像部分に、識別部３０４によって識別された当該対象商品の商品名が重ねて配置された合成画像４０を生成する。また、出力部４０３は、ソート部４０２によってソートされた順番に従って候補商品の商品名を選択可能に配列した候補商品リスト５０を生成する。図７に示す例では、合成画像４０において、対象商品Ａの画像部分に商品名「グラタン」、「エビドリア」、「シチュー」、「カレー」、「コーンスープ」が重ねて配置され、対象商品Ｂの画像部分に商品名「ミニサラダ」、「冷やしうどん」、「コロッケ」、「から揚げ」、「野菜チゲ」が重ねて配置されている。また、合成画像４０において、対象商品Ａについて識別部３０４によって識別された商品名「グラタン」に下線が付されており、対象商品Ｂについて識別部３０４によって識別された商品名「ミニサラダ」に下線が付されている。また、図７に示す例では、候補商品リスト５０において、対象商品Ａの候補商品の商品名、「グラタン」、「エビドリア」、「シチュー」、「カレー」、「コーンスープ」が選択可能に配列されている。
図７に示す例において、対象商品Ａは「エビドリア」であるため、合成画像４０に表示された対象商品Ａの商品名「グラタン」は間違っている。そのため、ユーザは、候補商品リスト５０の中から正しい商品名「エビドリア」を選択する。この時、出力部４０３は、合成画像４０の対象商品Ａの画像部分に重ね合せた候補商品の商品名のうち、ユーザによって選択された候補商品の商品名を示す文字「エビドリア」に下線を付し、「グラタン」から下線を取った合成画像４０をさらに生成してもよい。そして、フィードバック部４０４は、当該正しい商品名「エビドリア」を端末側通信部４０９に出力し、端末側通信部４０９によって当該正しい商品名が商品認識サーバ３００に送信される。
また、出力部４０３は、ユーザが、例えば、合成画像４０内の対象商品Ｂの画像部分をタッチすることにより対象商品Ｂを選択した状態で、「候補」ボタン６１をタッチした場合、候補商品リスト５０に、対象商品Ｂについて、類似度が高い順に５つの候補商品の商品名「ミニサラダ」、「冷やしうどん」、「コロッケ」、「から揚げ」、「野菜チゲ」を配列してもよい。
そして、ユーザが画面３０の「確定」ボタン７１をタッチすると、対象商品Ａ、Ｂの商品名が確定され、精算処理部４１０が、ユーザが購入等を行う商品の合計金額を算出し、決済処理を行う。
本実施の形態２によれば、学習時間の増大及び記憶領域の圧迫を低減する商品認識システム２００を提供することができる。具体的には、識別部３０４によって識別された対象商品の商品名が間違っており、ユーザによって正しい商品名が指定された場合に、画像管理部３０５が、識別部３０４によって識別された対象商品の商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト３１２に対応付けられて記憶されているか否かを判断する。そして、識別部３０４によって識別された対象商品の商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト３１２に対応付けられて記憶されていない場合に、画像管理部３０５が、対象商品の画像情報と正しい商品名とを対応付けて画像データベース３１１に格納する。そのため、似た形を有する中身が異なるパン等、外観の特徴に差分がない複数の商品名に亘って、類似する画像情報が画像データベース３１１に格納されることを防ぐことができ、記憶領域の圧迫を低減できる。さらに、画像データベース３１１に格納されるデータ量が増えることによる学習時間の増大を低減することができる。これにより、学習時間の増大及び記憶領域の圧迫を低減する商品認識システム２００を提供することができる。
また、識別部３０４によって識別された対象商品の商品名が間違っており、当該対象商品の商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト３１２に対応付けられて記憶されている場合、画像管理部３０５は、対象商品の画像情報と正しい商品名とを対応付けて画像データベース３１１に格納する回数を計測する。そして、画像管理部３０５は、当該回数が所定の値を超えたら、対象商品の画像情報と正しい商品名との画像データベース３１１への格納を止める。これにより、互いに外観が類似する複数の商品について、それぞれの商品の画像情報を画像データベース３１１に格納しつつ、互いに外観が類似する複数の商品に亘って、類似する画像情報が必要以上に画像データベース３１１に格納されることを防ぐことができ、記憶領域の圧迫を低減できる。
また、候補商品リスト５０において、類似度の高い順に候補商品の商品名が選択可能に配列される。これにより、ユーザは、候補商品リスト５０において、対象商品として正しい可能性が高い候補商品の商品名から視認することができる。
また、出力部４０３は、合成画像４０内の対象商品の画像部分に重ね合せた商品名のうち、ユーザによって選択された商品名に新たに下線を付した合成画像をさらに生成する。これにより、ユーザは、自身が選択した商品がどの商品であるかを、合成画像４０において視認することができる。
なお、上記の実施の形態２において、商品認識サーバ３００に備えられた学習部３０２、識別部３０４の機能及び識別エンジン３１３がＰＯＳ端末装置４００に備えられ、対象商品の識別処理は、ＰＯＳ端末装置４００において行われてもよい。
また、類似画像商品名リスト３１２がＰＯＳ端末装置４００に備えられていてもよい。この場合、フィードバック部４０４が、識別部３０４によって識別された対象商品の商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト３１２に対応付けられて記憶されているか否かを判断してもよい。そして、フィードバック部４０４は、当該対象商品の商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト３１２に対応付けられて記憶されていない場合に、当該正しい商品名を端末側通信部４０９に出力し、端末側通信部４０９によって当該正しい商品名が商品認識サーバ３００に送信されてもよい。
実施の形態３
実施の形態３に係る商品認識方法について、図８～図１１を参照しながら、説明する。本実施の形態３に係る商品認識方法は、本開示における商品認識システム２００によって実施される方法である。図８は、当該商品認識方法における学習処理を示すフローチャートである。図９は、当該商品認識方法における類似画像商品名リストの作成処理を示すフローチャートである。図１０及び図１１は、当該商品認識方法における識別処理を示すフローチャートである。
最初に、図８に示す学習処理について説明する。まず、撮像部４０１が商品の学習用画像を取得し、端末側通信部４０９が当該商品の商品名と学習用画像とを対応付けて商品認識サーバ３００に送信する（ステップＳ１０１）。なお、撮像部４０１は、商品識別コード（商品識別情報）を読み取ってもよく、商品名と商品識別コードと学習用画像とが対応付けられて商品認識サーバ３００に送信されてもよい。
次に、学習用データ取得部３０１が、ＰＯＳ端末装置４００から送信された商品の商品名及び学習用画像を受信し、当該商品名と当該学習用画像とを対応付けて画像データベース３１１に格納する（ステップＳ１０２）。また、学習用データ取得部３０１が、学習用画像から１つ以上の特徴点を算出し、当該特徴点を商品名及び当該学習用画像と対応付けて画像データベース３１１に格納する。なお、学習用データ取得部３０１は、商品名と商品識別コードと学習用画像とを対応付けて画像データベース３１１に格納してもよい。また、学習用画像と商品名とはユーザによって画像データベース３１１に登録されてもよい。
次に、学習部３０２が、サーバ側記憶部３０９に記憶されている画像データベース３１１に記憶されている学習用画像と商品名とを用いて機械学習を行う（ステップＳ１０３）。具体的には、学習部３０２は、画像データベース３１１に記憶されている学習用画像を識別エンジン３１３に入力し、商品名を推論させ、当該推論結果（商品名）を画像データベース３１１に記憶されている商品名（正解ラベル）となるように、識別エンジン３１３において用いられるパラメータの重みを更新する。
次に、ステップＳ１０３の機械学習が終了すると、学習部３０２が、学習済みの識別エンジン３１３をサーバ側記憶部３０９に格納し（ステップＳ１０４）、当該学習処理を終了する。
次に、図９に示す、類似画像商品名リスト３１２の作成処理について説明する。まず、リスト作成部３０３が、画像データベース３１１に格納されている一の商品の学習用画像の特徴点と他の商品の学習用画像の特徴点とを比較し、類似度を算出する（ステップＳ２０１）。
次に、リスト作成部３０３は、ステップＳ２０１において算出した類似度が所定の値以上である複数の商品の商品名を対応付けた類似画像商品名リスト３１２を作成する（ステップＳ２０２）。そして、リスト作成部３０３は、作成した類似画像商品名リスト３１２をサーバ側記憶部３０９に格納し、当該作成処理を終了する。
次に、図１０及び図１１に示す識別処理について説明する。まず、撮像部４０１が対象商品の画像を取得し、端末側通信部４０９が当該対象商品の画像を商品認識サーバ３００に送信する（ステップＳ３０１）。なお、撮像部４０１は、撮像部４０１は、複数の対象商品を一度に撮影してもよく、複数の対象商品の画像部分を含む画像が商品認識サーバ３００に送信されてもよい。また、撮像部４０１は、商品識別コード（商品識別情報）を読み取ってもよく、対象商品の商品識別コードと画像とが対応付けられて商品認識サーバ３００に送信されてもよい。
次に、識別部３０４が、ステップＳ３０１においてＰＯＳ端末装置４００から送信された、対象商品の画像を識別エンジン３１３に入力し、識別エンジン３１３によって特徴点が算出される（ステップＳ３０２）。
次に、識別エンジン３１３において、ステップＳ３０２において算出した、対象商品の画像の特徴点と、画像データベース３１１に記憶されている商品の基準画像の特徴点とを比較することにより類似度（スコア）が算出される（ステップＳ３０３）。識別エンジン３１３は、推論結果として、画像データベース３１１に記憶されている商品の商品名と算出した類似度とを対応付けて出力する。
次に、識別部３０４が、画像データベース３１１に記憶されている商品名のうち、ステップＳ３０３において算出された類似度が最も高い商品名を対象商品の商品名として設定する（ステップＳ３０４）。そして、サーバ側通信部３１０によって、当該対象商品の商品名及び類似度がＰＯＳ端末装置４００に送信される。
次に、識別部３０４が、画像データベース３１１に記憶されている商品名のうち、ステップＳ３０３において算出された類似度が高い順に所定の数の商品名を候補商品の商品名として設定する（ステップＳ３０５）。そして、サーバ側通信部３１０によって、当該候補商品の商品名及び類似度がＰＯＳ端末装置４００に送信される。
次に、ソート部４０２が、商品認識サーバ３００から送信された候補商品の商品名を類似度の高い順にソートする（ステップＳ３０６）。
次に、出力部４０３が、ステップＳ３０４において設定された対象商品の商品名を表示する合成画像４０と、ステップＳ３０６においてソートされた順番に従って候補商品の商品名を選択可能に配列した候補商品リスト５０とを生成する（ステップＳ３０７）。そして、出力部４０３が生成した合成画像４０及び候補商品リスト５０は、表示部４０７へ出力され、表示部４０７に表示される。
ステップＳ３０５において設定された対象商品の商品名が間違っている場合、ユーザにより、候補商品リスト５０から正しい商品名が指定される。そのため、フィードバック部４０４は、ユーザによって正しい商品名が指定されたか否かを判断する（ステップＳ３０８）。
ステップＳ３０８において、ユーザによって正しい商品名が指定されなかった場合（ステップＳ３０８；Ｎｏ）、本処理を終了する。
ステップＳ３０８において、ユーザによって正しい商品名が指定された場合（ステップＳ３０８；Ｙｅｓ）、端末側通信部４０９が当該正しい商品名を商品認識サーバ３００に送信する（ステップＳ３０９）。
次に、画像管理部３０５が、ステップＳ３０４において設定された対象商品の商品名と、ステップＳ３０９においてＰＯＳ端末装置４００から送信された正しい商品名とが、類似画像商品名リスト３１２において同一の類似商品番号３１２Ａの行に含まれるか否かを判断する（ステップＳ３１０）。換言すれば、画像管理部３０５は、設定された対象商品の商品名と正しい商品名とが、類似画像商品名リスト３１２対応付けられて記憶されているか否かを判断する。
ステップＳ３１０において、設定された対象商品の商品名と正しい商品名とが類似画像商品名リスト３１２において同一の類似商品番号３１２Ａの行に含まれる場合（ステップＳ３１０；Ｙｅｓ）、本処理を終了する。
ステップＳ３１０において、設定された対象商品の商品名と正しい商品名とが類似画像商品名リスト３１２において同一の類似商品番号３１２Ａの行に含まれない場合（ステップＳ３１０；Ｎｏ）、画像管理部３０５が、対象商品の画像情報と正しい商品名とを対応付けて画像データベース３１１に格納する（ステップＳ３１１）、本処理を終了する。
なお、ステップＳ３１０において、設定された対象商品の商品名と正しい商品名とが類似画像商品名リスト３１２において同一の類似商品番号３１２Ａの行に含まれる場合（ステップＳ３１０；Ｙｅｓ）、画像管理部３０５は、対象商品の画像情報と正しい商品名とを対応付けて画像データベース３１１に格納するとともに、格納する回数を計測してもよい。そして、画像管理部３０５は、当該回数が所定の値を超えたら、対象商品の画像情報と正しい商品名との画像データベース３１１への格納を止めてもよい。
その他の実施の形態
次に、その他の実施の形態に係る商品認識方法について簡単に説明する。その他の実施の形態に係る商品認識方法は、本開示における商品認識装置１００によって実施される方法である。
まず、学習部１１１が、画像データベース１３１に記憶されている学習用画像情報と商品名とを用いて機械学習を行って、学習済みの識別エンジン１３３を生成する。また、学習部１１１は、生成された学習済みの識別エンジン１３３を記憶部１３０に格納する。
次に、識別部１２１が、学習済みの識別エンジン１３３を用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別する。具体的には、識別部１２１は、対象商品の画像情報を識別エンジン１３３に入力し、当該対象商品の商品名を推論させ、推論結果としての商品名を出力する。識別部１２１から出力された商品名は、商品認識装置１００の表示部（図示省略）に表示され、ユーザに提示される。ユーザは、商品認識装置１００の表示部（図示省略）に表示された商品名が間違っている場合、商品認識装置１００の入力部（図示省略）を操作して、正しい商品名を指定する。
次に、画像管理部１２２は、ユーザによって正しい商品名が指定されたか否かを判断する。ユーザによって正しい商品名が指定されなかった場合、本処理を終了する。ユーザによって正しい商品名が指定された場合、画像管理部１２２は、識別部１２１によって識別された商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト１３２に対応付けられて記憶されているか否かを判断する。
識別部１２１によって識別された商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト１３２に対応付けられて記憶されている場合、本処理を終了する。
識別部１２１によって識別された商品名と、ユーザによって指定された正しい商品名とが、類似画像商品名リスト１３２に対応付けられて記憶されていない場合、画像管理部１２２は、対象商品の画像情報と正しい商品名とを対応付けて画像データベース１３１に格納する。
上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、図８～図１１のフローチャートに記載の処理手順及びその他の実施の形態に記載の処理手順を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
上記の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録媒体、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）等である。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
１００ 商品認識装置
２００ 商品認識システム
３００ 商品認識サーバ
４００ ＰＯＳ端末装置（端末装置）
１１１、３０２ 学習部
１２１、３０４ 識別部
１２２、３０５ 画像管理部
１３０ 記憶部
１３１、３１１ 画像データベース
１３２、３１２ 類似画像商品名リスト
１３３、３１３ 識別エンジン
３０９ サーバ側記憶部（記憶部）
４０１ 撮像部（取得部）
４０４ フィードバック部

Claims (8)

  1. 複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶する記憶部と、
    前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成する学習部と、
    前記識別エンジンを用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別する識別部と、
    を備え、
    前記記憶部は、一の商品の前記学習用画像情報と他の商品の前記学習用画像情報が類似する場合に、当該一の商品の前記商品名と当該他の商品の前記商品名とが対応付けられた類似画像商品名リストをさらに予め記憶し、
    前記識別部によって識別された前記対象商品の前記商品名が間違っており、ユーザによって正しい商品名が指定された場合に、前記識別部によって識別された前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されているか否かを判断し、前記識別部によって識別された前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されていない場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する、画像管理部をさらに備える、
    商品認識装置。
  2. 前記画像管理部は、
    前記識別部によって識別された前記対象商品の前記商品名が間違っている場合であって、前記識別部によって識別された前記商品名と、ユーザによって指定された前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されている場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する回数を計測し、
    前記回数が所定の値を超えたら、前記対象商品の画像情報と前記正しい商品名との前記画像データベースへの格納を止める、
    請求項１に記載の商品認識装置。
  3. 商品認識サーバと、前記商品認識サーバと通信可能な端末装置とを備える商品認識システムであって、
    前記端末装置は、
    複数の対象商品の画像情報を取得する取得部を備え、
    前記商品認識サーバは、
    複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶する記憶部と、
    前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成する学習部と、
    前記識別エンジンを用いて、前記取得部によって取得された前記対象商品の画像情報に基づいて、当該対象商品の商品名を識別する識別部と、
    を備え、
    前記記憶部は、一の商品の前記学習用画像情報と他の商品の前記学習用画像情報が類似する場合に、当該一の商品の前記商品名と当該他の商品の前記商品名とが対応付けられた類似画像商品名リストをさらに予め記憶し、
    前記端末装置は、
    前記識別部によって識別された前記対象商品の前記商品名が間違っており、ユーザによって正しい商品名が指定された場合に、前記対象商品の画像情報と、ユーザによって指定された前記正しい商品名とを前記商品認識サーバに送信するフィードバック部をさらに備え、
    前記商品認識サーバは、
    前記端末装置から送信された前記正しい商品名と、前記識別部によって識別された前記商品名とが、前記類似画像商品名リストに対応付けられて記憶されているか否かを判断し、前記識別部によって識別された前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されていない場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する、画像管理部をさらに備える、
    商品認識システム。
  4. 前記画像管理部は、
    前記識別部によって識別された前記対象商品の前記商品名が間違っている場合であって、前記識別部によって識別された前記商品名と、ユーザによって指定された前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されている場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する回数を計測し、
    前記回数が所定の値を超えたら、前記対象商品の画像情報と前記正しい商品名との前記画像データベースへの格納を止める、
    請求項３に記載の商品認識システム。
  5. 商品認識装置が、
    複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶し、
    前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成し、
    前記識別エンジンを用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別し、
    一の商品の前記学習用画像情報と他の商品の前記学習用画像情報が類似する場合に、当該一の商品の前記商品名と当該他の商品の前記商品名とが対応付けられた類似画像商品名リストをさらに予め記憶し、
    識別した前記対象商品の前記商品名が間違っており、ユーザによって正しい商品名が指定された場合に、識別した前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されているか否かを判断し、識別した前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されていない場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する、
    商品認識方法。
  6. 前記商品認識装置が、
    識別した前記対象商品の前記商品名が間違っている場合であって、識別した前記商品名と、ユーザによって指定された前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されている場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する回数を計測し、
    前記回数が所定の値を超えたら、前記対象商品の画像情報と前記正しい商品名との前記画像データベースへの格納を止める、
    請求項５に記載の商品認識方法。
  7. 商品認識装置に、
    複数の商品について、少なくとも学習用画像情報と商品名とが対応付けられた画像データベースを予め記憶する処理と、
    前記画像データベースに記憶されている前記学習用画像情報と前記商品名とを用いて機械学習を行って、学習済みの識別エンジンを生成する処理と、
    前記識別エンジンを用いて、対象商品の画像情報に基づいて、当該対象商品の商品名を識別する処理と、
    一の商品の前記学習用画像情報と他の商品の前記学習用画像情報が類似する場合に、当該一の商品の前記商品名と当該他の商品の前記商品名とが対応付けられた類似画像商品名リストをさらに予め記憶する処理と、
    識別した前記対象商品の前記商品名が間違っており、ユーザによって正しい商品名が指定された場合に、識別した前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されているか否かを判断し、識別した前記商品名と前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されていない場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する処理と、
    を実行させる、プログラム。
  8. 前記商品認識装置に、
    識別した前記対象商品の前記商品名が間違っている場合であって、識別した前記商品名と、ユーザによって指定された前記正しい商品名とが、前記類似画像商品名リストに対応付けられて記憶されている場合に、前記対象商品の画像情報と前記正しい商品名とを対応付けて前記画像データベースに格納する回数を計測する処理と、
    前記回数が所定の値を超えたら、前記対象商品の画像情報と前記正しい商品名との前記画像データベースへの格納を止める処理と、
    を実行させる、請求項７に記載のプログラム。
JP2022010869A 2022-01-27 2022-01-27 商品認識装置、商品認識システム、商品認識方法、及びプログラム Active JP7125179B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022010869A JP7125179B1 (ja) 2022-01-27 2022-01-27 商品認識装置、商品認識システム、商品認識方法、及びプログラム
PCT/JP2022/022171 WO2023145104A1 (ja) 2022-01-27 2022-05-31 商品認識装置、商品認識システム、商品認識方法、及びプログラムを格納する非一時的なコンピュータ可読媒体
JP2022123073A JP7323228B1 (ja) 2022-01-27 2022-08-02 商品認識装置、商品認識システム、商品認識方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022010869A JP7125179B1 (ja) 2022-01-27 2022-01-27 商品認識装置、商品認識システム、商品認識方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022123073A Division JP7323228B1 (ja) 2022-01-27 2022-08-02 商品認識装置、商品認識システム、商品認識方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP7125179B1 true JP7125179B1 (ja) 2022-08-24
JP2023109386A JP2023109386A (ja) 2023-08-08

Family

ID=83004375

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022010869A Active JP7125179B1 (ja) 2022-01-27 2022-01-27 商品認識装置、商品認識システム、商品認識方法、及びプログラム
JP2022123073A Active JP7323228B1 (ja) 2022-01-27 2022-08-02 商品認識装置、商品認識システム、商品認識方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022123073A Active JP7323228B1 (ja) 2022-01-27 2022-08-02 商品認識装置、商品認識システム、商品認識方法、及びプログラム

Country Status (2)

Country Link
JP (2) JP7125179B1 (ja)
WO (1) WO2023145104A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021024459A1 (ja) 2019-08-08 2021-02-11 日本電気株式会社 処理装置、会計装置、処理方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021024459A1 (ja) 2019-08-08 2021-02-11 日本電気株式会社 処理装置、会計装置、処理方法及びプログラム

Also Published As

Publication number Publication date
JP2023109386A (ja) 2023-08-08
JP2023114420A (ja) 2023-08-17
JP7323228B1 (ja) 2023-08-08
WO2023145104A1 (ja) 2023-08-03

Similar Documents

Publication Publication Date Title
US11663571B2 (en) Inventory management computer system
US11755173B2 (en) Information processing device, information processing method, storage medium, and guide system
US11295367B2 (en) System for in-store consumer behaviour event metadata aggregation, data verification and the artificial intelligence analysis thereof for data interpretation and associated action triggering
US10872324B2 (en) Shopping support computing device
WO2018016494A1 (ja) 在庫管理サーバ、在庫管理システム、在庫管理プログラムおよび在庫管理方法
US20200151695A1 (en) Point-of-sale data processing apparatus that processes data using multiple user codes
JP6114707B2 (ja) 商品検索装置、商品検索システム、サーバシステム及び商品検索方法
JPWO2014020948A1 (ja) 情報処理装置及び取引明細変更方法
KR102593155B1 (ko) 효율적인 의류 판매를 위한 복수의 인터페이스 제공 장치
US20190043033A1 (en) Point-of-sale terminal
US10832307B1 (en) Systems for analyzing and updating data structures
US20130232034A1 (en) Coordinate supporting system, coordinate supporting apparatus and coordinate supporting method
US20230061377A1 (en) Product recognition system, product recognition apparatus, and method
JP7125179B1 (ja) 商品認識装置、商品認識システム、商品認識方法、及びプログラム
EP3176745A1 (en) Matching server, matching system, and matching method
JP7144082B2 (ja) 商品認識装置、システム、方法及びプログラム
CN114168033B (zh) 信息显示方法、信息处理方法及设备
US20240220535A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20240054469A1 (en) Store mobile terminal device, customer mobile terminal device, system, method, and recording medium
US20160019518A1 (en) Handheld computing device and electronic receipt server
KR20230140179A (ko) 유뮤선 공유기를 이용한 영수증 프린터 제어 방법 및 상기 제어 방법을 실행시키는 컴퓨터 프로그램
CN118196972A (zh) 信息处理装置及交易管理系统
US20170039538A1 (en) Operation management apparatus, operation management system, and computer-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220804

R150 Certificate of patent or registration of utility model

Ref document number: 7125179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150