JP7435758B2 - 処理システム、処理方法及びプログラム - Google Patents

Description

本発明は、処理システム、処理方法及びプログラムに関する。

特許文献１は、商品を撮影した画像に基づきその商品を認識する技術を開示している。非特許文献１は、特徴点マッチングによる商品認識と、ディープラーニングを適用した商品認識とを組み合わせた多種物体認識技術を開示している。

特開２０１６－０６２５４５号公報

"あらゆる小売商品を認識可能にする多種物体認識技術"、［online］、［２０２０年４月２７日検索］、インターネット<URL: https://jpn.nec.com/techrep/journal/g19/n01/190118.html>

画像に基づく商品認識の精度を向上させることが期待されている。そこで、発明者らは、店舗等での実際の運用時に解析対象の画像（認識したい商品を含む画像）として推定モデルに入力された画像を教師データとして蓄積し、当該教師データを用いて再学習して推定モデルを更新する技術を検討した。

解析対象の画像内の商品の状態（商品の向き、陰影、形状、大きさ等）は、撮影環境などにより変化する。上記技術の場合、店舗等での実際の運用時に実際に解析対象の画像となった画像を教師データとすることができるので、上記再学習により、その店舗等での実際の運用に適した推定モデルが生成され、その店舗等での実際の運用時における商品認識の精度が向上する。また、店舗等での実際の運用時に推定モデルに入力された画像を教師データとして蓄積できるので、教師データを収集する手間が省かれる。

しかし、店舗等での実際の運用時に解析対象の画像（認識したい商品を含む画像）として推定モデルに入力される画像は１日だけでも膨大な量となる。さらに、店舗等での実際の運用が長期間継続する場合、蓄積される画像はさらに膨れ上がる。これらのすべてを教師データとして利用すると、コンピュータの処理負担が大きくなる。また、当然、再学習の頻度が上がるほど、コンピュータの処理負担は大きくなる。

本発明は、推定モデルを生成するコンピュータの処理負担を軽減しつつ、画像に基づく商品認識の精度を高めることを課題とする。

本発明によれば、
認識対象の商品を含む認識処理画像を取得する画像取得手段と、
機械学習で生成された推定モデルに基づき前記認識処理画像内の商品を認識する認識手段と、
前記認識の結果を認識商品情報に登録する登録手段と、
前記認識の結果を出力する出力手段と、
前記認識の結果を訂正する入力を受付ける訂正受付手段と、
前記認識商品情報に登録されている前記認識の結果を訂正後の前記認識の結果に変更するとともに、訂正後の前記認識の結果と前記認識処理画像とを紐付けた訂正情報を記憶手段に記憶させる訂正手段と、
前記訂正情報として記憶された前記認識処理画像の数が所定値を超えると、前記訂正情報として記憶された前記認識処理画像を用いて再学習して前記推定モデルを更新する学習手段と、
を有する処理システムが提供される。

また、本発明によれば、
コンピュータが、
認識対象の商品を含む認識処理画像を取得し、
機械学習で生成された推定モデルに基づき前記認識処理画像内の商品を認識し、
前記認識の結果を認識商品情報に登録し、
前記認識の結果を出力し、
前記認識の結果を訂正する入力を受付け、
前記認識商品情報に登録されている前記認識の結果を訂正後の前記認識の結果に変更するとともに、訂正後の前記認識の結果と前記認識処理画像とを紐付けた訂正情報を記憶手段に記憶させ、
前記訂正情報として記憶された前記認識処理画像の数が所定値を超えると、前記訂正情報として記憶された前記認識処理画像を用いて再学習して前記推定モデルを更新する処理方法が提供される。

また、本発明によれば、
コンピュータを、
認識対象の商品を含む認識処理画像を取得する画像取得手段、
機械学習で生成された推定モデルに基づき前記認識処理画像内の商品を認識する認識手段、
前記認識の結果を認識商品情報に登録する登録手段、
前記認識の結果を出力する出力手段、
前記認識の結果を訂正する入力を受付ける訂正受付手段、
前記認識商品情報に登録されている前記認識の結果を訂正後の前記認識の結果に変更するとともに、訂正後の前記認識の結果と前記認識処理画像とを紐付けた訂正情報を記憶手段に記憶させる訂正手段、
前記訂正情報として記憶された前記認識処理画像の数が所定値を超えると、前記訂正情報として記憶された前記認識処理画像を用いて再学習して前記推定モデルを更新する学習手段、
として機能させるプログラムが提供される。

本発明によれば、推定モデルを生成するコンピュータの処理負担を軽減しつつ、画像に基づく商品認識の精度を高めることができる。

本実施形態の処理システムのハードウエア構成の一例を示す図である。 本実施形態の処理システムの機能ブロック図の一例である。 本実施形態の処理システムが有する会計装置の実装例である。 本実施形態の処理システムの機能ブロック図の一例である。 本実施形態の処理システムが処理する情報の一例を示す図である。 本実施形態の処理システムが出力する画面の一例を示す図である。 本実施形態の処理システムが処理する情報の一例を示す図である。 本実施形態の処理システムの処理の流れの一例を示すフローチャートである。 本実施形態の処理システムの機能ブロック図の一例である。 本実施形態のカメラの設置例を説明するための図である。 本実施形態のカメラの設置例を説明するための図である。

＜第１の実施形態＞
「概要」
本実施形態の処理システムは、店舗等での実際の運用時に解析対象の画像（認識したい商品を含む画像）として推定モデルに入力された画像の中の「認識の結果が誤っていた画像」のみを、教師データとして蓄積する。そして、このような条件で蓄積した教師データの数が所定値を超えると、処理システムは、それまでに蓄積された教師データに基づき再学習して推定モデルを更新する。以下、詳細に説明する。

「ハードウエア構成」
次に、処理システムのハードウエア構成の一例を説明する。

処理システムの各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図１は、処理システムのハードウエア構成を例示するブロック図である。図１に示すように、処理システムは、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理システムは周辺回路４Ａを有さなくてもよい。なお、処理システムは物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理システムが物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理システムである。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

「機能構成」
本実施形態の処理システム１０は、図２に示すように会計システムである。会計システムは、オペレータが操作する会計装置と、複数の会計装置と通信するサーバとを有する。すなわち、処理システム１０は、会計装置とサーバとを有する。

会計装置は、店舗での会計時に利用される装置であり、会計対象の商品を登録する登録処理を実行する。なお、会計装置は、会計金額を精算する精算処理をさらに実行してもよい。会計装置は、店員が操作することを前提とした装置であってもよいし、顧客が操作することを前提とした装置であってもよい。

登録処理では、会計装置は、会計対象の商品の商品識別情報を取得する。その後、会計装置は、取得した商品識別情報に紐付けられた商品情報（商品名、単価等）を店舗サーバ等から取得し、会計情報として自装置の記憶装置に記憶させる。

商品識別情報の取得は、画像に基づく商品認識で実現される。すなわち、会計装置は、商品を含む画像を取得すると、その画像に含まれる商品を認識し、認識した商品の商品識別情報を取得する。商品を含む画像の撮影は、オペレータ（店員又は顧客）による操作で実現される。

会計装置は、その他、コードリーダ、タッチパネル、物理ボタン、マイク、キーボード、マウス等の入力装置を介した周知の技術で、商品識別情報の入力を受け付けてもよい。

精算処理では、会計装置は、会計金額を精算する処理を実行する。会計装置は、クレジットカード決済、現金決済、ポイント決済、コード決済などのあらゆる決済手段を採用することができる。なお、会計装置が精算処理を実行しない場合、会計装置は、登録された会計情報（会計対象の商品の情報、会計金額等）を、精算処理を実行する精算装置に送信することができる。

図３に、会計装置の実装例を示す。なお、図示する実装例はあくまで一例であり、これに限定されない。会計装置は、台１０１と、商品載置エリア１０２と、支柱１０３と、カメラ１０４と、コンピュータ１０５と、タッチパネルディスプレイ１０６と、コードリーダ１０７とを有する。

オペレータは、会計対象の１つ又は複数の商品を商品載置エリア１０２に載置する。複数の商品を一度に商品載置エリア１０２の上に載置することができる。カメラ１０４は、商品載置エリア１０２を撮影する位置及び向きで、支柱１０３に取り付けられている。このようなカメラ１０４により、商品載置エリア１０２の上に載置された１つ又は複数の商品がまとめて撮影される。

カメラ１０４とコンピュータ１０５とは、任意の手段で互いに通信可能になっている。そして、カメラ１０４が生成した画像は、リアルタイム処理でコンピュータ１０５に入力される。また、コードリーダ１０７とコンピュータ１０５とは、任意の手段で互いに通信可能になっている。そして、コードリーダ１０７が取得した情報は、リアルタイム処理でコンピュータ１０５に入力される。また、タッチパネルディスプレイ１０６とコンピュータ１０５とは、任意の手段で互いに通信可能になっている。そして、タッチパネルディスプレイ１０６が取得した情報は、リアルタイム処理でコンピュータ１０５に入力される。図示しないが、会計装置は、マイク、物理ボダン、キーボード、マウス等のその他の入力装置を備えてもよい。これら入力装置とコンピュータ１０５とは、任意の手段で互いに通信可能になっている。そして、これら入力装置が取得した情報は、リアルタイム処理でコンピュータ１０５に入力される。

コンピュータ１０５は取得した情報に基づき、各種処理を実行する。そして、コンピュータは、処理の結果をタッチパネルディスプレイ１０６に表示させることができる。

なお、この実装例の会計装置は、複数の商品をまとめて撮影するように構成しているが、変形例として、会計装置は、オペレータが商品を１つずつカメラの前に位置させると、１つずつ商品を撮影するように構成してもよい。

図４に、会計装置とサーバとを含む処理システム１０の機能ブロック図の一例を示す。図示するように、処理システム１０は、画像取得部１１と、認識部１２と、登録部１３と、出力部１４と、記憶部１５と、訂正受付部１６と、訂正部１７と、学習部１８とを有する。例えば、会計装置が、画像取得部１１と、認識部１２と、登録部１３と、出力部１４と、記憶部１５と、訂正受付部１６と、訂正部１７とを有する。そして、サーバが学習部１８を有する。

画像取得部１１は、認識対象の商品を含む画像である認識処理画像を取得する。画像取得部１１は、例えば図３のカメラ１０４が生成した画像を取得する。

認識部１２は、機械学習で生成された推定モデルに基づき認識処理画像内の商品を認識し、認識した商品の商品識別情報（商品コード等）を出力する。

推定モデルは、例えばディープラーニングを適用したクラス分類器である。より具体的には、推定モデルは、非特許文献１に開示されている多種物体認識技術を適用したモデルであってもよい。認識部１２は、推定モデルに認識処理画像を入力することで、認識処理画像内の商品を認識する。推定モデルに入力される認識処理画像は、認識処理画像の全部を含む画像であってもよいし、認識処理画像内の物体が検出された一部領域を切り出した画像であってもよい。例えば、図３で示す構成の場合、１つの認識処理画像内に複数の商品が含まれ得る。この場合、例えば、認識部１２は、認識処理画像に対して物体認識処理を実行した後、認識処理画像内の検出した物体領域各々を切り出した複数の画像を生成する。そして、認識部１２は、切り出した複数の画像各々を推定モデルに入力して、認識処理画像内の複数の商品各々を認識する。

推定モデルからは、例えば入力された画像が複数のクラス各々の商品を含む信頼度が出力される。認識部１２は、複数のクラス各々の信頼度に基づき１つのクラスを特定し、特定したクラスの商品識別情報を認識の結果として出力する。例えば、認識部１２は、「信頼度が最も高いクラス」を特定してもよいし、「信頼度が最も高く、かつ、信頼度が基準値以上であるクラス」を特定してもよいし、信頼度とその他のパラメータを組み合わせて１つのクラスを特定してもよいし、その他の手法で１つのクラスを特定してもよい。

図４に戻り、登録部１３は、認識部１２が出力した認識の結果（商品識別情報）を認識商品情報に登録する。本実施形態の認識商品情報は、会計対象として登録された商品を示す会計情報である。

図５に、認識商品情報の一例を模式的に示す。例えば、記憶部１５が認識商品情報を記憶する。

図示する例では、登録されている商品を互いに識別するための通番と、登録された商品の商品識別情報である商品コードや商品名と、登録された商品の単価と、登録された商品を含む認識処理画像の画像ファイル名とが互いに紐付けられている。

登録部１３は、認識部１２が出力した商品識別情報を取得すると、取得した商品識別情報に紐付けられた商品情報（商品名、単価等）を店舗サーバ等から取得し、図５に示すように認識商品情報に登録する。店舗サーバは、予め商品マスタを記憶している。

また、登録部１３は、認識商品情報に登録された認識の結果各々に紐づけて、各認識の結果の基となった認識処理画像を記憶部１５に記憶させる。各認識の結果の基となった認識処理画像は、推定モデルに入力された画像であり、認識処理画像の全部を含む画像、又は、認識処理画像内の物体が検出された一部領域を切り出した画像である。

図４に戻り、出力部１４は、認識の結果をオペレータに向けて出力する。出力部１４は、認識商品情報（図５参照）に登録されている複数の認識の結果を一覧表示することができる。

図６に、出力部１４が出力する画面の一例を模式的に示す。例えば、図６に示す画面が図３のタッチパネルディスプレイ１０６に表示される。なお、出力部１４は、その他、投影装置を介して、図６に示すような画面を任意の位置に投影してもよい。投影する位置は、処理システム１０を操作しているオペレータが閲覧可能な場所であればよい。

図４に戻り、訂正受付部１６は、認識の結果を訂正する入力を受付ける。訂正受付部１６は、図６に示すように一覧表示された複数の認識の結果の中から１つを指定する入力、及び、指定した認識の結果を訂正する入力を受付ける。指定した認識の結果を訂正する入力は、正しい商品識別情報（商品コードや商品名等）の入力である。これらの入力を実現する手段としては、タッチパネル、マイク、マウス、キーボード、物理ボタン、コードリーダ等のあらゆる入力装置を採用できる。

例えば、オペレータは、図６に示すような画面を閲覧し、誤った認識結果がないか確認する。そして、誤った認識結果が存在する場合、その誤った認識結果を指定する入力、及び、正しい商品識別情報の入力を行う。コードリーダを介して正しい商品識別情報を入力できるように構成することで、入力内容の誤りを回避できる。

図４に戻り、訂正部１７は、認識商品情報に登録されている認識の結果を、訂正後の認識の結果に変更する。すなわち、訂正部１７は、認識商品情報に登録されている認識の結果のうち、訂正受付部１６が受付けた入力で指定された認識の結果を、訂正受付部１６が受付けた入力で示される正しい商品識別情報に変更する。

また、訂正部１７は、訂正後の認識の結果（訂正受付部１６が受付けた入力で示される正しい商品識別情報）と、訂正前の誤った認識の結果の基となった認識処理画像とを紐付けた訂正情報を記憶部１５に記憶させる。訂正前の誤った認識の結果の基となった認識処理画像は、推定モデルに入力された画像であり、認識処理画像の全部を含む画像、又は、認識処理画像内の物体が検出された一部領域を切り出した画像である。

図７に訂正情報の一例を示す。図示する訂正情報は、訂正後の認識の結果である商品コード各々に紐付けて、訂正前の誤った認識の結果の基となった認識処理画像を蓄積している。

図４に戻り、学習部１８は、訂正情報として記憶された認識処理画像の数が予め定められた所定値（設計的事項）を超えると、訂正情報として記憶された認識処理画像を用いて再学習して推定モデルを更新する。訂正情報として記憶された認識処理画像の数は、商品毎（図７の例の場合、商品コード毎）にカウントされるのが好ましいが、同種の商品をまとめた商品群毎にカウントしてもよいし、全ての商品をまとめてカウントしてもよい。

次に、図８のフローチャートを用いて、処理システム１０が行う処理の流れの一例を説明する。上述の通り、処理システム１０は会計装置とサーバとを有するが、図８のフローチャートは、会計装置が行う処理の流れの一例を示す。

まず、画像取得部１１は、認識対象の商品を含む認識処理画像を取得する（Ｓ１０）。例えば、オペレータは、会計対象の商品を、図３の商品載置エリア１０２の上に載置する。そして、画像取得部１１は、カメラ１０４が生成した商品載置エリア１０２の上に載置された商品を含む認識処理画像を取得する。

次に、認識部１２は、機械学習で生成された推定モデルに基づき、Ｓ１０で取得された認識処理画像内の商品を認識する（Ｓ１１）。そして、認識部１２は、認識の結果として、認識処理画像内に含まれると推定した商品の商品識別情報を出力する。

次に、登録部１３は、認識部１２が出力した認識の結果（商品識別情報）を認識商品情報（図５参照）に登録する（Ｓ１２）。本実施形態の認識商品情報は、会計対象として登録された商品を示す会計情報である。また、登録部１３は、取得した商品識別情報に紐付けられた商品情報（商品名、単価等）を店舗サーバ等から取得し、認識商品情報に登録する。また、登録部１３は、認識商品情報に登録された認識の結果各々に紐づけて、各認識の結果の基となった認識処理画像を記憶部１５に記憶させる。

次いで、出力部１４は、認識の結果をオペレータに向けて出力する（Ｓ１３）。例えば、出力部１４は、認識商品情報（図５参照）に登録されている複数の認識の結果を一覧表示した図６に示すような画面を、図３のタッチパネルディスプレイ１０６に表示する。

認識の結果をオペレータに向けて出力した後、訂正受付部１６は、認識の結果を訂正する入力を受付可能になる。訂正受付部１６は、図６に示すように一覧表示された複数の認識の結果の中から１つを指定する入力、及び、指定した認識の結果を訂正する入力を受付ける。例えば、訂正受付部１６は、図６に示すような画面を表示した図３のタッチパネルディスプレイ１０６を介して、訂正対象の１つの認識の結果を指定する入力を受付ける。また、例えば、訂正受付部１６は、図３のコードリーダ１０７を介して、正しい商品識別情報の入力を受付ける。

そして、訂正受付部１６が認識の結果を訂正する入力を受付けると（Ｓ１４のＹｅｓ）、訂正部１７は、認識商品情報に登録されている認識の結果を、訂正後の認識の結果に変更する（Ｓ１５）。すなわち、訂正部１７は、認識商品情報に登録されている認識の結果のうち、訂正受付部１６が受付けた入力で指定された訂正対象の認識の結果を、訂正受付部１６が受付けた入力で示される正しい商品識別情報に変更する。

また、訂正部１７は、訂正後の認識の結果（訂正受付部１６が受付けた入力で示される正しい商品識別情報）と、訂正前の誤った認識の結果の基となった認識処理画像とを紐付けた訂正情報を記憶部１５に記憶させる（Ｓ１６）。なお、Ｓ１５とＳ１６の処理順は、図示するものに限定されない。

図８のフローチャートでは示さないが、処理システム１０は、その後の任意のタイミングで、精算処理を実行する指示入力を受付けることができる。例えば、処理システム１０は、図６に示すような画面で「会計（精算）」ボタンをタッチする操作を受付けることで、精算処理を実行する指示入力を受付ける。処理システム１０は、当該指示入力に応じて、精算処理を実行したり、登録された会計情報（会計対象の商品の情報、会計金額等）を、精算処理を実行する精算装置に送信したりする。

また、図示しないが、処理システム１０のサーバは、予め定められた所定のタイミングになると、訂正情報として記憶された認識処理画像の数が所定値を超えているか判断する。そして、超えていると判断した場合、処理システム１０は、訂正情報として記憶された認識処理画像を用いて再学習して推定モデルを更新する。一方、超えていないと判断した場合、処理システム１０は、そのタイミングでは再学習を実行しない。所定のタイミングは、予め定められた時刻になったタイミングであってもよいし、オペレータが判断の実行指示を入力したタイミングであってもよいし、その他であってもよい。

「作用効果」
本実施形態の処理システム１０は、店舗等での実際の運用時に解析対象の画像（認識したい商品を含む画像）として推定モデルに入力された画像の中の「認識の結果が誤っていた画像」のみを、教師データとして蓄積する。そして、このような条件で蓄積した教師データの数が所定値を超えると、処理システム１０は、それまでに蓄積された教師データに基づき再学習して推定モデルを更新する。

このような処理システム１０によれば、店舗等での実際の運用時に解析対象の画像（認識したい商品を含む画像）として推定モデルに入力された画像のすべてでなく、その中から適切に絞り込んだ画像を教師データとすることができるので、推定モデルの更新に要するコンピュータの処理負担が軽減する。

また、本実施形態の処理システム１０によれば、「認識の結果が誤っていた画像」を再学習のための教師データとすることができるので、再学習によりその誤りが生じにくくなる。すなわち、再学習の効果を高めることができる。

また、処理システム１０は、蓄積した教師データの数が所定値を超えたタイミングで再学習するので、蓄積した教師データの数が少なく、再学習の効果が十分に得られない不要なタイミングでの再学習を回避することができる。結果、推定モデルの更新に要するコンピュータの処理負担が軽減する。

＜第２の実施形態＞
本実施形態の処理システム１０は、一覧表示された認識の結果の中の訂正対象を、画像解析で特定する機能を有する。これにより、訂正対象を指定するオペレータの作業を省くことができる。以下、詳細に説明する。

訂正受付部１６は、認識の結果を訂正する入力として、コードリーダを介した正しい商品識別情報の入力を受付ける。例えば、図６に示すような認識の結果を一覧表示する画面を確認し、誤った認識結果を見つけたオペレータは、会計対象の中の正しく登録されていない商品（認識結果が誤っている商品）を特定する。その後、オペレータは、コードリーダ（図３のコードリーダ１０７等）を介して特定した商品の正しい商品識別情報を入力する。

本実施形態では、商品に付されたコードをコードリーダに読み取らせる作業の様子を撮影する位置及び向きでカメラが設置されている。当該カメラは、会計対象の商品を撮影するカメラ（図３のカメラ１０４等）と同じカメラであってもよいし、異なるカメラであってもよい。

画像取得部１１は、商品に付されたコードをコードリーダに読み取らせる作業の様子を撮影するカメラが生成した画像である訂正画像を取得する。

訂正部１７は、訂正画像に基づき、認識商品情報に登録されている認識の結果の中の訂正対象を特定する。例えば、認識部１２は、認識処理画像内の商品を認識するために利用する推定モデルと同じ推定モデルに基づき、訂正画像に含まれる商品を認識する。そして、訂正部１７は、認識商品情報に登録されている認識の結果の中の、訂正画像の認識の結果と一致するものを、訂正対象として特定することができる。

他の例として、訂正部１７は、認識処理画像内の商品の外観の特徴量と、訂正画像内の商品の外観の特徴量との類似度に基づき、訂正対象を特定してもよい。この例の場合、認識商品情報に登録されている認識の結果の中の、訂正画像内の商品の外観の特徴量との類似度が最も高い認識処理画像の認識の結果が、訂正対象として特定される。

本実施形態の処理システム１０のその他の構成は、第１の実施形態と同様である。

本実施形態の処理システム１０によれば、第１の実施形態の処理システム１０と同様の作用効果が実現される。また、本実施形態の処理システム１０によれば、画像解析で自動的に訂正対象を特定できるので、訂正対象を指定するオペレータの作業を省くことができる。このように、ユーザフレンドリーな構成が実現される。

本実施形態の変形例として、処理システム１０は、訂正画像を教師データとしてもよい。訂正画像は、認識の結果が誤っていた商品を含む。このような訂正画像を教師データとすることで、認識の結果が誤った商品の教師データを効率的に増やすことができる。

＜第３の実施形態＞
第１及び第２の実施形態では、処理システム１０は、図２に示すように会計装置とサーバとを有する会計システムであった。本実施形態の処理システム１０は、第１及び第２の実施形態と異なり、図９に示すように顧客が操作する端末装置２０と通信するサーバを有する。処理システム１０は、端末装置２０を介して、認識の結果を出力したり、認識の結果の訂正の入力を受付けたりする。端末装置２０は、スマートフォン、タブレット端末、スマートウォッチ、携帯電話、ＰＣ（personal computer）等の顧客の端末であってもよいし、店舗に設置された専用端末であってもよいし、その他であってもよい。

本実施形態の処理システム１０の機能ブロック図の一例は、第１及び第２の実施形態同様、図４で示される。

本実施形態では、店舗内に、顧客が商品棚から商品を取り出す様子を撮影する位置及び向きでカメラが設置される。カメラは、商品棚に設置されてもよいし、天井に設置されてもよいし、床に設置されてもよいし、壁面に設置されてもよいし、その他の場所に設置されてもよい。

また、一の商品棚から顧客が商品を取り出す様子を撮影するカメラは１台であってもよいし、複数台であってもよい。一の商品棚から顧客が商品を取り出す様子を複数台のカメラで撮影する場合、複数台のカメラは互いに異なる位置及び方向から顧客がその商品棚から商品を取り出す様子を撮影するように設置されるのが好ましい。

また、商品棚毎にカメラが設置されてもよいし、複数の商品棚毎にカメラが設置されてもよいし、商品棚の段毎にカメラが設置されてもよいし、商品棚の複数の段毎にカメラが設置されてもよい。

カメラは動画像を常時（例えば、営業時間中）撮影してもよいし、動画像のフレーム間隔よりも大きい時間間隔で静止画像を継続的に撮影してもよいし、人感センサー等で所定位置（商品棚の前等）に存在する人を検出している間のみこれらの撮影を実行してもよい。

ここで、カメラ設置の一例を示す。なお、ここで説明するカメラ設置例はあくまで一例であり、これに限定されない。図１０に示す例では、商品棚１毎に２つのカメラ２が設置されている。図１１は、図１０の枠４を抽出した図である。枠４を構成する２つの部品各々には、カメラ２と照明（不図示）とが設けられる。

照明の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。

そしてカメラ２は、直線状に延伸する枠４の部品の一端側に設けられており、照明の光が放射される方向を撮影範囲としている。例えば図１１の左側の枠４の部品において、カメラ２は下方及び右斜め下を撮影範囲としている。また、図１１の右側の枠４の部品において、カメラ２は上方及び左斜め上を撮影範囲としている。

図１０に示すように、枠４は、商品載置スペースを構成する商品棚１の前面フレーム（又は両側の側壁の前面）に取り付けられる。枠４の部品の一方は、一方の前面フレームに、カメラ２が下方に位置する向きに取り付けられる。枠４の部品の他方は、他方の前面フレームに、カメラ２が上方に位置する向きに取り付けられる。そして、枠４の部品の一方に取り付けられたカメラ２は、商品棚１の開口部を撮影範囲に含むように、上方及び斜め上方を撮影する。一方、枠４の部品の他方に取り付けられたカメラ２は、商品棚１の開口部を撮影範囲に含むように、下方及び斜め下方を撮影する。このように構成することで、２つのカメラ２で商品棚１の開口部の全範囲を撮影することができる。

図４に示す画像取得部１１は、このようなカメラが生成した認識処理画像を取得する。認識処理画像は、リアルタイム処理で処理システム１０に入力されてもよいし、バッチ処理で処理システム１０に入力されてもよい。いずれの処理とするかは、例えば認識の結果の利用内容に応じて決定することができる。

認識部１２及び登録部１３の構成は、第１の実施形態と同様である。なお、登録部１３は、少なくとも認識の結果と、その認識の結果の基となった認識処理画像とを紐付けて登録すればよく、店舗サーバから取得される商品名や単価等の情報の登録は必ずしも必須ではない。認識の結果の利用内容に応じて、店舗サーバから取得される情報を登録するか否かを選択できる。

出力部１４は、端末装置２０を介して、認識の結果を顧客に向けて出力する。例えば、出力部１４は、第１及び第２の実施形態と同様に、図６に示すような認識の結果を一覧表示する画面を端末装置２０に表示させる。そして、訂正受付部１６は、端末装置２０を介して、認識の結果を訂正する入力を受付ける。以下、具体例を説明する。

「具体例１」
処理システム１０は、上記構成により顧客が手に取った商品を認識するとともに、任意の手段で商品を手に取った顧客を識別する。そして、処理システム１０は、その顧客の顧客識別情報に紐付けて、図５に示すような認識商品情報（認識の結果）を登録する。顧客を識別する手段は、例えば店内に設置されたカメラで撮影した顧客の顔画像に基づく顔認識処理で実現されてもよいし、その他の手段で実現されてもよい。

そして、出力部１４は、各顧客の端末装置２０を介して、認識の結果を出力する。また、訂正受付部１６は、各顧客の端末装置２０を介して、認識の結果を訂正する入力を受付ける。例えば、各顧客は、端末装置２０にインストールされた所定のアプリケーションを介して処理システム１０にアクセスし、自身の顧客識別情報を用いてログインする。そして、処理システム１０は、ログイン情報に基づき各顧客の端末装置２０を特定し、特定した各顧客の端末装置２０を介して、各顧客に紐付く認識の結果を出力したり、認識の結果を訂正する入力を受付けたりする。

「具体例２」
処理システム１０は、上記構成により顧客が手に取った商品を認識するとともに、任意の手段で商品を手に取った顧客を識別する。そして、処理システム１０は、その顧客の顧客識別情報に紐付けて、図５に示すような認識商品情報（認識の結果）を登録する。顧客を識別する手段は、例えば店内に設置されたカメラで撮影した顧客の顔画像に基づく顔認識処理で実現されてもよいし、その他の手段で実現されてもよい。

そして、出力部１４は、店舗に設置された端末装置２０を介して、認識の結果を出力する。また、訂正受付部１６は、店舗に設置された端末装置２０を介して、認識の結果を訂正する入力を受付ける。店舗に設置された端末装置２０は、ＰＯＳ（point of sale）レジスター等の会計装置であってもよいし、その他であってもよい。

顧客は、例えば会計処理を行う際に、店舗に設置された端末装置２０に自身の顧客識別情報を入力する。例えば、顧客は自身の顔を撮影させることで当該入力を実現してもよい。この場合、撮影された顧客の顔画像に基づく顔認識処理で顧客識別情報が特定される。その他、顧客は近距離無線通信するリーダと、顧客識別情報を記憶するデバイス（スマートフォン、スマートウォッチ、タブレット端末、携帯電話、ＩＣカード等）とを通信可能な状態にすることで当該入力を実現してもよい。その他、顧客は、タッチパネル、マイク、キーボード、マウス等の入力装置を介して顧客識別情報を入力してもよい。

処理システム１０は、店舗に設置された端末装置２０から顧客識別情報を取得すると、その顧客識別情報に紐付く認識の結果をその端末装置２０に送信し、表示させる。また処理システム１０は、その端末装置２０を介してその顧客識別情報に紐付く認識の結果を訂正する入力を受付ける。

「具体例３」
処理システム１０は、上記構成により顧客が手に取った商品を認識すると、商品を手に取った顧客の顔画像及び／又はその顔画像から抽出された特徴量に紐付けて、図５に示すような認識商品情報（認識の結果）を登録する。

そして、出力部１４は、店舗に設置された端末装置２０を介して、認識の結果を出力する。また、訂正受付部１６は、店舗に設置された端末装置２０を介して、認識の結果を訂正する入力を受付ける。店舗に設置された端末装置２０は、ＰＯＳレジスター等の会計装置であってもよいし、その他であってもよい。

顧客は、例えば会計処理を行う際に、店舗に設置された端末装置２０に自身の顔を撮影させる。処理システム１０は、店舗に設置された端末装置２０から顧客の顔画像を取得すると、取得した顔画像またはその顔画像から抽出された特徴量に紐付く認識の結果をその端末装置２０に送信し、表示させる。また処理システム１０は、その端末装置２０を介して取得した顔画像またはその顔画像から抽出された特徴量に紐付く認識の結果を訂正する入力を受付ける。

図４に戻り、記憶部１５、訂正部１７及び学習部１８の構成は、第１及び第２の実施形態と同様である。

本実施形態の処理システム１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。また、本実施形態の処理システム１０によれば、第１及び第２の実施形態と異なる手法で、認識処理画像の生成、認識の結果の出力及び認識の結果を訂正する入力を実現することができる。結果、処理システム１０の利用場面が広がり好ましい。

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 認識対象の商品を含む認識処理画像を取得する画像取得手段と、
機械学習で生成された推定モデルに基づき前記認識処理画像内の商品を認識する認識手段と、
前記認識の結果を認識商品情報に登録する登録手段と、
前記認識の結果を出力する出力手段と、
前記認識の結果を訂正する入力を受付ける訂正受付手段と、
前記認識商品情報に登録されている前記認識の結果を訂正後の前記認識の結果に変更するとともに、訂正後の前記認識の結果と前記認識処理画像とを紐付けた訂正情報を記憶手段に記憶させる訂正手段と、
前記訂正情報として記憶された前記認識処理画像の数が所定値を超えると、前記訂正情報として記憶された前記認識処理画像を用いて再学習して前記推定モデルを更新する学習手段と、
を有する処理システム。
２． 前記出力手段は、前記認識商品情報に登録されている複数の前記認識の結果を一覧表示し、
前記訂正受付手段は、一覧表示された複数の前記認識の結果の中から１つを指定する入力、及び、指定した前記認識の結果を訂正する入力を受付ける１に記載の処理システム。
３． 前記訂正受付手段は、前記認識の結果を訂正する入力として、正しい商品識別情報の入力を受付ける１又は２に記載の処理システム。
４． 前記訂正受付手段は、コードリーダを介して、正しい商品識別情報の入力を受付ける３に記載の処理システム。
５． 前記訂正受付手段は、前記認識の結果を訂正する入力として、コードリーダを介した正しい商品識別情報の入力を受付け、
前記画像取得手段は、商品に付された商品識別情報を前記コードリーダに読み取らせる作業の様子を示す訂正画像をさらに取得し、
前記訂正手段は、前記訂正画像に基づき、前記認識商品情報に登録されている前記認識の結果の中の訂正対象を特定する２に記載の処理システム。
６． 前記認識手段は、前記推定モデルに基づき前記訂正画像内の商品を認識し、
前記訂正手段は、前記認識商品情報に登録されている前記認識の結果の中の、前記訂正画像の認識の結果と一致するものを、訂正対象として特定する５に記載の処理システム。
７． 前記訂正手段は、前記訂正画像内の商品の外観の特徴量と、前記認識処理画像内の商品の外観の特徴量との類似度に基づき訂正対象を特定する５に記載の処理システム。
８． コンピュータが、
認識対象の商品を含む認識処理画像を取得し、
機械学習で生成された推定モデルに基づき前記認識処理画像内の商品を認識し、
前記認識の結果を認識商品情報に登録し、
前記認識の結果を出力し、
前記認識の結果を訂正する入力を受付け、
前記認識商品情報に登録されている前記認識の結果を訂正後の前記認識の結果に変更するとともに、訂正後の前記認識の結果と前記認識処理画像とを紐付けた訂正情報を記憶手段に記憶させ、
前記訂正情報として記憶された前記認識処理画像の数が所定値を超えると、前記訂正情報として記憶された前記認識処理画像を用いて再学習して前記推定モデルを更新する処理方法。
９． コンピュータを、
認識対象の商品を含む認識処理画像を取得する画像取得手段、
機械学習で生成された推定モデルに基づき前記認識処理画像内の商品を認識する認識手段、
前記認識の結果を認識商品情報に登録する登録手段、
前記認識の結果を出力する出力手段、
前記認識の結果を訂正する入力を受付ける訂正受付手段、
前記認識商品情報に登録されている前記認識の結果を訂正後の前記認識の結果に変更するとともに、訂正後の前記認識の結果と前記認識処理画像とを紐付けた訂正情報を記憶手段に記憶させる訂正手段、
前記訂正情報として記憶された前記認識処理画像の数が所定値を超えると、前記訂正情報として記憶された前記認識処理画像を用いて再学習して前記推定モデルを更新する学習手段、
として機能させるプログラム。

Claims (9)

1. 認識対象の商品を含む認識処理画像を取得する画像取得手段と、
   機械学習で生成された推定モデルに基づき前記認識処理画像内の商品を認識する認識手段と、
   前記認識の結果を認識商品情報に登録する登録手段と、
   前記認識の結果を出力する出力手段と、
   前記認識の結果を訂正する入力を受付ける訂正受付手段と、
   前記認識商品情報に登録されている前記認識の結果を訂正後の前記認識の結果に変更するとともに、訂正後の前記認識の結果と前記認識処理画像とを紐付けた訂正情報を記憶手段に記憶させる訂正手段と、
   前記訂正情報として記憶された前記認識処理画像の数を商品毎にカウントし、前記数が所定値を超えると、前記訂正情報として記憶された前記認識処理画像を用いて再学習して前記推定モデルを更新する学習手段と、
   を有する処理システム。
2. 前記出力手段は、前記認識商品情報に登録されている複数の前記認識の結果を一覧表示し、
   前記訂正受付手段は、一覧表示された複数の前記認識の結果の中から１つを指定する入力、及び、指定した前記認識の結果を訂正する入力を受付ける請求項１に記載の処理システム。
3. 前記訂正受付手段は、前記認識の結果を訂正する入力として、正しい商品識別情報の入力を受付ける請求項１又は２に記載の処理システム。
4. 前記訂正受付手段は、コードリーダを介して、正しい商品識別情報の入力を受付ける請求項３に記載の処理システム。
5. 前記訂正受付手段は、前記認識の結果を訂正する入力として、コードリーダを介した正しい商品識別情報の入力を受付け、
   前記画像取得手段は、商品に付された商品識別情報を前記コードリーダに読み取らせる作業の様子を示す訂正画像をさらに取得し、
   前記訂正手段は、前記訂正画像に基づき、前記認識商品情報に登録されている前記認識の結果の中の訂正対象を特定する請求項２に記載の処理システム。
6. 前記認識手段は、前記推定モデルに基づき前記訂正画像内の商品を認識し、
   前記訂正手段は、前記認識商品情報に登録されている前記認識の結果の中の、前記訂正画像の認識の結果と一致するものを、訂正対象として特定する請求項５に記載の処理システム。
7. 前記訂正手段は、前記訂正画像内の商品の外観の特徴量と、前記認識処理画像内の商品の外観の特徴量との類似度に基づき訂正対象を特定する請求項５に記載の処理システム。
8. コンピュータが、
   認識対象の商品を含む認識処理画像を取得し、
   機械学習で生成された推定モデルに基づき前記認識処理画像内の商品を認識し、
   前記認識の結果を認識商品情報に登録し、
   前記認識の結果を出力し、
   前記認識の結果を訂正する入力を受付け、
   前記認識商品情報に登録されている前記認識の結果を訂正後の前記認識の結果に変更するとともに、訂正後の前記認識の結果と前記認識処理画像とを紐付けた訂正情報を記憶手段に記憶させ、
   前記訂正情報として記憶された前記認識処理画像の数を商品毎にカウントし、前記数が所定値を超えると、前記訂正情報として記憶された前記認識処理画像を用いて再学習して前記推定モデルを更新する処理方法。
9. コンピュータを、
   認識対象の商品を含む認識処理画像を取得する画像取得手段、
   機械学習で生成された推定モデルに基づき前記認識処理画像内の商品を認識する認識手段、
   前記認識の結果を認識商品情報に登録する登録手段、
   前記認識の結果を出力する出力手段、
   前記認識の結果を訂正する入力を受付ける訂正受付手段、
   前記認識商品情報に登録されている前記認識の結果を訂正後の前記認識の結果に変更するとともに、訂正後の前記認識の結果と前記認識処理画像とを紐付けた訂正情報を記憶手段に記憶させる訂正手段、
   前記訂正情報として記憶された前記認識処理画像の数を商品毎にカウントし、前記数が所定値を超えると、前記訂正情報として記憶された前記認識処理画像を用いて再学習して前記推定モデルを更新する学習手段、
   として機能させるプログラム。

Images