JP7279724B2 - 処理装置、処理方法及びプログラム - Google Patents

Description

本発明は、処理装置、処理方法及びプログラムに関する。

特許文献１は、画像解析で商品を識別し、識別した商品を会計対象として登録する技術を開示している。

特開２０１３－１４５４４１号公報

外観が類似する商品群を画像解析で精度よく識別することは難しい。本発明は、外観が互いに類似する商品群を画像解析で精度よく識別することを課題とする。

本発明によれば、
商品を含む処理対象画像に基づき、前記商品の容器の識別スコアを算出する容器識別スコア算出手段と、
前記処理対象画像に基づき、前記商品の識別スコアを算出する商品識別スコア算出手段と、
算出された前記容器の識別スコアと前記商品の識別スコアとに基づき、前記商品の識別情報を決定する第１の識別手段と、
を有する処理装置が提供される。

また、本発明によれば、
コンピュータが、
商品を含む処理対象画像に基づき、前記商品の容器の識別スコアを算出する容器識別スコア算出工程と、
前記処理対象画像に基づき、前記商品の識別スコアを算出する商品識別スコア算出工程と、
算出された前記容器の識別スコアと前記商品の識別スコアとに基づき、前記商品の識別情報を決定する第１の識別工程と、
を実行する処理方法が提供される。

また、本発明によれば、
商品を含む処理対象画像に基づき、前記商品の容器の識別スコアを算出する容器識別スコア算出手段、
前記処理対象画像に基づき、前記商品の識別スコアを算出する商品識別スコア算出手段、
算出された前記容器の識別スコアと前記商品の識別スコアとに基づき、前記商品の識別情報を決定する第１の識別手段、
として機能させるプログラムが提供される。

また、本発明によれば、
商品を含む処理対象画像に基づき、前記商品の形状、色及び大きさの中の少なくとも１つである外観特徴を特定する特定手段と、
前記処理対象画像に基づき、前記商品の識別情報を推定する商品推定手段と、
特定した前記外観特徴と、推定した前記商品の識別情報とに基づき、前記商品の識別情報を決定する第２の識別手段と、
を有する処理装置が提供される。

また、本発明によれば、
コンピュータが、
商品を含む処理対象画像に基づき、前記商品の形状、色及び大きさの中の少なくとも１つである外観特徴を特定する特定工程と、
前記処理対象画像に基づき、前記商品の識別情報を推定する商品推定工程と、
特定した前記外観特徴と、推定した前記商品の識別情報とに基づき、前記商品の識別情報を決定する第２の識別工程と、
を実行する処理方法が提供される。

また、本発明によれば、
コンピュータを、
商品を含む処理対象画像に基づき、前記商品の形状、色及び大きさの中の少なくとも１つである外観特徴を特定する特定手段、
前記処理対象画像に基づき、前記商品の識別情報を推定する商品推定手段、
特定した前記外観特徴と、推定した前記商品の識別情報とに基づき、前記商品の識別情報を決定する第２の識別手段、
として機能させるプログラムが提供される。

本発明によれば、外観が互いに類似する商品群を画像解析で精度よく識別できるようになる。

上述した目的、及び、その他の目的、特徴及び利点は、以下に述べる好適な実施の形態、及び、それに付随する以下の図面によって、さらに明らかになる。

本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理を説明するための図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理を説明するための図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の会計システムの機能ブロック図の一例である。 本実施形態の会計システムのカメラ２０の設置例を示す図である。 本実施形態の会計装置の処理の流れの一例を示すフローチャートである。

＜第１の実施形態＞
まず、本実施形態の前提事項を説明する。本実施形態の識別対象は、容器に商品を収容したものである。容器に収容される物は、食物や飲物であってもよいし、その他の物であってもよい。容器は、皿、トレー等が例示されるが、これらに限定されない。外観が互いに類似する商品群に含まれる複数の商品は、互いに異なる容器に物を収容している。互いに異なる容器は、色、形状、大きさ、模様等の外観の特徴が互いに異なる。

なお、全ての商品各々の容器は、互いに異なってもよい。この場合、商品の種類の数をＭとすると、容器の種類の数もＭとなる。

１つの容器を複数の商品に併用してもよい。なお、外観が互いに類似する商品群に含まれる商品の容器は互いに異なる容器とし、同一の上記商品群に含まれない複数の商品間で１つの容器を併用する。

次に、本実施形態の処理装置の概要を説明する。処理装置は、コンビニエンスストア、スーパーマーケット、飲食店などの店舗で利用される。処理装置は、第１の容器に第１の物を収容した第１の商品を含む処理対象画像に基づき、第１の容器の識別スコアを算出する。第１の容器の識別スコアは、「第１の容器と、予め登録されている複数の容器各々との類似度を示す値」、「第１の容器が、予め登録されている複数の容器各々である確信度を示す値」、「第１の容器が、予め登録されている複数の容器各々である信頼度を示す値」等である。処理装置は、処理対象画像に含まれる第１の容器の外観の特徴に基づき、第１の容器の識別スコアを算出する。

また、処理装置は、上記処理対象画像に基づき、第１の商品の識別スコアを算出する。第１の商品の識別スコアは、「第１の商品と、予め登録されている複数の商品各々との類似度を示す値」、「第１の商品が、予め登録されている複数の商品各々である確信度を示す値」、「第１の商品が、予め登録されている複数の商品各々である信頼度を示す値」等である。処理装置は、処理対象画像に含まれる第１の商品の外観の特徴に基づき、第１の容器の識別スコアを算出する。

処理装置は、算出された容器の識別スコアと商品の識別スコアとに基づき、第１の商品の識別情報を決定する。

次に、処理装置の構成を詳細に説明する。まず、処理装置のハードウエア構成の一例について説明する。本実施形態の処理装置が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図１は、本実施形態の処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

次に、処理装置の機能構成の一例について説明する。図２の機能ブロック図に示すように、処理装置１０は、容器識別スコア算出部１１と、商品識別スコア算出部１２と、第１の識別部１３とを有する。

容器識別スコア算出部１１は、商品を含む処理対象画像に基づき、商品の容器の識別スコアを算出する。例えば、容器識別スコア算出部１１は、第１の容器に第１の物を収容した第１の商品を含む処理対象画像に基づき、第１の容器の識別スコアを算出する。第１の容器の識別スコアは、「第１の容器と、予め登録されている複数の容器各々との類似度を示す値」、「第１の容器が、予め登録されている複数の容器各々である確信度を示す値」、「第１の容器が、予め登録されている複数の容器各々である信頼度を示す値」等である。

容器識別スコア算出部１１は、第１の容器の識別情報の候補と各候補の識別スコアとを対応付けた算出結果を生成する。容器識別スコア算出部１１は、識別スコアが閾値以上の容器の識別情報を、上記候補としてもよい。

容器識別スコア算出部１１は、例えば、機械学習で生成された第１の推定モデルを用いて上記識別スコアの算出を実現することができる。具体的には、オペレータは、複数の容器各々の外観画像と各容器の識別情報とを対応付けた第１の教師データを多数生成する。なお、第１の教師データとする容器の外観画像は、容器のみを撮影した画像や、物を収容した容器を撮影した画像等を含んでもよい。そして、コンピュータが、第１の教師データに基づく機械学習を実行し、画像から容器の識別情報を推定する第１の推定モデルを生成する。なお、あらゆる機械学習の手法を採用できる（以下同様）。

容器識別スコア算出部１１は、このようにして生成された第１の推定モデルと、処理対象画像とに基づき、処理対象画像に含まれる第１の容器の識別情報の候補、及び、各候補の識別スコアを算出する。

その他、容器識別スコア算出部１１は、テンプレートマッチング技術等を用いて、処理対象画像内から容器の外観の特徴を検出する処理により、上記識別スコアの算出を実現してもよい。この場合、予め、複数の容器各々の識別情報と、各容器の外観の特徴量（色、形状、大きさ、模様等）とを対応付けた情報が処理装置１０に記憶される。この場合、容器識別スコア算出部１１は、識別スコアとして、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）等の類似度（テンプレートとの類似度）を算出することができる。

商品識別スコア算出部１２は、上記処理対象画像に基づき、商品の識別スコアを算出する。例えば、商品識別スコア算出部１２は、第１の容器に第１の物を収容した第１の商品を含む処理対象画像に基づき、第１の商品の識別スコアを算出する。第１の商品の識別スコアは、「第１の商品と、予め登録されている複数の商品各々との類似度を示す値」、「第１の商品が、予め登録されている複数の商品各々である確信度を示す値」、「第１の商品が、予め登録されている複数の商品各々である信頼度を示す値」等である。

商品識別スコア算出部１２は、第１の商品の識別情報の候補と各候補の識別スコアとを対応付けた算出結果を生成する。商品識別スコア算出部１２は、識別スコアが閾値以上の商品の識別情報を、上記候補としてもよい。

商品識別スコア算出部１２は、例えば、機械学習で生成された第２の推定モデルを用いて上記識別スコアの算出を実現することができる。具体的には、オペレータは、複数の商品各々の外観画像と各商品の識別情報とを対応付けた第２の教師データを多数生成する。なお、第２の教師データとする商品の外観画像は、物のみを撮影した画像や、容器に収容された物を撮影した画像等を含んでもよい。そして、コンピュータが、第２の教師データに基づく機械学習を実行し、画像から商品の識別情報を推定する第２の推定モデルを生成する。

商品識別スコア算出部１２は、このようにして生成された第２の推定モデルと、処理対象画像とに基づき、処理対象画像に含まれる第１の商品の識別情報の候補、及び、各候補の識別スコアを算出する。

その他、商品識別スコア算出部１２は、テンプレートマッチング技術等を用いて、処理対象画像内から商品の外観の特徴を検出する処理により、上記識別スコアの算出を実現してもよい。この場合、予め、複数の商品各々の識別情報と、各商品の外観の特徴量（色、形状、大きさ、模様等）とを対応付けた情報が処理装置１０に記憶される。この場合、商品識別スコア算出部１２は、識別スコアとして、ＳＳＤ、ＳＡＤ、ＮＣＣ等の類似度（テンプレートとの類似度）を算出することができる。

第１の識別部１３は、容器識別スコア算出部１１が算出した第１の容器の識別スコアと、商品識別スコア算出部１２が算出した第１の商品の識別スコアと、容器情報とに基づき、第１の商品の識別情報を決定する。

容器情報は、処理装置１０が有する記憶装置に記憶されている。図３に、容器情報の一例を模式的に示す。図示するように、容器情報は、商品の識別情報と各商品の容器の識別情報とを対応付けた情報である。上述の通り、１つの容器を複数の商品に併用することができる。このようにすれば、容器の種類を減らすことができ、容器の準備や管理等が容易になる。

次に、第１の識別部１３が、第１の容器の識別スコアと、第１の商品の識別スコアと、容器情報とに基づき第１の商品の識別情報を決定する処理を詳細に説明する。

第１の識別部１３は、商品の識別スコアが第１の基準値以上である第１の商品の識別情報の候補の中の、容器の識別スコアが第２の基準値以上の第１の容器の識別情報の候補に対応する第１の商品の識別情報を、第１の商品の識別情報として決定する。図４を用いて、当該処理の具体例を説明する。

図示するように、商品の中に「ライス普通盛」と「ライス大盛」が存在するものとする。これら２つの商品は、外観が互いに類似するため、互いに異なる容器に物を収容している。図示する「容器の推定結果」は容器識別スコア算出部１１が生成した容器の識別スコアであり、「商品の推定結果」は商品識別スコア算出部１２が生成した商品の識別スコアであり、「識別結果」は第１の識別部１３が決定した識別内容である。また、上述した第１の基準値は例えば「８５％」であり、上述した第２の基準値は例えば「９０％」とする。

ここでは、処理対象画像が「ライス普通盛」を含む場合について説明する。商品識別スコア算出部１２による商品の識別スコア（商品の推定結果）を参照すると、識別スコアが第１の基準値（８５％）以上である第１の商品の識別情報の候補の中には、「ライス普通盛」や「ライス大盛」等が含まれる。

容器識別スコア算出部１１による容器の識別スコア（容器の推定結果）を参照すると、識別スコアが第２の基準値（９０％）以上である第１の容器の識別情報の候補は、「容器Ａ」となる。

第１の識別部１３は、商品の識別スコアが第１の基準値（８５％）以上である第１の商品の識別情報の候補（「ライス普通盛」や「ライス大盛」等）の中の、容器の識別スコアが第２の基準値（９０％）以上である第１の容器の識別情報の候補（「容器Ａ」）と容器情報（図３参照）において対応付けられている「ライス普通盛」を、第１の商品の識別情報として決定する。

次に、図５のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、処理装置１０は、第１の容器に第１の物を収容した第１の商品を含む処理対象画像を取得する（Ｓ１０）。なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

その後、処理装置１０は、処理対象画像に基づき第１の容器の識別スコアを算出する処理、及び、処理対象画像に基づき第１の商品の識別スコアを算出する処理を実行する（Ｓ１１）。処理装置１０は、第１の容器の識別スコアを算出する処理において、第１の容器の識別情報の候補と各候補の識別スコアとを対応付けた算出結果を生成する。そして、処理装置１０は、第１の商品の識別スコアを算出する処理において、第１の商品の識別情報の候補と各候補の識別スコアとを対応付けた算出結果を生成する。これらの処理の具体例は上述の通りであるので、ここでの説明は省略する。なお、これら２つの処理の処理順は制限されない。

次に、処理装置１０は、Ｓ１１で生成した「第１の容器の識別情報の候補と各候補の識別スコアとを対応付けた算出結果」及び「第１の商品の識別情報の候補と各候補の識別スコアとを対応付けた算出結果」と、予め保持している「商品の識別情報と各商品の容器の識別情報とを対応付けた容器情報（図３参照）」に基づき、第１の商品の識別情報を決定する（Ｓ１３）。

具体的には、処理装置１０は、識別スコアが第１の基準値以上である第１の商品の識別情報の候補の中の、識別スコアが第２の基準値以上の第１の容器の識別情報の候補と容器情報において対応付けられている第１の商品の識別情報の候補を、第１の商品の識別情報として決定する。

次に、本実施形態の処理装置１０の作用効果を説明する。本実施形態では、外観が互いに類似する複数の商品（「ライス普通盛」と「ライス大盛」等）が存在する場合、それらの容器を互いに異ならせる。そして、処理装置１０は、画像解析で商品の識別情報を推定する処理に加えて、画像解析で容器の識別情報を推定する処理を行い、それら２つの推定結果に基づき処理対象画像に含まれる商品の識別情報を決定する。

画像解析で商品の識別情報を推定する処理により、「処理対象画像に含まれる商品及び当該商品に外観が類似する商品を含む商品群」と「その他の商品群」とを識別することができる。そして、画像解析で容器の識別情報を推定する処理により、「処理対象画像に含まれる商品」と「当該商品に外観が類似する商品」とを識別することができる。このため、上記２つの推定結果を用いることで、「処理対象画像に含まれる商品」と「その他の商品」とを識別することができる。

なお、上述の通り、画像解析で商品の識別情報を推定する処理により、「処理対象画像に含まれる商品」と「当該商品に外観が類似しない商品」との識別が実現されるため、画像解析で容器の識別情報を推定する処理においては、少なくとも「処理対象画像に含まれる商品」と「当該商品に外観が類似する商品」とを識別できればよい。すなわち、画像解析で容器の識別情報を推定する処理においては、「処理対象画像に含まれる商品」と「当該商品に外観が類似しない商品」とは識別できなくてもよい。このため、上述の通り、１つの容器を外観が互いに類似しない複数の商品に併用することができる。このようにすれば、容器の種類の数を減らすことができるので、容器の準備や管理等が容易になる。

＜第２の実施形態＞
本実施形態の処理装置１０は、容器識別スコア算出部１１の算出結果と商品識別スコア算出部１２の算出結果に基づき処理対象画像に含まれる第１の商品の識別情報を決定する第１の識別部１３の処理の内容が、第１の実施形態と異なる。本実施形態の処理装置１０のその他の構成は、第１の実施形態と同様である。以下、異なる点を説明する。なお、本実施形態の前提事項は、第１の実施形態と同様である。

第１の識別部１３は、容器識別スコア算出部１１の算出結果（容器の識別スコア）及び容器情報（図３参照）に基づき、第１の商品の識別情報の候補を決定する。具体的には、第１の識別部１３は、識別スコアが第２の基準値以上の第１の容器の識別情報の候補と容器情報において対応付けられている商品の識別情報を、第１の商品の識別情報の候補として決定する。図４を用いて、当該処理の具体例を説明する。なお、第２の基準値は例えば「９０％」とする。

ここでは、処理対象画像が「ライス大盛」を含む場合について説明する。容器識別スコア算出部１１の算出結果（容器の推定結果）を参照すると、識別スコアが第２の基準値（９０％）以上である第１の容器の識別情報の候補は、「容器Ｂ」となる。そこで、第１の識別部１３は、識別スコアが第２の基準値（９０％）以上である第１の容器の識別情報の候補（「容器Ｂ」）と容器情報（図３参照）において対応付けられている商品の識別情報（「ライス大盛」、「コンソメスープ」等）を、第１の商品の識別情報の候補として決定する。

上述のようにして第１の商品の識別情報の候補を決定した後、第１の識別部１３は、決定した第１の商品の識別情報の候補を照合対象として、商品識別スコア算出部１２に第１の商品の識別スコアを算出する処理を実行させる。

第１の実施形態同様、例えば、商品識別スコア算出部１２は、機械学習で生成された第２の推定モデルを用いて上記識別スコアの算出を実現することができる。具体的には、オペレータは、複数の商品各々の外観画像と各商品の識別情報とを対応付けた第２の教師データを多数生成する。なお、第２の教師データとする商品の外観画像は、物のみを撮影した画像や、物を収容した容器を撮影した画像等を含んでもよい。そして、コンピュータが、第２の教師データに基づく機械学習を実行し、画像から商品の識別情報を推定する第２の推定モデルを生成する。

なお、コンピュータは、容器が同一である商品群毎に上記教師データに基づく機械学習を実行し、容器が同一である商品群毎に上記第２の推定モデルを生成することができる。そして、商品識別スコア算出部１２は、識別スコアが第２の基準値以上の第１の容器の識別情報の候補に対応した上記第２の推定モデルと、処理対象画像とに基づき、上記識別スコアの算出を実行することができる。

その他、商品識別スコア算出部１２は、第１の実施形態同様、テンプレートマッチング技術等を用いて、処理対象画像内から商品の外観の特徴を検出する処理により、上記識別スコアの算出を実現してもよい。この場合、商品識別スコア算出部１２は、第１の識別部１３により決定された第１の商品の識別情報の候補のテンプレートのみを用いたテンプレートマッチング技術等により、上記識別スコアの算出を実行することができる。

次に、図６のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、処理装置１０は、第１の容器に第１の物を収容した第１の商品を含む処理対象画像を取得する（Ｓ２０）。

次に、処理装置１０は、処理対象画像に基づき第１の容器の識別スコアを算出する（Ｓ２１）。当該処理の具体例は第１の実施形態で説明したので、ここでの説明は省略する。

次に、処理装置１０は、Ｓ２１で算出した識別スコア及び予め保持している容器情報（図３参照）に基づき、第１の商品の識別情報の候補を決定する（Ｓ２２）。具体的には、処理装置１０は、識別スコアが第２の基準値以上の第１の容器の識別情報の候補と容器情報において対応付けられている商品の識別情報を、第１の商品の識別情報の候補として決定する。当該処理の具体例は上述の通りであるので、ここでの説明は省略する。

次に、処理装置１０は、Ｓ２２で決定した第１の商品の識別情報の候補を照合対象として、第１の商品の識別スコアを算出する処理を実行する（Ｓ２３）。当該処理の具体例は上述の通りであるので、ここでの説明は省略する。

そして、処理装置１０は、Ｓ２３の算出結果に基づき、処理対象画像に含まれる第１の商品の識別情報を決定する（Ｓ２４）。例えば、処理装置１０は、識別スコアが第１の基準値以上である第１の商品の識別情報の候補を、処理対象画像に含まれる第１の商品の識別情報として決定する。

以上説明した本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、容器の推定結果に基づき照合対象とする商品を絞り込んだのちに、商品の識別情報を推定する処理を実行するので、推定精度の向上が期待される。

＜第３の実施形態＞
本実施形態の処理装置１０は、画像に基づき複数の商品の外観の類似度を算出し、算出結果に基づき各商品の容器を提案する（例：外観が互いに類似する商品は異なる容器となるように提案する）機能を有する。なお、本実施形態の前提事項は、第１及び第２の実施形態と同様である。以下、詳細に説明する。

本実施形態の処理装置１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。

図７に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、類似度算出部１４と、提案部１５とを有する。なお、処理装置１０は、容器識別スコア算出部１１、商品識別スコア算出部１２及び第１の識別部１３をさらに有してもよい。容器識別スコア算出部１１、商品識別スコア算出部１２及び第１の識別部１３の構成は、第１又は第２の実施形態と同様であるので、ここでの説明は省略する。

類似度算出部１４は、商品の識別情報に対応する容器画像と、商品の識別情報に対応しない容器画像とに基づき、商品の識別情報に対応する容器画像と商品の識別情報に対応しない容器画像の類似度を算出する。

「商品の識別情報に対応する容器画像」は、容器情報（図３参照）に識別情報が登録されている登録済商品（第２の商品）の画像である。「商品の識別情報に対応する容器画像」は、容器情報に識別情報が登録されていない対象商品（第３の商品）の画像である。

本実施形態では、処理装置１０が有する記憶装置に、登録済商品各々の画像が記憶されている。そして、類似度算出部１４は、対象商品の画像を取得すると、登録済商品各々の画像と対象商品の画像とに基づき、登録済商品各々と対象商品の外観の類似度を算出する。類似度を算出する手段は特段制限されず、あらゆる技術を採用できる。

提案部１５は、類似度算出部１４が算出した類似度と、容器情報（図３参照）とに基づき、対象商品の容器を提案する。具体的には、提案部１５は、対象商品との類似度が第４の基準値以上である登録済商品と異なる容器を、対象商品の容器として提案する。

次に、図８のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、処理装置１０は、対象商品を含む画像を取得する（Ｓ３０）。次いで、処理装置１０は、容器情報（図３参照）に識別情報が登録されている登録済商品各々の画像と対象商品の画像とに基づき、登録済商品各々と対象商品の外観の類似度を算出する（Ｓ３１）。

次いで、処理装置１０は、対象商品との類似度が第４の基準値以上である登録済商品を抽出する（Ｓ３２）。

Ｓ３２で少なくとも１つの登録済商品が抽出された場合（Ｓ３３のＹｅｓ）、処理装置１０は、容器情報（図３参照）を参照し、抽出された登録済商品と異なる容器を対象商品の容器として提案する（Ｓ３４）。

一方、Ｓ３２で登録済商品が１つも抽出されなかった場合（Ｓ３３のＮｏ）、処理装置１０は、例えば、いずれの容器も対象商品の容器として使用できることを提案する（Ｓ３５）。

以上説明した本実施形態の処理装置１０によれば、外観が互いに類似する商品群を画像解析で精度よく識別できるように、各商品の容器を提案することができる。結果、第１及び第２の実施形態で説明した手法で、外観が互いに類似する商品群を画像解析で精度よく識別できるようになる。

また、本実施形態の処理装置１０は、第１及び第２の実施形態の処理装置１０と同様の構成を有する場合、第１及び第２の実施形態の処理装置１０と同様の作用効果を実現できる。

＜第４の実施形態＞
本実施形態では、第１の実施形態で説明した前提事項が存在してもよいし、存在しなくてもよい。

次に、本実施形態の処理装置１０の概要を説明する。処理装置１０は、第４の商品を含む処理対象画像に基づき、第４の商品の形状、色及び大きさの中の少なくとも１つである外観特徴を特定する。また、処理装置１０は、上記処理対象画像に基づき、第４の商品の識別情報を推定する。そして、処理装置１０は、外観特徴の特定結果、第４の商品の識別情報の推定結果、及び、商品の識別情報と各商品の外観特徴とを対応付けた商品特徴情報に基づき、第４の商品の識別情報を決定する。

本実施形態の処理装置１０のハードウエア構成の一例は、第１乃至第３の実施形態と同様である。

図９に、本実施形態の処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、特定部１６と、商品推定部１７と、第２の識別部１８とを有する。なお、処理装置１０は、容器識別スコア算出部１１、商品識別スコア算出部１２及び第１の識別部１３を有してもよい。また、処理装置１０は、類似度算出部１４及び提案部１５を有してもよい。容器識別スコア算出部１１、商品識別スコア算出部１２、第１の識別部１３、類似度算出部１４及び提案部１５の構成は、第１乃至第３の実施形態と同様であるので、ここでの説明は省略する。

特定部１６は、第４の商品を含む処理対象画像に基づき、第４の商品の形状、色及び大きさの中の少なくとも１つである外観特徴を特定する。このような外観特徴を特定する手段は設計的事項であり、あらゆる技術を採用できる。なお、特定する形状は、画像に現れている商品の平面形状（２次元形状）であってもよいし、画像に現れている商品の所定の面の平面形状（２次元形状）であってもよいし、その他であってもよい。

商品推定部１７は、処理対象画像に基づき、第４の商品の識別情報を推定する。商品推定部１７は、第４の商品の識別情報の候補と各候補の識別スコアとを対応付けた算出結果を生成する。商品推定部１７は、商品識別スコア算出部１２が処理対象画像に基づき第１の商品の識別スコアを算出する処理と同様の処理で、上記算出を実現する。

第２の識別部１８は、特定部１６の特定結果、商品推定部１７の算出結果、及び、商品特徴情報に基づき、第４の商品の識別情報を決定する。

商品特徴情報は、処理装置１０が有する記憶装置に記憶されている。図１０に、商品特徴情報の一例を模式的に示す。図示するように、商品特徴情報は、商品の識別情報と各商品の外観特徴とを対応付けた情報である。図示する例では、外観特徴の一例として形状が示されているが、外観特徴は、色、大きさ等その他であってもよい。

次に、第２の識別部１８が、特定部１６の特定結果、商品推定部１７の推定結果、及び、上記商品特徴情報に基づき第４の商品の識別情報を決定する処理を詳細に説明する。

第２の識別部１８は、識別スコアが第３の基準値以上である第４の商品の識別情報の候補の中の、特定部１６が特定した外観特徴と商品特徴情報において対応付けられている第４の商品の識別情報の候補を、第４の商品の識別情報として決定する。図１１を用いて、当該処理の具体例を説明する。

図示するように、商品の中に「紅茶の王様（ティーバッグ）」と「紅茶の王様（粉末）」が存在するものとする。これら２つは同じブランドの商品であり、パッケージのデザインが互いに同一又は類似する。図示する「形状の特定結果」は特定部１６が生成した特定結果であり、「商品の推定結果」は商品推定部１７が生成した算出結果であり、「識別結果」は第２の識別部１８が決定した識別内容である。また、上述した第３の基準値は例えば「８５％」とする。

ここでは、処理対象画像が「紅茶の王様（ティーバッグ）」を含む場合について説明する。商品推定部１７の算出結果（商品の推定結果）を参照すると、識別スコアが第３の基準値（８５％）以上である第４の商品の識別情報の候補の中には、「紅茶の王様（ティーバッグ）」や「紅茶の王様（粉末）」等が含まれる。

特定部１６の特定結果（形状の特定結果）を参照すると、第４の商品の形状として「四角」が特定されている。

第２の識別部１８は、識別スコアが第３の基準値（８５％）以上である第４の商品の識別情報の候補（「紅茶の王様（ティーバッグ）」や「紅茶の王様（粉末）」等）の中の、特定部１６が特定した外観特徴である「四角」と商品特徴情報（図１０参照）において対応付けられている「紅茶の王様（ティーバッグ）」を、第４の商品の識別情報として決定する。

次に、図１２のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、処理装置１０は、第４の商品を含む処理対象画像を取得する（Ｓ４０）。

次に、処理装置１０は、処理対象画像に基づき第４の商品の外観特徴（形状、色及び大きさの中の少なくとも１つ）を特定する処理、及び、処理対象画像に基づき第４の商品の識別スコアを算出する処理を実行する（Ｓ４１）。処理装置１０は、第４の商品の識別スコアを算出する処理において、第４の商品の識別情報の候補と各候補の識別スコアとを対応付けた算出結果を生成する。なお、これら２つの処理の処理順は制限されない。

次に、処理装置１０は、Ｓ４１で生成した「第４の商品の外観特徴の特定結果」及び「第４の商品の識別情報の候補と各候補の識別スコアとを対応付けた算出結果」と、予め保持している「商品の識別情報と各商品の外観特徴とを対応付けた商品特徴情報（図１０参照）」に基づき、第４の商品の識別情報を決定する（Ｓ４２）。

具体的には、処理装置１０は、識別スコアが第３の基準値以上である第４の商品の識別情報の候補の中の、特定部１６が特定した外観特徴と商品特徴情報において対応付けられている第４の商品の識別情報の候補を、第４の商品の識別情報として決定する。

次に、本実施形態の処理装置１０の作用効果を説明する。本実施形態の処理装置１０は、画像解析で商品の識別情報を推定する処理に加えて、画像解析で商品の外観特徴（形状、色及び大きさの中の少なくとも１つ）を特定する処理を行い、当該推定結果と当該特定結果の２つに基づき処理対象画像に含まれる商品の識別情報を決定する。

画像解析で商品の識別情報を推定する処理により、「処理対象画像に含まれる商品及び当該商品に外観が類似する商品を含む商品群」と「その他の商品群」とを識別することができる。そして、画像解析で商品の外観特徴を特定する処理により、「処理対象画像に含まれる商品」と「当該商品に外観が類似する商品」とを識別できる場合がある。このため、当該推定結果と当該特定結果の２つを用いることで、「処理対象画像に含まれる商品」と「その他の商品」とを識別し易くなる。結果、外観が互いに類似する商品群を画像解析で精度よく識別できるようになる。

また、本実施形態の処理装置１０は、第１乃至第３の実施形態の処理装置１０と同様の構成を有する場合、第１乃至第３の実施形態の処理装置１０と同様の作用効果を実現できる。

＜第５の実施形態＞
本実施形態の処理装置１０は、特定部１６の特定結果と商品推定部１７の算出結果に基づき処理対象画像に含まれる第４の商品の識別情報を決定する第２の識別部１８の処理の内容が、第４の実施形態と異なる。本実施形態の処理装置１０のその他の構成は、第４の実施形態と同様である。以下、異なる点を説明する。なお、本実施形態の前提事項は、第４の実施形態と同様である。

第２の識別部１８は、特定部１６の特定結果及び商品特徴情報（図１０参照）に基づき、第４の商品の識別情報の候補を決定する。具体的には、第２の識別部１８は、特定部１６が特定した外観特徴と商品特徴情報において対応付けられている商品の識別情報を、第４の商品の識別情報の候補として決定する。図１０を用いて、当該処理の具体例を説明する。

ここでは、処理対象画像が「紅茶の王様（粉末）」を含む場合について説明する。特定部１６の特定結果（形状の特定結果）を参照すると、第４の商品の形状として「丸」が特定されている。そこで、第２の識別部１８は、商品特徴情報（図１０参照）において形状「丸」と対応付けられている商品の識別情報（「紅茶の王様（粉末）」、「ピザーノ」等）を、第４の商品の識別情報の候補として決定する。

上述のようにして第４の商品の識別情報の候補を決定した後、第２の識別部１８は、決定した第４の商品の識別情報の候補を照合対象として、商品推定部１７に第４の商品の識別スコアを算出する処理を実行させる。商品推定部１７による当該処理は、第２の実施形態で説明した商品識別スコア算出部１２による推定処理と同様である。

次に、図１３のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、処理装置１０は、第４の商品を含む処理対象画像を取得する（Ｓ５０）。

次に、処理装置１０は、処理対象画像に基づき第４の商品の外観特徴（形状、色及び大きさの中の少なくとも１つ）を特定する（Ｓ５１）。

次に、処理装置１０は、Ｓ５１の特定結果及び予め保持している商品特徴情報（図１０参照）に基づき、第４の商品の識別情報の候補を決定する（Ｓ５２）。具体的には、処理装置１０は、特定部１６が特定した外観特徴と商品特徴情報において対応付けられている商品の識別情報を、第４の商品の識別情報の候補として決定する。当該処理の具体例は上述の通りであるので、ここでの説明は省略する。

次に、処理装置１０は、Ｓ５２で決定した第４の商品の識別情報の候補を照合対象として、第４の商品の識別スコアを算出する処理を実行する（Ｓ５３）。当該処理の具体例は上述の通りであるので、ここでの説明は省略する。

そして、処理装置１０は、Ｓ５３の算出結果に基づき、処理対象画像に含まれる第４の商品の識別情報を決定する（Ｓ５４）。例えば、処理装置１０は、識別スコアが第３の基準値以上である第４の商品の識別情報の候補を、処理対象画像に含まれる第４の商品の識別情報として決定する。

以上説明した本実施形態の処理装置１０によれば、第４の実施形態と同様の作用効果が実現される。また、商品の外観特徴の特定結果に基づき照合対象とする商品を絞り込んだのちに、商品の識別情報を推定する処理を実行するので、推定精度の向上が期待される。

＜第６の実施形態＞
本実施形態の処理装置１０は、店舗等に設置されたカメラ及び会計装置と連動して使用される。図１４に、本実施形態の会計システムの機能ブロック図の一例を示す。図示するように、会計システムは、処理装置１０と、カメラ２０と、会計装置３０（例：ＰＯＳ（point of sales）システム）とを有する。処理装置１０とカメラ２０は、有線及び／又は無線で通信する。また、処理装置１０と会計装置３０は、有線及び／又は無線で通信する。

図１５に、カメラ２０の設置例を示す。図示する例では、台２３の上に商品を載置する載置エリア２２が設けられている。会計対象の商品が載置エリア２２に載置される。カメラ２０は、支柱２１に接続されている。カメラ２０は、載置エリア２２を撮影する位置及び向きに設置されている。すなわち、カメラ２０は、載置エリア２２に載置された商品を上方から撮影する位置及び向きに設置されている。カメラ２０は、生成した画像データを処理装置１０に送信する。なお、複数のカメラ２０が設置されてもよい。この場合、少なくとも１つのカメラ２０は、台２３に設置され、商品を横から撮影してもよい。

処理装置１０は、カメラ２０が生成した画像データを取得する。そして、処理装置１０は、取得した画像データに基づき第１乃至第５の実施形態の中のいずれかで説明した処理を実行し、画像に含まれる商品（第１の商品又は第４の商品）の識別情報を決定する。次いで、処理装置１０は、決定した商品の識別情報を会計装置３０に送信する。

会計装置３０は、処理装置１０から受信した情報に基づき、会計処理を実行する。図１６のフローチャートを用いて、会計装置３０の処理の流れの一例を説明する。

会計装置３０は、商品の識別情報待ち状態となっている（Ｓ６０）。会計装置３０は、処理装置１０から商品の識別情報を取得すると（Ｓ６０のＹｅｓ）、その商品を会計対象として登録する（Ｓ６１）。例えば、会計装置３０は、予め店舗システム等に登録されている商品マスタを参照し、取得した商品の識別情報に対応付けられた商品情報（例：単価、商品名等）を取得し、取得した商品情報を会計対象として登録する。

少なくとも１つの商品が会計対象として登録されると、会計装置３０は、精算処理を開始する入力待ち状態（Ｓ６２）、及び、商品の識別情報待ち状態となる（Ｓ６０）。

そして、精算処理を開始するユーザ入力（商品登録完了を示す入力）を受付けると（Ｓ６２のＹｅｓ）、会計装置３０は精算処理を実行する（Ｓ６３）。Ｓ６２の入力は、物理ボタン、タッチパネル、マイク等の任意の入力装置を介して実現される。精算処理では、例えば、会計装置３０は決済方法を選択するユーザ入力を受付ける。決済方法は、現金、クレジットカード決済、電子マネー決済、生体（顔、光彩、指紋、静脈など）認証を用いた決済等が例示されるが、これらに限定されない。そして、会計装置３０は、顧客により選択された決済方法での決済を実行する。例えば、会計装置３０は、登録されている商品に基づき算出された支払合計金額の支払いとして、現金の入力を受付け、必要に応じて釣銭の出力やレシートの出力を行ってもよい。また、会計装置３０は、クレジットカード情報の入力を受付け、クレジット会社のシステムと通信し、決済処理を行ってもよい。また、会計装置３０は、精算処理のための情報（登録された商品を示す情報、支払合計金額等）を他の精算装置に送信してもよい。また、会計装置３０は、顧客から預かった預かり金額の入力を受付けたり、それに基づき釣銭額を算出してディスプレイに表示したり、算出した釣銭を払い出したりしてもよい。また、会計装置３０は、会計内容を示す電子レシートを外部装置に送信してもよい。例えば、会計装置３０は、近距離無線通信で顧客端末に電子レシートを送信してもよい。その他、会計装置３０は、会計内容を示す情報を店舗サーバに送信してもよい。そして、店舗サーバは、会計内容を示す電子レシートを所定のサーバに送信してもよい。精算処理が終了すると、会計装置３０は、再び商品の識別情報待ち状態となる（Ｓ６０）。

以上説明した本実施形態の会計システムによれば、第１乃至第５の実施形態と同様な作用効果が実現される。また、処理装置１０は、外観が互いに類似する商品群を画像解析で精度よく識別できるので、会計対象として商品を登録する処理に要する人手を減らすことができる。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。例えば、上記複数の実施形態（及び実施例）を任意の組合せで組み合わせることができる。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 商品を含む処理対象画像に基づき、前記商品の容器の識別スコアを算出する容器識別スコア算出手段と、
前記処理対象画像に基づき、前記商品の識別スコアを算出する商品識別スコア算出手段と、
算出された前記容器の識別スコアと前記商品の識別スコアとに基づき、前記商品の識別情報を決定する第１の識別手段と、
を有する処理装置。
２． １に記載の処理装置において、
前記第１の識別手段は、前記商品の識別スコアが第１の基準値以上である前記商品の識別情報の候補の中の、前記容器の識別スコアが第２の基準値以上の前記容器の識別情報の候補に対応する商品の識別情報を前記商品の識別情報として決定する処理装置。
３． １に記載の処理装置において、
前記第１の識別手段は、前記容器の識別スコアに基づき、前記商品の識別情報の候補を決定し、
前記商品識別スコア算出手段は、決定した前記商品の識別情報の候補各々の前記識別スコアを算出する処理装置。
４． １から３のいずれかに記載の処理装置において、
前記商品の識別情報に対応する容器画像と、前記商品の識別情報に対応しない容器画像とに基づき、前記識別情報に対応する容器画像と前記識別情報に対応しない容器画像の類似度を算出する類似度算出手段と、
前記類似度に基づき、前記商品の識別情報に対応しない商品の容器を提案する提案手段と、
を有する処理装置。
５． コンピュータが、
商品を含む処理対象画像に基づき、前記商品の容器の識別スコアを算出する容器識別スコア算出工程と、
前記処理対象画像に基づき、前記商品の識別スコアを算出する商品識別スコア算出工程と、
算出された前記容器の識別スコアと前記商品の識別スコアとに基づき、前記商品の識別情報を決定する第１の識別工程と、
を実行する処理方法。
６． コンピュータを、
商品を含む処理対象画像に基づき、前記商品の容器の識別スコアを算出する容器識別スコア算出手段、
前記処理対象画像に基づき、前記商品の識別スコアを算出する商品識別スコア算出手段、
算出された前記容器の識別スコアと前記商品の識別スコアとに基づき、前記商品の識別情報を決定する第１の識別手段、
として機能させるプログラム。
７． 商品を含む処理対象画像に基づき、前記商品の形状、色及び大きさの中の少なくとも１つである外観特徴を特定する特定手段と、
前記処理対象画像に基づき、前記商品の識別情報を推定する商品推定手段と、
特定した前記外観特徴と、推定した前記商品の識別情報とに基づき、前記商品の識別情報を決定する第２の識別手段と、
を有する処理装置。
８． ７に記載の処理装置において、
前記第２の識別手段は、識別スコアが基準値以上である前記商品の識別情報の候補の中から、前記特定手段が特定した前記外観特徴に基づいて、前記商品の識別情報を決定する処理装置。
９． ７に記載の処理装置において、
前記第２の識別手段は、前記特定手段が特定した前記外観特徴に基づき、前記商品の識別情報の候補を決定し、決定した前記商品の識別情報の候補を照合対象として、前記商品推定手段に前記商品の識別情報を推定する処理を実行させる処理装置。
１０． コンピュータが、
商品を含む処理対象画像に基づき、前記商品の形状、色及び大きさの中の少なくとも１つである外観特徴を特定する特定工程と、
前記処理対象画像に基づき、前記商品の識別情報を推定する商品推定工程と、
特定した前記外観特徴と、推定した前記商品の識別情報とに基づき、前記商品の識別情報を決定する第２の識別工程と、
を実行する処理方法。
１１． コンピュータを、
商品を含む処理対象画像に基づき、前記商品の形状、色及び大きさの中の少なくとも１つである外観特徴を特定する特定手段、
前記処理対象画像に基づき、前記商品の識別情報を推定する商品推定手段、
特定した前記外観特徴と、推定した前記商品の識別情報とに基づき、前記商品の識別情報を決定する第２の識別手段、
として機能させるプログラム。

Claims (5)

1. 商品を含む処理対象画像に基づき、前記商品の容器の識別スコアを算出する容器識別スコア算出手段と、
   前記処理対象画像に基づき、前記商品の識別スコアを算出する商品識別スコア算出手段と、
   算出された前記容器の識別スコアと前記商品の識別スコアとに基づき、前記商品の識別情報を決定する第１の識別手段と、
   前記商品の識別情報に対応する容器画像と、前記商品の識別情報に対応しない容器画像とに基づき、前記識別情報に対応する容器画像と前記識別情報に対応しない容器画像の類似度を算出する類似度算出手段と、
   前記類似度に基づき、前記商品の識別情報に対応しない商品の容器を提案する提案手段と、
   を有する処理装置。
2. 請求項１に記載の処理装置において、
   前記第１の識別手段は、前記商品の識別スコアが第１の基準値以上である前記商品の識別情報の候補の中の、前記容器の識別スコアが第２の基準値以上の前記容器の識別情報の候補に対応する商品の識別情報を前記商品の識別情報として決定する処理装置。
3. 請求項１に記載の処理装置において、
   前記第１の識別手段は、前記容器の識別スコアに基づき、前記商品の識別情報の候補を決定し、
   前記商品識別スコア算出手段は、決定した前記商品の識別情報の候補各々の前記識別スコアを算出する処理装置。
4. コンピュータが、
   商品を含む処理対象画像に基づき、前記商品の容器の識別スコアを算出する容器識別スコア算出工程と、
   前記処理対象画像に基づき、前記商品の識別スコアを算出する商品識別スコア算出工程と、
   算出された前記容器の識別スコアと前記商品の識別スコアとに基づき、前記商品の識別情報を決定する第１の識別工程と、
   前記商品の識別情報に対応する容器画像と、前記商品の識別情報に対応しない容器画像とに基づき、前記識別情報に対応する容器画像と前記識別情報に対応しない容器画像の類似度を算出する類似度算出工程と、
   前記類似度に基づき、前記商品の識別情報に対応しない商品の容器を提案する提案工程と、
   を実行する処理方法。
5. コンピュータを、
   商品を含む処理対象画像に基づき、前記商品の容器の識別スコアを算出する容器識別スコア算出手段、
   前記処理対象画像に基づき、前記商品の識別スコアを算出する商品識別スコア算出手段、
   算出された前記容器の識別スコアと前記商品の識別スコアとに基づき、前記商品の識別情報を決定する第１の識別手段、
   前記商品の識別情報に対応する容器画像と、前記商品の識別情報に対応しない容器画像とに基づき、前記識別情報に対応する容器画像と前記識別情報に対応しない容器画像の類似度を算出する類似度算出手段、
   前記類似度に基づき、前記商品の識別情報に対応しない商品の容器を提案する提案手段、
   として機能させるプログラム。

Images