JP7381330B2 - 情報処理システム、情報処理装置及び情報処理方法 - Google Patents

Description

本開示は、情報処理システム、情報処理装置及び情報処理方法に関する。

従来、商品の代金の清算のために、物体が何れの商品であるかを特定する情報処理システムが求められている。例えば、所定エリアに置かれた１つ以上の物体を複数方向からそれぞれ撮像した複数の画像に基づいて、物体が何れの商品であるかを特定する情報処理システムが知られている（特許文献１）。

特開２０１７－２２０１９８号公報

従来の情報処理システムには、改善の余地がある。

かかる点に鑑みてなされた本開示の目的は、改善された、情報処理システム、情報処理装置及び情報処理方法を提供することにある。

本開示の一実施形態に係る情報処理システムは、撮像により画像信号を生成する撮像部と、情報処理装置とを備える。前記情報処理装置は、前記画像信号に相当する撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行する。前記情報処理装置は、前記撮像画像に含まれる部分画像に対応する物体の状況、又は、実行した前記画像処理の処理結果に付与した信頼度の何れかに基づいて、前記撮像画像に含まれる部分画像に対応する物体を特定する。

本開示の一実施形態に係る情報処理装置は、撮像により画像信号を生成する撮像部と通信可能な通信部と、制御部とを備える。前記制御部は、前記通信部によって前記画像信号に相当する撮像画像を取得し、取得した前記撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行する。前記制御部は、前記撮像画像に含まれる部分画像に対応する物体の状況、又は、実行した前記画像処理の処理結果に付与した信頼度の何れかに基づいて、前記撮像画像に含まれる部分画像に対応する物体を特定する。

本開示の一実施形態に係る情報処理方法は、撮像により画像信号を生成することを含む。前記情報処理方法は、前記画像信号に相当する撮像画像を取得し、取得した前記撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行することを含む。前記情報処理装置は、前記撮像画像に含まれる部分画像に対応する物体の状況、又は、実行した前記画像処理の処理結果に付与した信頼度の何れかに基づいて、前記撮像画像に含まれる部分画像に対応する物体を特定することを含む。

本開示の一実施形態によれば、改善された、情報処理システム、情報処理装置及び情報処理方法が提供され得る。

本開示の一実施形態に係る精算システムの全体構成を示す図である。 図１に示す情報処理システムの全体構成を示す図である。 図２に示す情報処理システムの機能ブロック図である。 本開示の一実施形態に係る撮像画像の一例を示す図である。 本開示の一実施形態に係る処理結果及び信頼度の一例を示す図である。 本開示の一実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。 本開示の他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。 本開示のさらに他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。 本開示のさらに他の実施形態に係る撮像画像の一例を示す図である。 本開示のさらに他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。 本開示のさらに他の実施形態に係る情報処理システムの商品の値段の算出処理を示すフローチャートである。

以下、本開示に係る実施形態について、図面を参照して説明する。

図１に示すように、精算システム１１は、少なくとも１つの情報処理システム１０と、サーバ１２とを含む。サーバ１２は、物理サーバであってよいし、クラウドサーバであってよい。情報処理システム１０とサーバ１２とは、ネットワーク１３を介して通信可能である。ネットワーク１３は、無線、有線、又は、無線及び有線の組み合わせであってよい。

情報処理システム１０は、コンビニエンスストア及びスーパーマーケット等の任意の店舗に、配置されてよい。情報処理システム１０は、店舗のキャッシュレジスタ端末として構成されてよい。情報処理システム１０は、顧客が後述の載置台１４に載置した商品を撮像することにより、撮像画像を生成する。情報処理システム１０は、生成した撮像画像中の物体が、店舗の何れの商品であるかを特定する。本開示において「撮像画像中の物体」は、撮像画像中の、画像として描画される物体の像を意味する。情報処理システム１０は、特定した商品情報を、ネットワーク１３を介してサーバ１２に送信する。当該商品情報には、商品名及び商品の数等が含まれ得る。サーバ１２は、商品情報に基づいて、顧客に対する請求金額を算出する。サーバ１２は、請求金額を、ネットワーク１３を介して情報処理システム１０に送信する。情報処理システム１０は、顧客に請求金額を提示することにより、顧客に請求金額の支払いを要求する。

図２に示すように、情報処理システム１０は、カメラ１６（撮像部）と、情報処理装置１８とを含む。情報処理システム１０は、載置台１４と、支持柱１５と、表示装置１７とを含んでよい。

載置台１４は、載置面１４ａを含む。顧客は、会計時に、購入したい商品を載置面１４ａに載置する。本実施形態では、載置面１４ａは、略長方形状である。ただし、載置面１４ａは、任意の形状であってよい。

支持柱１５は、載置台１４の側部から、載置面１４ａの法線方向の一方に向けて延びる。当該法線方向の一方は、載置面１４ａの法線方向のうち、載置面１４ａから離れる方向であってよい。支持柱１５の先端には、カメラ１６が位置する。

カメラ１６は、撮像により撮像画像に相当する画像信号を生成する。カメラ１６は、載置台１４の載置面１４ａの少なくとも一部を撮像可能に、配置されていてよい。カメラ１６は、載置面１４ａに光軸が垂直になるように、配置されていてよい。カメラ１６は、支持柱１５の先端に、配置されてよい。カメラ１６は、載置台１４の載置面１４ａを撮像可能に、例えば支持柱１５の先端に、固定されていてよい。

カメラ１６は、情報処理装置１８から、撮像開始を指示する信号を取得し得る。カメラ１６は、撮像開始を指示する信号を取得すると、撮像を開始し得る。カメラ１６は、撮像により生成した画像信号を、通信線を介して情報処理装置１８に、出力する。カメラ１６は、任意のフレームレートで撮像を実行してよい。カメラ１６は、任意のフレームレートで連続的に撮像を実行してよいし、所定トリガーに基づいて静止画を随時撮像してよい。当該所定トリガーは、情報処理装置１８からの撮像を指示する信号であってよい。

表示装置１７は、液晶ディスプレイ等の任意のディスプレイを含んで構成されてよい。表示装置１７は、情報処理装置１８から取得した信号に基づいて、画像を表示する。例えば、表示装置１７は、情報処理装置１８から、商品の請求金額を示す信号を取得し得る。表示装置１７は、当該商品の請求金額を示す信号に基づいて、請求金額を示す画像を表示し得る。

表示装置１７は、タッチスクリーン機能を有してよい。表示装置１７は、載置台１４の近辺の近くに配置されてよい。表示装置１７は、顧客が商品を載置台１４に置く際に、顧客の方を向くように、配置されていてよい。

情報処理装置１８は、載置台１４の近辺に配置されてよい。図３に示すように、情報処理装置１８は、制御部２３を含む。情報処理装置１８は、通信部２０と、入力部２１と、記憶部２２とを含んでよい。

通信部２０は、任意の通信モジュールを含む。当該任意の通信モジュールは、通信線を介してカメラ１６と通信可能な通信モジュール、通信線を介して表示装置１７と通信可能なモジュール、及び、ネットワーク１３を介してサーバ１２と通信可能な通信モジュールを含んでよい。カメラ１６と通信部２０との間の通信線、及び、表示装置１７と通信部２０との間の通信線は、有線又は無線を含んで構成されていてよい。

入力部２１は、ユーザ入力を検出可能な１つ以上のインターフェースを含む。例えば、入力部２１は、物理キー、静電容量キー及びタッチスクリーンの少なくとも何れかを含んで構成されてよい。本実施形態においては、入力部２１は、タッチスクリーンである。タッチスクリーンである入力部２１は、表示装置１７と一体として設けられている。

記憶部２２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等の任意の記憶デバイスを含む。記憶部２２は、制御部２３を機能させる多様なプログラム及び制御部２３が用いる多様な情報を記憶する。記憶部２２は、店舗の商品データを記憶してよい。

商品データは、文字データを含んでよい。文字データは、商品のパッケージ等に付された文字列を含んでよい。商品のパッケージ等に付された文字列は、商品を識別する識別子に対応付けられてよい。識別子の一例として、商品名、商品コード、バーコード及び任意のＩＤ（Identification）等が挙げられる。以下、説明の便宜上、商品を識別する識別子は、商品名であるものとする。文字データは、後述の第１処理にて用いられ得る。商品データは、文字データ以外にも、後述の第１処理にて用いられる任意のデータを含んでよい。例えば、後述の第１処理にて後述のコード認識が用いられる場合、バーコード等の一次元コード、ＱＲコード（登録商標）等の二次元コード、及び、識別マーカ等のマーカの画像を含んでよい。これらの画像は、識別子に対応付けられてよい。

商品データは、機械学習モデルを含んでよい。機械学習モデルは、後述のように、機械学習と学習データによって生成され得る。機械学習モデルは、後述の第２処理で用いられ得る。機械学習モデルは、学習済みであってよい。

商品データは、商品画像データを含んでよい。商品画像データは、商品を識別する識別子に対応付けた、商品画像を含んでよい。以下、説明の便宜上、商品を識別する識別子は、商品名であるものとする。商品画像データは、後述の第２処理及び第３処理にて用いられ得る。同じ商品画像データが、後述の第２処理及び第３処理において用いてよい。又は、異なる商品画像データが、後述の第２処理及び第３処理において用いてよい。異なる商品画像データが後述の第２処理及び第３処理にて用いられる場合、記憶部２２は、第２処理で用いられる商品画像データと、第３処理で用いられる商品画像データとを記憶してよい。また、後述の第２処理にて後述の特徴量マッチング以外の物体認識が用いられる場合、商品データは、識別子と対応付けられた、当該物体認識に応じたデータを含んでよい。

制御部２３は、１つ以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ:
Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ:Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部２３は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及び、ＳｉＰ（System In a Package）の何れかであってよい。

制御部２３は、ネットワーク１３を介してサーバ１２から、上述の商品データを、通信部２０によって取得してよい。制御部２３は、取得した商品データを、記憶部２２に記憶させてよい。

制御部２３は、カメラ１６に、撮像開始を指示する信号を、通信部２０によって送信し得る。制御部２３は、情報処理装置１８が起動したときに、撮像開始を指示する信号を送信してよい。制御部２３は、撮像開始を指示するユーザ入力を、入力部２１によって検出したとき、撮像開始を指示する信号を送信してよい。当該ユーザ入力は、店員によって、店舗の開店時等に、入力部２１から入力され得る。

制御部２３は、カメラ１６から、画像信号を、通信部２０によって取得する。制御部２３は、画像信号を取得することにより、画像信号に相当する撮像画像を取得し得る。制御部２３は、取得した撮像画像を記憶部２２に記憶させてよい。例えば、制御部２３は、図４に示すような撮像画像３０を取得し得る。

撮像画像３０は、部分画像３０ａと、部分画像３０ｂと、部分画像３０ｃとを含む。部分画像３０ａ、部分画像３０ｂ及び部分画像３０ｃは、撮像画像３０の一部である。部分画像３０ａは、梅のおにぎりに対応する。部分画像３０ｂは、バターに対応する。部分画像３０ｃは、チョコレートに対応する。梅のおにぎり、バター及びチョコレートは、店舗の商品である。梅のおにぎりのパッケージ及びバターのパッケージには、文字列が付されている。チョコレートのパッケージには、縞模様が施されている。梅のおにぎり、バター及びチョコレートは、顧客によって載置台１４の載置面１４ａに載置されている。載置台１４においてバターの上におにぎりが重ねられていることにより、部分画像３０ｂの一部は、欠けている。ここで、本開示において「部分画像の一部が欠ける」とは、実際の部分画像と、カメラ１６側から観た際の当該物体全体の外観とを比較した場合に、その実際の部分画像の一部が欠けていることを意味する。載置台１４においてチョコレートの上にバターが重ねられていることにより、部分画像３０ｃの一部は、欠けている。

制御部２３は、撮像画像に、複数の画像処理のうちの少なくとも何れかを実行する。画像処理は、物体認識処理であってよい。物体認識処理は、撮像画像に含まれる物体に対応する部分画像を検出して、当該物体が何れの商品であるかを特定する処理であってよい。制御部２３は、実行した当該画像処理の処理結果に信頼度を付与してよい。信頼度は、処理結果の信頼性を示す指標である。以下、物体が何れの商品であるかを特定することは、物体の商品名を特定することであるものとする。複数の画像処理は、第１処理、第２処理及び第３処理を含む。ただし、複数の画像処理は、第１処理、第２処理及び第３処理に限定されない。

第１処理は、記号認識を用いた物体認識処理である。記号認識は、限定ではないが、文字認識及びコード認識を含んでよい。コード認識は、限定ではないが、バーコード等の一次元コードを認識する処理、ＱＲコード（登録商標）等の二次元コードを認識する処理、及び、商品を識別する識別マーカ等のマーカを認識する処理を含んでよい。第１処理は、文字認識、一次元コードを認識する処理、二次元コードを認識する処理、マーカを認識する処理、又は、これらの少なくとも一部の組み合わせを用いた、物体認識処理であってよい。

本実施形態では、第１処理は、記号認識として文字認識を用いた、物体認識処理であるものとする。つまり、本実施形態では、第１処理は、文字認識によって、撮像画像中の物体の商品名を特定する処理となる。一例として、第１処理では、制御部２３は、撮像画像から文字画像を抽出する。制御部２３は、抽出した文字画像から文字列を抽出する。制御部２３は、抽出した文字列を解析することにより、物体の商品名を特定する。当該解析として、制御部２３は、抽出した文字列と、記憶部２２の文字データに含まれる文字列とをマッチングしていくことにより、文字列を抽出した部分画像に対応する物体の商品名を特定してよい。例えば、制御部２３は、撮像画像３０の部分画像３０ａから「おにぎり 梅」との文字列を抽出する。制御部２３は、抽出した「おにぎり 梅」との文字列と、記憶部２２の文字データをマッチングしていくことにより、部分画像３０ａに対応する物体の商品名が、商品名「梅のおにぎり」であると特定する。

第１処理では、制御部２３は、信頼度を、第１処理の処理結果に付与してよい。制御部２３は、抽出した文字列と、記憶部２２の文字データに含まれる文字列とをマッチングさせる際の、マッチング率に基づいて、信頼度を算出してよい。

第１処理の処理速度は、比較的、高速となり得る。例えば第１処理にて文字認識が用いられる場合、第１処理の処理速度は、後述の特徴量マッチングが用いられる第３処理の処理速度よりも、高速となり得る。

第１処理を実行するための事前のデータ準備は、後述の第２処理及び第３処理を実行するための事前のデータ準備よりも、比較的容易である。例えば第１処理にて文字認識が用いられる場合、第１処理で用いられる文字データは、後述の第２処理及び第３処理で用いられる商品画像データよりも、比較的容易に準備され得る。

第１処理では、撮像画像から文字列が抽出可能であれば、制御部２３は、当該文字列によって、物体を特定することができる。第１処理では、載置台１４上における物体の状況に応じては、後述の第２処理及び第３処理よりも、当該物体を、精度良く特定することができる。

例えば、店舗で扱われる商品の中には、異なる商品であっても、外観が類似する商品がある。一例として、商品「梅のおにぎり」と商品「昆布のおにぎり」とは、異なる商品である。しかしながら、商品「梅のおにぎり」の外観と商品「昆布のおにぎり」の外観とは、これらの商品が同じ三角形状を有する場合、類似し得る。外観が類似する商品を、異なる商品として、撮像画像から、後述の第２処理及び第３処理によって特定することは困難となる場合がある。外観が類似する商品であっても、当該商品に文字列が付されていれば、第１処理によって、異なる商品として、撮像画像から特定することができる。例えば、第１処理では、制御部２３は、部分画像３０ａから「おにぎり 梅」の文字列を抽出することにより、部分画像３０ａに対応する物体の商品名を「梅のおにぎり」と特定することができる。

例えば、店舗で扱われる商品の中には、変形し得る商品がある。一例として、パッケージが袋である商品は、外部から力が加えられて袋が変形することにより、変形し得る。商品が変形すると、撮像画像内の当該商品に対応する画像の形状も変わり得る。物体に対応する部分画像の形状が変わると、後述の第２処理において、変形した部分画像に対応可能な後述の機械学習モデルを準備できない場合がある。この場合、後述の第２処理によって当該物体を特定することは困難となる場合がある。これに対して、部分画像の形状が変わっても、当該部分画像から文字列が抽出可能であれば、第１処理によって当該物体を特定することができる。

例えば、複数の商品が載置台１４上において重ねられている場合がある。複数の商品が重ねられていることにより、撮像画像中で、商品に対応する部分画像の一部が欠ける場合がある。物体に対応する部分画像の一部が欠けていると、後述の第３処理において、後述の予め決定されている特徴量を十分に抽出できない場合がある。この場合、後述の第３処理によって当該物体を特定することは困難となる場合がある。物体に対応する部分画像の一部が欠けても、当該部分画像から文字列が抽出可能であれば、第１処理によって当該物体を特定することができる。例えば、部分画像３０ｂの一部は、欠けている。部分画像３０ｂからは、「バター」の文字列が抽出可能である。第１処理において、制御部２３は、部分画像３０ｂから「バター」の文字列を抽出することにより、部分画像３０ｂに対応する物体の商品名が、商品名「バター」であると特定することができる。

第２処理は、機械学習を用いた物体認識処理である。本実施形態では、第２処理は、機械学習に基づいて、撮像画像中の物体の商品名を特定する処理となる。制御部２３は、機械学習モデルに基づいて、物体認識に用いる特徴量を決定する。特徴量は、商品画像に含まれる画素の輝度及び色、商品画像の形状、商品画像を構成する画素の数の少なくとも何れかを含んでよい。本実施形態では、物体認識は、限定ではないが、特徴量マッチングであるものとする。特徴量マッチングは、撮像画像から抽出された特徴量と、記憶部２２の商品画像データの商品画像の特徴量とをマッチングさせていくことにより、物体の商品名を特定することである。つまり、第２処理では、制御部２３は、機械学習モデルによって、部分画像から抽出する特徴量を決定する。制御部２３は、決定した特徴量を部分画像から抽出し、抽出した特徴量と、記憶部２２の商品画像データの商品画像の特徴量とをマッチングさせていくことにより、物体の商品名を特定する。

第２処理において、機械学習モデルは、機械学習と学習データとに基づいて生成されてよい。第２処理では、学習済みの機械学習モデルが用いられてよい。機械学習モデルの生成に用いられる機械学習は、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、ベイス推定及び深層学習（ＤＮＮ：Deep Neural Network）等の少なくとも何れかであってよい。機械学習モデルは、サポートベクターマシン、ベイス推定及び深層学習等を適宜組み合わせて、生成されてよい。

第２処理では、制御部２３は、信頼度を、第２処理の処理結果に付与してよい。制御部２３は、特徴量マッチングにおける、部分画像の特徴量と、記憶部２２の商品画像の特徴量とのマッチング率に基づいて、信頼度を算出してよい。

第２処理では、特徴量マッチング等の物体認識に用いられる特徴量が機械学習モデルによって決定され得る。これに対し、後述のように、第３処理では、特徴量マッチングに用いられる特徴量は、予め決められている。第２処理の処理速度は、特徴量が機械学習モデルによって決定されることにより、後述の第３処理の処理速度よりも、高速となり得る。

第２処理では、載置台１４上における物体の状況に応じては、第１処理及び後述の第３処理よりも、当該物体を、精度良く特定することができる。

例えば、店舗で扱われる商品の中には、パッケージ等に文字列が付されていない商品がある。文字列が付されていない物体を、撮像画像から、上述の第１処理によって特定することは困難となる場合がある。パッケージ等に文字列が付されていない物体であっても、第２処理によって、撮像画像から特定することができる。例えば、図４に示すように、商品であるチョコレートのパッケージには文字列が付されていないため、部分画像３０ｃからは、文字列が抽出できない。第３処理によって、部分画像３０ｃの商品名をチョコレートと特定することができる。

例えば、店舗で扱われる商品の中には、同じ商品として扱われるものであっても、個体毎に異なる外観を有する商品がある。当該商品の一例として、野菜及び果物等が挙げられる。個体毎に異なる外観を有する商品では、商品に対応する部分画像毎に、特徴量マッチング等の物体認識に用いるべき特徴量が、変わる場合がある。この場合、当該商品を、後述の第３処理によって、撮像画像から特定することも困難となる場合がある。その理由は、後述のように、第３処理では、特徴量マッチングで用いられる特徴量が予め決定されているためである。これに対し、第２処理では、部分画像毎に、特徴量マッチング等の物体認識に用いる特徴量が機械学習モデルによって決定され得る。このような構成により、個体毎に異なる外観を有する商品であっても、第２処理によって、同じ商品として、撮像画像から、特定することができる。

例えば、上述のように、複数の商品が重ねられていることにより、撮像画像中で、商品に対応する画像の一部が欠ける場合がある。物体に対応する部分画像の一部が欠けていると、後述の第３処理において、特徴量マッチングに用いられる特徴量を十分に抽出できない場合がある。この場合、後述の第３処理によって、当該物体を特定することは困難となる場合がある。これに対し、第２処理では、部分画像毎に、特徴量マッチング等の物体認識に用いられる特徴量が機械学習モデルによって決定され得る。また、物体に文字列が付されている場合でも、物体に対応する部分画像の一部が欠けていることにより、第１処理において、当該画像から文字列が抽出できない場合がある。この場合、第１処理によって、当該物体を特定することは困難である。第２処理では、第１処理とは異なり、物体に対応する画像の一部が欠けることにより文字列が抽出できなくても、当該画像から物体を特定することができる。

第３処理は、特徴量マッチングを用いた物体認識処理である。本実施形態では、第３処理は、特徴量マッチングにより、撮像画像中の物体の商品名を特定する処理となる。第３処理では、上述の第２処理とは異なり、特徴量マッチングで用いられる特徴量が予め決定されている。特徴量マッチングで用いられる特徴量は、上述した特徴量の中から、適宜決定されてよい。つまり、第３処理では、制御部２３は、部分画像から、予め決定されている特徴量を抽出する。制御部２３は、抽出した特徴量と、記憶部２２の商品画像データの商品画像の特徴量とをマッチングさせていくことにより、物体の商品名を特定する。

第３処理では、制御部２３は、信頼度を、第３処理の処理結果に付与してよい。また、制御部２３は、特徴量マッチングにおける、部分画像の特徴量と、記憶部２２の商品画像の特徴量とのマッチング率に基づいて、信頼度を算出してよい。

第３処理を実行するための事前のデータ準備は、上述の第２処理を実行するための事前のデータ準備よりも、比較的、容易である。例えば、第３処理では、特徴量マッチングに用いられる特徴量が予め決定されている。第３処理では、特徴量が予め決定されていることにより、上述の第２処理のように特徴量を決定するための機械学習モデルを準備しなくてよい。

第３処理では、載置台１４上における物体の状況に応じては、第１処理及び第２処理よりも、当該物体を、精度良く特定することができる。

例えば、上述のように、店舗で扱われる商品の中には、パッケージ等に文字列が付されていない商品がある。文字列が付されていない物体を、撮像画像から、上述の第１処理によって特定することは困難となる場合がある。パッケージ等に文字列が付されていない物体であっても、第３処理によって、撮像画像から特定することができる。

例えば、上述のように、店舗で扱われる商品の中には、変形し得る商品がある。上述のように、商品が変形すると、撮像画像内の物体に対応する部分画像の形状も変わり得る。物体に文字列が付されている場合でも、当該物体に対応する部分画像の変形の度合いに応じては、第１処理において、当該部分画像から文字列が抽出できない場合がある。この場合、第１処理によって、当該物体を特定することは困難である。第３処理では、第１処理とは異なり、画像が変形することにより文字列が抽出できなくても、当該部分画像から物体を特定することができる。また、第２処理において、変形した部分画像に対応可能な機械学習モデルを準備できない場合がある。この場合、第２処理によって、変形した部分画像から、物体を特定することは困難である。第３処理では、機械学習モデルを用いないことにより、変形した部分画像から、物体を特定することができる。

本開示において、制御部２３は、部分画像に対応する物体の状況、又は、処理結果に付与した信頼度の何れかに基づいて、部分画像に対応する物体を特定する。本実施形態では、制御部２３は、処理結果に付与した信頼度に基づいて、部分画像に対応する物体を特定する。

具体的には、制御部２３は、撮像画像に、第１処理、第２処理及び第３処理を実行する。制御部２３は、実行した第１処理、第２処理及び第３処理の処理結果に、信頼度を付与する。ただし、制御部２３は、複数の画像処理のうちの少なくとも２つを実行すればよい。例えば、制御部２３は、複数の画像処理のうちの少なくとも２つとして、第１処理に含まれる文字認識及びコード認識を実行してよいし、第１処理及び第２処理を実行してよい。また、制御部２３は、第１処理、第２処理及び第３処理を、並行して実行してよいし、所定順序で順次実行してよい。また、制御部２３は、第１処理等の実行前に、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部２３は、撮像画像から複数の物体を検出した場合、物体に対応する部分画像毎に、第１処理、第２処理及び第３処理を実行して、第１処理、第２処理及び第３処理の処理結果に信頼度を付与してよい。例えば、制御部２３は、撮像画像３０から３つの物体を検出し得る。制御部２３は、各物体に対応する部分画像３０ａ，３０ｂ，３０ｃ毎に、第１処理、第２処理及び第３処理を実行し、その処理結果に、信頼度を付与してよい。例えば、制御部２３は、図５に示すような、処理結果を取得する。

図５に示すように、制御部２３は、部分画像３０ａに対する第１処理の処理結果として、物体の商品名が「梅のおにぎり」であると特定する。制御部２３は、当該第１処理の処理結果に付与する信頼度を９５％と算出する。また、制御部２３は、部分画像３０ａに対する第２処理の処理結果として、物体の商品名が「梅のおにぎり」であると特定する。制御部２３は、当該第２処理の処理結果に付与する信頼度を６５％と算出する。また、制御部２３は、部分画像３０ａに対する第３処理の処理結果として、物体の商品名が「昆布のおにぎり」であると特定する。制御部２３は、当該第３処理の処理結果に付与する信頼度を６４％と算出する。

図５に示すように、制御部２３は、部分画像３０ｂに対する第１処理の処理結果として、物体の商品名が「バター」であると特定する。制御部２３は、当該第１処理の処理結果に付与する信頼度を９４％と算出する。また、制御部２３は、部分画像３０ｂに対する第２処理の処理結果として、物体の商品名が「バター」であると特定する。制御部２３は、当該第２処理の処理結果に付与する信頼度を９０％と算出する。また、制御部２３は、部分画像３０ｂに対する第３処理の処理結果として、物体の商品名が「チーズ」であると特定する。制御部２３は、当該第３処理の処理結果に付与する信頼度を７５％と算出する。

図５に示すように、制御部２３は、部分画像３０ｃから文字列が抽出できないことにより、第１処理の処理結果を、特定不可とする。また、制御部２３は、部分画像３０ｃに対する第２処理の処理結果として、物体の商品名が「チョコレート」であると特定する。制御部２３は、当該第２処理の処理結果に付与する信頼度を８０％と算出する。また、制御部２３は、部分画像３０ｃに対する第３処理の認識結果として、物体の商品名が「チョコレート」であると認識する。制御部２３は、当該第３処理の認識結果に付与する信頼度を７０％と算出する。

本実施形態では、制御部２３は、付与した信頼度が最も高い処理結果に基づいて、部分画像に対応する物体を特定する。制御部２３は、上述のように、複数の物体にそれぞれ対応する部分画像毎に、第１処理、第２処理及び第３処理を実行した場合、部分画像毎に、対応する物体を特定してよい。

例えば、部分画像３０ａについて、制御部２３は、信頼度が９５％と最も高い第１処理の処理結果を取得する。制御部２３は、第１処理の処理結果に基づいて、部分画像３０ａに対応する物体の商品名が「梅のおにぎり」であると特定する。

例えば、部分画像３０ｂについて、制御部２３は、信頼度が９４％と最も高い第１処理の処理結果を取得する。制御部２３は、第１処理の処理結果に基づいて、部分画像３０ｂに対応する物体の商品名が「バター」であると特定する。

例えば、部分画像３０ｃについて、制御部２３は、信頼度が８０％と最も高い第２処理の処理結果を取得する。制御部２３は、第２処理の処理結果に基づいて、部分画像３０ｃに対応する物体の商品名が「チョコレート」であると特定する。

制御部２３は、特定した商品情報を、ネットワーク１３を介してサーバ１２に、通信部２０によって送信する。当該商品情報には、商品名及び商品の数等が含まれ得る。サーバ１２は、当該商品情報を、ネットワーク１３を介して情報処理装置１８から取得する。サーバ１２は、当該商品情報に基づいて、顧客に対して請求すべき請求金額を算出する。サーバ１２は、請求金額を示す信号を、ネットワーク１３を介して情報処理装置１８に送信する。制御部２３は、ネットワーク１３を介してサーバ１２から、請求金額を示す信号を、通信部２０によって取得する。制御部２３は、請求金額を示す信号を、通信部２０によって表示装置１７に送信する。

図６は、本開示の一実施形態に係る情報処理システム１０の物体特定処理を示すフローチャートである。制御部２３は、カメラ１６から１フレームの撮像画像に相当する画像信号を取得する度に、物体特定処理を実行してよい。制御部２３は、取得した撮像画像を記憶部２２に記憶させてよい。

制御部２３は、撮像画像から、物体の数を検出する（ステップＳ１０）。ステップＳ１０の処理では、制御部２３は、検出した物体の数を、記憶部２２に記憶させる。

制御部２３は、後述のステップＳ１４の処理を実行していない部分画像を選択する（ステップＳ１１）。制御部２３は、ステップＳ１１の処理で選択した部分画像に、第１処理、第２処理及び第３処理を並行して実行する（ステップＳ１２）。ステップＳ１２の処理では、制御部２３は、第１処理、第２処理及び第３処理の処理結果に信頼度を付与する。

制御部２３は、第１処理、第２処理及び第３処理の処理結果の中から、信頼度が最も高い処理結果を取得する（ステップＳ１３）。制御部２３は、ステップＳ１３の処理で取得した処理結果に基づいて、物体を特定する（ステップＳ１４）。

制御部２３は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップＳ１４の処理を実行したか否か判定する（ステップＳ１５）。制御部２３は、当該部分画像の全てに対してステップＳ１４の処理を実行したと判定しない場合（ステップＳ１５：ＮО）、ステップＳ１１の処理に戻る。一方、制御部２３は、当該部分画像の全てに対してステップＳ１４の処理を実行したと判定する場合（ステップＳ１５：ＹＥＳ）、ステップＳ１６の処理に進む。

ステップＳ１６の処理では、制御部２３は、商品情報を、ネットワーク１３を介してサーバ１２に、通信部２０によって送信する。

ここで、店舗形態に応じては、顧客が購入する商品の数が１つ又は２つとなる場合がある。この場合、ステップＳ１０，Ｓ１１，Ｓ１５の処理は、実行されなくてよい。ステップＳ１０，Ｓ１１，Ｓ１５の処理が実行されない場合、ステップＳ１２の処理において、制御部２３は、撮像画像に、第１処理、第２処理及び第３処理を実行してよい。

また、ステップＳ１２の処理において、制御部２３は、第１処理、第２処理及び第３処理を並行して実行しなくてよい。例えば、制御部２３は、第１処理、第２処理及び第３処理を、所定順序で順次実行してよい。

このように本実施形態に係る情報処理装置１８では、制御部２３は、撮像画像に、第１処理、第２処理及び第３処理を実行する。制御部２３は、第１処理、第２処理及び第３処理の処理結果の中で、付与した信頼度が最も高い処理結果に基づいて、撮像画像から物体を特定する。信頼度が最も高い処理結果に基づいて物体を特定することにより、載置台１４に載置された物体を複数方向から撮像した画像を用いなくても、物体を精度良く特定することができる。載置台１４に載置された物体を複数方向から撮像しなくてよいことにより、情報処理システム１０は、簡潔に構成され得る。よって、本実施形態によれば、改善された、情報処理システム１０、情報処理装置１８及び情報処理方法が提供され得る。

本開示の他の実施形態に係る情報処理装置１８の処理について説明する。上述した実施形態と同じく、制御部２３は、撮像画像に、第１処理、第２処理及び第３処理を実行する。上述した実施形態と同じく、制御部２３は、第１処理、第２処理及び第３処理を、並行して実行してよいし、所定順序で順次実行してよい。制御部２３は、第１処理、第２処理及び第３処理の処理結果に信頼度を付与する。上述した実施形態と同じく、制御部２３は、第１処理、第２処理及び第３処理の処理結果に付与した信頼度の中から、最も高い信頼度を取得する。

本開示の他の実施形態では、制御部２３は、最も高い信頼度が閾値を超える場合、最も高い信頼度が付与された処理結果に基づいて、物体を特定する。閾値は、過去の処理結果の正解率等に基づいて、適宜設定されてよい。一方、制御部２３は、最も高い信頼度が閾値以下である場合、当該信頼度が付与された処理結果に基づいて物体の候補を特定する。

例えば、制御部２３は、図５を参照した上述した結果を得るものとする。閾値は、９０％であるものとする。

部分画像３０ａについて、最も高い信頼度は、第１処理の処理結果に付与された信頼度の９５％である。部分画像３０ａについて、制御部２３は、最も高い信頼度９５％が閾値９０％を超えると判定する。制御部２３は、第１処理の処理結果に基づいて、部分画像３０ａに対応する物体の商品名が「梅のおにぎり」であると特定する。

部分画像３０ｂについて、最も高い信頼度は、第１処理の処理結果に付与された信頼度の９４％である。部分画像３０ｂについて、制御部２３は、最も高い信頼度９４％が閾値９０％を超えると判定する。制御部２３は、第１処理の処理結果に基づいて、部分画像３０ｂに対応する物体の商品名が「バター」であると特定する。

部分画像３０ｃについて、最も高い信頼度は、第２処理の認識結果に付与された信頼度の８０％である。部分画像３０ｃについて、制御部２３は、最も高い信頼度８０％が閾値９０％以下であると判定する。制御部２３は、第２処理の認識結果に基づいて、部分画像３０ｃに対応する物体の候補が「チョコレート」であると特定する。

制御部２３は、物体の候補を特定する場合、制御信号を表示装置１７に通信部２０によって適宜送信することにより、物体の候補を表示装置１７に表示させてよい。制御部２３は、物体の候補を、表示装置１７に表示させることにより、顧客に提示してよい。制御部２３は、物体の候補とともに所定メッセージを、表示装置１７に表示させることにより、顧客に提示してよい。所定メッセージは、顧客に対して、物体の候補が実際の物体と合っているか否かを問うメッセージであってよい。上述の部分画像３０ｃの例では、所定メッセージは、「商品はチョコレートであってますか？」であってよい。

制御部２３は、入力部２１によって検出したユーザ入力に応じて、物体の候補を確定又は修正してよい。制御部２３は、入力部２１によって検出したユーザ入力が所定メッセージを肯定する入力である場合、物体の候補を、部分画像に対する物体として特定してよい。上述の部分画像３０ｃの例では、ユーザ入力が「商品はチョコレートであってますか？」というメッセージを肯定する入力である場合、制御部２３は、チョコレートとの物体の候補を、部分画像３０ｃに対応する物体として確定してよい。また、制御部２３は、ユーザ入力が所定メッセージを否定する入力である場合、物体の候補を修正してよい。この場合、制御部２３は、制御信号を表示装置１７に通信部２０によって適宜送信することにより、顧客に対して正しい商品名の入力を促すメッセージを、表示装置１７に表示させてよい。制御部２３は、入力部２１によって商品名を示すユーザ入力を検出すると、部分画像に対する物体の商品名を、ユーザ入力が示す商品名に修正してよい。

ここで、上述した実施形態と類似して、制御部２３は、第１処理等の実行前に、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部２３は、撮像画像から複数の物体を検出した場合、物体に対応する部分画像毎に、第１処理、第２処理及び第３処理を実行して、第１処理、第２処理及び第３処理の処理結果に信頼度を付与してよい。さらに、制御部２３は、部分画像毎に、信頼度に応じて、物体を特定又は物体の候補を特定してよい。

図７は、本開示の他の実施形態に係る情報処理システム１０の物体特定処理を示すフローチャートである。制御部２３は、カメラ１６から１フレームの撮像画像に相当する画像信号を取得する度に、物体特定処理を実行してよい。制御部２３は、取得した撮像画像を記憶部２２に記憶させてよい。

制御部２３は、図６に示すステップＳ１０の処理と同じく、ステップＳ２０の処理を実行する。制御部２３は、後述のステップＳ２５又はステップＳ２８の処理を実行していない部分画像を選択する（ステップＳ２１）。

制御部２３は、ステップＳ２１の処理で選択した部分画像に、第１処理、第２処理及び第３処理を並行して実行する（ステップＳ２２）。ステップＳ２２の処理では、制御部２３は、第１処理、第２処理及び第３処理の処理結果に信頼度を付与する。

制御部２３は、第１処理、第２処理、第３処理の認識結果に付与した信頼度の中から、最も高い信頼度を取得する（ステップＳ２３）。制御部２３は、最も高い信頼度が閾値を超えるか否か判定する（ステップＳ２４）。制御部２３は、最も高い信頼度が閾値を超えると判定する場合（ステップＳ２４：ＹＥＳ）、ステップＳ２５の処理に進む。一方、制御部２３は、最も高い信頼度が閾値以下であると判定する場合（ステップＳ２４：ＮＯ）、ステップＳ２６の処理に進む。

ステップＳ２５の処理では、最も高い信頼度が付与された処理結果に基づいて、部分画像に対応する物体を特定する。

ステップＳ２６の処理では、制御部２３は、最も高い信頼度が付与された処理結果に基づいて物体の候補を特定する。ステップＳ２７の処理では、制御部２３は、物体の候補を、表示装置１７に表示させることにより、顧客に提示する。ステップＳ２８の処理では、制御部２３は、入力部２１によって検出したユーザ入力に応じて、物体の候補を確定又は修正する。

ステップＳ２９の処理では、制御部２３は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップＳ２５の処理又はステップＳ２８の処理を実行したか否か判定する。制御部２３は、当該部分画像の全てにステップＳ２５の処理又はステップＳ２８の処理を実行したと判定しない場合（ステップＳ２９：ＮＯ）、ステップＳ２１の処理に戻る。一方、制御部２３は、当該部分画像の全てにステップＳ２５の処理又はステップＳ２８の処理を実行したと判定する場合（ステップＳ２９：ＹＥＳ）、ステップＳ３０の処理に進む。

ステップＳ３０の処理では、制御部２３は、ステップＳ２５の処理により特定した商品情報、又は、ステップＳ２８の処理により確定又は修正した商品情報を、ネットワーク１３を介してサーバ１２に、通信部２０によって送信する。

ここで、店舗形態に応じては、顧客が購入する商品の数が１つ又は２つとなる場合がある。この場合、ステップＳ２０，Ｓ２１，Ｓ２９の処理は、実行されなくてよい。ステップＳ２０，Ｓ２１，Ｓ２９の処理が実行されない場合、ステップＳ２２の処理において、制御部２３は、撮像画像に、第１処理、第２処理及び第３処理を実行してよい。

また、ステップＳ２２の処理において、制御部２３は、第１処理、第２処理及び第３処理を並行して実行しなくてよい。例えば、制御部２３は、第１処理、第２処理及び第３処理を、所定順序で順次実行してよい。

本開示のさらに他の実施形態に係る情報処理装置１８の処理について説明する。本実施形態では、制御部２３は、撮像画像に、複数の画像処理を、所定順序で実行する。以下、所定順序は、第１処理、第２処理及び第３処理の順序であるものとする。ただし、所定順序は、第１処理、第２処理及び第３処理の順序に限定されない。

制御部２３は、撮像画像に第１処理を実行し、実行した第１処理の処理結果に信頼度を付与する。制御部２３は、付与した信頼度が閾値を超える場合、第１処理の処理結果に基づいて、部分画像に対応する物体を特定する。閾値は、上述のように、過去の処理結果の正解率等に基づいて、適宜設定されてよい。上述のように、第１処理の処理速度は、比較的、高速となり得る。第１処理を最初に実行することにより、商品に文字列が付されている場合、より高速に、物体を特定することができる。

制御部２３は、第１処理の処理結果に付与した信頼度が閾値以下である場合、撮像画像に、第２処理を実行する。制御部２３は、第２処理の処理結果に信頼度を付与する。制御部２３は、第２処理の処理結果に付与した信頼度が閾値を超える場合、第２処理の処理結果に基づいて、物体を特定する。上述のように、第２処理の処理速度は、第３処理の処理速度よりも、高速となり得る。第２処理を第３処理よりも先に実行することにより、物体が第２処理により特定可能である場合、より高速に、物体を特定することができる。

制御部２３は、第２処理の処理結果に付与した信頼度が閾値以下である場合、撮像画像に、第３処理を実行する。制御部２３は、第３処理の処理結果に信頼度を付与する。制御部２３は、第３処理の処理結果に付与した信頼度が閾値を超える場合、第３処理の処理結果に基づいて、物体を特定する。

制御部２３は、第３処理の処理結果に付与した信頼度が閾値以下である場合、第１処理の処理結果、第２処理の処理結果及び第３処理の処理結果の何れかに基づいて、物体の候補を特定する。制御部２３は、第１処理、第２処理及び第３処理の処理結果のうち、最も高い信頼度が付与された処理結果に基づいて、物体の候補を特定してよい。上述の他の実施形態と同じく、制御部２３は、物体の候補を特定する場合、制御信号を表示装置１７に通信部２０によって適宜送信することにより、物体の候補を表示装置１７に表示させてよい。制御部２３は、物体の候補を、表示装置１７に表示させることにより、顧客に提示してよい。上述の他の実施形態と同じく、制御部２３は、物体の候補とともに所定メッセージを、表示装置１７に表示させることにより、顧客に提示してよい。上述の他の実施形態と同じく、制御部２３は、入力部２１によって検出したユーザ入力に応じて、物体の候補を確定又は修正してよい。

ここで、上述した実施形態と類似にして、制御部２３は、第１処理等の実行前に、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部２３は、撮像画像から複数の物体を検出した場合、物体に対応する部分画像毎に、第１処理、第２処理及び第３処理を順次実行して、第１処理、第２処理及び第３処理の処理結果に信頼度を付与してよい。さらに、制御部２３は、部分画像毎に、信頼度に応じて、物体を特定又は物体の候補を特定してよい。

図８は、本開示のさらに他の実施形態に係る情報処理システム１０の物体特定処理を示すフローチャートである。制御部２３は、カメラ１６から１フレームの撮像画像に相当する画像信号を取得する度に、物体特定処理を実行してよい。制御部２３は、取得した撮像画像を記憶部２２に記憶させてよい。

制御部２３は、図６に示すステップＳ１０の処理と同じく、ステップＳ４０の処理を実行する。制御部２３は、後述のステップＳ４４，Ｓ４７，Ｓ５０，Ｓ５３の処理の何れも実行していない部分画像を選択する（ステップＳ４１）。

制御部２３は、ステップＳ４１の処理で選択した部分画像に、第１処理を実行する（ステップＳ４２）。ステップＳ４２の処理では、実行した第１処理の処理結果に信頼度を付与する。

制御部２３は、第１処理の処理結果に付与した信頼度が閾値を超えるか否か判定する（ステップＳ４３）。制御部２３は、信頼度が閾値を超えると判定する場合（ステップＳ４３：ＹＥＳ）、ステップＳ４４の処理に進む。一方、制御部２３は、信頼度が閾値以下であると判定する場合（ステップＳ４３：ＮＯ）、ステップＳ４５の処理に進む。

ステップＳ４４の処理では、制御部２３は、第１処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップＳ４４の処理を実行した後、制御部２３は、ステップＳ５４の処理に進む。

ステップＳ４５の処理では、制御部２３は、ステップＳ４１の処理で選択した部分画像に、第２処理を実行する。ステップＳ４５の処理では、制御部２３は、第２処理の処理結果に信頼度を付与する。

ステップＳ４６の処理では、制御部２３は、第２処理の処理結果に付与した信頼度が閾値を超えるか否か判定する。制御部２３は、信頼度が閾値を超えると判定する場合（ステップＳ４６：ＹＥＳ）、ステップＳ４７の処理に進む。一方、制御部２３は、信頼度が閾値以下であると判定する場合（ステップＳ４６：ＮＯ）、ステップ４８の処理に進む。

ステップＳ４７の処理では、制御部２３は、第２処理の処理結果に基づいて、物体を特定する。ステップＳ４７の処理を実行した後、制御部２３は、ステップＳ５４の処理に進む。

ステップＳ４８の処理では、制御部２３は、ステップＳ４１の処理で選択した部分画像に、第３処理を実行する。ステップＳ４８の処理では、制御部２３は、第３処理の処理結果に信頼度を付与する。

ステップＳ４９の処理では、制御部２３は、第３処理の処理結果に付与した信頼度が閾値を超えるか否か判定する。制御部２３は、信頼度が閾値を超えると判定する場合（ステップＳ４９：ＹＥＳ）、ステップＳ５０の処理に進む。一方、制御部２３は、信頼度が閾値以下であると判定する場合（ステップＳ４９：ＮＯ）、ステップＳ５１の処理に進む。

ステップＳ５０の処理では、制御部２３は、第３処理の処理結果に基づいて、物体を特定する。ステップＳ５０の処理を実行した後、制御部２３は、ステップＳ５４の処理に進む。

ステップＳ５１の処理では、制御部２３は、第１処理の処理結果、第２処理の処理結果及び第３処理の処理結果の何れかに基づいて、物体の候補を特定する。ステップＳ５２の処理では、制御部２３は、物体の候補を、表示装置１７に表示させることにより、顧客に提示する。ステップＳ５３の処理では、制御部２３は、入力部２１によって検出したユーザ入力に応じて、物体の候補を確定又は修正する。ステップＳ５３の処理を実行した後、制御部２３は、ステップＳ５４の処理に進む。

ステップＳ５４の処理では、制御部２３は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップＳ４４，Ｓ４７，Ｓ５０，Ｓ５３の処理の何れかを実行したか否か判定する。制御部２３は、当該部分画像の全てに対して、ステップＳ４４，Ｓ４７，Ｓ５０，Ｓ５３の処理の何れかを実行したと判定しない場合（ステップＳ５４：ＮＯ）、ステップＳ４１の処理に戻る。一方、制御部２３は、当該部分画像の全てに対して、ステップＳ４４，Ｓ４７，Ｓ５０，Ｓ５３の処理の何れかを実行したと判定する場合（ステップＳ５４：ＹＥＳ）、ステップＳ５５の処理に進む。

ステップＳ５５の処理では、制御部２３は、ステップＳ４４，Ｓ４７，Ｓ５０の処理で特定した商品情報、及び、ステップＳ５３の処理で確定又は修正した商品情報を、ネットワーク１３を介してサーバ１２に、通信部２０によって送信する。

ここで、店舗形態に応じては、顧客が購入する商品の数が１つ又は２つとなる場合がある。この場合、ステップＳ４０，Ｓ４１，Ｓ５４の処理は、実行されなくてよい。ステップＳ４０，Ｓ４１，Ｓ５４の処理が実行されない場合、ステップＳ４２，Ｓ４５，Ｓ４８の処理において、制御部２３は、撮像画像に、第１処理、第２処理及び第３処理を実行してよい。

本開示のさらに他の実施形態に係る情報処理装置１８の処理について説明する。本実施形態では、制御部２３は、撮像画像から載置台１４上における所定状況の物体を検出した場合、当該物体に対応する部分画像に、当該所定状況に応じた画像処理を実行して、当該物体を特定する。

制御部２３は、所定状況として、撮像画像から重畳した物体を検出した場合、当該物体に対応する部分画像に、第２処理を実行して、当該物体を検出してよい。制御部２３は、公知の方法を用いて、撮像画像から重畳した物体を検出してよい。重畳した物体は、重なり合う物体のうち、別の物体の下に位置することにより、対応する部分画像が欠ける物体であってよい。この場合、重畳した物体は、上述の撮像画像３０（図４）の例では、部分画像３０ｂに対応するバター、及び、部分画像３０ｃに対応するチョコレートとなり得る。又は、重畳した物体は、重なり合う物体の全てであってよい。この場合、重畳した物体は、上述の撮像画像３０では、部分画像３０ａに対応するおにぎり、部分画像３０ｂに対応するバター、及び、部分画像３０ｃに対応するチョコレートとなり得る。

制御部２３は、所定状況として、撮像画像から変形した物体を検出した場合、当該物体に対応する部分画像に、第３処理を実行して、当該物体を検出してよい。制御部２３は、公知の方法を用いて、撮像画像から変形した物体を検出してよい。

制御部２３は、所定状況として、撮像画像から検出した物体が重畳及び変形していない場合、当該物体に対応する部分画像に、第１処理を実行して、当該物体を検出してよい。また、制御部２３は、所定状況として、所定画像から文字列が検出された場合、第１処理を実行して、文字列が検出された物体を特定してよい。

制御部２３は、所定状況として、撮像画像から、ハレーションを発生させている物体を検出した場合、当該物体に対応する部分画像に、第２処理を実行して、当該物体を特定してよい。物体の一部からの反射光の光量が局所的に多いと、当該物体に対応する部分画像においてハレーションが生じ得る。ハレーションを発生させる物体の一例として、鏡面を含む物体及び光沢面を含む物体等が挙げられる。制御部２３は、公知の方法を用いて、撮像画像から、ハレーションを発生させている物体を検出してよい。制御部２３は、部分画像のうちの、ハレーションが生じている領域を除いた領域に、第２処理を実行して、物体を特定してよい。ここで、部分画像にハレーションが生じている場合、当該物体に文字列が付されていても、制御部２３は、当該部分画像から、文字列を抽出できない場合がある。この場合、第１処理によって当該物体を特定することは、困難となり得る。また、部分画像にハレーションが生じている場合、制御部２３は、当該部分画像から、第３処理にて用いる特徴量を検出できない場合がある。この場合、第３処理によって当該物体を特定することは、困難となり得る。

制御部２３は、所定状況として、撮像画像から、破損した物体を検出した場合、制御信号を表示装置１７に通信部２０によって適宜送信することにより、商品が破損している旨を、表示装置１７に表示させてよい。制御部２３は、商品が破損している旨を、表示装置１７に表示させることにより、顧客及び／又は店員に提示してよい。

制御部２３は、所定状況として、撮像画像から、汚れた物体を検出した場合、制御信号を表示装置１７に通信部２０によって適宜送信することにより、商品が汚れている旨を、表示装置１７に表示させてよい。制御部２３は、商品が汚れている旨を、表示装置１７に表示させることにより、顧客及び／又は定員に提示してよい。

ここで、上述した実施形態と類似にして、制御部２３は、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部２３は、撮像画像から複数の物体を検出した場合、当該物体に対応する部分画像毎に、複数の画像処理のうちの、当該物体の状況に応じた画像処理を実行して、当該物体を特定してよい。

以下、上述の処理の一例を説明する。制御部２３は、図９に示すような撮像画像３１を取得する。撮像画像３１は、部分画像３１ａと、部分画像３１ｂと、部分画像３１ｃとを含む。部分画像３１ａ、部分画像３１ｂ及び部分画像３１ｃは、撮像画像３１の一部である。制御部２３は、部分画像３１ａに対応する物体が重畳及び変形していないと判定し得る。制御部２３は、部分画像３１ｂに対応する物体及び部分画像３１ｃに対応する物体が重畳していると判定し得る。制御部２３は、部分画像３１ａに第１処理を実行して、部分画像３１ａに対応する物体の商品名が「梅のおにぎり」であると特定してよい。制御部２３は、部分画像３１ｂ及び部分画像３１ｃに第２処理を実行して、部分画像３１ｂに対応する物体の商品名が「バター」であり、部分画像３０ｃに対応する物体の商品名が「チョコレート」であると特定してよい。

図１０は、本開示の他の実施形態に係る情報処理システム１０の物体特定処理を示すフローチャートである。制御部２３は、カメラ１６から１フレームの撮像画像に相当する画像信号を取得する度に、物体特定処理を実行してよい。制御部２３は、取得した撮像画像を記憶部２２に記憶させてよい。

制御部２３は、図６に示すステップＳ１０の処理と同じく、ステップＳ６０の処理を実行する。制御部２３は、後述のステップＳ６４，Ｓ６７，Ｓ６９の処理の何れも実行していない部分画像を選択する（ステップＳ６１）。

制御部２３は、ステップＳ６１の処理で選択した部分画像に対応する物体が重畳しているか否か判定する（ステップＳ６２）。制御部２３は、当該物体が重畳していると判定する場合（ステップＳ６２：ＹＥＳ）、ステップＳ６３の処理に進む。一方、制御部２３は、当該物体が重畳していないと判定する場合（ステップＳ６２：ＮＯ）、ステップＳ６５の処理に進む。

ステップＳ６３の処理では、制御部２３は、ステップＳ６１の処理で選択した部分画像に、第２処理を実行する。ステップＳ６４の処理では、制御部２３は、ステップ６３の処理における第２処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップＳ６４の処理を実行した後、制御部２３は、ステップＳ７０の処理に進む。

ステップＳ６５の処理では、制御部２３は、ステップＳ６１の処理で選択した部分画像に対応する物体が変形しているか否か判定する。制御部２３は、当該物体が変形していると判定する場合（ステップＳ６５：ＹＥＳ）、ステップＳ６６の処理に進む。一方、制御部２３は、当該物体が変形していないと判定する場合（ステップＳ６５：ＮＯ）、ステップＳ６８の処理に進む。

ステップＳ６６の処理では、制御部２３は、ステップＳ６１の処理で選択した部分画像に、第３処理を実行する。ステップＳ６７の処理では、制御部２３は、ステップＳ６６の処理における第３処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップＳ６６の処理を実行した後、制御部２３は、ステップＳ７０の処理に進む。

ステップＳ６８の処理では、制御部２３は、ステップＳ６１の処理で選択した部分画像に、第１処理を実行する。つまり、制御部２３は、ステップＳ６１の処理で選択した部分画像に対応する物体が重畳及び変形していない場合、部分画像に、第１処理を実行する。ステップＳ６９の処理では、制御部２３は、ステップＳ６８の処理における第１処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップＳ６９の処理を実行した後、制御部２３は、ステップＳ７０の処理に進む。

ステップＳ７０の処理では、制御部２３は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップＳ６４，Ｓ６７，Ｓ６９の処理の何れかを実行したか否か判定する。制御部２３は、当該部分画像の全てに対して、ステップＳ６４，Ｓ６７，Ｓ６９の処理の何れかを実行したと判定しない場合（ステップＳ７０：ＮＯ）、ステップＳ６１の処理に戻る。一方、制御部２３は、当該部分画像の全てに対して、ステップＳ６４，Ｓ６７，Ｓ６９の処理の何れかを実行したと判定する場合（ステップＳ７０：ＹＥＳ）、ステップＳ７１の処理に進む。

ステップＳ７１の処理では、制御部２３は、ステップＳ６４，Ｓ６７，Ｓ６９の処理で特定した商品情報を、ネットワーク１３を介してサーバ１２に、通信部２０によって送信する。

ここで、店舗形態に応じては、顧客が購入する商品の数が１つ又は２つとなる場合がある。この場合、ステップＳ６０，Ｓ６１，Ｓ７０の処理は、実行されなくてよい。ステップＳ６０，Ｓ６１，Ｓ７０の処理が実行されない場合、ステップＳ６３，Ｓ６６，Ｓ６８の処理において、制御部２３は、撮像画像に、第１処理、第２処理及び第３処理をそれぞれ実行してよい。

本開示のさらに他の実施形態に係る情報処理装置１８の処理について説明する。本実施形態では、情報処理装置１８において、商品の値段を算出する処理を説明する。本実施形態では、記憶部２２は、商品名に対応付けられた、商品の価格を記憶してよい。

制御部２３は、物体の商品名を特定した後、当該物体に対応する部分画像に、値引きシールの画像が含まれているか否か判定する。制御部２３は、値引きシールの画像が含まれていると判定する場合、値引きシールの画像から、値引きの情報を取得する。例えば、制御部２３は、「〇〇円引き」といった情報を取得する。制御部２３は、取得した情報と、記憶部２２に記憶されている商品の価格とに基づいて、商品の値段を確定する。一方、制御部２３は、値引きシールの画像が含まれていると判定しない場合、記憶部２２に記憶されている商品の価格を、商品の値段として確定する。

制御部２３は、確定した商品の値段を、ネットワーク１３を介してサーバ１２に、通信部２０によって送信してよい。又は、制御部２３は、制御信号を表示装置１７に通信部２０によって適宜送信することにより、商品の値段を表示装置１７に表示させてよい。制御部２３は、商品の値段を、表示装置１７に表示させることにより、顧客に提示してよい。

図１１は、本開示のさらに他の実施形態に係る情報処理システム１０の商品の値段の算出処理を示すフローチャートである。制御部２３は、図９に示すステップＳ１６の処理、図７に示すステップＳ３０の処理、図８に示すステップＳ５５の処理及び図１０に示すステップＳ７１の処理に代えて、商品の値段の算出処理を実行してよい。

制御部２３は、物体に対応する部分画像に、値引きシールの画像が含まれているか否か判定する（ステップＳ８０）。制御部２３は、値引きシールの画像が含まれていると判定する場合（ステップＳ８０：ＹＥＳ）、ステップＳ８１の処理に進む。一方、制御部２３は、値引きシールの画像が含まれていると判定しない場合（ステップＳ８０：ＮＯ）、ステップＳ８２の処理に進む。

ステップＳ８２の処理では、制御部２３は、値引きシールの画像から、値引きの情報を取得する。

ステップＳ８３の処理では、制御部２３は、ステップＳ８２の処理で値引きの情報を取得した場合、取得した情報と、記憶部２２に記憶されている商品の価格とに基づいて、商品の値段を確定する。制御部２３は、ステップＳ８１の処理にて値引きシールの画像が含まれていると判定しない場合、記憶部２２に記憶されている商品の価格を、商品の値段として確定する。

ステップＳ８４の処理では、確定した商品の値段を、ネットワーク１３を介してサーバ１２に、通信部２０によって送信する。確定した商品の値段をサーバ１２に送信する代わりに、制御部２３は、商品の値段を、表示装置１７に表示させることにより、顧客に提示してよい。

本開示に係る構成は、以上説明してきた実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは、分割したりすることが可能である。

例えば、上述の実施形態では、カメラ１６は、載置台１４の載置面１４ａに、顧客によって載置された商品を、撮像するものとして説明した。ただし、カメラ１６が撮像する商品は、載置台１４の載置面１４ａに載置された商品に限定されない。例えば、カメラ１６は、顧客が載置台１４の載置面１４ａに載置せずにカメラ１６の前にかざした商品を、撮像してよい。

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１処理は、第２処理と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

１０ 情報処理システム
１１ 精算システム
１２ サーバ
１３ ネットワーク
１４ 載置台
１４ａ 載置面
１５ 支持柱
１６ カメラ
１７ 表示装置
１８ 情報処理装置
２０ 通信部
２１ 入力部
２２ 記憶部
２３ 制御部
３０，３１ 撮像画像
３０ａ，３０ｂ，３０ｃ，３１ａ，３１ｂ，３１ｃ 部分画像

Claims (7)

1. 撮像により撮像画像を生成する撮像部と、
   前記撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行する情報処理装置と、を備え、
   前記情報処理装置は、前記撮像画像から重畳した物体を検出した場合、当該物体に対応する部分画像に、前記複数の画像処理のうちの、機械学習を用いた物体認識処理である第２処理を実行して、当該物体を特定する、情報処理システム。
2. 請求項１に記載の情報処理システムであって、
   前記情報処理装置は、前記撮像画像からハレーションを発生させた物体を検出した場合、当該物体に対応する部分画像に、前記第２処理を実行して当該物体を特定する、情報処理システム。
3. 請求項１又は２に記載の情報処理システムであって、
   前記情報処理装置は、前記撮像画像から変形した物体を検出した場合、当該物体に対応する部分画像に、前記複数の画像処理のうちの、特徴量マッチングを用いた物体認識処理である第３処理を実行して、当該物体を特定する、情報処理システム。
4. 請求項１から３までの何れか一項に記載の情報処理システムであって、
   前記情報処理装置は、前記撮像画像から検出した物体が重畳及び変形していない場合、当該物体に対応する部分画像に、前記複数の画像処理のうちの、文字認識を用いた物体認識処理である第１処理を実行して、当該物体を特定する、情報処理システム。
5. 請求項１から４までの何れか一項に記載の情報処理システムであって、
   前記物体である商品が載置される載置台をさらに備え、
   前記撮像部は、前記載置台の載置面を撮像可能に配置されている、情報処理システム。
6. 通信部と、
   前記通信部によって撮像画像を取得し、取得した前記撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行する制御部と、を備え、
   前記制御部は、前記撮像画像から重畳した物体を検出した場合、当該物体に対応する部分画像に、前記複数の画像処理のうちの、機械学習を用いた物体認識処理である第２処理を実行して、当該物体を特定する、情報処理装置。
7. 撮像部が、撮像により撮像画像を生成することと、
   情報処理装置が、前記撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行することと、
   前記情報処理装置が、前記撮像画像から重畳した物体を検出した場合、当該物体に対応する部分画像に、前記複数の画像処理のうちの、機械学習を用いた物体認識処理である第２処理を実行して、当該物体を特定することと、を含む情報処理方法。

Images