WO2021112234A1

WO2021112234A1 - 情報処理システム、情報処理装置及び情報処理方法

Info

Publication number: WO2021112234A1
Application number: PCT/JP2020/045287
Authority: WO
Inventors: 暁艶戴
Original assignee: 京セラ株式会社
Priority date: 2019-12-06
Filing date: 2020-12-04
Publication date: 2021-06-10
Also published as: CN114766033A; US20230013468A1

Abstract

情報処理システムは、撮像により画像信号を生成する撮像部と、情報処理装置とを備える。情報処理装置は、画像信号に相当する撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行する。情報処理装置は、撮像画像に含まれる部分画像に対応する物体の状況、又は、実行した画像処理の処理結果に付与した信頼度の何れかに基づいて、撮像画像に含まれる部分画像に対応する物体を特定する。

Description

情報処理システム、情報処理装置及び情報処理方法

関連出願の相互参照

　本出願は、２０１９年１２月６日に日本国に特許出願された特願２０１９－２２１１３１、２０１９年１２月２０日に日本国に特許出願された特願２０１９－２３０７４８、及び、２０１９年１２月２４日に日本国に特許出願された特願２０１９－２３３２６８の優先権を主張するものであり、これらの先の出願の開示全体を、ここに参照のために取り込む。

　本開示は、情報処理システム、情報処理装置及び情報処理方法に関するものである。

　被写体の姿勢を調整することなく特定の方向から撮像した画像に基づいて、任意の物体を認識することが求められている。例えば、商店等におけるキャッシュレジスター端末において、商品認識エリア上の物体を撮像した画像に基づいて、当該物体が何れの商品であるかを認識する情報処理システムが提案されている（特許文献１参照）。

特開２０１７－２２０１９８号公報

　本開示の一実施形態に係る情報処理システムは、
　撮像により画像信号を生成する撮像部と、
　前記画像信号に相当する撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行する情報処理装置と、を備え、
　前記情報処理装置は、前記撮像画像に含まれる部分画像に対応する物体の状況、又は、実行した前記画像処理の処理結果に付与した信頼度の何れかに基づいて、前記撮像画像に含まれる部分画像に対応する物体を特定する。

　本開示の一実施形態に係る情報処理装置は、
　撮像により画像信号を生成する撮像部と通信可能な通信部と、
　前記通信部によって前記画像信号に相当する撮像画像を取得し、取得した前記撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行する制御部と、を備え、
　前記制御部は、前記撮像画像に含まれる部分画像に対応する物体の状況、又は、実行した前記画像処理の処理結果に付与した信頼度の何れかに基づいて、前記撮像画像に含まれる部分画像に対応する物体を特定する。

　本開示の一実施形態に係る情報処理方法は、
　撮像により画像信号を生成することと、
　前記画像信号に相当する撮像画像を取得し、取得した前記撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行することと、
　前記撮像画像に含まれる部分画像に対応する物体の状況、又は、実行した前記画像処理の処理結果に付与した信頼度の何れかに基づいて、前記撮像画像に含まれる部分画像に対応する物体を特定することと、を含む。

　本開示の一実施形態に係る情報処理システムは、
　撮像により画像信号を生成する撮像部と、
　前記画像信号に相当する撮像画像を取得し、撮像時刻の異なる２つの前記撮像画像の差分画像に基づいて、当該２つの撮像画像の少なくとも何れかに含まれる部分画像に対応する物体を特定する情報処理装置と、を備える。

　本開示の一実施形態に係る情報処理装置は、
　撮像により画像信号を生成する撮像部と通信可能な通信部と、
　前記通信部によって前記画像信号に相当する撮像画像を取得し、撮像時刻の異なる２つの前記撮像画像の差分画像に基づいて、当該２つの撮像画像の少なくとも何れかに含まれる部分画像に対応する物体を特定する制御部と、を備える。

　本開示の一実施形態に係る情報処理方法は、
　撮像により画像信号を生成することと、
　前記画像信号に相当する撮像画像を取得し、撮像時刻の異なる２つの前記撮像画像の差分画像に基づいて、当該２つの撮像画像の少なくとも何れかに含まれる部分画像に対応する物体を特定することと、を含む。

　本開示の一実施形態に係る情報処理システムは、
　撮像により画像信号を生成するカメラと、
　前記カメラの撮像範囲内に配置され、反射面が前記カメラの光軸に対して傾斜している反射部と、
　前記カメラから受信する画像信号に相当する画像の全領域における前記反射部が占める領域における第１部分画像と、当該領域以外の領域における第２部分画像とに対して、物体認識を行う情報処理装置と、を備える。

　本開示の一実施形態に係る情報処理装置は、
　反射面がカメラの光軸に対して傾斜している反射部を撮像範囲内に含む当該カメラが撮像により生成する画像信号を受信する通信部と、
　前記画像信号に相当する画像の全領域における前記反射部が占める領域における第１部分画像と、当該領域以外の領域における第２部分画像を用いて、物体認識を行う制御部と、を備える。

　本開示の一実施形態に係る情報処理方法は、
　反射面がカメラの光軸に対して傾斜している反射部を撮像範囲内に含む当該カメラに、撮像により画像信号を生成させ、
　前記画像信号に相当する画像の全領域における前記反射部が占める領域における第１部分画像と、当該領域以外の領域における第２部分画像を用いて、物体認識を行う。

本実施形態に係る情報処理システムを含む精算システムの全体構成を示す構成図である。図１の情報処理システムの全体構成を示す構成図である。図２の情報処理装置の概略構成を示す機能ブロック図である。図２のカメラが撮像する画像における第１部分画像及び第２部分画像の領域を説明するための図である。図３の制御部が実行する第１の方式による確定処理を説明するためのフローチャートである。図３の制御部が実行する第２の方式による確定処理を説明するためのフローチャートである。図３の制御部が実行する第３の方式による確定処理を説明するためのフローチャートである。図３の制御部が実行する第３の方式の変形例による確定処理を説明するためのフローチャートである。図３の制御部が実行する第４の方式による確定処理を説明するためのフローチャートである。本開示の他の実施形態に係る精算システムの全体構成を示す図である。図１０に示す情報処理システムの全体構成を示す図である。図１１に示す情報処理システムの機能ブロック図である。本開示の他の実施形態に係る撮像画像の一例を示す図である。本開示の他の実施形態に係る撮像画像の一例を示す図である。本開示の他の実施形態に係る撮像画像の一例を示す図である。本開示の他の実施形態に係る差分画像の一例を示す図である。本開示の他の実施形態に係る差分画像の一例を示す図である。本開示の他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。本開示のさらに他の実施形態に係る撮像画像の一例を示す図である。本開示のさらに他の実施形態に係る撮像画像の一例を示す図である。本開示のさらに他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。本開示のさらに他の実施形態に係る情報処理システムの全体構成を示す図である。本開示のさらに他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。本開示のさらに他の実施形態に係る差分画像の一例を示す図である。本開示のさらに他の実施形態に係る情報処理システムの差分画像に対する物体認識を示すフローチャートである。本開示のさらに他の実施形態に係る情報処理システムの全体構成を示す図である。本開示のさらに他の実施形態に係る精算システムの全体構成を示す図である。図２７に示す情報処理システムの全体構成を示す図である。図２８に示す情報処理システムの機能ブロック図である。本開示のさらに他の実施形態に係る撮像画像の一例を示す図である。本開示のさらに他の実施形態に係る処理結果及び信頼度の一例を示す図である。本開示のさらに他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。本開示のさらに他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。本開示のさらに他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。本開示のさらに他の実施形態に係る撮像画像の一例を示す図である。本開示のさらに他の実施形態に係る情報処理システムの物体特定処理を示すフローチャートである。本開示のさらに他の実施形態に係る情報処理システムの商品の値段の算出処理を示すフローチャートである。

　従来の情報処理システムには、改善の余地がある。本開示の一実施形態によれば、改善された、情報処理システム、情報処理装置及び情報処理方法が提供され得る。

　以下、本開示を適用した情報処理システムの実施形態について、図面を参照して説明する。

　図１に示すように、本開示の一実施形態に係る情報処理システム１０を含む精算システム１１は、少なくとも１つの情報処理システム１０及びサーバ１２を含んで構成されている。本実施形態では、精算システム１１は、複数の情報処理システム１０を含む。

　本実施形態において、情報処理システム１０はレジ端末に含まれている。情報処理システム１０は、購入者がレジ端末に載置する商品を撮像する。情報処理システム１０は、撮像による画像に対して物体認識を行い、画像中に含まれる物体が店舗における何れの商品であるかを認識する。画像中の物体は、画像内に描画されている物体を意味する。情報処理システム１０は、載置された全商品の認識結果を、ネットワーク１３を介してサーバ１２に通知する。サーバ１２は認識結果に基づいて、請求金額を算出する。サーバ１２は、請求金額を情報処理システム１０に通知する。情報処理システム１０は、購入者に請求金額を提示し、購入金額の支払いを要求する。

　図２に示すように、情報処理システム１０は、カメラ１４、反射部１５及び情報処理装置１７を含んで構成される。また、情報処理システム１０は、表示装置１６、載置台１８及び支持柱１９をさらに含んで構成されてもよい。

　カメラ１４は、載置台１８の全範囲を撮像可能に固定されている。カメラ１４は、例えば、載置台１８の側面から延びる支持柱１９に固定されている。カメラ１４は、例えば、載置台１８の上面ｕｓ全面を撮像可能、かつ当該上面ｕｓに光軸が垂直になるように固定されている。カメラ１４は、任意のフレームレートで連続的に撮像を行い、画像信号を生成する。

　反射部１５は、カメラ１４の撮像範囲内の任意の位置に配置されている。反射部１５は、例えば、撮像範囲内の中央及び端部等の何れの位置に配置されていてもよい。単一の反射部１５が配置されてよく、複数の反射部１５が配置されてよい。本実施形態において、単一の反射部１５は、矩形の載置台１８の１辺に沿うように配置された状態で固定されている。反射部１５は、例えば、載置台１８の長手方向と同じ長さで、底面が直角二等辺三角形の三角柱である。反射部１５は、三角柱の２底面における頂点が載置台１８の同じ長辺上に位置し、三角柱の側面が載置台１８の上面ｕｓに対向するように配置されている。また、反射部１５の大きさは、載置台１８の大きさ及びカメラ１４の撮像範囲に応じて適宜最適なものに設定されてよい。

　反射部１５では、反射面ｒｓがカメラ１４の光軸に対して傾斜している。本実施形態において、反射部１５では、底面における底辺に相当する側面に、アルミニウム、銀又はクロム等の金属材料等を被着することにより反射面ｒｓが形成されている。本実施形態において、反射面ｒｓは平坦状であるが、球面状、非球面状及び円筒側面状であってよく、凸状又は凹状であってよい。

　表示装置１６は、従来公知の任意のディスプレイである。表示装置１６は、情報処理装置１７から送信される画像信号に相当する画像を表示する。また、後述するように、表示装置１６は、タッチスクリーンとして機能してよい。

　図３に示すように、情報処理装置１７は、通信部２０、入力部２１、記憶部２２及び制御部２３を含んで構成される。情報処理装置１７は、本実施形態において、カメラ１４、反射部１５及び表示装置１６とは別の装置として構成されているが、例えば、カメラ１４、反射部１５、載置台１８、支持柱１９及び表示装置１６の少なくとも何れかと一体的に構成されてもよい。

　通信部２０は、例えば、有線又は無線を含んで構成される通信線を介してカメラ１４と通信する通信モジュールを含む。通信部２０は、カメラ１４から画像信号を受信する。通信部２０は、通信線を介して表示装置１６と通信する通信モジュールを含む。通信部２０は、表示させる画像に相当する画像信号を表示装置１６に向けて送信する。通信部２０は、表示装置１６から表示面において接触を検知した位置に相当する位置信号を受信してよい。通信部２０は、ネットワーク１３を介してサーバ１２と通信する通信モジュールを含む。通信部２０は、後述する、確定した認識結果に相当する結果情報をサーバ１２に送信する。通信部２０は、サーバ１２から請求金額に相当する金額情報をサーバ１２から受信してよい。

　入力部２１は、ユーザ入力を検出する１つ以上のインタフェースを含む。入力部２１は、例えば、物理キー、静電容量キー及び表示装置１６と一体的に設けられたタッチスクリーンを含んでよい。本実施形態においては、入力部２１はタッチスクリーンである。

　記憶部２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等、任意の記憶デバイスを含む。記憶部２２は、制御部２３を機能させる多様なプログラム及び制御部２３が用いる多様な情報を記憶する。

　制御部２３は、１以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含んでよい。制御部２３は、１つ又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）及びＳｉＰ（Ｓｙｓｔｅｍ　Ｉｎ　ａ　Ｐａｃｋａｇｅ）の何れかであってもよい。

　制御部２３は、図４に示すように、カメラ１４から受信する画像信号に相当する画像ｉｍを、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2に分割する。第１部分画像ｉｍ_p1は、画像信号に相当する画像ｉｍの全領域における反射部１５が占める領域の画像である。第２部分画像ｉｍ_p2は、当該画像の全領域における反射部１５が占める領域以外の領域の画像である。

　制御部２３は、以下に説明するように、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2に対して物体認識を行う。物体認識は、画像ｉｍ中の物体が何であるかを把握し、認識結果を作成することを意味する。制御部２３は、例えば、画像ｉｍ内で物体を検出し、当該検出した物体が何であるかの認識結果を作成してよい。本実施形態において、物体の画像ｉｍ内での検出とは、画像ｉｍ内の物体の存在を位置とともに個別に把握することを意味する。又は、制御部２３は、例えば、画像ｉｍ内で物体を検出することなく直接物体認識を行うことにより認識結果を作成してよい。制御部２３は、物体認識により、例えば、載置台１８に載置されることにより、カメラ１４の撮像範囲内に位置する物体を認識する。

　制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2に対して、例えば、バーコード検出、深層学習（ＤＮＮ：Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、パターンマッチング及び文字認識等の公知の認識方法によって、物体認識を行う。制御部２３は、物体認識により画像ｉｍ中の物体を仮認識するとともに、当該物体の仮の認識結果の信頼度を算出する。信頼度は、認識結果の正確性を示す指標である。

　制御部２３は、例えば、以下に説明する第１の方式から第４の方式の何れかによって、物体の認識を行ってよい。なお、載置台１８に「おにぎり」と「ボトル入りのお茶」（以下において「お茶」と呼ぶ。）とが載置された状況に対して行われる物体認識を例として用いて、それぞれの方式による物体の認識を説明する。

　第１の方式では、制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の一方に対して物体認識を行う。本実施形態では、制御部２３は、第２部分画像ｉｍ_p2に対して物体認識を行う。制御部２３は、物体認識により物体毎に仮認識して、認識結果を仮の認識結果として作成する。制御部２３は、物体毎に付与される信頼度をそれぞれ閾値と比較する。制御部２３は、物体毎に付与される信頼度が全て閾値を超える場合、第２部分画像ｉｍ_p2に対する物体認識による全物体に対するそれぞれの仮の認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第２部分画像ｉｍ_p2で認識される２つの物体の仮の認識結果が「おにぎり」及び「お茶」であってそれぞれの信頼度が閾値を超える場合、仮の認識結果である「おにぎり」及び「お茶」を、最終的な認識結果として確定する。

　さらに第１の方式では、制御部２３は、第２部分画像ｉｍ_p2に対する物体認識による少なくとも一部の物体に対する信頼度が閾値以下である場合、他方の部分画像である第１部分画像ｉｍ_p1に対して物体認識を行う。例えば、制御部２３は、第２部分画像ｉｍ_p2で認識される２つの物体の仮の認識結果が「おにぎり」及び「青汁」であって一方の信頼度が閾値以下である場合、第１部分画像ｉｍ_p1に対して物体認識を行う。

　さらに第１の方式では、制御部２３は、第１部分画像ｉｍ_p1に対する物体認識による全物体の仮の認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第１部分画像ｉｍ_p1で認識される２つの物体の仮の認識結果である「おにぎり」及び「お茶」を、最終的な認識結果として確定する。

　第２の方式では、制御部２３は、第１の方式と同じく、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の一方に対する物体認識及び全物体に対する信頼度の閾値との比較を行う。本実施形態では、制御部２３は、全物体の中で信頼度が閾値を超える物体に対して、一方の部分画像である第２部分画像ｉｍ_p2に対する物体認識による当該物体に対する認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第２部分画像ｉｍ_p2で認識される２つの物体の中の１つの物体の仮の認識結果が「おにぎり」であって、信頼度が閾値を超える場合、当該物体の仮の認識結果である「おにぎり」を、最終的な認識結果として確定する。

　さらに第２の方式では、制御部２３は、第２部分画像ｉｍ_p2に対する物体認識による物体に対する信頼度が閾値以下である場合、第２部分画像ｉｍ_p2における当該物体と、第１部分画像ｉｍ_p1において認識される物体との対応付けを行う。制御部２３は、例えば、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれの特定の方向における同じ位置に位置する物体を同一の物体とみなして、対応付けてよい。制御部２３は、対応付けられた物体に関して、他方の部分画像である第１部分画像ｉｍ_p1に対する物体認識を行う。例えば、制御部２３は、第２部分画像ｉｍ_p2で認識される２つの物体の中の１つの物体の仮の認識結果が「青汁」であって、信頼度が閾値以下である場合、当該物体に対して第１部分画像ｉｍ_p1に対して物体認識を行う。

　さらに第２の方式では、制御部２３は、第１部分画像ｉｍ_p1に対する物体認識による当該物体の仮の認識結果を、最終的な認識結果として確定する。例えば、制御部２３は、第２部分画像ｉｍ_p2に対する物体認識により「青汁」という仮の認識結果が作成された物体に対して、第１部分画像ｉｍ_p1に対する物体認識による仮の認識結果である「お茶」を、最終的な認識結果として確定する。

　上述の第１の方式及び第２の方式では、制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の何れを先に物体認識を行うかを、容易度に基づいて決定してよい。容易度は、物体認識される画像に対する、正確な認識結果を作成できる容易性を数値化して示す。

　制御部２３は、容易度の算出のための、例えば、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれにセグメンテーションを行い、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれにおいてセグメンテーション領域を抽出する。セグメンテーション領域は、単一の物体とみなされる像が形成されている領域である。制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれに対して抽出するセグメンテーション領域の数を、容易度として算出してよい。セグメンテーション領域の数は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれにおいて検出される物体の数と同等である。又は、制御部２３は、第１部分画像ｉｍ_p1の大きさに対するセグメンテーション領域合計の大きさ及び第２部分画像ｉｍ_p2の大きさに対するセグメンテーション領域合計の大きさを、容易度として算出してよい。又は、制御部２３は、第１部分画像ｉｍ_p1のセグメンテーション領域合計の大きさ及び第２部分画像ｉｍ_p2のセグメンテーション領域合計の大きさを、容易度として算出してよい。

　制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の中で、算出した容易度が高い一方に対して、物体認識を行わせてよい。

　第３の方式では、制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれに対して物体認識を行う。制御部２３は、第１部分画像ｉｍ_p1において仮認識される物体と、第２部分画像ｉｍ_p2において仮認識される物体とを対応付ける。制御部２３は、例えば、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれの特定の方向における同じ位置に位置する物体を同一の物体とみなして、対応付けてよい。また、制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれに位置する物体のエッジを含む形状が同一である物体を同一の物体とみなして、対応付けてよい。制御部２３は、対応付けられる物体のそれぞれの仮の認識結果が一致する場合、当該物体の仮の認識結果を、最終的な認識結果として確定する。

　さらに第３の方式では、制御部２３は、対応付けられる物体の仮の認識結果が異なる場合、それぞれの仮の認識結果を提示する。制御部２３は、例えば、仮の認識結果を示す画像を表示装置１６に表示することによって、仮の認識結果を使用者に提示してよい。制御部２３は、画像の表示を行う構成においては、当該画像に相当する画像信号を生成し、表示装置１６に送信するように、通信部２０を制御する。制御部２３は、例えば、音声による提示のように、画像の表示以外の方法によって仮の認識結果を提示してよい。制御部２３は、仮の認識結果の提示において、信頼度が大きい順番に提示してよい。制御部２３は、提示している仮の認識結果に対して、使用者による選択を入力部２１が検出するとき、選択された仮の認識結果を、最終的な認識結果として確定してよい。

　例えば、制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2での間で対応付けられている物体に対して、それぞれの物体認識による仮の認識結果が「お茶」及び「青汁」である場合、認識結果である「お茶」及び「青汁」を提示する。第１部分画像ｉｍ_p1における仮の認識結果である「お茶」の信頼度が、第２部分画像ｉｍ_p2における仮の認識結果である「青汁」の信頼度より大きい場合、仮の認識結果は、「お茶」及び「青汁」の順番で提示される。

　あるいは第３の方式において、制御部２３は、対応付けられる物体の仮の認識結果が異なり、且つ少なくとも一方の仮の認識結果の信頼度が閾値を超える場合、信頼度の大きな仮の認識結果を当該物体の最終的な認識結果として確定する。例えば、制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2での間で対応付けられている物体に対して、それぞれの物体認識による仮の認識結果が「お茶」及び「青汁」であり、それぞれの仮の認識結果の信頼度が閾値を超える場合、より信頼度の大きな仮の認識結果である「お茶」を、最終的な認識結果として確定する。

　第４の方式では、制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれにおいて物体を検出する。制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれにおいて検出される物体を対応付ける。制御部２３は、対応付けられた物体が第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれにおいて検出される部分を抽出する。制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれから抽出した部分を組み合わせて物体認識を行う。制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の部分的な組み合わせに対する物体認識による物体の仮の認識結果を作成する。制御部２３は、作成する仮の認識結果を最終的な認識結果として確定する。

　制御部２３は、確定した最終的な認識結果を示す情報を、サーバ１２に送信するように、通信部２０を制御する。制御部２３は、最終的な認識結果を示す情報の送信に対して、サーバ１２から請求金額を示す情報を受信するとき、当該請求金額をユーザに提示する。制御部２３は、例えば、当該請求金額の支払いを要求する画像を作成し、表示装置１６に表示させることにより、ユーザに提示してよい。

　サーバ１２は、例えば、物理サーバ又はクラウドサーバで構成されている。サーバ１２は、情報処理システム１０から送信される最終的な認識結果を示す情報に基づいて、当該情報処理システム１０における載置台１８に載置された物体を特定する。サーバ１２は、データベースから当該物体の販売価格を読出すことにより当該情報処理システム１０のユーザに対する請求金額を算出する。サーバ１２は、当該請求金額を示す情報を情報処理システム１０に送信する。

　サーバ１２は、情報処理システム１０において物体認識に用いる、複数の特定の物体の画像、特徴量、表面に描画されている文字等の参照用データベースを有しており、当該参照用データベース内の参照用情報を情報処理システム１０に送信してよい。

　次に、本実施形態において制御部２３が実行する、第１の方式による確定処理について、図５のフローチャートを用いて説明する。第１の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。

　ステップＳ１００において、制御部２３は、受信する画像信号に相当する画像ｉｍを第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2に分割する。分割後、プロセスはステップＳ１０１に進む。

　ステップＳ１０１では、制御部２３は、ステップＳ１００において分割した第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれから、セグメンテーション領域を抽出する。抽出後、プロセスはステップＳ１０２に進む。

　ステップＳ１０２では、制御部２３は、ステップＳ１０１において抽出したセグメンテーション領域に基づいて、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれの容易度を算出する。算出後、プロセスはステップＳ１０３に進む。

　ステップＳ１０３では、制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の中で、ステップＳ１０２において算出した容易度の高い一方の部分画像を選択する。選択後、プロセスはステップＳ１０４に進む。

　ステップＳ１０４では、制御部２３は、ステップＳ１０３において選択した一方の部分画像に対して物体認識を行う。制御部２３は、物体認識により仮認識される各物体の仮の認識結果の信頼度を算出する。物体認識後、プロセスはステップＳ１０５に進む。

　ステップＳ１０５では、制御部２３は、ステップＳ１０４において認識した全物体それぞれに対する信頼度が閾値を超えているか否かを判別する。全物体それぞれに対する信頼度が閾値を超えている場合、プロセスはステップＳ１０６に進む。少なくとも一部の物体に対する信頼度が閾値を超えていない場合、プロセスはステップＳ１０７に進む。

　ステップＳ１０６では、制御部２３は、ステップＳ１０４において仮認識された全物体の仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ１０９に進む。

　ステップＳ１０７では、制御部２３は、ステップＳ１０３において選択された一方の部分画像に対する他方の部分画像に対して物体認識を行う。物体認識後、プロセスはステップＳ１０８に進む。

　ステップＳ１０８では、制御部２３は、ステップＳ１０８において物体認識により仮認識された全物体の仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ１０９に進む。

　ステップＳ１０９では、制御部２３は、ステップＳ１０６又はステップＳ１０８において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第１の方式による確定処理は終了する。

　次に、本実施形態において制御部２３が実行する、第２の方式による確定処理について、図６のフローチャートを用いて説明する。第２の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。

　ステップＳ２００からステップＳ２０６において、制御部２３は、第１の方式による確定処理のステップＳ１００からステップＳ１０６と同じ処理を行う。ステップＳ２０５において、少なくとも一部の物体に対する信頼度が閾値を超えていない場合に、プロセスはステップＳ２０７に進む。ステップＳ２０６において、確定後、プロセスはステップＳ２１０に進む。

　ステップＳ２０７では、制御部２３は、ステップＳ２０４において算出した信頼度が閾値より低い仮の認識結果である物体と、ステップＳ２０３において選択された一方の部分画像に対する他方の部分画像において認識される物体との対応付けを行う。対応付け後、プロセスはステップＳ２０８に進む。

　ステップＳ２０８では、制御部２３は、ステップＳ２０７において対応付けられた物体に関して、ステップＳ２０３において選択された一方の部分画像に対する他方の部分画像に対する物体認識を行う。物体認識後、プロセスはステップＳ２０９に進む。

　ステップＳ２０９では、制御部２３は、ステップＳ２０４において算出した信頼度が閾値より低い仮の認識結果を、当該仮の認識結果の物体に対する最終的な認識結果として確定する。制御部２３は、ステップＳ２０４において算出した信頼度が閾値より低い仮の認識結果である物体に対しては、ステップＳ２０８における物体認識による仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ２１０に進む。

　ステップＳ２１０では、制御部２３は、ステップＳ２０６又はステップＳ２０９において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第２の方式による確定処理は終了する。

　次に、本実施形態において制御部２３が実行する、第３の方式による確定処理について、図７のフローチャートを用いて説明する。第３の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。

　ステップＳ３００において、制御部２３は、受信する画像信号に相当する画像ｉｍを第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2に分割する。分割後、プロセスはステップＳ３０１に進む。

　ステップＳ３０１では、制御部２３は、ステップＳ３００において分割した第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれに対して物体認識を行う。物体認識後、プロセスはステップＳ３０２に進む。

　ステップＳ３０２では、制御部２３は、ステップＳ３０１において物体認識により第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれで仮認識された各物体の対応付けを行う。対応付け後、プロセスはステップＳ３０３に進む。

　ステップＳ３０３では、制御部２３は、ステップＳ３０２において対応付けられた全物体の中で、仮の認識結果が一致しているか否かを判別されていない物体を選択する。選択後、プロセスはステップＳ３０４に進む。

　ステップＳ３０４では、制御部２３は、対応付けられている物体に関して、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれに対する物体認識による仮の認識結果が一致しているか否かを判別する。一致する場合、プロセスはステップＳ３０５に進む。一致しない場合、プロセスはステップＳ３０６に進む。

　ステップＳ３０５では、制御部２３は、ステップＳ３０３において選択した物体に対する、ステップＳ３０１の物体認識の仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ３１０に進む。

　ステップＳ３０６では、制御部２３は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれに対する物体認識による仮の認識結果を、信頼度が高い順でユーザに提示する。提示後、プロセスはステップＳ３０７に進む。

　ステップＳ３０７では、制御部２３は、提示した仮の認識結果の何れかを選択するユーザ入力を検出しているか否かを判別する。検出されていない場合、プロセスはステップＳ３０７に戻る。検出されている場合、プロセスはステップＳ３０８に進む。

　ステップＳ３０８では、制御部２３は、ステップＳ３０７において選択のユーザ入力が確認された仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ３０９に進む。

　ステップＳ３０９では、制御部２３は、ステップＳ３０２において対応付けられている全物体に対して、仮の認識結果が一致しているかについての判別が行われているか否かを判別する。全物体に対して判別されていない場合、プロセスはステップＳ３０３に戻る。全物体に対して判別されている場合、プロセスはステップＳ３１０に進む。

　ステップＳ３１０では、制御部２３は、ステップＳ３０５又はステップＳ３０８において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第３の方式による確定処理は終了する。

　次に、本実施形態において制御部２３が実行する、第３の方式の変形例による確定処理について、図８のフローチャートを用いて説明する。第３の方式の変形例による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。

　ステップＳ４００からステップＳ４０５において、制御部２３は、第３の方式による確定処理のステップＳ３００からステップＳ３０５と同じ処理を行う。ステップＳ３０４において、対応付けられている物体に関して、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれに対する物体認識による仮の認識結果が一致する場合、プロセスはステップＳ４０６に進む。ステップＳ４０５において、確定後、プロセスはステップＳ４１２に進む。

　ステップＳ４０６では、制御部２３は、ステップＳ４０３において選択される物体に関する、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれに対して行われた物体認識による仮の認識結果の信頼度の少なくとも一方が閾値を超えているか否かを判別する。超えている場合、プロセスはステップＳ４０７に進む。超えていない場合、プロセスはステップＳ４０８に進む。

　ステップＳ４０７では、制御部２３は、ステップＳ４０３で選択される物体に対して、信頼度がより高い仮の認識結果を、最終的な認識結果として確定する。確定後、プロセスはステップＳ４１２に進む。

　ステップＳ４０８からステップＳ４１２において、制御部２３は、第３の方式による確定処理のステップＳ３０６からステップＳ３１０と同じ処理を行う。ステップＳ４１２において、最終的な認識結果を示す情報の送信後、第３の方式の変形例による確定処理は終了する。

　次に、本実施形態において制御部２３が実行する、第４の方式による確定処理について、図９のフローチャートを用いて説明する。第４の方式の方式による確定処理は、カメラ１４から１フレームの画像信号を受信するたびに開始する。

　ステップＳ５００において、制御部２３は、受信する画像信号に相当する画像ｉｍを第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2に分割する。分割後、プロセスはステップＳ５０１に進む。

　ステップＳ５０１では、制御部２３は、ステップＳ５００において分割した第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれに対して物体の検出を行う。物体検出後、プロセスはステップＳ５０２に進む。

　ステップＳ５０２では、制御部２３は、ステップＳ５０１において第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれで検出された各物体の対応付けを行う。対応付け後、プロセスはステップＳ５０３に進む。

　ステップＳ５０３では、制御部２３は、ステップＳ５０２において対応付けられた各物体の第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれにおいて検出される部分を抽出する。制御部２３は、対応付けられている物体に対して抽出した部分を組み合わせて、物体認識を行う。物体認識後、プロセスはステップＳ５０４に進む。

　ステップＳ５０４では、制御部２３は、ステップＳ５０３において行った物体認識による仮の認識結果を最終的な認識結果として確定する。確定後、プロセスはステップＳ５０５に進む。

　ステップＳ５０５では、制御部２３は、ステップＳ５０４において確定した最終的な認識結果を示す情報をサーバ１２に送信するように、通信部２０を制御する。送信後、第４の方式による確定処理は終了する。

　以上のような構成の本実施形態の情報処理システム１０は、カメラ１４から受信する画像信号に相当する画像ｉｍの全領域における反射部１５が占める領域における第１部分画像ｉｍ_p1と、当該領域以外の領域における第２部分画像ｉｍ_p2とに対して、物体認識を行う。このような構成により、情報処理システム１０では、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2では、それぞれ異なる方向から見た同じ物体の像が含まれ得る。したがって、情報処理システム１０は、認識させる物体の姿勢を調整することなく、単一のカメラ１４であっても、複数の方向から見た物体の像を用いて物体認識を行い得る。その結果、情報処理システム１０は、簡潔な構成で物体の認識精度を向上させ得る。

　また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の一方に対して物体認識を行い、当該物体認識による物体の仮の認識結果の信頼度を算出し、当該信頼度が閾値を超える場合、当該物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、認識結果の正確性を示す指標である信頼度に基づいて認識結果を確定しているので、物体の認識精度をさらに向上させ得る。

　また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の一方に対して物体認識による少なくとも一部の物体に対する信頼度が閾値以下である場合、他方において物体認識を行い、当該物体認識による全物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、認識精度の低い認識結果である場合に、異なる方向から見た物体の物体認識が行われるので、認識精度の高さを維持した物体認識を行い得る。

　また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の一方に対して物体認識による物体に対する信頼度が閾値以下である場合、他方における当該物体を含む部分において物体認識を行い、当該物体認識により仮認識される当該物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、一方の部分画像の物体認識による認識結果が閾値以下の物体に対して、他方の部分画像を用いた物体認識が行われるので、認識精度をさらに向上させ得る。

　また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2における物体認識の容易度を算出し、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の中で容易度が高い一方に対して先に物体認識を行う。このような構成により、情報処理システム１０は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の両者に対する物体認識を行う可能性を低減し、処理負荷の低減及び処理の迅速化に貢献し得る。

　また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれに対して物体認識を行い、第１部分画像ｉｍ_p1において仮認識される物体と第２部分画像ｉｍ_p2において仮認識される物体とを対応付け、対応付けられる物体のそれぞれの仮の認識結果が一致する場合に当該物体の仮の認識結果を確定する。このような構成により、情報処理システム１０は、物体の認識精度を一層向上させ得る。

　また、本実施形態の情報処理システム１０は、対応付けられる物体のそれぞれの仮の認識結果が異なる場合、それぞれの仮の認識結果を提示する。仮の認識結果が異なる場合、それぞれの仮の認識結果は誤りである可能性がある。そこで、上述の構成により、情報処理システム１０は、仮の認識結果が確定されていない物体及び当該物体の仮の認識結果を候補として、ユーザに報知し得る。

　また、本実施形態の情報処理システム１０は、それぞれの仮の認識結果に対するそれぞれの信頼度が大きな順番で、それぞれの仮の認識結果を提示する。このような構成により、情報処理システム１０は、仮の認識結果が確定されていない物体をユーザに迅速に特定させ得る。

　また、本実施形態の情報処理システム１０は、対応付けられる物体のそれぞれの仮の認識結果が異なり且つ少なくとも一方の仮の認識結果の信頼度が閾値を超える場合、信頼度の大きな仮の認識結果を当該物体の認識結果として確定する。仮の認識結果が異なっている場合であっても、閾値を超えている仮の認識結果は正しい可能性が高い。そこで上述の構成により、情報処理システム１０は、可能な限り、ユーザに操作を要請することなく、自動的に物体認識を実行し得る。

　また、本実施形態の情報処理システム１０は、第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれにおいて物体を検出し、第１部分画像ｉｍ_p1において検出される物体と第２部分画像ｉｍ_p2において検出される物体とを対応付け、対応付けられる物体が第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2それぞれにおいて検出される部分を組み合わせて物体認識を行い、当該物体認識による物体の仮の認識結果を確定する。認識対象である物体の複数の方向からの外観を用いる物体認識は、単一の方向からの外観を用いる物体認識より、一般的に認識精度は高い。したがって上述の構成により、情報処理システム１０は、認識精度をさらに向上させ得る。

　図１０に示すように、精算システム１１１は、少なくとも１つの情報処理システム１１０と、サーバ１１２とを含む。サーバ１１２は、物理サーバであってよいし、クラウドサーバであってよい。情報処理システム１１０とサーバ１１２とは、ネットワーク１１３を介して通信可能である。ネットワーク１１３は、無線、有線、又は、無線及び有線の組み合わせであってよい。

　情報処理システム１１０は、コンビニエンスストア及びスーパーマーケット等の任意の店舗に、配置されてよい。情報処理システム１１０は、店舗のキャッシュレジスター端末として構成されてよい。情報処理システム１１０は、顧客が後述の載置台１１４に載置した商品を撮像することにより、撮像画像を生成する。情報処理システム１１０は、生成した撮像画像中の物体が、店舗の何れの商品であるかを特定する。本開示において「撮像画像中の物体」は、撮像画像中の、画像として描画される物体の像を意味する。情報処理システム１１０は、特定した商品情報を、ネットワーク１１３を介してサーバ１１２に送信する。当該商品情報には、商品名及び商品の数等が含まれ得る。サーバ１１２は、商品情報に基づいて、顧客に対する請求金額を算出する。サーバ１１２は、請求金額を、ネットワーク１１３を介して情報処理システム１１０に送信する。情報処理システム１１０は、顧客に請求金額を提示することにより、顧客に請求金額の支払いを要求する。

　図１１に示すように、情報処理システム１１０は、カメラ１１６（撮像部）と、情報処理装置１１８とを含む。情報処理システム１１０は、載置台１１４と、支持柱１１５と、表示装置１１７とを含んでよい。

　載置台１１４は、載置面１１４ａを含む。顧客は、会計時に、購入したい商品を載置面１１４ａに載置する。本実施形態では、載置面１１４ａは、略長方形状である。ただし、載置面１１４ａは、任意の形状であってよい。

　支持柱１１５は、載置台１１４の側部から、載置面１１４ａの法線方向の一方に向けて延びる。当該法線方向の一方は、載置面１１４ａの法線方向のうち、載置面１１４ａから離れる方向であってよい。支持柱１１５の先端には、カメラ１１６が位置する。

　カメラ１１６は、撮像により撮像画像に相当する画像信号を生成する。本実施形態では、カメラ１１６は、載置台１１４の載置面１１４ａを撮像する。ただし、カメラ１１６が撮像する範囲は、載置面１１４ａの少なくとも一部であればよく、載置面１１４ａを超える範囲であってもよい。また、カメラ１１６が撮像する範囲は、載置台１１４の載置面１１４ａに限定されない。例えば、カメラ１１６が撮像する範囲は、後述の図２６に示すような、買い物かご３１４の中であってよい。

　カメラ１１６は、載置台１１４の載置面１１４ａを撮像可能に、配置されていてよい。カメラ１１６は、載置面１１４ａに光軸が垂直になるように、配置されていてよい。カメラ１１６は、支持柱１１５の先端に、配置されていてよい。カメラ１１６は、載置台１１４の載置面１１４ａを撮像可能に、例えば支持柱１１５の先端に、固定されていてよい。

　カメラ１１６は、情報処理装置１１８から、撮像開始を指示する信号を取得し得る。カメラ１１６は、撮像開始を指示する信号を取得すると、撮像を開始し得る。カメラ１１６は、撮像により生成した画像信号を、通信線を介して情報処理装置１１８に、出力する。カメラ１１６は、任意のフレームレートで連続的に撮像を実行する。カメラ１１６は、連続的に撮像を実行することにより、撮像時刻が異なる画像信号を生成し得る。ただし、カメラ１１６は、所定トリガーに基づいて、静止画を随時撮像してよい。

　表示装置１１７は、液晶ディスプレイ等の任意のディスプレイを含んで構成されてよい。表示装置１１７は、情報処理装置１１８から取得した信号に基づいて、画像を表示する。例えば、表示装置１１７は、情報処理装置１１８から、商品の請求金額を示す信号を取得し得る。表示装置１１７は、当該商品の請求金額を示す信号に基づいて、請求金額を示す画像を表示し得る。

　表示装置１１７は、タッチスクリーン機能を有してよい。表示装置１１７は、載置台１１４の近辺の近くに配置されてよい。表示装置１１７は、顧客が商品を載置台１１４に置く際に、顧客の方を向くように、配置されていてよい。

　情報処理装置１１８は、載置台１１４の近辺に配置されてよい。図１２に示すように、情報処理装置１１８は、制御部１２３を含む。情報処理装置１１８は、通信部１２０と、入力部１２１と、記憶部１２２とを含んでよい。

　通信部１２０は、任意の通信モジュールを含む。当該任意の通信モジュールは、通信線を介してカメラ１１６と通信可能な通信モジュール、通信線を介して表示装置１１７と通信可能なモジュール、及び、ネットワーク１１３を介してサーバ１１２と通信可能な通信モジュールを含んでよい。カメラ１１６と通信部１２０との間の通信線、及び、表示装置１１７と通信部１２０との間の通信線は、有線又は無線を含んで構成されていてよい。

　入力部１２１は、ユーザ入力を検出可能な１つ以上のインタフェースを含む。例えば、入力部１２１は、物理キー、静電容量キー及びタッチスクリーンの少なくとも何れかを含んで構成されてよい。本実施形態においては、入力部１２１は、タッチスクリーンである。タッチスクリーンである入力部１２１は、表示装置１１７と一体として設けられている。

　記憶部１２２は、ＲＡＭ及びＲＯＭ等の任意の記憶デバイスを含む。記憶部１２２は、制御部１２３を機能させる多様なプログラム及び制御部１２３が用いる多様な情報を記憶する。

　記憶部１２２は、店舗の商品データを記憶してよい。当該商品データは、後述の物体検出及び物体認識等に用いられ得る。商品データは、商品を識別する識別子と対応付けられた、商品画像及び商品のパッケージに付された文字等を含んでよい。以下、商品を識別する識別子は、便宜上、商品名であるものとする。

　制御部１２３は、１つ以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ）を含んでよい。ＰＬＤは、ＦＰＧＡを含んでよい。制御部１２３は、１つ又は複数のプロセッサが協働するＳｏＣ及びＳｉＰの何れかであってよい。

　制御部１２３は、通信部１２０によって、ネットワーク１１３を介してサーバ１１２から、上述の商品データを取得してよい。制御部１２３は、取得した商品データを、記憶部１２２に記憶させてよい。

　制御部１２３は、カメラ１１６に、撮像開始を指示する信号を、通信部１２０によって送信し得る。制御部１２３は、情報処理装置１１８が起動したときに、撮像開始を指示する信号を送信してよい。制御部１２３は、撮像開始を指示するユーザ入力を、入力部１２１によって検出したとき、撮像開始を指示する信号を送信してよい。当該ユーザ入力は、店員によって、店舗の開店時等に、入力部１２１から入力され得る。

　制御部１２３は、カメラ１１６から、画像信号を、通信部１２０によって取得する。制御部１２３は、画像信号を取得することにより、画像信号に相当する撮像画像を取得し得る。制御部１２３は、取得した撮像画像を記憶部１２２に記憶させてよい。カメラ１１６によって撮像時刻が異なる画像信号が生成されることにより、制御部１２３は、撮像時刻が異なる撮像画像を取得し得る。ここで、顧客は、複数の商品を購入する場合、次々に、商品を載置台１１４の載置面１１４ａに載置し得る。顧客が商品を次々に載置台１１４の載置面１１４ａに載置することにより、撮像画像には、当該撮像画像の撮像時間が進むに連れて、次々に載置台１１４に載置されていく商品が映り得る。例えば、制御部１２３は、図１３、図１４及び図１５に示すような、撮像画像１３０，１３１，１３２を取得し得る。

　図１３に示すような撮像画像１３０は、撮像時刻ｔ０に撮像された画像である。撮像時刻ｔ０では、載置台１１４の載置面１１４ａには、商品等が載置されていない。撮像画像１３０は、載置台１１４の載置面１１４ａに対応する画像を含む。

　図１４に示すような撮像画像１３１は、撮像時刻ｔ１に撮像された画像である。撮像時刻ｔ１は、撮像時刻ｔ０よりも、後の時刻である。撮像時刻ｔ１では、バターが載置台１１４の載置面１１４ａに載置されている。撮像画像１３１は、部分画像１３１ａを含む。部分画像１３１ａは、撮像画像１３１の一部である。部分画像１３１ａは、バターに対応する。

　図１５に示すような撮像画像１３２は、撮像時刻ｔ２に撮像された画像である。撮像時刻ｔ２は、撮像時刻ｔ１よりも、後の時刻である。撮像時刻ｔ２では、バター及びおにぎりが、載置台１１４の載置面１１４ａに載置されている。おにぎりは、顧客がバターを載置台１１４に載置した後に、載置される。おにぎりは、バターの一部に重ねられている。撮像画像１３２は、部分画像１３２ａと、部分画像１３２ｂとを含む。部分画像１３２ａ及び部分画像１３２ｂは、撮像画像１３２の一部である。部分画像１３２ａは、バターに対応する。部分画像１３２ｂは、おにぎりに対応する。おにぎりがバターの一部に重ねられていることにより、部分画像１３２ａは、図１４に示すような部分画像１３１ａとは異なり、一部が欠けている。

　制御部１２３は、撮像時刻の異なる２つの撮像画像に基づいて、差分画像を生成する。例えば、制御部１２３は、２つの撮像画像にそれぞれ含まれる各画素の輝度値の差分を算出することにより、差分画像を生成してよい。ここで、制御部１２３は、撮像時刻の異なる２つの撮像画像に差分があると判定する場合、差分画像を生成してよい。以下、２つの撮像画像に差分があるか否かを判定する処理の一例を説明する。

　制御部１２３は、物体検出によって、撮像画像中の物体の数を検出する。本開示において「物体検出」は、検出の対象となる物体を、撮像画像中の背景及び他の物体から区別して検出することを意味する。検出の対象となる物体は、情報処理システム１１０が配置されている店舗の商品である。制御部１２３は、公知の物体検出方法によって撮像画像中の物体を検出することにより、物体の数を検出してよい。公知の物体検出方法の一例として、セグメンテーション、セマンティックセグメンテーション及び／又はバウンディングボックスを利用する方法が挙げられる。制御部１２３は、公知の物体認識方法によって、撮像画像中の物体の数を検出してよい。公知の物体認識方法の一例として、深層学習等の機械学習及び／又は特徴量パターンマッチングを利用する方法が挙げられる。

　制御部１２３は、撮像画像中の個別に検出された物体の数が変化したか否か判定する。制御部１２３は、最新の検出処理で検出された物体の数と、最新の物体検出の処理の１つ前の検出処理で検出された物体の数とを比較することにより、撮像画像中の個別に検出された物体の数が変化したか否か判定してよい。このような構成により、２つの撮像画像に差分があるか否かが判定され得る。

　制御部１２３は、個別に検出された物体の数が変化したと判定する場合、物体の数が変化したときの撮像画像と、当該撮像画像の撮像時刻よりも前の撮像時刻の撮像画像とを用いて、差分画像を生成する。物体の数が変化したときの撮像画像の撮像時刻よりも前の撮像時刻の撮像画像として、物体の数が変化したときの撮像画像の撮像時刻よりも、所定時間前に撮像された撮像画像が用いられてよい。所定時間は、顧客が１つの商品を載置台１１４に載置してから次の商品を載置台１１４に載置するまでに要する時間を想定して、適宜設定されてよい。又は、物体の数が変化したときの撮像画像の撮像時刻よりも前の撮像時刻の撮像画像として、物体の数が変化する前の撮像画像が用いられてよい。当該物体の数が変化する前の撮像画像は、物体の数が変化する前の撮像画像の中で、最新のものであってよい。本実施形態では、物体の数が変化したときの撮像画像の撮像時刻よりも前の撮像時刻の撮像画像として、物体の数が変化する前の撮像画像が用いられる。

　例えば、検出処理にて、制御部１２３は、撮像画像１３０の中の物体の数をゼロ個と検出する。次の検出処理にて、制御部１２３は、撮像画像１３１の中の物体の数を１個と検出する。制御部１２３は、最新の検出処理にて検出した物体の数の１個と、最新の検出処理の１つ前の検出処理で検出された物体の数のゼロ個とを比較することにより、撮像画像１３１中の個別に検出された物体の数が変化したと判定する。制御部１２３は、物体の数が１個に変化した撮像画像１３１と、物体の数が１個に変化する前の撮像画像１３０とを用いて、図１６に示すような、差分画像１４０を生成する。差分画像１４０は、部分画像１４０ａを含む。部分画像１４０ａは、ゼロではない画素が連続する領域である。部分画像１４０ａは、撮像画像１３１の部分画像１３１ａと、部分画像１３１ａに対応する撮像画像１３０の部分との間の差分値に基づいて生成され得る。部分画像１４０ａは、２つの撮像画像すなわち撮像画像１３０及び撮像画像１３１のうちの、撮像画像１３１に含まれる部分画像１３１ａに対応する。

　例えば、検出処理にて、制御部１２３は、撮像画像１３２の中の物体を２個と検出する。当該検出処理の１つ前の検出処理は、撮像画像１３１に対する検出処理であるとする。制御部１２３は、最新の検出処理にて検出した物体の数の２個と、最新の検出処理の１つ前の検出処理で検出された物体の数の１個とを比較することにより、撮像画像１３２の中の個別に検出された物体の数が変化したと判定する。制御部１２３は、物体の数が２個に変化した撮像画像１３２と、物体の数が２個に変化する前の撮像画像１３１とを用いて、図１７に示すような、差分画像１４１を生成する。差分画像１４１は、部分画像１４１ａを含む。部分画像１４１ａは、ゼロではない画素が連続する領域である。部分画像１４１ａは、撮像画像１３２の部分画像１３２ｂと、部分画像１３２ｂに対応する撮像画像１３１の部分との間の差分値に基づいて生成され得る。部分画像１４１ａは、２つの撮像画像すなわち撮像画像１３１及び撮像画像１３２のうちの、撮像画像１３２に含まれる部分画像１３２ｂに対応する。

　制御部１２３は、差分画像１４０，１４１に対して物体認識を実行することにより、撮像画像１３０～１３２の少なくとも何れかに含まれる部分画像に対応する物体を特定する。差分画像に対する物体認識は、差分画像中の部分画像を解析することにより、当該部分画像に対応する物体の識別子すなわち名称を特定することを含んでよい。差分画像に対する物体認識は、差分画像から物体を検出することを含んでよい。制御部１２３は、公知の物体認識方法を、差分画像に対して実行してよい。公知の物体認識方法の一例として、深層学習等の機械学習、文字認識、及び／又は、特徴量パターンマッチングを利用する方法が挙げられる。制御部１２３は、差分画像１４０に対して物体認識を実行することにより、部分画像１４０ａを検出して、部分画像１４０ａに対応する物体の商品名が「バター」であると特定する。制御部１２３は、差分画像１４１に対して物体認識を実行することにより、物体に対応する部分画像１４１ａを検出して、部分画像１４１ａに対応する物体の商品名が「おにぎり」であることを特定する。

　制御部１２３は、会計の要求を指示するユーザ入力を、入力部１２１によって検出したとき、差分画像の生成を終了する。会計の要求を指示するユーザ入力は、顧客が商品を全て載置台１１４に載置させた後、顧客によって入力部１２１から入力され得る。又は、制御部１２３は、撮像画像中の物体の数が変化したと判定してから所定時間経過しても、撮像画像中から個別に検出される物体の数が変化しない場合、差分画像の生成を終了してよい。所定時間は、顧客が１つの商品を載置台１１４に載置してから次の商品を載置台１１４に載置するまでに要すると想定される時間よりも、長い時間であってよい。

　制御部１２３は、物体を特定する処理を終了すると、特定した商品情報を、ネットワーク１１３を介してサーバ１１２に、通信部１２０によって送信する。当該商品情報には、商品名及び商品の数等が含まれ得る。サーバ１１２は、当該商品情報を、ネットワーク１１３を介して情報処理装置１１８から取得する。サーバ１１２は、当該商品情報に基づいて、顧客に対して請求すべき請求金額を算出する。サーバ１１２は、請求金額を示す信号を、ネットワーク１１３を介して情報処理装置１１８に送信する。制御部１２３は、ネットワーク１１３を介してサーバ１１２から、請求金額を示す信号を、通信部１２０によって取得する。制御部１２３は、請求金額を示す信号を、通信部１２０によって表示装置１１７に送信する。

　図１８は、本開示の他の実施形態に係る情報処理システム１１０の物体特定処理を示すフローチャートである。制御部１２３は、カメラ１１６からの画像信号の取得を開始すると、物体特定処理を開始してよい。制御部１２３は、カメラ１１６から取得した画像信号を、記憶部１２２に記憶させてよい。また、制御部１２３は、顧客の会計が終了した後、再び、物体特定処理を開始してよい。

　制御部１２３は、撮像画像中の物体の数を検出する（ステップＳ６１０）。制御部１２３は、撮像画像中の個別に検出された物体の数が変化したか否か判定する（ステップＳ６１１）。

　制御部１２３は、個別に検出された物体の数が変化したと判定する場合（ステップＳ６１１：ＹＥＳ）、ステップＳ６１２の処理に進む。一方、制御部１２３は、個別に検出された物体の数が変化しないと判定する場合（ステップＳ６１１：ＮＯ）、ステップＳ６１０の処理に戻る。

　ステップＳ６１２の処理では、制御部１２３は、物体の数が変化したときの撮像画像と、当該撮像画像の撮像時刻よりも前の撮像時刻の撮像画像とを用いて、差分画像を生成する。ステップＳ６１３の処理では、制御部１２３は、差分画像に対して物体認識を実行することにより、物体を特定する。

　ステップＳ６１４の処理では、制御部１２３は、会計の要求を指示するユーザ入力を、入力部１２１によって検出したか否か判定する。制御部１２３は、会計の要求を指示するユーザ入力を、入力部１２１によって検出したと判定する場合（ステップＳ６１４：ＹＥＳ）、ステップＳ６１５の処理に進む。一方、制御部１２３は、会計を指示するユーザ入力を、入力部１２１によって検出したと判定しない場合（ステップＳ６１４：Ｎо）、ステップＳ６１０の処理に戻る。

　ステップＳ６１５の処理では、制御部１２３は、特定した商品情報を、通信部１２０によってサーバ１１２に送信する。

　ここで、制御部１２３は、ステップＳ６１１の処理にて個別に検出された物体の数が変化したと判定してから、所定時間経過しても、撮像画像中から個別に検出された物体の数が変化しない場合、ステップＳ６１５の処理に進んでよい。

　このように本実施形態に係る情報処理システム１１０では、情報処理装置１１８によって、撮像時刻の異なる２つの撮像画像から、差分画像が生成される。２つの撮像画像の何れかが物体に対応する部分画像を複数含む場合でも、これら複数の部分画像は、別個の差分画像に含まれ得る。例えば、図１５に示すような撮像画像１３２は、バターに対応する部分画像１３２ａと、おにぎりに対応する部分画像１３２ｂとを含む。部分画像１３２ａに対応する部分画像１４０ａは、差分画像１４０に含まれる。部分画像１３２ｂに対応する部分画像１４１ａは、差分画像１４１に含まれる。情報処理装置１１８は、このような差分画像に対して物体認識が実行されることにより、撮像画像に対して物体認識を実行する場合よりも、物体を精度良く特定することができる。

　さらに、本実施形態に係る情報処理システム１１０では、物体を複数方向からカメラによって撮像しなくても、差分画像に対して物体認識を実行することにより、物体を特定することができる。情報処理システム１１０では、物体を複数方向からカメラで撮像しなく済むことにより、複数のカメラを載置台１１４に向けて設置しなくて済む。このような構成により、本実施形態に係る情報処理システム１１０では、より簡素な構成で、物体を特定することができる。

　よって、本実施形態によれば、改善された、情報処理システム１１０、情報処理装置１１８及び情報処理方法が提供され得る。

　また、本実施形態に係る情報処理システム１１０では、個別に検出された物体の数が変化したときの撮像画像と、当該撮像画像の撮像時刻よりも前の撮像時刻の撮像画像とを用いて、差分画像が生成される。このような構成により、より確実に差分がある撮像画像を用いて、差分画像が生成され得る。

　次に、本開示のさらに他の実施形態に係る情報処理システム１１０について説明する。本開示のさらに他の実施形態では、制御部１２３は、差分画像の生成に用いる上述の撮像時刻の異なる２つの撮像画像として、手指に対応する部分画像を含む撮像画像の撮像時刻の前後の撮像時刻の撮像画像を用いる。本開示のさらに他の実施形態において、記憶部２２は、手指の画像等を記憶してよい。

　制御部１２３は、カメラ１１６から取得する撮像画像に、手指に対応する部分画像が含まれているか否か判定する。制御部１２３は、撮像画像に物体認識を実行することにより、手指に対応する部分画像が含まれているか否か判定してよい。

　制御部１２３は、手指に対応する部分画像が撮像画像に含まれていると判定する場合、当該撮像画像の撮像時刻の前後の撮像時刻の撮像画像を取得する。例えば、制御部１２３は、手指に対応する部分画像を含む撮像画像の撮像時刻よりも第１時間前の撮像時刻の撮像画像と、手指に対応する部分画像を含む撮像画像の撮像時刻よりも第２時間後の撮像時刻の撮像画像とを取得してよい。第１時間及び第２時間は、顧客が個々の商品を載置台１１４に置く際に要する時間を想定して、適宜設定されてよい。第１時間と第２時間とは、同じであってよいし、異なってよい。本実施形態では、制御部１２３は、手指に対応する部分画像を含む撮像画像の撮像時刻よりも第１時間前の撮像時刻の撮像画像と、手指に対応する部分画像を含む撮像画像の撮像時刻よりも第２時間後の撮像時刻の撮像画像とを取得する。

　例えば、制御部１２３は、図１９に示すような、撮像画像１３３を取得する。撮像画像１３３は、撮像時刻ｔ０１に撮像された画像である。撮像時刻ｔ０１では、顧客が手でバターを掴んで、載置台１１４の載置面１１４ａに載置しようとしている。撮像画像１３３は、部分画像１３３ａと、部分画像１３３ｂとを含む。部分画像１３３ａ及び部分画像１３３ｂは、撮像画像１３３の一部である。部分画像１３３ａは、手指に対応する。部分画像１３３ｂは、バターに対応する。制御部１２３は、撮像画像１３３に、手指に対応する部分画像１３３ａが含まれていると判定する。ここで、撮像時刻ｔ０１よりも、第１時間前の撮像時刻は、上述の撮像画像１３０の撮像時刻ｔ０であるものとする。また、撮像時刻ｔ０１よりも、第２時間後の撮像時刻は、上述の撮像画像１３１の撮像時刻ｔ１であるものとする。制御部１２３は、上述の撮像画像１３０と上述の撮像画像１３１とを用いて、上述の差分画像１４０を生成する。

　例えば、制御部１２３は、図２０に示すような、撮像画像１３４を取得する。撮像画像１３４は、撮像時刻ｔ１２に撮像された画像である。撮像時刻ｔ１２では、顧客がおにぎりを手で掴んで、載置台１１４の載置面１１４ａに載置しようとしている。撮像画像１３４は、部分画像１３４ａと、部分画像１３４ｂと、部分画像１３４ｃとを含む。部分画像１３４ａ、部分画像１３４ｂ及び部分画像１３４ｃは、撮像画像１３４の一部である。部分画像１３４ａは、手指に対応する。部分画像１３４ｂは、おにぎりに対応する。部分画像１３４ｃは、バターに対応する。制御部１２３は、撮像画像１３４に、手指に対応する部分画像１３４ａが含まれていると判定する。ここで、撮像時刻ｔ１２よりも、第１時間前の撮像時刻は、上述の撮像画像１３１の撮像時刻ｔ１であるものとする。また、撮像時刻ｔ１２よりも、第２時間後の撮像時刻は、上述の撮像画像１３２の撮像時刻ｔ２であるものとする。制御部１２３は、上述の撮像画像１３１と上述の撮像画像１３２とを用いて、上述の差分画像１４１を生成する。

　図２１は、本開示のさらに他の実施形態に係る情報処理システム１１０の物体特定処理を示すフローチャートである。制御部１２３は、カメラ１１６から画像信号の取得を開始すると、物体特定処理を開始してよい。制御部１２３は、カメラ１１６から取得した画像信号を、記憶部１２２に記憶させてよい。また、制御部１２３は、顧客の会計が終了した後、再び、物体特定処理を開始してよい。

　制御部１２３は、撮像画像に物体認識を実行することにより（ステップＳ６２０）、手指に対応する部分画像が含まれているか否か判定する（ステップＳ６２１）。制御部１２３は、手指に対応する部分画像が撮像画像に含まれていると判定する場合（ステップＳ６２１：ＹＥＳ）、ステップＳ６２２の処理に進む。一方、手指に対応する部分画像が撮像画像に含まれていると判定しない場合（ステップＳ６２１：ＮＯ）、ステップＳ６２０の処理に戻る。

　ステップＳ６２２の処理では、制御部１２３は、手指に対応する部分画像を含む撮像画像の撮像時刻の前後の撮像時刻の撮像画像を用いて、差分画像を生成する。

　制御部１２３は、図１８に示すステップＳ６１３，Ｓ６１４，Ｓ６１５の処理と同じく、ステップＳ６２３，Ｓ６２４，Ｓ６２５の処理を実行する。

　図２２は、本開示のさらに他の実施形態に係る情報処理システム２１０の全体構成を示す図である。情報処理システム２１０は、カメラ１１６と、情報処理装置１１８と、重量センサ１１９とを含む。情報処理システム２１０は、載置台１１４と、支持柱１１５と、表示装置１１７とを含んでよい。

　重量センサ１１９は、載置台１１４の載置面１１４ａにかかる重量を検出する。重量センサ１１９は、検出した重量を、通信線を介して情報処理装置１１８に、出力する。重量センサ１１９は、載置面１１４ａにかかる重量を検出可能な位置に、適宜配置されている。

　本実施形態に係る情報処理装置１１８では、通信部１２０は、通信線を介して重量センサ１１９と通信可能な通信モジュールを含んでよい。重量センサ１１９と通信部１２０との間の通信線は、有線又は無線を含んで構成されてよい。

　本実施形態に係る情報処理装置１１８では、制御部１２３は、差分画像の生成に用いる上述の撮像時刻の異なる２つの撮像画像として、載置台１１４の載置面１１４ａにかかる重量が変化した時刻の前後の撮像時刻の撮像画像を用いる。例えば、制御部１２３は、通信線を介して重量センサ１１９から、通信部１２０によって載置台１１４の載置面１１４ａにかかる重量を取得し得る。制御部１２３は、載置台１１４の載置面１１４ａにかかる重量が変化したか否か判定する。制御部１２３は、載置台１１４の載置面１１４ａにかかる重量が変化したと判定する場合、載置台１１４の載置面１１４ａにかかる重量が変化した時刻の前後の撮像時刻の撮像画像を取得する。重量が変化した時刻の前の撮像時刻の画像として、制御部１２３は、載置面１１４ａにかかる重量が変化した時刻よりも第３時間前の撮像時刻の撮像画像を取得してよい。第３時間は、顧客が個々の商品を載置台１１４に置く際に要する時間を想定して、適宜設定されてよい。重量が変化した時刻の後の撮像時刻の撮像画像として、制御部１２３は、載置面１１４ａにかかる重量が変化した時刻よりも後に撮像された撮像画像の中で、載置面１１４ａにかかる重量が変化した時刻に最も近い撮像時刻の撮像画像を取得してよい。

　例えば、何も載置されていない載置台１１４に、顧客がバターを載置した場合、バターの重みによって、載置台１１４の載置面１１４ａにかかる重量が大きくなる。つまり、載置台１１４の載置面１１４ａにかかる重量は、変化する。制御部１２３は、載置台１１４の載置面１１４ａにかかる重量が変化した時刻の前後の撮像時刻の撮像画像として、上述の撮像画像１３０及び撮像画像１３１を取得するものとする。制御部１２３は、撮像画像１３０及び撮像画像１３１を用いて、上述の差分画像１４０を生成し得る。

　例えば、バターが載置された載置台１１４に、顧客がおにぎりを載置した場合、おにぎりの重量によって、載置台１１４の載置面１１４ａにかかる重量が大きくなる。つまり、載置台１１４の載置面１１４ａにかかる重量は、変化する。制御部１２３は、載置台１１４の載置面１１４ａにかかる重量が変化した時刻の前後の撮像時刻の撮像画像として、上述の撮像画像１３１及び撮像画像１３２を取得するものとする。制御部１２３は、撮像画像１３１及び撮像画像１３２を用いて、上述の差分画像１４１を生成し得る。

　制御部１２３は、載置台１１４の載置面１１４ａにかかる重量が変化したとき、カメラ１１６に撮像を指示する信号を、通信部１２０によって送信してよい。ここで、顧客は、複数の商品を購入する場合、次々に、商品を載置台１１４の載置面１１４ａに載置し得る。顧客が商品を次々に載置台１１４の載置面１１４ａに載置することにより、載置面１１４ａにかかる重量は、随時変化し得る。載置面１１４ａにかかる重量が随時変化する場合に、制御部１２３が載置面１１４ａにかかる重量が変化したときにカメラ１１６に撮像を指示する信号を送信する場合、制御部１２３は、撮像を指示する信号を、随時送信し得る。カメラ１１６は、制御部１２３からの撮像を指示する信号を所定トリガーとして、静止画を随時撮像してよい。

　図２３は、本開示のさらに他の実施形態に係る情報処理システム２１０の物体特定処理を示すフローチャートである。制御部１２３は、カメラ１１６から画像信号の取得を開始すると、物体特定処理を開始してよい。制御部１２３は、カメラ１１６から取得した画像信号を、記憶部１２２に記憶させてよい。また、制御部１２３は、顧客の会計が終了した後、再び、物体特定処理を開始してよい。

　制御部１２３は、通信線を介して重量センサ１１９から、通信部１２０によって載置台１１４の載置面１１４ａにかかる重量を取得する（ステップＳ６３０）。制御部１２３は、載置台１１４の載置面１１４ａにかかる重量が変化したか否か判定する（ステップＳ６３１）。

　制御部１２３は、載置台１１４の載置面１１４ａにかかる重量が変化したと判定する場合（ステップＳ６３１：ＹＥＳ）、ステップＳ６３２の処理に進む。一方、制御部１２３は、載置台１１４の載置面１１４ａにかかる重量が変化したと判定しない場合（ステップＳ６３１：ＮＯ）、ステップＳ６３０の処理に戻る。

　ステップＳ６３２の処理では、制御部１２３は、載置台１１４の載置面１１４ａにかかる重量が変化した時刻の前後の撮像時刻の撮像画像を用いて、差分画像を生成する。

　制御部１２３は、図１８に示すステップＳ６１３，Ｓ６１４，Ｓ６１５の処理と同じく、ステップＳ６３３，Ｓ６３４，Ｓ６３５の処理を実行する。

　図２４は、本開示のさらに他の実施形態に係る差分画像１４２の一例を示す図である。差分画像１４２は、２つの物体にそれぞれ対応する部分画像を含む。例えば、差分画像１４２は、部分画像１４２ａと、部分画像１４２ｂとを含む。部分画像１４２ａ及び部分画像１４２ｂは、差分画像１４２の一部である。部分画像１４２ａは、チョコレートに対応する。部分画像１４２ｂは、おにぎりに対応する。

　顧客によって複数の商品が、一度に、載置台１１４の載置面１１４ａに載置される場合がある。顧客によって複数の商品が一度に載置面１１４ａに載置される場合、差分画像１４２のような、複数の物体にそれぞれ対応する部分画像を含む差分画像が生成され得る。

　本実施形態に係る情報処理装置１１８では、制御部１２３は、差分画像から個別に複数の物体が検出された場合、各物体に対応する部分画像毎に物体認識を実行する。例えば、制御部１２３は、差分画像中の物体の数を検出してよい。制御部１２３は、上述の公知の物体検出方法によって差分画像中の物体を検出することにより、物体の数を検出してよい。制御部１２３は、差分画像から個別に複数の物体が検出されたか否か判定する。制御部１２３は、差分画像から個別に複数の物体が検出されたと判定する場合、各物体に対応する部分画像毎に、物体認識を実行する。

　例えば、制御部１２３は、差分画像１４２から、別個の２つの物体を検出する。制御部１２３は、差分画像１４２から別個に複数の物体が検出されたと判定する。制御部１２３は、各物体に対応する部分画像１４２ａ及び部分画像１４２ｂ毎に、物体認識を実行する。制御部１２３は、部分画像１４２ａに物体認識を実行することにより、部分画像１４２ａに対応する物体がチョコレートであると特定する。制御部１２３は、部分画像１４２ｂに物体認識を実行することにより、部分画像１４２ｂに対応する物体がおにぎりであると特定する。

　図２５は、本開示のさらに他の実施形態に係る情報処理システム１１０の差分画像に対する物体認識を示すフローチャートである。差分画像に対する物体認識は、図１８に示すステップＳ６１３の処理、図２１に示すステップＳ６２３の処理及び図２３に示すステップＳ６３３の処理に代えて、実行されてよい。この場合、制御部１２３は、図１８に示すステップＳ６１２の処理を実行した後、図２１に示すステップＳ６２２の処理を実行した後、又は、図２３に示すステップＳ６３２の処理を実行した後、差分画像に対する物体認識を開始してよい。

　制御部１２３は、差分画像中の物体の数を検出する（ステップＳ６４０）。制御部１２３は、差分画像から個別に複数の物体が検出されたか否か判定する（ステップＳ６４１）。

　制御部１２３は、差分画像から別個に複数の物体が検出されたと判定しない場合（ステップＳ６４１：Ｎо）、ステップＳ６４２の処理に進む。例えば、制御部１２３は、差分画像から１個の物体が検出されたと判定する場合、ステップＳ６４２の処理に進む。ステップＳ６４２の処理では、制御部１２３は、差分画像に対して物体認識を実行する。ステップＳ６４２の処理の実行後、制御部１２３は、図１８に示すステップＳ６１４の処理、図２１に示すステップＳ６２４の処理又は図２３に示すステップＳ６３４の処理に、進む。

　制御部１２３は、差分画像から個別に複数の物体が検出されたと判定する場合（ステップＳ６４１：ＹＥＳ）、ステップＳ６４３の処理に進む。制御部１２３は、ステップＳ６４３の処理に進む際、差分画像から検出された物体の数を、記憶部１２２に記憶させておいてよい。

　ステップＳ６４３の処理では、制御部１２３は、差分画像に含まれる１個の物体に対応する部分画像に、物体認識を実行する。ステップＳ６４４の処理では、制御部１２３は、差分画像に含まれる、物体に対応する部分画像の全てに対して、ステップＳ６４３の処理を実行したか否か判定する。

　制御部１２３は、物体に対応する部分画像の全てに対してステップＳ６４３の処理を実行したと判定する場合（ステップＳ６４４：ＹＥＳ）、図１８に示すステップＳ６１４の処理、図２１に示すステップＳ６２４の処理又は図２３に示すステップＳ６３４の処理に、進む。

　制御部１２３は、物体に対応する部分画像の全てに対してステップＳ６４３の処理を実行したと判定しない場合（ステップＳ６４４：ＮＯ）、ステップＳ６４３の処理を再び実行する。再び実行するステップＳ６４３の処理では、制御部１２３は、差分画像から検出された物体に対応する部分画像の中で、物体認識を実行していない部分画像に対して、物体認識を実行する。

　このように本実施形態によれば、差分画像から個別に複数の物体が検出された場合、各物体に対応する部分画像毎に物体認識を実行する。このような処理によって、物体がより精度良く特定され得る。

　図２６は、本開示のさらに他の実施形態に係る情報処理システム３１０の全体構成を示す図である。情報処理システム３１０は、買い物かご３１４と、カメラ１１６と、表示装置１１７と、情報処理装置１１８とを含む。

　買い物かご３１４は、店舗に来店した顧客によって、使用され得る。顧客は、購入したい商品を、買い物かご３１４の中に入れ得る。

　カメラ１１６は、買い物かご３１４の中を撮像する。カメラ１１６は、買い物かご３１４の中を撮像可能に、配置されていてよい。カメラ１１６は、買い物かご３１４の上部の縁部に、配置されていてよい。カメラ１１６は、買い物かご３１４の中を撮像可能に、例えば買い物かご３１４の上部の縁部に、固定されていてよい。

　カメラ１１６は、情報処理装置１１８と無線通信可能な、通信モジュールを含んでよい。カメラ１１６は、画像信号を、当該無線モジュールによって情報処理装置１１８に送信してよい。

　情報処理装置１１８は、上述したように、撮像時刻の異なる２つの撮像画像の差分画像に基づいて、当該２つの撮像画像の少なくとも何れかに含まれる画像に対応する物体を特定することができる。

　図２７に示すように、精算システム４１１は、少なくとも１つの情報処理システム４１０と、サーバ４１２とを含む。サーバ４１２は、物理サーバであってよいし、クラウドサーバであってよい。情報処理システム４１０とサーバ４１２とは、ネットワーク４１３を介して通信可能である。ネットワーク４１３は、無線、有線、又は、無線及び有線の組み合わせであってよい。

　情報処理システム４１０は、コンビニエンスストア及びスーパーマーケット等の任意の店舗に、配置されてよい。情報処理システム４１０は、店舗のキャッシュレジスター端末として構成されてよい。情報処理システム４１０は、顧客が後述の載置台４１４に載置した商品を撮像することにより、撮像画像を生成する。情報処理システム４１０は、生成した撮像画像中の物体が、店舗の何れの商品であるかを特定する。本開示において「撮像画像中の物体」は、撮像画像中の、画像として描画される物体の像を意味する。情報処理システム４１０は、特定した商品情報を、ネットワーク４１３を介してサーバ４１２に送信する。当該商品情報には、商品名及び商品の数等が含まれ得る。サーバ４１２は、商品情報に基づいて、顧客に対する請求金額を算出する。サーバ４１２は、請求金額を、ネットワーク４１３を介して情報処理システム４１０に送信する。情報処理システム４１０は、顧客に請求金額を提示することにより、顧客に請求金額の支払いを要求する。

　図２８に示すように、情報処理システム４１０は、カメラ４１６（撮像部）と、情報処理装置４１８とを含む。情報処理システム４１０は、載置台４１４と、支持柱４１５と、表示装置４１７とを含んでよい。

　載置台４１４は、載置面４１４ａを含む。顧客は、会計時に、購入したい商品を載置面４１４ａに載置する。本実施形態では、載置面４１４ａは、略長方形状である。ただし、載置面４１４ａは、任意の形状であってよい。

　支持柱４１５は、載置台４１４の側部から、載置面４１４ａの法線方向の一方に向けて延びる。当該法線方向の一方は、載置面４１４ａの法線方向のうち、載置面４１４ａから離れる方向であってよい。支持柱４１５の先端には、カメラ４１６が位置する。

　カメラ４１６は、撮像により撮像画像に相当する画像信号を生成する。カメラ４１６は、載置台４１４の載置面４１４ａの少なくとも一部を撮像可能に、配置されていてよい。カメラ４１６は、載置面４１４ａに光軸が垂直になるように、配置されていてよい。カメラ４１６は、支持柱４１５の先端に、配置されてよい。カメラ４１６は、載置台４１４の載置面４１４ａを撮像可能に、例えば支持柱４１５の先端に、固定されていてよい。

　カメラ４１６は、情報処理装置４１８から、撮像開始を指示する信号を取得し得る。カメラ４１６は、撮像開始を指示する信号を取得すると、撮像を開始し得る。カメラ４１６は、撮像により生成した画像信号を、通信線を介して情報処理装置４１８に、出力する。カメラ４１６は、任意のフレームレートで撮像を実行してよい。カメラ４１６は、任意のフレームレートで連続的に撮像を実行してよいし、所定トリガーに基づいて静止画を随時撮像してよい。当該所定トリガーは、情報処理装置４１８からの撮像を指示する信号であってよい。

　表示装置４１７は、液晶ディスプレイ等の任意のディスプレイを含んで構成されてよい。表示装置４１７は、情報処理装置４１８から取得した信号に基づいて、画像を表示する。例えば、表示装置４１７は、情報処理装置４１８から、商品の請求金額を示す信号を取得し得る。表示装置４１７は、当該商品の請求金額を示す信号に基づいて、請求金額を示す画像を表示し得る。

　表示装置４１７は、タッチスクリーン機能を有してよい。表示装置４１７は、載置台４１４の近辺の近くに配置されてよい。表示装置４１７は、顧客が商品を載置台４１４に置く際に、顧客の方を向くように、配置されていてよい。

　情報処理装置４１８は、載置台４１４の近辺に配置されてよい。図２９に示すように、情報処理装置４１８は、制御部４２３を含む。情報処理装置４１８は、通信部４２０と、入力部４２１と、記憶部４２２とを含んでよい。

　通信部４２０は、任意の通信モジュールを含む。当該任意の通信モジュールは、通信線を介してカメラ４１６と通信可能な通信モジュール、通信線を介して表示装置４１７と通信可能なモジュール、及び、ネットワーク４１３を介してサーバ４１２と通信可能な通信モジュールを含んでよい。カメラ４１６と通信部４２０との間の通信線、及び、表示装置４１７と通信部４２０との間の通信線は、有線又は無線を含んで構成されていてよい。

　入力部４２１は、ユーザ入力を検出可能な１つ以上のインタフェースを含む。例えば、入力部４２１は、物理キー、静電容量キー及びタッチスクリーンの少なくとも何れかを含んで構成されてよい。本実施形態においては、入力部４２１は、タッチスクリーンである。タッチスクリーンである入力部４２１は、表示装置４１７と一体として設けられている。

　記憶部４２２は、ＲＡＭ及びＲＯＭ等の任意の記憶デバイスを含む。記憶部４２２は、制御部４２３を機能させる多様なプログラム及び制御部４２３が用いる多様な情報を記憶する。記憶部４２２は、店舗の商品データを記憶してよい。

　商品データは、文字データを含んでよい。文字データは、商品のパッケージ等に付された文字列を含んでよい。商品のパッケージ等に付された文字列は、商品を識別する識別子に対応付けられてよい。識別子の一例として、商品名、商品コード、バーコード及び任意のＩＤ（Identification）等が挙げられる。以下、説明の便宜上、商品を識別する識別子は、商品名であるものとする。文字データは、後述の第１処理にて用いられ得る。商品データは、文字データ以外にも、後述の第１処理にて用いられる任意のデータを含んでよい。例えば、後述の第１処理にて後述のコード認識が用いられる場合、バーコード等の一次元コード、ＱＲコード（登録商標）等の二次元コード、及び、識別マーカ等のマーカの画像を含んでよい。これらの画像は、識別子に対応付けられてよい。

　商品データは、機械学習モデルを含んでよい。機械学習モデルは、後述のように、機械学習と学習データによって生成され得る。機械学習モデルは、後述の第２処理で用いられ得る。機械学習モデルは、学習済みであってよい。

　商品データは、商品画像データを含んでよい。商品画像データは、商品を識別する識別子に対応付けた、商品画像を含んでよい。以下、説明の便宜上、商品を識別する識別子は、商品名であるものとする。商品画像データは、後述の第２処理及び第３処理にて用いられ得る。同じ商品画像データが、後述の第２処理及び第３処理において用いてよい。又は、異なる商品画像データが、後述の第２処理及び第３処理において用いてよい。異なる商品画像データが後述の第２処理及び第３処理にて用いられる場合、記憶部４２２は、第２処理で用いられる商品画像データと、第３処理で用いられる商品画像データとを記憶してよい。また、後述の第２処理にて後述の特徴量マッチング以外の物体認識が用いられる場合、商品データは、識別子と対応付けられた、当該物体認識に応じたデータを含んでよい。

　制御部４２３は、１つ以上のプロセッサ及びメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ）を含んでよい。ＰＬＤは、ＦＰＧＡを含んでよい。制御部４２３は、１つ又は複数のプロセッサが協働するＳｏＣ及びＳｉＰの何れかであってよい。

　制御部４２３は、ネットワーク４１３を介してサーバ４１２から、上述の商品データを、通信部４２０によって取得してよい。制御部４２３は、取得した商品データを、記憶部４２２に記憶させてよい。

　制御部４２３は、カメラ４１６に、撮像開始を指示する信号を、通信部４２０によって送信し得る。制御部４２３は、情報処理装置４１８が起動したときに、撮像開始を指示する信号を送信してよい。制御部４２３は、撮像開始を指示するユーザ入力を、入力部４２１によって検出したとき、撮像開始を指示する信号を送信してよい。当該ユーザ入力は、店員によって、店舗の開店時等に、入力部４２１から入力され得る。

　制御部４２３は、カメラ４１６から、画像信号を、通信部４２０によって取得する。制御部４２３は、画像信号を取得することにより、画像信号に相当する撮像画像を取得し得る。制御部４２３は、取得した撮像画像を記憶部４２２に記憶させてよい。例えば、制御部４２３は、図３０に示すような撮像画像４３０を取得し得る。

　撮像画像４３０は、部分画像４３０ａと、部分画像４３０ｂと、部分画像４３０ｃとを含む。部分画像４３０ａ、部分画像４３０ｂ及び部分画像４３０ｃは、撮像画像４３０の一部である。部分画像４３０ａは、梅のおにぎりに対応する。部分画像４３０ｂは、バターに対応する。部分画像４３０ｃは、チョコレートに対応する。梅のおにぎり、バター及びチョコレートは、店舗の商品である。梅のおにぎりのパッケージ及びバターのパッケージには、文字列が付されている。チョコレートのパッケージには、縞模様が施されている。梅のおにぎり、バター及びチョコレートは、顧客によって載置台４１４の載置面４１４ａに載置されている。載置台４１４においてバターの上におにぎりが重ねられていることにより、部分画像４３０ｂの一部は、欠けている。ここで、本開示において「部分画像の一部が欠ける」とは、実際の部分画像と、カメラ４１６側から観た際の当該物体全体の外観とを比較した場合に、その実際の部分画像の一部が欠けていることを意味する。載置台４１４においてチョコレートの上にバターが重ねられていることにより、部分画像４３０ｃの一部は、欠けている。

　制御部４２３は、撮像画像に、複数の画像処理のうちの少なくとも何れかを実行する。画像処理は、物体認識処理であってよい。物体認識処理は、撮像画像に含まれる物体に対応する部分画像を検出して、当該物体が何れの商品であるかを特定する処理であってよい。制御部４２３は、実行した当該画像処理の処理結果に信頼度を付与してよい。信頼度は、処理結果の信頼性を示す指標である。以下、物体が何れの商品であるかを特定することは、物体の商品名を特定することであるものとする。複数の画像処理は、第１処理、第２処理及び第３処理を含む。ただし、複数の画像処理は、第１処理、第２処理及び第３処理に限定されない。

　第１処理は、記号認識を用いた物体認識処理である。記号認識は、限定ではないが、文字認識及びコード認識を含んでよい。コード認識は、限定ではないが、バーコード等の一次元コードを認識する処理、ＱＲコード（登録商標）等の二次元コードを認識する処理、及び、商品を識別する識別マーカ等のマーカを認識する処理を含んでよい。第１処理は、文字認識、一次元コードを認識する処理、二次元コードを認識する処理、マーカを認識する処理、又は、これらの少なくとも一部の組み合わせを用いた、物体認識処理であってよい。

　本実施形態では、第１処理は、記号認識として文字認識を用いた、物体認識処理であるものとする。つまり、本実施形態では、第１処理は、文字認識によって、撮像画像中の物体の商品名を特定する処理となる。一例として、第１処理では、制御部４２３は、撮像画像から文字画像を抽出する。制御部４２３は、抽出した文字画像から文字列を抽出する。制御部４２３は、抽出した文字列を解析することにより、物体の商品名を特定する。当該解析として、制御部４２３は、抽出した文字列と、記憶部４２２の文字データに含まれる文字列とをマッチングしていくことにより、文字列を抽出した部分画像に対応する物体の商品名を特定してよい。例えば、制御部４２３は、撮像画像４３０の部分画像４３０ａから「おにぎり　梅」との文字列を抽出する。制御部４２３は、抽出した「おにぎり　梅」との文字列と、記憶部４２２の文字データをマッチングしていくことにより、部分画像４３０ａに対応する物体の商品名が、商品名「梅のおにぎり」であると特定する。

　第１処理では、制御部４２３は、信頼度を、第１処理の処理結果に付与してよい。制御部４２３は、抽出した文字列と、記憶部４２２の文字データに含まれる文字列とをマッチングさせる際の、マッチング率に基づいて、信頼度を算出してよい。

　第１処理の処理速度は、比較的、高速となり得る。例えば第１処理にて文字認識が用いられる場合、第１処理の処理速度は、後述の特徴量マッチングが用いられる第３処理の処理速度よりも、高速となり得る。

　第１処理を実行するための事前のデータ準備は、後述の第２処理及び第３処理を実行するための事前のデータ準備よりも、比較的容易である。例えば第１処理にて文字認識が用いられる場合、第１処理で用いられる文字データは、後述の第２処理及び第３処理で用いられる商品画像データよりも、比較的容易に準備され得る。

　第１処理では、撮像画像から文字列が抽出可能であれば、制御部４２３は、当該文字列によって、物体を特定することができる。第１処理では、載置台４１４上における物体の状況に応じては、後述の第２処理及び第３処理よりも、当該物体を、精度良く特定することができる。

　例えば、店舗で扱われる商品の中には、異なる商品であっても、外観が類似する商品がある。一例として、商品「梅のおにぎり」と商品「昆布のおにぎり」とは、異なる商品である。しかしながら、商品「梅のおにぎり」の外観と商品「昆布のおにぎり」の外観とは、これらの商品が同じ三角形状を有する場合、類似し得る。外観が類似する商品を、異なる商品として、撮像画像から、後述の第２処理及び第３処理によって特定することは困難となる場合がある。外観が類似する商品であっても、当該商品に文字列が付されていれば、第１処理によって、異なる商品として、撮像画像から特定することができる。例えば、第１処理では、制御部４２３は、部分画像４３０ａから「おにぎり　梅」の文字列を抽出することにより、部分画像４３０ａに対応する物体の商品名を「梅のおにぎり」と特定することができる。

　例えば、店舗で扱われる商品の中には、変形し得る商品がある。一例として、パッケージが袋である商品は、外部から力が加えられて袋が変形することにより、変形し得る。商品が変形すると、撮像画像内の当該商品に対応する画像の形状も変わり得る。物体に対応する部分画像の形状が変わると、後述の第２処理において、変形した部分画像に対応可能な後述の機械学習モデルを準備できない場合がある。この場合、後述の第２処理によって当該物体を特定することは困難となる場合がある。これに対して、部分画像の形状が変わっても、当該部分画像から文字列が抽出可能であれば、第１処理によって当該物体を特定することができる。

　例えば、複数の商品が載置台４１４上において重ねられている場合がある。複数の商品が重ねられていることにより、撮像画像中で、商品に対応する部分画像の一部が欠ける場合がある。物体に対応する部分画像の一部が欠けていると、後述の第３処理において、後述の予め決定されている特徴量を十分に抽出できない場合がある。この場合、後述の第３処理によって当該物体を特定することは困難となる場合がある。物体に対応する部分画像の一部が欠けても、当該部分画像から文字列が抽出可能であれば、第１処理によって当該物体を特定することができる。例えば、部分画像４３０ｂの一部は、欠けている。部分画像４３０ｂからは、「バター」の文字列が抽出可能である。第１処理において、制御部４２３は、部分画像４３０ｂから「バター」の文字列を抽出することにより、部分画像４３０ｂに対応する物体の商品名が、商品名「バター」であると特定することができる。

　第２処理は、機械学習を用いた物体認識処理である。本実施形態では、第２処理は、機械学習に基づいて、撮像画像中の物体の商品名を特定する処理となる。制御部４２３は、機械学習モデルに基づいて、物体認識に用いる特徴量を決定する。特徴量は、商品画像に含まれる画素の輝度及び色、商品画像の形状、商品画像を構成する画素の数の少なくとも何れかを含んでよい。本実施形態では、物体認識は、限定ではないが、特徴量マッチングであるものとする。特徴量マッチングは、撮像画像から抽出された特徴量と、記憶部４２２の商品画像データの商品画像の特徴量とをマッチングさせていくことにより、物体の商品名を特定することである。つまり、第２処理では、制御部４２３は、機械学習モデルによって、部分画像から抽出する特徴量を決定する。制御部４２３は、決定した特徴量を部分画像から抽出し、抽出した特徴量と、記憶部４２２の商品画像データの商品画像の特徴量とをマッチングさせていくことにより、物体の商品名を特定する。

　第２処理において、機械学習モデルは、機械学習と学習データとに基づいて生成されてよい。第２処理では、学習済みの機械学習モデルが用いられてよい。機械学習モデルの生成に用いられる機械学習は、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、ベイス推定及び深層学習等の少なくとも何れかであってよい。機械学習モデルは、サポートベクターマシン、ベイス推定及び深層学習等を適宜組み合わせて、生成されてよい。

　第２処理では、制御部４２３は、信頼度を、第２処理の処理結果に付与してよい。制御部４２３は、特徴量マッチングにおける、部分画像の特徴量と、記憶部４２２の商品画像の特徴量とのマッチング率に基づいて、信頼度を算出してよい。

　第２処理では、特徴量マッチング等の物体認識に用いられる特徴量が機械学習モデルによって決定され得る。これに対し、後述のように、第３処理では、特徴量マッチングに用いられる特徴量は、予め決められている。第２処理の処理速度は、特徴量が機械学習モデルによって決定されることにより、後述の第３処理の処理速度よりも、高速となり得る。

　第２処理では、載置台４１４上における物体の状況に応じては、第１処理及び後述の第３処理よりも、当該物体を、精度良く特定することができる。

　例えば、店舗で扱われる商品の中には、パッケージ等に文字列が付されていない商品がある。文字列が付されていない物体を、撮像画像から、上述の第１処理によって特定することは困難となる場合がある。パッケージ等に文字列が付されていない物体であっても、第２処理によって、撮像画像から特定することができる。例えば、図３０に示すように、商品であるチョコレートのパッケージには文字列が付されていないため、部分画像４３０ｃからは、文字列が抽出できない。第３処理によって、部分画像４３０ｃの商品名をチョコレートと特定することができる。

　例えば、店舗で扱われる商品の中には、同じ商品として扱われるものであっても、個体毎に異なる外観を有する商品がある。当該商品の一例として、野菜及び果物等が挙げられる。個体毎に異なる外観を有する商品では、商品に対応する部分画像毎に、特徴量マッチング等の物体認識に用いるべき特徴量が、変わる場合がある。この場合、当該商品を、後述の第３処理によって、撮像画像から特定することも困難となる場合がある。その理由は、後述のように、第３処理では、特徴量マッチングで用いられる特徴量が予め決定されているためである。これに対し、第２処理では、部分画像毎に、特徴量マッチング等の物体認識に用いる特徴量が機械学習モデルによって決定され得る。このような構成により、個体毎に異なる外観を有する商品であっても、第２処理によって、同じ商品として、撮像画像から、特定することができる。

　例えば、上述のように、複数の商品が重ねられていることにより、撮像画像中で、商品に対応する画像の一部が欠ける場合がある。物体に対応する部分画像の一部が欠けていると、後述の第３処理において、特徴量マッチングに用いられる特徴量を十分に抽出できない場合がある。この場合、後述の第３処理によって、当該物体を特定することは困難となる場合がある。これに対し、第２処理では、部分画像毎に、特徴量マッチング等の物体認識に用いられる特徴量が機械学習モデルによって決定され得る。また、物体に文字列が付されている場合でも、物体に対応する部分画像の一部が欠けていることにより、第１処理において、当該画像から文字列が抽出できない場合がある。この場合、第１処理によって、当該物体を特定することは困難である。第２処理では、第１処理とは異なり、物体に対応する画像の一部が欠けることにより文字列が抽出できなくても、当該画像から物体を特定することができる。

　第３処理は、特徴量マッチングを用いた物体認識処理である。本実施形態では、第３処理は、特徴量マッチングにより、撮像画像中の物体の商品名を特定する処理となる。第３処理では、上述の第２処理とは異なり、特徴量マッチングで用いられる特徴量が予め決定されている。特徴量マッチングで用いられる特徴量は、上述した特徴量の中から、適宜決定されてよい。つまり、第３処理では、制御部４２３は、部分画像から、予め決定されている特徴量を抽出する。制御部４２３は、抽出した特徴量と、記憶部４２２の商品画像データの商品画像の特徴量とをマッチングさせていくことにより、物体の商品名を特定する。

　第３処理では、制御部４２３は、信頼度を、第３処理の処理結果に付与してよい。また、制御部４２３は、特徴量マッチングにおける、部分画像の特徴量と、記憶部４２２の商品画像の特徴量とのマッチング率に基づいて、信頼度を算出してよい。

　第３処理を実行するための事前のデータ準備は、上述の第２処理を実行するための事前のデータ準備よりも、比較的、容易である。例えば、第３処理では、特徴量マッチングに用いられる特徴量が予め決定されている。第３処理では、特徴量が予め決定されていることにより、上述の第２処理のように特徴量を決定するための機械学習モデルを準備しなくてよい。

　第３処理では、載置台４１４上における物体の状況に応じては、第１処理及び第２処理よりも、当該物体を、精度良く特定することができる。

　例えば、上述のように、店舗で扱われる商品の中には、パッケージ等に文字列が付されていない商品がある。文字列が付されていない物体を、撮像画像から、上述の第１処理によって特定することは困難となる場合がある。パッケージ等に文字列が付されていない物体であっても、第３処理によって、撮像画像から特定することができる。

　例えば、上述のように、店舗で扱われる商品の中には、変形し得る商品がある。上述のように、商品が変形すると、撮像画像内の物体に対応する部分画像の形状も変わり得る。物体に文字列が付されている場合でも、当該物体に対応する部分画像の変形の度合いに応じては、第１処理において、当該部分画像から文字列が抽出できない場合がある。この場合、第１処理によって、当該物体を特定することは困難である。第３処理では、第１処理とは異なり、画像が変形することにより文字列が抽出できなくても、当該部分画像から物体を特定することができる。また、第２処理において、変形した部分画像に対応可能な機械学習モデルを準備できない場合がある。この場合、第２処理によって、変形した部分画像から、物体を特定することは困難である。第３処理では、機械学習モデルを用いないことにより、変形した部分画像から、物体を特定することができる。

　本開示において、制御部４２３は、部分画像に対応する物体の状況、又は、処理結果に付与した信頼度の何れかに基づいて、部分画像に対応する物体を特定する。本実施形態では、制御部４２３は、処理結果に付与した信頼度に基づいて、部分画像に対応する物体を特定する。

　具体的には、制御部４２３は、撮像画像に、第１処理、第２処理及び第３処理を実行する。制御部４２３は、実行した第１処理、第２処理及び第３処理の処理結果に、信頼度を付与する。ただし、制御部４２３は、複数の画像処理のうちの少なくとも２つを実行すればよい。例えば、制御部４２３は、複数の画像処理のうちの少なくとも２つとして、第１処理に含まれる文字認識及びコード認識を実行してよいし、第１処理及び第２処理を実行してよい。また、制御部４２３は、第１処理、第２処理及び第３処理を、並行して実行してよいし、所定順序で順次実行してよい。また、制御部４２３は、第１処理等の実行前に、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部４２３は、撮像画像から複数の物体を検出した場合、物体に対応する部分画像毎に、第１処理、第２処理及び第３処理を実行して、第１処理、第２処理及び第３処理の処理結果に信頼度を付与してよい。例えば、制御部４２３は、撮像画像４３０から３つの物体を検出し得る。制御部４２３は、各物体に対応する部分画像４３０ａ，４３０ｂ，４３０ｃ毎に、第１処理、第２処理及び第３処理を実行し、その処理結果に、信頼度を付与してよい。例えば、制御部４２３は、図３１に示すような、処理結果を取得する。

　図３１に示すように、制御部４２３は、部分画像４３０ａに対する第１処理の処理結果として、物体の商品名が「梅のおにぎり」であると特定する。制御部４２３は、当該第１処理の処理結果に付与する信頼度を９５％と算出する。また、制御部４２３は、部分画像４３０ａに対する第２処理の処理結果として、物体の商品名が「梅のおにぎり」であると特定する。制御部４２３は、当該第２処理の処理結果に付与する信頼度を６５％と算出する。また、制御部４２３は、部分画像４３０ａに対する第３処理の処理結果として、物体の商品名が「昆布のおにぎり」であると特定する。制御部４２３は、当該第３処理の処理結果に付与する信頼度を６４％と算出する。

　図３１に示すように、制御部４２３は、部分画像４３０ｂに対する第１処理の処理結果として、物体の商品名が「バター」であると特定する。制御部４２３は、当該第１処理の処理結果に付与する信頼度を９４％と算出する。また、制御部４２３は、部分画像４３０ｂに対する第２処理の処理結果として、物体の商品名が「バター」であると特定する。制御部４２３は、当該第２処理の処理結果に付与する信頼度を９０％と算出する。また、制御部４２３は、部分画像４３０ｂに対する第３処理の処理結果として、物体の商品名が「チーズ」であると特定する。制御部４２３は、当該第３処理の処理結果に付与する信頼度を７５％と算出する。

　図３１に示すように、制御部４２３は、部分画像４３０ｃから文字列が抽出できないことにより、第１処理の処理結果を、特定不可とする。また、制御部４２３は、部分画像４３０ｃに対する第２処理の処理結果として、物体の商品名が「チョコレート」であると特定する。制御部４２３は、当該第２処理の処理結果に付与する信頼度を８０％と算出する。また、制御部４２３は、部分画像４３０ｃに対する第３処理の認識結果として、物体の商品名が「チョコレート」であると認識する。制御部４２３は、当該第３処理の認識結果に付与する信頼度を７０％と算出する。

　本実施形態では、制御部４２３は、付与した信頼度が最も高い処理結果に基づいて、部分画像に対応する物体を特定する。制御部４２３は、上述のように、複数の物体にそれぞれ対応する部分画像毎に、第１処理、第２処理及び第３処理を実行した場合、部分画像毎に、対応する物体を特定してよい。

　例えば、部分画像４３０ａについて、制御部４２３は、信頼度が９５％と最も高い第１処理の処理結果を取得する。制御部４２３は、第１処理の処理結果に基づいて、部分画像４３０ａに対応する物体の商品名が「梅のおにぎり」であると特定する。

　例えば、部分画像４３０ｂについて、制御部４２３は、信頼度が９４％と最も高い第１処理の処理結果を取得する。制御部４２３は、第１処理の処理結果に基づいて、部分画像４３０ｂに対応する物体の商品名が「バター」であると特定する。

　例えば、部分画像４３０ｃについて、制御部４２３は、信頼度が８０％と最も高い第２処理の処理結果を取得する。制御部４２３は、第２処理の処理結果に基づいて、部分画像４３０ｃに対応する物体の商品名が「チョコレート」であると特定する。

　制御部４２３は、特定した商品情報を、ネットワーク４１３を介してサーバ４１２に、通信部４２０によって送信する。当該商品情報には、商品名及び商品の数等が含まれ得る。サーバ４１２は、当該商品情報を、ネットワーク４１３を介して情報処理装置４１８から取得する。サーバ４１２は、当該商品情報に基づいて、顧客に対して請求すべき請求金額を算出する。サーバ４１２は、請求金額を示す信号を、ネットワーク４１３を介して情報処理装置４１８に送信する。制御部４２３は、ネットワーク４１３を介してサーバ４１２から、請求金額を示す信号を、通信部４２０によって取得する。制御部４２３は、請求金額を示す信号を、通信部４２０によって表示装置４１７に送信する。

　図３２は、本開示のさらに他の実施形態に係る情報処理システム４１０の物体特定処理を示すフローチャートである。制御部４２３は、カメラ４１６から１フレームの撮像画像に相当する画像信号を取得するたびに、物体特定処理を実行してよい。制御部４２３は、取得した撮像画像を記憶部４２２に記憶させてよい。

　制御部４２３は、撮像画像から、物体の数を検出する（ステップＳ７１０）。ステップＳ７１０の処理では、制御部４２３は、検出した物体の数を、記憶部４２２に記憶させる。

　制御部４２３は、後述のステップＳ７１４の処理を実行していない部分画像を選択する（ステップＳ７１１）。制御部４２３は、ステップＳ７１１の処理で選択した部分画像に、第１処理、第２処理及び第３処理を並行して実行する（ステップＳ７１２）。ステップＳ７１２の処理では、制御部４２３は、第１処理、第２処理及び第３処理の処理結果に信頼度を付与する。

　制御部４２３は、第１処理、第２処理及び第３処理の処理結果の中から、信頼度が最も高い処理結果を取得する（ステップＳ７１３）。制御部４２３は、ステップＳ７１３の処理で取得した処理結果に基づいて、物体を特定する（ステップＳ７１４）。

　制御部４２３は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップＳ７１４の処理を実行したか否か判定する（ステップＳ７１５）。制御部４２３は、当該部分画像の全てに対してステップＳ７１４の処理を実行したと判定しない場合（ステップＳ７１５：ＮО）、ステップＳ７１１の処理に戻る。一方、制御部４２３は、当該部分画像の全てに対してステップＳ７１４の処理を実行したと判定する場合（ステップＳ７１５：ＹＥＳ）、ステップＳ７１６の処理に進む。

　ステップＳ７１６の処理では、制御部４２３は、商品情報を、ネットワーク４１３を介してサーバ４１２に、通信部４２０によって送信する。

　ここで、店舗形態に応じては、顧客が購入する商品の数が１つ又は２つとなる場合がある。この場合、ステップＳ７１０，Ｓ７１１，Ｓ７１５の処理は、実行されなくてよい。ステップＳ７１０，Ｓ７１１，Ｓ７１５の処理が実行されない場合、ステップＳ７１２の処理において、制御部４２３は、撮像画像に、第１処理、第２処理及び第３処理を実行してよい。

　また、ステップＳ７１２の処理において、制御部４２３は、第１処理、第２処理及び第３処理を並行して実行しなくてよい。例えば、制御部４２３は、第１処理、第２処理及び第３処理を、所定順序で順次実行してよい。

　このように本実施形態に係る情報処理装置４１８では、制御部４２３は、撮像画像に、第１処理、第２処理及び第３処理を実行する。制御部４２３は、第１処理、第２処理及び第３処理の処理結果の中で、付与した信頼度が最も高い処理結果に基づいて、撮像画像から物体を特定する。信頼度が最も高い処理結果に基づいて物体を特定することにより、載置台４１４に載置された物体を複数方向から撮像した画像を用いなくても、物体を精度良く特定することができる。載置台４１４に載置された物体を複数方向から撮像しなくてよいことにより、情報処理システム４１０は、簡潔に構成され得る。よって、本実施形態によれば、改善された、情報処理システム４１０、情報処理装置４１８及び情報処理方法が提供され得る。

　本開示のさらに他の実施形態に係る情報処理装置４１８の処理について説明する。上述した実施形態と同じく、制御部４２３は、撮像画像に、第１処理、第２処理及び第３処理を実行する。上述した実施形態と同じく、制御部４２３は、第１処理、第２処理及び第３処理を、並行して実行してよいし、所定順序で順次実行してよい。制御部４２３は、第１処理、第２処理及び第３処理の処理結果に信頼度を付与する。上述した実施形態と同じく、制御部４２３は、第１処理、第２処理及び第３処理の処理結果に付与した信頼度の中から、最も高い信頼度を取得する。

　本開示のさらに他の実施形態では、制御部４２３は、最も高い信頼度が閾値を超える場合、最も高い信頼度が付与された処理結果に基づいて、物体を特定する。閾値は、過去の処理結果の正解率等に基づいて、適宜設定されてよい。一方、制御部４２３は、最も高い信頼度が閾値以下である場合、当該信頼度が付与された処理結果に基づいて物体の候補を特定する。

　例えば、制御部４２３は、図３１を参照した上述した結果を得るものとする。閾値は、９０％であるものとする。

　部分画像４３０ａについて、最も高い信頼度は、第１処理の処理結果に付与された信頼度の９５％である。部分画像４３０ａについて、制御部４２３は、最も高い信頼度９５％が閾値９０％を超えると判定する。制御部４２３は、第１処理の処理結果に基づいて、部分画像４３０ａに対応する物体の商品名が「梅のおにぎり」であると特定する。

　部分画像４３０ｂについて、最も高い信頼度は、第１処理の処理結果に付与された信頼度の９４％である。部分画像４３０ｂについて、制御部４２３は、最も高い信頼度９４％が閾値９０％を超えると判定する。制御部４２３は、第１処理の処理結果に基づいて、部分画像４３０ｂに対応する物体の商品名が「バター」であると特定する。

　部分画像４３０ｃについて、最も高い信頼度は、第２処理の認識結果に付与された信頼度の８０％である。部分画像４３０ｃについて、制御部４２３は、最も高い信頼度８０％が閾値９０％以下であると判定する。制御部４２３は、第２処理の認識結果に基づいて、部分画像４３０ｃに対応する物体の候補が「チョコレート」であると特定する。

　制御部４２３は、物体の候補を特定する場合、制御信号を表示装置４１７に通信部４２０によって適宜送信することにより、物体の候補を表示装置４１７に表示させてよい。制御部４２３は、物体の候補を、表示装置４１７に表示させることにより、顧客に提示してよい。制御部４２３は、物体の候補とともに所定メッセージを、表示装置４１７に表示させることにより、顧客に提示してよい。所定メッセージは、顧客に対して、物体の候補が実際の物体と合っているか否かを問うメッセージであってよい。上述の部分画像４３０ｃの例では、所定メッセージは、「商品はチョコレートであってますか？」であってよい。

　制御部４２３は、入力部４２１によって検出したユーザ入力に応じて、物体の候補を確定又は修正してよい。制御部４２３は、入力部４２１によって検出したユーザ入力が所定メッセージを肯定する入力である場合、物体の候補を、部分画像に対する物体として特定してよい。上述の部分画像４３０ｃの例では、ユーザ入力が「商品はチョコレートであってますか？」というメッセージを肯定する入力である場合、制御部４２３は、チョコレートとの物体の候補を、部分画像４３０ｃに対応する物体として確定してよい。また、制御部４２３は、ユーザ入力が所定メッセージを否定する入力である場合、物体の候補を修正してよい。この場合、制御部４２３は、制御信号を表示装置４１７に通信部４２０によって適宜送信することにより、顧客に対して正しい商品名の入力を促すメッセージを、表示装置４１７に表示させてよい。制御部４２３は、入力部４２１によって商品名を示すユーザ入力を検出すると、部分画像に対する物体の商品名を、ユーザ入力が示す商品名に修正してよい。

　ここで、上述した実施形態と類似して、制御部４２３は、第１処理等の実行前に、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部４２３は、撮像画像から複数の物体を検出した場合、物体に対応する部分画像毎に、第１処理、第２処理及び第３処理を実行して、第１処理、第２処理及び第３処理の処理結果に信頼度を付与してよい。さらに、制御部４２３は、部分画像毎に、信頼度に応じて、物体を特定又は物体の候補を特定してよい。

　図３３は、本開示のさらに他の実施形態に係る情報処理システム４１０の物体特定処理を示すフローチャートである。制御部４２３は、カメラ４１６から１フレームの撮像画像に相当する画像信号を取得するたびに、物体特定処理を実行してよい。制御部４２３は、取得した撮像画像を記憶部４２２に記憶させてよい。

　制御部４２３は、図３２に示すステップＳ７１０の処理と同じく、ステップＳ７２０の処理を実行する。制御部４２３は、後述のステップＳ７２５又はステップＳ７２８の処理を実行していない部分画像を選択する（ステップＳ７２１）。

　制御部４２３は、ステップＳ７２１の処理で選択した部分画像に、第１処理、第２処理及び第３処理を並行して実行する（ステップＳ７２２）。ステップＳ７２２の処理では、制御部４２３は、第１処理、第２処理及び第３処理の処理結果に信頼度を付与する。

　制御部４２３は、第１処理、第２処理、第３処理の認識結果に付与した信頼度の中から、最も高い信頼度を取得する（ステップＳ７２３）。制御部４２３は、最も高い信頼度が閾値を超えるか否か判定する（ステップＳ７２４）。制御部４２３は、最も高い信頼度が閾値を超えると判定する場合（ステップＳ７２４：ＹＥＳ）、ステップＳ７２５の処理に進む。一方、制御部４２３は、最も高い信頼度が閾値以下であると判定する場合（ステップＳ７２４：ＮＯ）、ステップＳ７２６の処理に進む。

　ステップＳ７２５の処理では、制御部４２３は、最も高い信頼度が付与された処理結果に基づいて、部分画像に対応する物体を特定する。

　ステップＳ７２６の処理では、制御部４２３は、最も高い信頼度が付与された処理結果に基づいて物体の候補を特定する。ステップＳ７２７の処理では、制御部４２３は、物体の候補を、表示装置４１７に表示させることにより、顧客に提示する。ステップＳ７２８の処理では、制御部４２３は、入力部４２１によって検出したユーザ入力に応じて、物体の候補を確定又は修正する。

　ステップＳ７２９の処理では、制御部４２３は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップＳ７２５の処理又はステップＳ７２８の処理を実行したか否か判定する。制御部４２３は、当該部分画像の全てにステップＳ７２５の処理又はステップＳ７２８の処理を実行したと判定しない場合（ステップＳ７２９：ＮＯ）、ステップＳ７２１の処理に戻る。一方、制御部４２３は、当該部分画像の全てにステップＳ７２５の処理又はステップＳ７２８の処理を実行したと判定する場合（ステップＳ７２９：ＹＥＳ）、ステップＳ７３０の処理に進む。

　ステップＳ７３０の処理では、制御部４２３は、ステップＳ７２５の処理により特定した商品情報、又は、ステップＳ７２８の処理により確定又は修正した商品情報を、ネットワーク４１３を介してサーバ４１２に、通信部４２０によって送信する。

　ここで、店舗形態に応じては、顧客が購入する商品の数が１つ又は２つとなる場合がある。この場合、ステップＳ７２０，Ｓ７２１，Ｓ７２９の処理は、実行されなくてよい。ステップＳ７２０，Ｓ７２１，Ｓ７２９の処理が実行されない場合、ステップＳ７２２の処理において、制御部４２３は、撮像画像に、第１処理、第２処理及び第３処理を実行してよい。

　また、ステップＳ７２２の処理において、制御部４２３は、第１処理、第２処理及び第３処理を並行して実行しなくてよい。例えば、制御部４２３は、第１処理、第２処理及び第３処理を、所定順序で順次実行してよい。

　本開示のさらに他の実施形態に係る情報処理装置４１８の処理について説明する。本実施形態では、制御部４２３は、撮像画像に、複数の画像処理を、所定順序で実行する。以下、所定順序は、第１処理、第２処理及び第３処理の順序であるものとする。ただし、所定順序は、第１処理、第２処理及び第３処理の順序に限定されない。

　制御部４２３は、撮像画像に第１処理を実行し、実行した第１処理の処理結果に信頼度を付与する。制御部４２３は、付与した信頼度が閾値を超える場合、第１処理の処理結果に基づいて、部分画像に対応する物体を特定する。閾値は、上述のように、過去の処理結果の正解率等に基づいて、適宜設定されてよい。上述のように、第１処理の処理速度は、比較的、高速となり得る。第１処理を最初に実行することにより、商品に文字列が付されている場合、より高速に、物体を特定することができる。

　制御部４２３は、第１処理の処理結果に付与した信頼度が閾値以下である場合、撮像画像に、第２処理を実行する。制御部４２３は、第２処理の処理結果に信頼度を付与する。制御部４２３は、第２処理の処理結果に付与した信頼度が閾値を超える場合、第２処理の処理結果に基づいて、物体を特定する。上述のように、第２処理の処理速度は、第３処理の処理速度よりも、高速となり得る。第２処理を第３処理よりも先に実行することにより、物体が第２処理により特定可能である場合、より高速に、物体を特定することができる。

　制御部４２３は、第２処理の処理結果に付与した信頼度が閾値以下である場合、撮像画像に、第３処理を実行する。制御部４２３は、第３処理の処理結果に信頼度を付与する。制御部４２３は、第３処理の処理結果に付与した信頼度が閾値を超える場合、第３処理の処理結果に基づいて、物体を特定する。

　制御部４２３は、第３処理の処理結果に付与した信頼度が閾値以下である場合、第１処理の処理結果、第２処理の処理結果及び第３処理の処理結果の何れかに基づいて、物体の候補を特定する。制御部４２３は、第１処理、第２処理及び第３処理の処理結果のうち、最も高い信頼度が付与された処理結果に基づいて、物体の候補を特定してよい。上述した実施形態と同じく、制御部４２３は、物体の候補を特定する場合、制御信号を表示装置４１７に通信部４２０によって適宜送信することにより、物体の候補を表示装置４１７に表示させてよい。制御部４２３は、物体の候補を、表示装置４１７に表示させることにより、顧客に提示してよい。上述した実施形態と同じく、制御部４２３は、物体の候補とともに所定メッセージを、表示装置４１７に表示させることにより、顧客に提示してよい。上述した実施形態と同じく、制御部４２３は、入力部４２１によって検出したユーザ入力に応じて、物体の候補を確定又は修正してよい。

　ここで、上述した実施形態と類似にして、制御部４２３は、第１処理等の実行前に、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部４２３は、撮像画像から複数の物体を検出した場合、物体に対応する部分画像毎に、第１処理、第２処理及び第３処理を順次実行して、第１処理、第２処理及び第３処理の処理結果に信頼度を付与してよい。さらに、制御部４２３は、部分画像毎に、信頼度に応じて、物体を特定又は物体の候補を特定してよい。

　図３４は、本開示のさらに他の実施形態に係る情報処理システム４１０の物体特定処理を示すフローチャートである。制御部４２３は、カメラ４１６から１フレームの撮像画像に相当する画像信号を取得するたびに、物体特定処理を実行してよい。制御部４２３は、取得した撮像画像を記憶部４２２に記憶させてよい。

　制御部４２３は、図３２に示すステップＳ７１０の処理と同じく、ステップＳ７４０の処理を実行する。制御部４２３は、後述のステップＳ７４４，Ｓ７４７，Ｓ７５０，Ｓ７５３の処理の何れも実行していない部分画像を選択する（ステップＳ７４１）。

　制御部４２３は、ステップＳ７４１の処理で選択した部分画像に、第１処理を実行する（ステップＳ７４２）。ステップＳ７４２の処理では、制御部４２３は、実行した第１処理の処理結果に信頼度を付与する。

　制御部４２３は、第１処理の処理結果に付与した信頼度が閾値を超えるか否か判定する（ステップＳ７４３）。制御部４２３は、信頼度が閾値を超えると判定する場合（ステップＳ７４３：ＹＥＳ）、ステップＳ７４４の処理に進む。一方、制御部４２３は、信頼度が閾値以下であると判定する場合（ステップＳ７４３：ＮＯ）、ステップＳ７４５の処理に進む。

　ステップＳ７４４の処理では、制御部４２３は、第１処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップＳ７４４の処理を実行した後、制御部４２３は、ステップＳ７５４の処理に進む。

　ステップＳ７４５の処理では、制御部４２３は、ステップＳ７４１の処理で選択した部分画像に、第２処理を実行する。ステップＳ７４５の処理では、制御部４２３は、第２処理の処理結果に信頼度を付与する。

　ステップＳ７４６の処理では、制御部４２３は、第２処理の処理結果に付与した信頼度が閾値を超えるか否か判定する。制御部４２３は、信頼度が閾値を超えると判定する場合（ステップＳ７４６：ＹＥＳ）、ステップＳ７４７の処理に進む。一方、制御部４２３は、信頼度が閾値以下であると判定する場合（ステップＳ７４６：ＮＯ）、ステップＳ７４８の処理に進む。

　ステップＳ７４７の処理では、制御部４２３は、第２処理の処理結果に基づいて、物体を特定する。ステップＳ７４７の処理を実行した後、制御部４２３は、ステップＳ７５４の処理に進む。

　ステップＳ７４８の処理では、制御部４２３は、ステップＳ７４１の処理で選択した部分画像に、第３処理を実行する。ステップＳ７４８の処理では、制御部４２３は、第３処理の処理結果に信頼度を付与する。

　ステップＳ７４９の処理では、制御部４２３は、第３処理の処理結果に付与した信頼度が閾値を超えるか否か判定する。制御部４２３は、信頼度が閾値を超えると判定する場合（ステップＳ７４９：ＹＥＳ）、ステップＳ７５０の処理に進む。一方、制御部４２３は、信頼度が閾値以下であると判定する場合（ステップＳ７４９：ＮＯ）、ステップＳ７５１の処理に進む。

　ステップＳ７５０の処理では、制御部４２３は、第３処理の処理結果に基づいて、物体を特定する。ステップＳ７５０の処理を実行した後、制御部４２３は、ステップＳ７５４の処理に進む。

　ステップＳ７５１の処理では、制御部４２３は、第１処理の処理結果、第２処理の処理結果及び第３処理の処理結果の何れかに基づいて、物体の候補を特定する。ステップＳ７５２の処理では、制御部４２３は、物体の候補を、表示装置４１７に表示させることにより、顧客に提示する。ステップＳ７５３の処理では、制御部４２３は、入力部４２１によって検出したユーザ入力に応じて、物体の候補を確定又は修正する。ステップＳ７５３の処理を実行した後、制御部４２３は、ステップＳ７５４の処理に進む。

　ステップＳ７５４の処理では、制御部４２３は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップＳ７４４，Ｓ７４７，Ｓ７５０，Ｓ７５３の処理の何れかを実行したか否か判定する。制御部４２３は、当該部分画像の全てに対して、ステップＳ７４４，Ｓ７４７，Ｓ７５０，Ｓ７５３の処理の何れかを実行したと判定しない場合（ステップＳ７５４：ＮＯ）、ステップＳ７４１の処理に戻る。一方、制御部４２３は、当該部分画像の全てに対して、ステップＳ７４４，Ｓ７４７，Ｓ７５０，Ｓ７５３の処理の何れかを実行したと判定する場合（ステップＳ７５４：ＹＥＳ）、ステップＳ７５５の処理に進む。

　ステップＳ７５５の処理では、制御部４２３は、ステップＳ７４４，Ｓ７４７，Ｓ７５０の処理で特定した商品情報、及び、ステップＳ７５３の処理で確定又は修正した商品情報を、ネットワーク４１３を介してサーバ４１２に、通信部４２０によって送信する。

　ここで、店舗形態に応じては、顧客が購入する商品の数が１つ又は２つとなる場合がある。この場合、ステップＳ７４０，Ｓ７４１，Ｓ７５４の処理は、実行されなくてよい。ステップＳ７４０，Ｓ７４１，Ｓ７５４の処理が実行されない場合、ステップＳ７４２，Ｓ７４５，Ｓ７４８の処理において、制御部４２３は、撮像画像に、第１処理、第２処理及び第３処理を実行してよい。

　本開示のさらに他の実施形態に係る情報処理装置４１８の処理について説明する。本実施形態では、制御部４２３は、撮像画像から載置台４１４上における所定状況の物体を検出した場合、当該物体に対応する部分画像に、当該所定状況に応じた画像処理を実行して、当該物体を特定する。

　制御部４２３は、所定状況として、撮像画像から重畳した物体を検出した場合、当該物体に対応する部分画像に、第２処理を実行して、当該物体を検出してよい。制御部４２３は、公知の方法を用いて、撮像画像から重畳した物体を検出してよい。重畳した物体は、重なり合う物体のうち、別の物体の下に位置することにより、対応する部分画像が欠ける物体であってよい。この場合、重畳した物体は、上述の撮像画像４３０（図３０）の例では、部分画像４３０ｂに対応するバター、及び、部分画像４３０ｃに対応するチョコレートとなり得る。又は、重畳した物体は、重なり合う物体の全てであってよい。この場合、重畳した物体は、上述の撮像画像４３０では、部分画像４３０ａに対応するおにぎり、部分画像４３０ｂに対応するバター、及び、部分画像４３０ｃに対応するチョコレートとなり得る。

　制御部４２３は、所定状況として、撮像画像から変形した物体を検出した場合、当該物体に対応する部分画像に、第３処理を実行して、当該物体を検出してよい。制御部４２３は、公知の方法を用いて、撮像画像から変形した物体を検出してよい。

　制御部４２３は、所定状況として、撮像画像から検出した物体が重畳及び変形していない場合、当該物体に対応する部分画像に、第１処理を実行して、当該物体を検出してよい。また、制御部４２３は、所定状況として、所定画像から文字列が検出された場合、第１処理を実行して、文字列が検出された物体を特定してよい。

　制御部４２３は、所定状況として、撮像画像から、ハレーションを発生させている物体を検出した場合、当該物体に対応する部分画像に、第２処理を実行して、当該物体を特定してよい。物体の一部からの反射光の光量が局所的に多いと、当該物体に対応する部分画像においてハレーションが生じ得る。ハレーションを発生させる物体の一例として、鏡面を含む物体及び光沢面を含む物体等が挙げられる。制御部４２３は、公知の方法を用いて、撮像画像から、ハレーションを発生させている物体を検出してよい。制御部４２３は、部分画像のうちの、ハレーションが生じている領域を除いた領域に、第２処理を実行して、物体を特定してよい。ここで、部分画像にハレーションが生じている場合、当該物体に文字列が付されていても、制御部４２３は、当該部分画像から、文字列を抽出できない場合がある。この場合、第１処理によって当該物体を特定することは、困難となり得る。また、部分画像にハレーションが生じている場合、制御部４２３は、当該部分画像から、第３処理にて用いる特徴量を検出できない場合がある。この場合、第３処理によって当該物体を特定することは、困難となり得る。

　制御部４２３は、所定状況として、撮像画像から、破損した物体を検出した場合、制御信号を表示装置４１７に通信部４２０によって適宜送信することにより、商品が破損している旨を、表示装置４１７に表示させてよい。制御部４２３は、商品が破損している旨を、表示装置４１７に表示させることにより、顧客及び／又は店員に提示してよい。

　制御部４２３は、所定状況として、撮像画像から、汚れた物体を検出した場合、制御信号を表示装置４１７に通信部４２０によって適宜送信することにより、商品が汚れている旨を、表示装置４１７に表示させてよい。制御部４２３は、商品が汚れている旨を、表示装置４１７に表示させることにより、顧客及び／又は定員に提示してよい。

　ここで、上述した実施形態と類似にして、制御部４２３は、公知の物体検出方法によって、撮像画像から、物体の数を検出してよい。この場合、制御部４２３は、撮像画像から複数の物体を検出した場合、当該物体に対応する部分画像毎に、複数の画像処理のうちの、当該物体の状況に応じた画像処理を実行して、当該物体を特定してよい。

　以下、上述の処理の一例を説明する。制御部４２３は、図３５に示すような撮像画像４３１を取得する。撮像画像４３１は、部分画像４３１ａと、部分画像４３１ｂと、部分画像４３１ｃとを含む。部分画像４３１ａ、部分画像４３１ｂ及び部分画像４３１ｃは、撮像画像４３１の一部である。制御部４２３は、部分画像４３１ａに対応する物体が重畳及び変形していないと判定し得る。制御部４２３は、部分画像４３１ｂに対応する物体及び部分画像４３１ｃに対応する物体が重畳していると判定し得る。制御部４２３は、部分画像４３１ａに第１処理を実行して、部分画像４３１ａに対応する物体の商品名が「梅のおにぎり」であると特定してよい。制御部４２３は、部分画像４３１ｂ及び部分画像４３１ｃに第２処理を実行して、部分画像４３１ｂに対応する物体の商品名が「バター」であり、部分画像４３０ｃに対応する物体の商品名が「チョコレート」であると特定してよい。

　図３６は、本開示のさらに他の実施形態に係る情報処理システム４１０の物体特定処理を示すフローチャートである。制御部４２３は、カメラ４１６から１フレームの撮像画像に相当する画像信号を取得するたびに、物体特定処理を実行してよい。制御部４２３は、取得した撮像画像を記憶部４２２に記憶させてよい。

　制御部４２３は、図３２に示すステップＳ７１０の処理と同じく、ステップＳ７６０の処理を実行する。制御部４２３は、後述のステップＳ７６４，Ｓ７６７，Ｓ７６９の処理の何れも実行していない部分画像を選択する（ステップＳ７６１）。

　制御部４２３は、ステップＳ７６１の処理で選択した部分画像に対応する物体が重畳しているか否か判定する（ステップＳ７６２）。制御部４２３は、当該物体が重畳していると判定する場合（ステップＳ７６２：ＹＥＳ）、ステップＳ７６３の処理に進む。一方、制御部４２３は、当該物体が重畳していないと判定する場合（ステップＳ７６２：ＮＯ）、ステップＳ７６５の処理に進む。

　ステップＳ７６３の処理では、制御部４２３は、ステップＳ７６１の処理で選択した部分画像に、第２処理を実行する。ステップＳ７６４の処理では、制御部４２３は、ステップＳ７６３の処理における第２処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップＳ７６４の処理を実行した後、制御部４２３は、ステップＳ７７０の処理に進む。

　ステップＳ７６５の処理では、制御部４２３は、ステップＳ７６１の処理で選択した部分画像に対応する物体が変形しているか否か判定する。制御部４２３は、当該物体が変形していると判定する場合（ステップＳ７６５：ＹＥＳ）、ステップＳ７６６の処理に進む。一方、制御部４２３は、当該物体が変形していないと判定する場合（ステップＳ７６５：ＮＯ）、ステップＳ７６８の処理に進む。

　ステップＳ７６６の処理では、制御部４２３は、ステップＳ７６１の処理で選択した部分画像に、第３処理を実行する。ステップＳ７６７の処理では、制御部４２３は、ステップＳ７６６の処理における第３処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップＳ７６６の処理を実行した後、制御部４２３は、ステップＳ７７０の処理に進む。

　ステップＳ７６８の処理では、制御部４２３は、ステップＳ７６１の処理で選択した部分画像に、第１処理を実行する。つまり、制御部４２３は、ステップＳ７６１の処理で選択した部分画像に対応する物体が重畳及び変形していない場合、部分画像に、第１処理を実行する。ステップＳ７６９の処理では、制御部４２３は、ステップＳ７６８の処理における第１処理の処理結果に基づいて、部分画像に対応する物体を特定する。ステップＳ７６９の処理を実行した後、制御部４２３は、ステップＳ７７０の処理に進む。

　ステップＳ７７０の処理では、制御部４２３は、撮像画像に含まれる物体に対応する部分画像の全てに対して、ステップＳ７６４，Ｓ７６７，Ｓ７６９の処理の何れかを実行したか否か判定する。制御部４２３は、当該部分画像の全てに対して、ステップＳ７６４，Ｓ７６７，Ｓ７６９の処理の何れかを実行したと判定しない場合（ステップＳ７７０：ＮＯ）、ステップＳ７６１の処理に戻る。一方、制御部４２３は、当該部分画像の全てに対して、ステップＳ７６４，Ｓ７６７，Ｓ７６９の処理の何れかを実行したと判定する場合（ステップＳ７７０：ＹＥＳ）、ステップＳ７７１の処理に進む。

　ステップＳ７７１の処理では、制御部４２３は、ステップＳ７６４，Ｓ７６７，Ｓ７６９の処理で特定した商品情報を、ネットワーク４１３を介してサーバ４１２に、通信部４２０によって送信する。

　ここで、店舗形態に応じては、顧客が購入する商品の数が１つ又は２つとなる場合がある。この場合、ステップＳ７６０，Ｓ７６１，Ｓ７７０の処理は、実行されなくてよい。ステップＳ７６０，Ｓ７６１，Ｓ７７０の処理が実行されない場合、ステップＳ７６３，Ｓ７６６，Ｓ７６８の処理において、制御部４２３は、撮像画像に、第１処理、第２処理及び第３処理をそれぞれ実行してよい。

　本開示のさらに他の実施形態に係る情報処理装置４１８の処理について説明する。本実施形態では、情報処理装置４１８において、商品の値段を算出する処理を説明する。本実施形態では、記憶部４２２は、商品名に対応付けられた、商品の価格を記憶してよい。

　制御部４２３は、物体の商品名を特定した後、当該物体に対応する部分画像に、値引きシールの画像が含まれているか否か判定する。制御部４２３は、値引きシールの画像が含まれていると判定する場合、値引きシールの画像から、値引きの情報を取得する。例えば、制御部４２３は、「〇〇円引き」といった情報を取得する。制御部４２３は、取得した情報と、記憶部４２２に記憶されている商品の価格とに基づいて、商品の値段を確定する。一方、制御部４２３は、値引きシールの画像が含まれていると判定しない場合、記憶部４２２に記憶されている商品の価格を、商品の値段として確定する。

　制御部４２３は、確定した商品の値段を、ネットワーク４１３を介してサーバ４１２に、通信部４２０によって送信してよい。又は、制御部４２３は、制御信号を表示装置４１７に通信部４２０によって適宜送信することにより、商品の値段を表示装置４１７に表示させてよい。制御部４２３は、商品の値段を、表示装置４１７に表示させることにより、顧客に提示してよい。

　図３７は、本開示のさらに他の実施形態に係る情報処理システム４１０の商品の値段の算出処理を示すフローチャートである。制御部４２３は、図３５に示すステップＳ７１６の処理、図３３に示すステップＳ７３０の処理、図３４に示すステップＳ７５５の処理及び図３６に示すステップＳ７７１の処理に代えて、商品の値段の算出処理を実行してよい。

　制御部４２３は、物体に対応する部分画像に、値引きシールの画像が含まれているか否か判定する（ステップＳ７８０）。制御部４２３は、値引きシールの画像が含まれていると判定する場合（ステップＳ７８０：ＹＥＳ）、ステップＳ７８１の処理に進む。一方、制御部４２３は、値引きシールの画像が含まれていると判定しない場合（ステップＳ７８０：ＮＯ）、ステップＳ７８２の処理に進む。

　ステップＳ７８２の処理では、制御部４２３は、値引きシールの画像から、値引きの情報を取得する。

　ステップＳ７８３の処理では、制御部４２３は、ステップＳ７８２の処理で値引きの情報を取得した場合、取得した情報と、記憶部４２２に記憶されている商品の価格とに基づいて、商品の値段を確定する。制御部４２３は、ステップＳ７８１の処理にて値引きシールの画像が含まれていると判定しない場合、記憶部４２２に記憶されている商品の価格を、商品の値段として確定する。

　ステップＳ７８４の処理では、確定した商品の値段を、ネットワーク４１３を介してサーバ４１２に、通信部４２０によって送信する。確定した商品の値段をサーバ４１２に送信する代わりに、制御部４２３は、商品の値段を、表示装置４１７に表示させることにより、顧客に提示してよい。

　本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

　例えば、上述した実施形態では、情報処理システム１０は、図５、６に示すように、第１の方式及び第２の方式において、容易度の算出を行い、当該容易度に基づいて第１部分画像ｉｍ_p1及び第２部分画像ｉｍ_p2の一方から物体認識を行う構成であるが、容易度の算出を行うことなく、予め定められている一方から物体認識を行ってよい。

　また、上述した実施形態では、情報処理システム１０は、レジ端末に含まれる構成であるが、適用対象はレジ端末に限定されない。例えば、情報処理システム１０は、倉庫等における在庫の確認及び不良品の検知等における物体認識に適用され得る。

　例えば、上述した実施形態では、カメラ４１６は、載置台４１４の載置面４１４ａに、顧客によって載置された商品を、撮像するものとして説明した。ただし、カメラ４１６が撮像する商品は、載置台４１４の載置面４１４ａに載置された商品に限定されない。例えば、カメラ４１６は、顧客が載置台４１４の載置面４１４ａに載置せずにカメラ４１６の前にかざした商品を、撮像してよい。

　本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１画像部分は、第２画像部分と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

　１０　情報処理システム
　１１　精算システム
　１２　サーバ
　１３　ネットワーク
　１４　カメラ
　１５　反射部
　１６　ディスプレイ
　１７　情報処理装置
　１８　載置台
　１９　支持柱
　２０　通信部
　２１　入力部
　２２　記憶部
　２３　制御部
　ｉｍ　画像
　ｉｍ_p1　第１部分画像
　ｉｍ_p2　第２部分画像
　ｒｓ　反射面
　ｕｓ　上面
　１１０，２１０，３１０　情報処理システム
　１１１　精算システム
　１１２　サーバ
　１１３　ネットワーク
　１１４　載置台
　１１４ａ　載置面
　１１５　支持柱
　１１６　カメラ
　１１７　表示装置
　１１８　情報処理装置
　１１９　重量センサ
　１２０　通信部
　１２１　入力部
　３１４　買い物かご
　１２２　記憶部
　１２３　制御部
　１３０，１３１，１３２，１３３，１３４　撮像画像
　１３１ａ，１３２ａ，１３２ｂ，１３３ａ，１３３ｂ，１３４ａ，１３４ｂ，１３４ｃ　部分画像
　１４０，１４１，１４２　差分画像
　１４０ａ，１４１ａ，１４２ａ，１４２ｂ　部分画像
　４１０　情報処理システム
　４１１　精算システム
　４１２　サーバ
　４１３　ネットワーク
　４１４　載置台
　４１４ａ　載置面
　４１５　支持柱
　４１６　カメラ
　４１７　表示装置
　４１８　情報処理装置
　４２０　通信部
　４２１　入力部
　４２２　記憶部
　４２３　制御部
　４３０，４３１　撮像画像
　４３０ａ，４３０ｂ，４３０ｃ，４３１ａ，４３１ｂ，４３１ｃ　部分画像

Claims

　撮像により画像信号を生成する撮像部と、
　前記画像信号に相当する撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行する情報処理装置と、を備え、
　前記情報処理装置は、前記撮像画像に含まれる部分画像に対応する物体の状況、又は、実行した前記画像処理の処理結果に付与した信頼度の何れかに基づいて、前記撮像画像に含まれる部分画像に対応する物体を特定する
　情報処理システム。
　請求項１に記載の情報処理システムにおいて、
　前記画像処理では、記号認識、機械学習、及び、特徴量マッチングの少なくとも何れかが用いられる
　情報処理システム。
　請求項１又は２に記載の情報処理システムにおいて、
　前記情報処理装置は、前記複数の画像処理のうちの少なくとも２つを実行し、実行した前記画像処理の処理結果に信頼度を付与し、付与した信頼度が最も高い前記処理結果に基づいて、前記物体を特定する
　情報処理システム。
　請求項３に記載の情報処理装置において、
　前記情報処理装置は、前記撮像画像から複数の物体を検出した場合、当該物体に対応する部分画像毎に、前記複数の画像処理のうちの少なくとも２つを実行し、実行した前記画像処理の処理結果に信頼度を付与し、付与した信頼度が最も高い前記処理結果に基づいて、前記物体を特定する
　情報処理システム。
　請求項１又は２に記載の情報処理システムにおいて、
　前記情報処理装置は、前記複数の画像処理のうちの少なくとも２つを実行し、実行した前記画像処理の処理結果に信頼度を付与し、最も高い前記信頼度が閾値を超える場合、前記最も高い信頼度が付与された前記処理結果に基づいて、前記物体を特定する
　情報処理システム。
　請求項１又は２に記載の情報処理システムにおいて、
　前記情報処理装置は、前記複数の画像処理のうちの少なくとも２つを実行し、実行した前記画像処理の処理結果に信頼度を付与し、最も高い前記信頼度が閾値以下である場合、前記最も高い信頼度が付与された前記処理結果に基づいて、前記物体の候補を特定する
　情報処理システム。
　請求項５又は６に記載の情報処理システムにおいて、
　前記情報処理装置は、前記撮像画像から複数の物体を検出した場合、当該物体に対応する部分画像毎に、前記複数の画像処理のうちの少なくとも２つを実行して、当該物体を特定するか、又は、当該物体の候補を特定する
　情報処理システム。
　請求項１又は２に記載の情報処理システムにおいて、
　前記情報処理装置は、前記撮像画像に、前記複数の画像処理のうちの第１処理を実行し、実行した前記第１処理の処理結果に信頼度を付与し、付与した前記信頼度が閾値を超える場合、前記第１処理の処理結果に基づいて、前記物体を特定する
　情報処理システム。
　請求項８に記載の情報処理システムにおいて、
　前記情報処理装置は、前記第１処理の処理結果に付与した前記信頼度が前記閾値以下である場合、前記撮像画像に、前記複数の画像処理のうちの前記第１処理とは異なる第２処理を実行し、実行した前記第２処理の処理結果に信頼度を付与し、前記第２処理の処理結果に付与した信頼度が前記閾値を超える場合、前記第２処理の処理結果に基づいて、前記物体を特定する
　情報処理システム。
　請求項９に記載の情報処理システムにおいて、
　前記第１処理は、文字認識を用いた物体認識処理であり、前記第２処理は、機械学習を用いた物体認識処理であり、
　前記情報処理装置は、前記第２処理の処理結果に付与した前記信頼度が前記閾値以下である場合、前記撮像画像に、前記複数の画像処理のうちの特徴量マッチングを用いた物体認識処理であって、前記第２処理とは異なる第３処理を実行し、実行した前記第３処理の処理結果に信頼度を付与し、前記第３処理の処理結果に付与した信頼度が前記閾値を超える場合、前記第３処理の処理結果に基づいて、前記物体を特定する
　情報処理システム。
　請求項１０に記載の情報処理システムにおいて、
　前記情報処理装置は、前記撮像画像から複数の物体を検出した場合、当該物体に対応する部分画像毎に、前記第１処理、前記第２処理及び前記第３処理を順次実行する
　情報処理システム。
　請求項１又は２に記載の情報処理システムにおいて、
　前記情報処理装置は、前記撮像画像から所定状況の物体を検出した場合、当該物体に対応する部分画像に、前記複数の画像処理のうちの、当該所定状況に応じた画像処理を実行して、当該物体を特定する
　情報処理システム。
　請求項１２に記載の情報処理システムにおいて、
　前記情報処理装置は、前記撮像画像から重畳した物体を検出した場合、当該物体に対応する部分画像に、前記複数の画像処理のうちの、機械学習を用いた物体認識処理である第２処理を実行して、当該物体を特定する
　情報処理システム。
　請求項１２に記載の情報処理システムにおいて、
　前記情報処理装置は、前記撮像画像から変形した物体を検出した場合、当該物体に対応する部分画像に、前記複数の画像処理のうちの、特徴量マッチングを用いた物体認識処理である第３処理を実行して、当該物体を特定する
　情報処理システム。
　請求項１２に記載の情報処理システムにおいて、
　前記情報処理装置は、前記撮像画像から検出した物体が重畳及び変形していない場合、当該物体に対応する部分画像に、前記複数の画像処理のうちの、文字認識を用いた物体認識処理である第１処理を実行して、当該物体を特定する
　情報処理システム。
　請求項１２に記載の情報処理システムにおいて、
　前記情報処理装置は、前記撮像画像から複数の物体を検出した場合、当該物体に対応する部分画像毎に、前記複数の画像処理のうちの、当該物体の状況に応じた画像処理を実行して、当該物体を特定する
　情報処理システム。
　請求項１から１６までの何れか一項に記載の情報処理システムにおいて、
　前記物体である商品が載置される載置台をさらに備え、
　前記撮像部は、前記載置台の載置面を撮像可能に配置されている
　情報処理システム。
　撮像により画像信号を生成する撮像部と通信可能な通信部と、
　前記通信部によって前記画像信号に相当する撮像画像を取得し、取得した前記撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行する制御部と、を備え、
　前記制御部は、前記撮像画像に含まれる部分画像に対応する物体の状況、又は、実行した前記画像処理の処理結果に付与した信頼度の何れかに基づいて、前記撮像画像に含まれる部分画像に対応する物体を特定する
　情報処理装置。
　撮像により画像信号を生成することと、
　前記画像信号に相当する撮像画像を取得し、取得した前記撮像画像に対して、複数の画像処理のうちの少なくとも何れかを実行することと、
　前記撮像画像に含まれる部分画像に対応する物体の状況、又は、実行した前記画像処理の処理結果に付与した信頼度の何れかに基づいて、前記撮像画像に含まれる部分画像に対応する物体を特定することと、を含む
　情報処理方法。
　撮像により画像信号を生成する撮像部と、
　前記画像信号に相当する撮像画像を取得し、撮像時刻の異なる２つの前記撮像画像の差分画像に基づいて、当該２つの撮像画像の少なくとも何れかに含まれる部分画像に対応する物体を特定する情報処理装置と、を備える
　情報処理システム。
　請求項２０に記載の情報処理システムにおいて、
　前記情報処理装置は、前記差分画像に対して物体認識を実行することにより、前記物体を特定する
　情報処理システム。
　請求項２１に記載の情報処理システムにおいて、
　前記情報処理装置は、前記差分画像から個別に複数の物体が検出された場合、各物体に対応する部分画像毎に前記物体認識を実行する
　情報処理システム。
　請求項２０から２２までの何れか一項に記載の情報処理システムにおいて、
　前記情報処理装置は、前記２つの撮像画像に差分があると判定する場合、前記差分画像を生成する、情報処理システム。
　請求項２３に記載の情報処理システムにおいて、
　前記情報処理装置は、前記撮像画像から物体の数を検出し、個別に検出された物体の数が変化したときの前記撮像画像と、当該撮像画像の撮像時刻よりも前の撮像時刻の前記撮像画像とを用いて、前記差分画像を生成する
　情報処理システム。
　請求項２４に記載の情報処理システムにおいて、
　前記情報処理装置は、前記撮像時刻よりも前の撮像時刻の撮像画像として、前記物体の数が変化する前の撮像画像を用いる
　情報処理システム。
　請求項２０から２２までの何れか一項に記載の情報処理システムにおいて、
　前記情報処理装置は、前記撮像時刻の異なる２つの撮像画像として、手指に対応する部分画像を含む前記撮像画像の撮像時刻の前後の撮像時刻の撮像画像を用いる
　情報処理システム。
　請求項２０から２６までの何れか一項に記載の情報処理システムにおいて、
　前記物体である商品が載置される載置台をさらに備え、
　前記撮像部は、前記載置台の載置面を撮像可能に配置されている
　情報処理システム。
　請求項２０から２２までの何れか一項に記載の情報処理システムにおいて、
　前記物体である商品が載置される載置台と、
　前記載置台の載置面にかかる重量を検出する重量センサと、をさらに備え、
　前記情報処理装置は、前記撮像時刻の異なる２つの撮像画像として、前記載置面にかかる重量が変化した時刻の前後の撮像時刻の撮像画像を用いる
　情報処理システム。
　撮像により画像信号を生成する撮像部と通信可能な通信部と、
　前記通信部によって前記画像信号に相当する撮像画像を取得し、撮像時刻の異なる２つの前記撮像画像の差分画像に基づいて、当該２つの撮像画像の少なくとも何れかに含まれる部分画像に対応する物体を特定する制御部と、を備える
　情報処理装置。
　撮像により画像信号を生成することと、
　前記画像信号に相当する撮像画像を取得し、撮像時刻の異なる２つの前記撮像画像の差分画像に基づいて、当該２つの撮像画像の少なくとも何れかに含まれる部分画像に対応する物体を特定することと、を含む
　情報処理方法。
　撮像により画像信号を生成するカメラと、
　前記カメラの撮像範囲内に配置され、反射面が前記カメラの光軸に対して傾斜している反射部と、
　前記カメラから受信する画像信号に相当する画像の全領域における前記反射部が占める領域における第１部分画像と、当該領域以外の領域における第２部分画像とに対して、物体認識を行う情報処理装置と、を備える
　情報処理システム。
　請求項３１に記載の情報処理システムにおいて、
　前記情報処理装置は、前記第１部分画像及び前記第２部分画像の一方に対して物体認識を行い、当該物体認識による物体の仮の認識結果の信頼度を算出し、当該信頼度が閾値を超える場合、当該物体の仮の認識結果を確定する
　情報処理システム。
　請求項３２に記載の情報処理システムにおいて、
　前記情報処理装置は、前記物体認識による少なくとも一部の物体に対する前記信頼度が閾値以下である場合、他方において物体認識を行い、当該物体認識による全物体の仮の認識結果を確定する
　情報処理システム。
　請求項３２に記載の情報処理システムにおいて、
　前記情報処理装置は、前記物体認識による物体に対する前記信頼度が閾値以下である場合、他方における当該物体を含む部分において物体認識を行い、当該物体認識により仮認識される当該物体の仮の認識結果を確定する
　情報処理システム。
　請求項３２から３４までの何れか一項に記載の情報処理システムにおいて、
　情報処理装置は、前記第１部分画像及び前記第２部分画像における物体認識の容易度を算出し、前記第１部分画像及び前記第２部分画像の中で前記容易度が高い一方に対して先に物体認識を行う
　情報処理システム。
　請求項３１に記載の情報処理システムにおいて、
　前記情報処理装置は、前記第１部分画像及び前記第２部分画像それぞれに対して物体認識を行い、前記第１部分画像において仮認識される物体と前記第２部分画像において仮認識される物体とを対応付け、対応付けられる物体のそれぞれの仮の認識結果が一致する場合に当該物体の仮の認識結果を確定する
　情報処理システム。
　請求項３６に記載の情報処理システムにおいて、
　前記情報処理装置は、対応付けられる物体のそれぞれの仮の認識結果が異なる場合、前記それぞれの仮の認識結果を提示する
　情報処理システム。
　請求項３７に記載の情報処理システムにおいて、
　前記情報処理装置は、前記それぞれの仮の認識結果に対するそれぞれの信頼度が大きな順番で、前記それぞれの仮の認識結果を提示する
　情報処理システム。
　請求項３６から３８までの何れか一項に記載の情報処理システムにおいて、
　前記情報処理装置は、
　前記第１部分画像及び前記第２部分画像に対する物体認識による物体毎の仮の認識結果の信頼度を算出し、
　対応付けられる物体のそれぞれの仮の認識結果が異なり且つ少なくとも一方の仮の認識結果の信頼度が閾値を超える場合、信頼度の大きな仮の認識結果を当該物体の認識結果として確定する
　情報処理システム。
　請求項３１に記載の情報処理システムにおいて、
　前記情報処理装置は、
　前記第１部分画像及び前記第２部分画像それぞれにおいて物体を検出し、前記第１部分画像において検出される物体と前記第２部分画像において検出される物体とを対応付け、対応付けられる物体が前記第１部分画像及び前記第２部分画像それぞれにおいて検出される部分を組み合わせて物体認識を行い、当該物体認識による物体の仮の認識結果を確定する
　情報処理システム。
　反射面がカメラの光軸に対して傾斜している反射部を撮像範囲内に含む当該カメラが撮像により生成する画像信号を受信する通信部と、
　前記画像信号に相当する画像の全領域における前記反射部が占める領域における第１部分画像と、当該領域以外の領域における第２部分画像を用いて、物体認識を行う制御部と、を備える
　情報処理装置。
　反射面がカメラの光軸に対して傾斜している反射部を撮像範囲内に含む当該カメラに、撮像により画像信号を生成させ、
　前記画像信号に相当する画像の全領域における前記反射部が占める領域における第１部分画像と、当該領域以外の領域における第２部分画像を用いて、物体認識を行う
　情報処理方法。