JP7343047B2 - 処理装置、処理方法及びプログラム - Google Patents

Description

本発明は、処理装置、処理方法及びプログラムに関する。

非特許文献１及び２は、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムを開示している。当該技術では、店内を撮影するカメラが生成した画像に基づき顧客が手にとった商品を認識し、顧客が店舗を出たタイミングで認識結果に基づき自動的に決済処理を行う。

特許文献１は、３台のカメラ各々が生成した手術画像に対して画像認識を行い、画像認識の結果に基づき各画像の術野露出度を算出し、３枚の手術画像の中から術野露出度が最も大きい画像を選択してディスプレイに表示する技術を開示している。

国際公開第２０１９／１３０８８９号

宮田拓弥、"Ａｍａｚｏｎ Ｇｏの仕組み「カメラとマイク」で実現するレジなしスーパー"、[online]、２０１６年１２月１０日、［２０１９年１２月６日検索］、インターネット<URL:https://www.huffingtonpost.jp/tak-miyata/amazon-go_b_13521384.html> "ＮＥＣ、レジレス店舗「ＮＥＣ ＳＭＡＲＴ ＳＴＯＲＥ」を本社内にオープン--顔認証活用、退店と同時決済"、[online]、２０２０年２月２８日、［２０２０年３月２７日検索］、インターネット<URL: https://japan.cnet.com/article/35150024/>

顧客が手に取った商品を精度よく認識する技術が望まれている。例えば、非特許文献１及び２に記載のレジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムにおいては、顧客が手にとった商品を精度よく認識する技術が必要となる。その他、顧客の嗜好調査やマーケティング調査等の目的で顧客の店内行動を調査する場合にも、当該技術は有用である。

本発明の課題は、顧客が手にとった商品を精度よく認識する技術を提供することである。

本発明によれば、
顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段と、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段と、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき最終認識結果を決定する決定手段と、
を有する処理装置が提供される。

また、本発明によれば、
コンピュータが、
顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得し、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識し、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき最終認識結果を決定する処理方法が提供される。

また、本発明によれば、
コンピュータを、
顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき最終認識結果を決定する決定手段、
として機能させるプログラムが提供される。

本発明によれば、顧客が手にとった商品を精度よく認識する技術が実現される。

本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例である。 本実施形態のカメラの設置例を説明するための図である。 本実施形態のカメラの設置例を説明するための図である。 本実施形態の処理装置が処理する画像の一例を示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。

＜第１の実施形態＞
「概要」
顧客が手にとった商品の画像内での大きさ（画像内で当該商品が占める領域の大きさ）が小さい場合、その商品の外観の特徴量をその画像から抽出し難くなる。結果、商品認識の精度が低くなり得る。このため、商品認識の精度を高める観点から、できるだけ画像内で大きくなるように商品を撮影し、その画像に基づき商品認識を行うことが好ましい。

そこで、本実施形態では、顧客が手にとった商品を複数の位置及び複数の方向から複数のカメラで撮影する。このように構成することで、手にとった商品の陳列位置、顧客の姿勢、身長、商品の取り方、商品を持っている時の姿勢等に関わらず、いずれかのカメラにおいて、画像内で十分に大きくなるようにその商品を撮影できる可能性が高くなる。

処理装置は、複数のカメラが生成した複数の画像各々を解析して各画像に含まれる商品（顧客が手にとった商品）を認識する。そして、処理装置は、複数の画像各々内で商品が存在する領域（画像内での大きさ）が最も大きい画像に基づく認識結果を、最終認識結果として出力する。

「ハードウエア構成」
次に、処理装置のハードウエア構成の一例を説明する。

処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図１は、処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

「機能構成」
図２に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、認識部１２と、決定部１３とを有する。

取得部１１は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する。取得部１１への画像の入力は、リアルタイム処理で行われてもよいし、バッチ処理で行われてもよい。いずれの処理とするかは、例えば認識結果の利用内容に応じて決定することができる。

ここで、複数のカメラについて説明する。本実施形態では顧客が手にとった商品を複数の方向及び複数の位置から撮影できるように複数のカメラ（２台以上のカメラ）が設置される。例えば商品陳列棚毎に、各々から取り出された商品を撮影する位置及び向きで複数のカメラが設置されてもよい。カメラは、商品陳列棚に設置されてもよいし、天井に設置されてもよいし、床に設置されてもよいし、壁面に設置されてもよいし、その他の場所に設置されてもよい。なお、商品陳列棚毎にカメラを設置する例はあくまで一例であり、これに限定されない。

カメラは動画像を常時（例えば、営業時間中）撮影してもよいし、動画像のフレーム間隔よりも大きい時間間隔で静止画像を継続的に撮影してもよいし、人感センサー等で所定位置（商品陳列棚の前等）に存在する人を検出している間のみこれらの撮影を実行してもよい。

ここで、カメラ設置の一例を示す。なお、ここで説明するカメラ設置例はあくまで一例であり、これに限定されない。図３に示す例では、商品陳列棚１毎に２つのカメラ２が設置されている。図４は、図３の枠４を抽出した図である。枠４を構成する２つの部品各々には、カメラ２と照明（不図示）とが設けられる。

照明の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。

そしてカメラ２は、直線状に延伸する枠４の部品の一端側に設けられており、照明の光が放射される方向を撮影範囲としている。例えば図４の左側の枠４の部品において、カメラ２は下方及び右斜め下を撮影範囲としている。また、図４の右側の枠４の部品において、カメラ２は上方及び左斜め上を撮影範囲としている。

図３に示すように、枠４は、商品載置スペースを構成する商品陳列棚１の前面フレーム（又は両側の側壁の前面）に取り付けられる。枠４の部品の一方は、一方の前面フレームに、カメラ２が下方に位置する向きに取り付けられ、枠４の部品の他方は、他方の前面フレームに、カメラ２が上方に位置する向きに取り付けられる。そして、枠４の部品の一方に取り付けられたカメラ２は、商品陳列棚１の開口部を撮影範囲に含むように、上方及び斜め上方を撮影する。一方、枠４の部品の他方に取り付けられたカメラ２は、商品陳列棚１の開口部を撮影範囲に含むように、下方及び斜め下方を撮影する。このように構成することで、２つのカメラ２で商品陳列棚１の開口部の全範囲を撮影することができる。結果、商品陳列棚１から取り出されている商品（顧客が手にとった商品）を２つのカメラ２で撮影することが可能となる。

例えば図３及び図４に示す構成を採用した場合、図５に示すように、どの位置に陳列されている商品６を商品陳列棚１から取り出すかに応じて、２つのカメラ２各々が生成する画像内における商品６の大きさが異なり得る。より上段に陳列されており、より図中左側に陳列されている商品６ほど、図中左上に位置するカメラ２が生成する第１の画像７内における大きさが大きくなり、図中右下に位置するカメラ２が生成する第２の画像８における大きさが小さくなる。そして、より下段に陳列されており、より図中右側に陳列されている商品６ほど、図中右下に位置するカメラ２が生成する第２の画像８内における大きさが大きくなり、図中左上に位置するカメラ２が生成する第１の画像７内における大きさが小さくなる。図５においては、第１の画像７及び第２の画像８内に存在する同一商品を枠Ｗで囲っている。図示するように、各画像内におけるその商品の大きさは互いに異なり得る。

図２に戻り、認識部１２は、複数のカメラが生成した複数の画像各々に基づき商品を認識する。

ここで、各画像に対して行われる認識処理の具体例を説明する。まず、認識部１２は、画像から抽出した物体の外観の特徴量と、予め登録された複数の商品各々の外観の特徴量とを照合し、照合結果に基づき、商品ごとに画像に含まれる物体が各商品である信頼度（確信度、類似度等という）を算出する。信頼度は、例えば、マッチングした特徴量の数や予め登録された特徴量の数に対するマッチングした特徴量の数の割合等に基づき算出される。

そして、認識部１２は、算出した信頼度に基づき、認識結果を決定する。認識結果は、例えば画像に含まれる商品の商品識別情報となる。例えば、認識部１２は、信頼度が最も高い商品をその画像に含まれる商品として決定してもよいし、その他の基準で認識結果を決定してもよい。以上により、画像毎の認識結果が得られる。

なお、予め、複数の商品各々の画像と各商品の識別情報（ラベル）とを紐づけた教師データに基づく機械学習で、画像内の商品を認識する推定モデル（クラス分類器）が生成されていてもよい。そして、認識部１２は、当該推定モデルに取得部１１が取得した画像を入力することで、商品認識を実現してもよい。

認識部１２は、取得部１１が取得した画像をそのまま推定モデルに入力してもよいし、取得部１１が取得した画像に対して加工を行った後、加工後の画像を推定モデルに入力してもよい。

ここで、加工の一例を説明する。まず、認識部１２は、従来の物体認識技術に基づき、画像内に存在する物体を認識する。そして、認識部１２は、その物体が存在する一部領域を画像から切り出し、切り出した一部領域の画像を推定モデルに入力する。なお、物体認識は、取得部１１が取得した複数の画像各々に対して行ってもよいし、取得部１１が取得した複数の画像を結合した後、結合後の１つの画像に対して行ってもよい。後者にすると、画像認識を行う画像ファイルの数が少なくなり、処理効率が向上する。

決定部１３は、複数の画像各々に基づく複数の認識結果（商品識別情報等）に基づき最終認識結果（商品識別情報等）を決定して出力する。

より具体的には、決定部１３は、複数の画像各々内で商品が存在する領域の大きさを算出し、当該大きさが最も大きい画像に基づく認識結果を、最終認識結果として決定して出力する。

当該大きさは、商品が存在する領域の面積で示されてもよいし、当該領域の外周の長さで示されてもよいし、その他で示されてもよい。これら面積や長さは例えばピクセル数で示すことができるが、これに限定されない。

商品が存在する領域は、商品及びその周辺を含む矩形領域であってもよいし、商品のみが存在する商品の輪郭に沿った形状の領域であってもよい。いずれを採用するかは、例えば画像内の商品（物体）を検出する手法に基づき決定することができる。例えば、画像内の矩形領域毎に商品（物体）が存在するか判断する手法を採用する場合、商品が存在する領域は、商品及びその周辺を含む矩形領域とすることができる。一方、セマンティックセグメンテーションやインスタンスセグメンテーションと呼ばれる検出対象が存在するピクセル領域を検出する手法を採用する場合、商品が存在する領域は、商品のみが存在する商品の輪郭に沿った形状の領域とすることができる。

なお、本実施形態では、決定部１３が出力した最終認識結果（認識された商品の商品識別情報）に対するその後の処理内容は特段制限されない。

例えば、最終認識結果は、非特許文献１及び２に開示のようなレジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムにおける決済処理で利用されてもよい。以下、一例を説明する。

まず、店舗システムは、認識された商品の商品識別情報（最終認識結果）を、その商品を手にとった顧客を特定する情報に紐づけて登録する。例えば、店内には、商品を手にとった顧客の顔を撮影するカメラが設置されており、店舗システムは、当該カメラが生成した画像から顧客の顔の外観の特徴量を抽出してもよい。そして、店舗システムは、当該顔の外観の特徴量（顧客を特定する情報）に紐づけて、その顧客が手にとった商品の商品識別情報やその他の商品情報（単価、商品名等）を登録してもよい。その他の商品情報は、予め店舗システムに記憶されている商品マスタ（商品識別情報と、その他の商品情報とを紐づけた情報）から取得することができる。

その他、予め、顧客の顧客識別情報（会員番号、氏名等）と、顔の外観の特徴量とが紐づけて任意の場所（店舗システム、センターサーバ等）に登録されていてもよい。そして、店舗システムは、商品を手にとった顧客の顔を含む画像から顧客の顔の外観の特徴量を抽出すると、当該予め登録された情報に基づきその顧客の顧客識別情報を特定してもよい。そして、店舗システムは、特定した顧客識別情報に紐づけて、その顧客が手にとった商品の商品識別情報やその他の商品情報を登録してもよい。

また、店舗システムは、登録内容に基づき決済金額を算出し、決済処理を実行する。例えば、顧客がゲートから退場したタイミングや、顧客が出口から店舗外に出たタイミング等で、決済処理が実行される。これらのタイミングの検出は、ゲートや出口に設置されたカメラが生成した画像で顧客の退店を検出することで実現されてもよいし、ゲートや出口に設置された入力装置（近距離無線通信するリーダ等）に対する退店する顧客の顧客識別情報の入力で実現されてもよいし、その他の手法で実現されてもよい。決済処理の詳細は、予め登録されたクレジットカード情報に基づくクレジットカードでの決済処理であってもよいし、予めチャージされたお金に基づく決済であってもよいし、その他であってもよい。

決定部１３が出力した最終認識結果（認識された商品の商品識別情報）のその他の利用場面として、顧客の嗜好調査やマーケティング調査等が例示される。例えば、各顧客が手に取った商品を各顧客に紐づけて登録することで、各顧客が興味を有する商品などを分析することができる。また、商品ごとに顧客が手に取った旨を登録することで、どの商品が顧客に興味を持たれているかを分析することができる。さらに、従来の画像解析技術を利用して顧客の属性（性別、年代、国籍等）を推定し、各商品を手に取った顧客の属性を登録することで、各商品がどのような属性の顧客に興味を持たれているかを分析することができる。

次に、図６のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、取得部１１は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する（Ｓ１０）。例えば、取得部１１は、図３乃至図５に示す商品陳列棚１に設置された２つのカメラ２各々が生成した第１の画像７及び第２の画像８を取得する。

次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する（Ｓ１１）。

次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う（Ｓ１２）。例えば、認識部１２は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部１２は、切り出した一部領域の画像を、予め用意された推定モデル（クラス分類器）に入力することで、商品認識処理を実行する。

次に、決定部１３は、Ｓ１２での複数の画像各々に基づく複数の認識結果に基づき最終認識結果を決定する（Ｓ１３）。具体的には、決定部１３は、Ｓ１１での物体検出結果に基づき複数の画像各々内で商品（物体）が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。

次に、決定部１３は、決定した最終認識結果を出力する（Ｓ１４）。

以降、同様の処理を繰り返す。

「作用効果」
以上説明した本実施形態の処理装置１０によれば、顧客が手にとった商品を複数の位置及び複数の方向から撮影する複数のカメラが生成した複数の画像を、解析対象として取得する。このため、手にとった商品の陳列位置、顧客の姿勢、身長、商品の取り方、商品を持っている時の姿勢等に関わらず、商品が十分に大きく写っている画像を解析対象として取得できる可能性が高くなる。

そして、処理装置１０は、複数のカメラが生成した複数の画像の中から商品認識に適した一枚を特定し、特定した画像に基づく商品の認識結果を採用する。具体的には、処理装置１０は、商品が最も大きく写っている画像を特定し、その画像に基づく商品の認識結果を採用する。

このような処理装置１０によれば、商品が十分に大きく写っている画像に基づき商品認識を行い、その結果を出力することができる。結果、顧客が手にとった商品を精度よく認識することが可能となる。

＜第２の実施形態＞
本実施形態の処理装置１０は、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合に、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果が一致する場合、一致した認識結果を最終認識結果として決定する。

図７のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、取得部１１は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する（Ｓ２０）。例えば、取得部１１は、図３乃至図５に示す商品陳列棚１に設置された２つのカメラ２各々が生成した第１の画像７及び第２の画像８を取得する。

次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する（Ｓ２１）。

次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う（Ｓ２２）。例えば、認識部１２は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部１２は、切り出した一部領域の画像を、予め用意された推定モデル（クラス分類器）に入力することで、商品認識処理を実行する。

次に、決定部１３は、複数の画像各々に基づく複数の認識結果が一致するか判断する（Ｓ２３）。

一致する場合（Ｓ２３のＹｅｓ）、決定部１３は、一致した認識結果を最終認識結果として決定する。

一方、一致しない場合（Ｓ２３のＮｏ）、すなわち、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合、決定部１３は、複数の画像各々内で商品（物体）が存在する領域の大きさに基づき最終認識結果を決定する（Ｓ２４）。具体的には、決定部１３は、Ｓ２１での物体検出結果に基づき複数の画像各々内で商品（物体）が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。

次に、決定部１３は、決定した最終認識結果を出力する（Ｓ２６）。

以降、同様の処理を繰り返す。

処理装置１０のその他の構成は、第１の実施形態と同様である。

以上説明した本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、複数の画像各々内で商品（物体）が存在する領域の大きさを算出する処理や、その結果に基づき最終認識結果を決定する処理を実行する回数を減らすことができる。結果、コンピュータの処理負担が軽減する。

＜第３の実施形態＞
本実施形態の処理装置１０は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値（設計的事項）未満であり、信頼度が最も高い認識結果が間違っていることも想定される場合、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上であり、信頼度が最も高い認識結果が間違っていることがあまり想定されない場合、信頼度が最も高い認識結果を最終認識結果として決定する。認識結果の信頼度は第１の実施形態で説明した通りである。

図８のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、取得部１１は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する（Ｓ３０）。例えば、取得部１１は、図３乃至図５に示す商品陳列棚１に設置された２つのカメラ２各々が生成した第１の画像７及び第２の画像８を取得する。

次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する（Ｓ３１）。

次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う（Ｓ３２）。例えば、認識部１２は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部１２は、切り出した一部領域の画像を、予め用意された推定モデル（クラス分類器）に入力することで、商品認識処理を実行する。

次に、決定部１３は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上であるか判断する（Ｓ３３）。なお、２つの画像に基づく２つの認識結果のみが得られている場合、２つの認識結果各々の信頼度の差が閾値以上か判断する処理となる。

閾値以上である場合（Ｓ３３のＹｅｓ）、決定部１３は、信頼度が最も高い認識結果を最終認識結果として決定する（Ｓ３５）。

一方、閾値未満である場合（Ｓ３３のＮｏ）、決定部１３は、複数の画像各々内で商品（物体）が存在する領域の大きさに基づき最終認識結果を決定する（Ｓ３４）。具体的には、決定部１３は、Ｓ３１での物体検出結果に基づき複数の画像各々内で商品（物体）が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。

次に、決定部１３は、決定した最終認識結果を出力する（Ｓ３６）。

以降、同様の処理を繰り返す。

処理装置１０のその他の構成は、第１の実施形態と同様である。

以上説明した本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、複数の画像各々内で商品（物体）が存在する領域の大きさを算出する処理や、その結果に基づき最終認識結果を決定する処理を実行する回数を減らすことができる。結果、コンピュータの処理負担が軽減する。

＜第４の実施形態＞
本実施形態の処理装置１０は、第２の実施形態及び第３の実施形態の構成を組み合わせた構成である。

すなわち、本実施形態の処理装置１０は、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合に、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果が一致する場合、一致した認識結果を最終認識結果として決定する。

また、本実施形態の処理装置１０は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値（設計的事項）未満である場合、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する。そして、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上である場合、信頼度が最も高い認識結果を最終認識結果として決定する。

図９のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、取得部１１は、顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する（Ｓ４０）。例えば、取得部１１は、図３乃至図５に示す商品陳列棚１に設置された２つのカメラ２各々が生成した第１の画像７及び第２の画像８を取得する。

次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる物体を検出する（Ｓ４１）。

次に、認識部１２は、複数のカメラが生成した複数の画像各々に含まれる商品を認識する処理を行う（Ｓ４２）。例えば、認識部１２は、複数のカメラが生成した複数の画像各々から、検出した物体を含む一部領域を切り出す。そして、認識部１２は、切り出した一部領域の画像を、予め用意された推定モデル（クラス分類器）に入力することで、商品認識処理を実行する。

次に、決定部１３は、複数の画像各々に基づく複数の認識結果が一致するか判断する（Ｓ４３）。

一致する場合（Ｓ４３のＹｅｓ）、決定部１３は、一致した認識結果を最終認識結果として決定する。

一方、一致しない場合（Ｓ４３のＮｏ）、すなわち、複数の画像各々に基づく複数の認識結果の中に互いに異なる認識結果が含まれる場合、決定部１３は、複数の画像各々に基づく複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値以上であるか判断する（Ｓ４４）。なお、２つの画像に基づく２つの認識結果のみが得られている場合、２つの認識結果各々の信頼度の差が閾値以上か判断する処理となる。

閾値以上である場合（Ｓ４４のＹｅｓ）、決定部１３は、信頼度が最も高い認識結果を最終認識結果として決定する（Ｓ４６）。

一方、閾値未満である場合（Ｓ４４のＮｏ）、決定部１３は、複数の画像各々内で商品（物体）が存在する領域の大きさに基づき最終認識結果を決定する（Ｓ４５）。具体的には、決定部１３は、Ｓ４１での物体検出結果に基づき複数の画像各々内で商品（物体）が存在する領域の大きさを算出し、その大きさが最も大きい画像に基づく認識結果を最終認識結果として決定する。

次に、決定部１３は、決定した最終認識結果を出力する（Ｓ４８）。

以降、同様の処理を繰り返す。

処理装置１０のその他の構成は、第１乃至第３の実施形態と同様である。

以上説明した本実施形態の処理装置１０によれば、第１乃至第３の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、複数の画像各々内で商品（物体）が存在する領域の大きさを算出する処理や、その結果に基づき最終認識結果を決定する処理を実行する回数をより減らすことができる。結果、コンピュータの処理負担がより軽減する。

＜第５の実施形態＞
本実施形態の処理装置１０は、複数の画像各々内で商品が存在する領域の大きさに基づき最終認識結果を決定する処理の詳細が、第１乃至第４の実施形態と異なる。

決定部１３は、認識結果の信頼度、画像内で商品が存在する領域の大きさに基づき、複数の画像各々の認識結果の評価値を算出し、その評価値に基づき最終認識結果を決定する。決定部１３は、認識結果の信頼度が高いほど、また、画像内で商品が存在する領域が大きいほど、高い評価値を算出する。そして、決定部１３は、評価値が最も高い認識結果を、最終認識結果として決定する。評価値の算出方法（計算式等）の詳細は設計的事項である。

なお、決定部１３は、さらに、予め設定された複数のカメラ各々の重み付け値に基づき、上記評価値を算出してもよい。商品認識に有用な画像を生成しやすいカメラほど、重み付け値が高くなる。そして、重み付け値が高いカメラが生成した画像の認識結果ほど、評価値が高くなる。

例えば、商品認識に有用な画像を生成しやすい位置及び向きで設置されているカメラほど、重み付け値が高くなる。商品認識に有用な画像は、商品の外観の特徴的な部分（パッケージの表側）を含む画像や、顧客の身体の一部（手等）やその他の障害物により商品が隠れていない（隠れている部分がより少ない）画像などである。

その他、例えばカメラのスペック等に基づき、カメラの重み付け値が決定されてもよい。スペックが優れたカメラほど、商品認識に有用な画像を生成しやすい。

なお、ここでは、認識結果の信頼度が高いほど、画像内で商品が存在する領域が大きいほど、また、カメラの重み付け値が高いほど高い評価値が算出されるとしたが、その他、認識結果の信頼度が高いほど、画像内で商品が存在する領域が大きいほど、また、カメラの重み付け値が高いほど低い評価値が算出されるようにしてもよい。この場合、決定部１３は、評価値が最も低い認識結果を、最終認識結果として決定する。

例えば、図６のフローチャートのＳ１３の処理や、図７のフローチャートのＳ２４の処理や、図８のフローチャートのＳ３３の処理や、図９のフローチャートのＳ４５の処理等を、上述した決定部１３の処理に置き換えることができる。

処理装置１０のその他の構成は、第１乃至第４の実施形態と同様である。

以上説明した本実施形態の処理装置１０によれば、第１乃至第４の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、画像内で商品が存在する領域の大きさのみならず、認識結果の信頼度や各画像を生成したカメラの評価（位置、向き、スペック等に基づく重み付け値）等を考慮して、最終認識結果を決定することができる。結果、商品認識の精度が向上する。

＜第６の実施形態＞
本実施形態では、顧客が手に取った商品を２台のカメラで撮影する。例えば図３乃至図５の構成を採用してもよい。

そして、取得部１１は、２台のカメラの一方（以下、「第１のカメラ」）が生成した第１の画像、及び、２台のカメラの他方（以下、「第２のカメラ」）が生成した第２の画像を取得する。

決定部１３は、第１の画像内で商品（物体）が存在する領域の大きさＬ１及び第２の画像内で商品（物体）が存在する領域の大きさＬ２の比であるＬ１／Ｌ２を算出する。

そして、決定部１３は、Ｌ１／Ｌ２が予め設定された閾値以上である場合、第１の画像像に基づく認識結果を最終認識結果として決定する。

一方、Ｌ１／Ｌ２が閾値未満である場合、決定部１３は、第２の画像像に基づく認識結果を最終認識結果として決定する。

当該比の閾値は１と異なる値とすることができる。例えば、第１のカメラの方が第２のカメラよりも、商品認識に有用な画像を生成しやすいカメラである場合、当該比の閾値は１より小さい値となる。一方、第２のカメラの方が第１のカメラよりも、商品認識に有用な画像を生成しやすいカメラである場合、当該比の閾値は１より大きい値となる。「商品認識に有用な画像」は第４の実施形態で説明した通りである。

処理装置１０のその他の構成は、第１乃至第５の実施形態と同様である。

以上説明した本実施形態の処理装置１０によれば、第１乃至第５の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、各画像を生成したカメラの評価（位置、向き、スペック等に基づく重み付け値）等を考慮して、最終認識結果を決定することができる。結果、商品認識の精度が向上する。

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段と、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段と、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段と、
を有する処理装置。
２． 前記決定手段は、
前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値未満である場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が前記閾値以上である場合、信頼度が最も高い認識結果を前記最終認識結果として決定する１に記載の処理装置。
３． 前記決定手段は、
前記複数の認識結果の中に互いに異なる認識結果が含まれる場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
前記複数の認識結果が一致する場合、一致した認識結果を前記最終認識結果として決定する１又は２に記載の処理装置。
４． 前記決定手段は、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定する場合、前記商品が存在する領域が最も大きい画像に基づく認識結果を、前記最終認識結果として決定する１から３のいずれかに記載の処理装置。
５． 顧客が手にとった商品を撮影する複数のカメラは２台であり、
前記取得手段は、前記２台のカメラの一方が生成した第１の画像、及び、前記２台のカメラの他方が生成した第２の画像を取得し、
前記決定手段は、前記第１の画像内で前記商品が存在する領域の大きさＬ１及び前記第２の画像内で前記商品が存在する領域の大きさＬ２の比であるＬ１／Ｌ２が閾値以上である場合、前記第１の画像像に基づく認識結果を前記最終認識結果として決定し、
Ｌ１／Ｌ２が閾値未満である場合、前記第２の画像像に基づく認識結果を前記最終認識結果として決定する１から３のいずれかに記載の処理装置。
６． 前記閾値は、１と異なる値である５に記載の処理装置。
７． 前記決定手段は、認識結果の信頼度、画像内で前記商品が存在する領域の大きさに基づき算出した評価値に基づき、前記最終認識結果を決定する１から３のいずれかに記載の処理装置。
８． 前記決定手段は、さらに前記複数のカメラ各々の重み付け値に基づき前記評価値を算出する７に記載の処理装置。
９． コンピュータが、
顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得し、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識し、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する処理方法。
１０． コンピュータを、
顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段、
前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段、
前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき前記最終認識結果を決定する決定手段、
として機能させるプログラム。

Claims (10)

1. 顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段と、
   前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段と、
   前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき最終認識結果を決定する決定手段と、
   を有する処理装置。
2. 前記決定手段は、
   前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が閾値未満である場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
   前記複数の認識結果各々の信頼度の中の最も高い信頼度と次に高い信頼度との差が前記閾値以上である場合、信頼度が最も高い認識結果を前記最終認識結果として決定する請求項１に記載の処理装置。
3. 前記決定手段は、
   前記複数の認識結果の中に互いに異なる認識結果が含まれる場合、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定し、
   前記複数の認識結果が一致する場合、一致した認識結果を前記最終認識結果として決定する請求項１又は２に記載の処理装置。
4. 前記決定手段は、前記複数の画像各々内で前記商品が存在する領域の大きさに基づき前記最終認識結果を決定する場合、前記商品が存在する領域が最も大きい画像に基づく認識結果を、前記最終認識結果として決定する請求項１から３のいずれか１項に記載の処理装置。
5. 顧客が手にとった商品を撮影する複数のカメラは２台であり、
   前記取得手段は、前記２台のカメラの一方が生成した第１の画像、及び、前記２台のカメラの他方が生成した第２の画像を取得し、
   前記決定手段は、前記第１の画像内で前記商品が存在する領域の大きさＬ１及び前記第２の画像内で前記商品が存在する領域の大きさＬ２の比であるＬ１／Ｌ２が閾値以上である場合、前記第１の画像に基づく認識結果を前記最終認識結果として決定し、
   Ｌ１／Ｌ２が閾値未満である場合、前記第２の画像像に基づく認識結果を前記最終認識結果として決定する請求項１から３のいずれか１項に記載の処理装置。
6. 前記閾値は、１と異なる値である請求項５に記載の処理装置。
7. 前記決定手段は、認識結果の信頼度、画像内で前記商品が存在する領域の大きさに基づき算出した評価値に基づき、前記最終認識結果を決定する請求項１から３のいずれか１項に記載の処理装置。
8. 前記決定手段は、さらに前記複数のカメラ各々の重み付け値に基づき前記評価値を算出する請求項７に記載の処理装置。
9. コンピュータが、
   顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得し、
   前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識し、
   前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき最終認識結果を決定する処理方法。
10. コンピュータを、
    顧客が手にとった商品を撮影する複数のカメラが生成した画像を取得する取得手段、
    前記複数のカメラが生成した複数の画像各々に基づき前記商品を認識する認識手段、
    前記複数の画像各々に基づく複数の認識結果、及び前記複数の画像各々内で前記商品が存在する領域の大きさ、に基づき最終認識結果を決定する決定手段、
    として機能させるプログラム。

Images