JPWO2021229754A5 - - Google Patents

Description

実施形態に係る商品特定装置の使用環境を説明するための図である。 商品特定装置の機能構成の一例を示す図である。 商品特定装置のハードウェア構成例を示す図である。 商品特定装置が行う処理の第１例を示すフローチャートである。 図４のステップＳ２０の第１詳細例を示すフローチャートである。 図４のステップＳ２０の第２詳細例を示すフローチャートである。 統合特徴点データを例示する図である。 商品特定装置が行う処理の第２例を示すフローチャートである。 第１の変形例に係る商品特定装置が行う処理を示すフローチャートである。

［実施形態］
図１は、本実施形態に係る商品特定装置２０の使用環境を説明するための図である。商品特定装置２０は撮像装置１０と共に使用される。撮像装置１０は商品陳列領域を撮像する。商品陳列領域は、店舗に設置された商品棚４０であってもよいし、自動販売機において商品及び／又は商品サンプルが陳列されている領域であってもよい。

以下、商品陳列領域を商品棚４０として、商品及び／又は商品サンプルを商品棚４０に載置されている商品５０として、説明を行う。

第１の画像が再撮像のための基準を満たしていなかった場合（ステップＳ１４：Ｎｏ）、画像処理部２２０は、第１の画像を処理することにより、商品棚４０における商品５０の種類及びその位置を特定する（ステップＳ２０）。そして記憶処理部２３０は、画像処理部２２０による特定結果を記憶部２４０に記憶させる（ステップＳ３０）。

一方、第１の画像が再撮像のための基準を満たしていた場合（ステップＳ１４：Ｙｅｓ）、画像処理部２２０は、撮像装置１０に、第１の画像とは撮像時のパラメータが異なる他の画像を要求する処理を行う（ステップＳ１６）。撮像装置１０は、この要求を示す信号を受信すると、その旨を表示する。撮像装置１０の使用者は、第１の画像から撮像時のパラメータを変更して、商品棚４０を再度撮像して画像を生成する。ここで撮像装置１０は、撮像時のパラメータを変更しながら複数の画像を生成するのが好ましい。そして撮像装置１０は、生成した画像を商品特定装置２０に送信する。商品特定装置２０の取得部２１０は、この画像を取得する（ステップＳ１８）。そして商品特定装置２０の画像処理部２２０は、図５又は図６に示した処理を行うことにより、商品棚４０における商品５０の種類及びその位置を特定する（ステップＳ２０）。そして記憶処理部２３０は、画像処理部２２０による特定結果を記憶部２４０に記憶させる（ステップＳ３０）。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得手段と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品及び／又は前記商品サンプルを特定し、当該特定結果を出力する画像処理手段と、
を備える商品特定装置。
２．上記１に記載の商品特定装置において、
前記画像処理手段は、前記複数の画像毎に、商品又は商品サンプルの位置及び当該商品又は商品サンプルの種類を認識し、当該画像毎の認識結果を用いて、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置。
３．上記１に記載の商品特定装置において、
前記画像処理手段は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置。
４．上記１～３のいずれか一項に記載の商品特定装置において、
前記パラメータは露出である商品特定装置。
５．上記１～４のいずれか一項に記載の商品特定装置において、
前記取得手段は、特定の条件を満たしたときに、前記撮像手段に前記複数の画像を要求する商品特定装置。
６．上記５に記載の商品特定装置において、
前記取得手段は、
前記撮像手段から第１の前記画像を取得し、
前記第１の画像が基準を満たしていた場合、前記特定の条件を満たしたとして、前記撮像手段に、前記第１の画像とは前記パラメータが異なる他の前記画像を要求し、
前記画像処理手段は、前記第１の画像が前記基準を満たしていなかった場合、当該第１の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する、商品特定装置。
７．商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得手段と、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理手段と、
を備え、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なる商品特定装置。
８．コンピュータが、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得処理と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力する画像処理と、
を行う商品特定方法。
９．上記８に記載の商品特定方法において、
前記画像処理において、前記コンピュータは、前記複数の画像毎に、商品又は商品サンプルの位置及び当該商品又は商品サンプルの種類を認識し、当該画像毎の認識結果を用いて、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定方法。
１０．上記８に記載の商品特定方法において、
前記画像処理において、前記コンピュータは、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定方法。
１１．上記８～１０のいずれか一項に記載の商品特定方法において、
前記パラメータは露出である商品特定方法。
１２．上記８～１１のいずれか一項に記載の商品特定方法において、
前記取得処理において、前記コンピュータは、特定の条件を満たしたときに、前記撮像手段に前記複数の画像を要求する商品特定方法。
１３．上記１２に記載の商品特定方法において、
前記取得処理において、前記コンピュータは、
前記撮像手段から第１の前記画像を取得し、
前記第１の画像が基準を満たしていた場合、前記特定の条件を満たしたとして、前記撮像手段に、前記第１の画像とは前記パラメータが異なる他の前記画像を要求し、
前記画像処理において、前記コンピュータは、前記第１の画像が前記基準を満たしていなかった場合、当該第１の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する、商品特定方法。
１４．コンピュータが、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得し、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力し、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なる、商品特定方法。
１５．コンピュータに、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得機能と、
前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力する画像処理機能と、
を持たせるプログラム。
１６．上記１５に記載のプログラムにおいて、
前記画像処理機能は、前記複数の画像毎に、商品又は商品サンプルの位置及び当該商品又は商品サンプルの種類を認識し、当該画像毎の認識結果を用いて、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定するプログラム。
１７．上記１５に記載のプログラムにおいて、
前記画像処理機能は、
前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定するプログラム。
１８．上記１５～１７のいずれか一項に記載のプログラムにおいて、
前記パラメータは露出であるプログラム。
１９．上記１５～１８のいずれか一項に記載のプログラムにおいて、
前記取得機能は、特定の条件を満たしたときに、前記撮像手段に前記複数の画像を要求するプログラム。
２０．上記１９に記載のプログラムにおいて、
前記取得機能は、
前記撮像手段から第１の前記画像を取得し、
前記第１の画像が基準を満たしていた場合、前記特定の条件を満たしたとして、前記撮像手段に、前記第１の画像とは前記パラメータが異なる他の前記画像を要求し、
前記画像処理機能は、前記第１の画像が前記基準を満たしていなかった場合、当該第１の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する、プログラム。
２１．コンピュータに、
商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得機能と、
前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理機能と、
を持たせ、
前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なるプログラム。

Claims (10)

1. 商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得手段と、
   前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品及び／又は前記商品サンプルを特定し、当該特定結果を出力する画像処理手段と、
   を備え、
   前記複数の画像は、同一の商品陳列領域を撮影することにより生成されている商品特定装置。
2. 請求項１に記載の商品特定装置において、
   前記画像処理手段は、前記複数の画像毎に、商品又は商品サンプルの位置及び当該商品又は商品サンプルの種類を認識し、当該画像毎の認識結果を用いて、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置。
3. 請求項１に記載の商品特定装置において、
   前記画像処理手段は、
   前記複数の画像毎に、商品又は商品サンプルの特徴点及び当該特徴点の位置を示す特徴点データを生成し、
   前記複数の前記特徴点データを一つの統合特徴点データとしてまとめ、当該統合特徴点データを用いて前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定する商品特定装置。
4. 請求項１～３のいずれか一項に記載の商品特定装置において、
   前記パラメータは露出である商品特定装置。
5. 請求項１～４のいずれか一項に記載の商品特定装置において、
   前記取得手段は、特定の条件を満たしたときに、前記撮像手段に前記複数の画像を要求する商品特定装置。
6. 商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得手段と、
   前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理手段と、
   を備え、
   前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されている商品特定装置。
7. コンピュータが、
   商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得し、
   前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力することを含み、
   前記複数の画像は、同一の商品陳列領域を撮影することにより生成されている、商品特定方法。
8. コンピュータが、
   商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得し、
   前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力し、
   前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されている、商品特定方法。
9. コンピュータに、
   商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像であって、撮像時の撮像手段のパラメータが互いに異なる複数の画像を取得する取得機能と、
   前記複数の画像を処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力する画像処理機能と、
   を持たせ、
   前記複数の画像は、同一の商品陳列領域を撮影することにより生成されているプログラム。
10. コンピュータに、
    商品及び／又は商品サンプルが並んでいる商品陳列領域を撮像した複数の画像を処理した結果であって、商品又は商品サンプルの特徴点及び当該特徴点の位置を前記複数の画像別に示す解析データを取得する取得機能と、
    前記解析データを処理することにより、前記商品陳列領域に位置する前記商品又は前記商品サンプルを特定し、当該特定結果を出力するデータ処理機能と、
    を持たせ、
    前記複数の画像は、撮像時の撮像手段のパラメータが互いに異なり、かつ、同一の商品陳列領域を撮影することにより生成されているプログラム。