JP7380869B2

JP7380869B2 - 処理装置、前処理装置、処理方法、及び前処理方法

Info

Publication number: JP7380869B2
Application number: JP2022527452A
Authority: JP
Inventors: 悠鍋藤; 壮馬白石; 貴美佐藤; 克菊池
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2020-05-29
Filing date: 2020-05-29
Publication date: 2023-11-15
Anticipated expiration: 2040-05-29
Also published as: JPWO2021240795A1; US20230222802A1; WO2021240795A1

Description

本発明は、処理装置、前処理装置、処理方法及びプログラムに関する。

非特許文献１及び２は、レジカウンターでの決済処理（商品登録及び支払い等）をなくした店舗システムを開示している。当該技術では、店内を撮影するカメラが生成した画像に基づき顧客が手にとった商品を認識し、顧客が店舗を出たタイミングで認識結果に基づき自動的に決済処理を行う。

非特許文献３は、画像を解析して商品のパッケージの模様の中にある角の点等の複数の特徴点を抽出し、予めデータベースに登録された複数の商品各々の特徴点と同じ位置にどの程度あるかをマッチングさせ、マッチングした特徴点の数に基づき画像に含まれる商品を認識する技術を開示している。また、画像認識により、台の上に載置された複数の商品を一括認識する技術を開示している。

特許文献１は、物体認識処理において、物体認識に対して大きな影響を与えない特徴点を間引き、演算量を低減する技術を開示している。特許文献２は、会計カウンターにおいて読み取り窓、及び、読み取り窓越しに商品を撮影するカメラを設け、オペレータが読み取り窓の前に商品を位置させるとその商品を撮影し、画像に基づきその商品を認識する技術を開示している。

特開２０１１－２３３０６０号公報特開２０１８－１１６３７１号公報

宮田拓弥、"ＡｍａｚｏｎＧｏの仕組み「カメラとマイク」で実現するレジなしスーパー"、[online]、２０１６年１２月１０日、［２０１９年１２月６日検索］、インターネット<URL:https://www.huffingtonpost.jp/tak-miyata/amazon-go_b_13521384.html> "ＮＥＣ、レジレス店舗「ＮＥＣＳＭＡＲＴＳＴＯＲＥ」を本社内にオープン--顔認証活用、退店と同時決済"、[online]、２０２０年２月２８日、［２０２０年３月２７日検索］、インターネット<URL: https://japan.cnet.com/article/35150024/> "あらゆる小売商品を認識可能にする多種物体認識技術"、［online］、［２０２０年４月２７日検索］、インターネット<URL: https://jpn.nec.com/techrep/journal/g19/n01/190118.html>

非特許文献１乃至３、特許文献１及び２等に示すように、画像に含まれる商品を認識する技術が広く検討され、利用されている。そして、画像に基づく商品認識の精度をより向上させる技術が望まれている。本発明の課題は、上述した先行技術が開示してない手法により、画像に基づく商品認識の精度を向上させることである。

本発明によれば、
物体が含まれる領域である物体領域を画像から検出する物体領域検出手段と、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出する信頼度算出手段と、
前記物体領域の画像に関する画像パラメータを算出する画像パラメータ算出手段と、
前記画像パラメータに基づき、前記信頼度の閾値を設定する閾値設定手段と、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する商品決定手段と、
を有する処理装置が提供される。

また、本発明によれば、
商品が含まれる商品画像を取得する商品画像取得手段と、
前記商品画像を編集し、前記商品が含まれる領域である商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる複数の編集画像を生成する編集手段と、
複数の前記編集画像各々に対して、前記商品の特徴点を抽出する処理を実行する特徴点抽出手段と、
前記抽出結果に基づき、画像パラメータと、抽出される特徴点数との関係を示す関係情報を生成する関係情報生成手段と、
を有する前処理装置が提供される。

また、本発明によれば、
コンピュータが、
物体が含まれる領域である物体領域を画像から検出し、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出し、
前記物体領域の画像に関する画像パラメータを算出し、
前記画像パラメータに基づき、前記信頼度の閾値を設定し、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する処理方法が提供される。

また、本発明によれば、コンピュータを、前記処理装置として機能させるプログラムが提供される。

本発明によれば、画像に基づく商品認識の精度が向上する。

本実施形態の処理装置のハードウエア構成の一例を示す図である。本実施形態の処理装置の機能ブロック図の一例である。本実施形態のカメラの設置例を説明するための図である。本実施形態のカメラの設置例を説明するための図である。本実施形態の処理装置が処理する情報の一例を示す図である。本実施形態の処理装置が処理する情報の一例を示す図である。本実施形態の処理装置の処理の流れの一例を示すフローチャートである。本実施形態の処理装置の処理の流れの一例を示すフローチャートである。本実施形態の処理装置が処理する情報の一例を示す図である。本実施形態の前処理装置の機能ブロック図の一例である。本実施形態の前処理装置の処理の流れの一例を示すフローチャートである。

＜第１の実施形態＞
「概要」
本実施形態の処理装置は、以下のような処理で画像に含まれる商品を認識する。
・処理対象の画像から、物体が含まれる領域である物体領域を検出する。
・物体領域の画像から抽出された物体の特徴点と、予め登録されている複数の商品各々の特徴点とを照合し、マッチングした特徴点の数に基づき複数の商品各々が画像の中に含まれる信頼度を算出する。信頼度は、マッチングした特徴点の数が多いほど高くなる。
・信頼度が閾値以上である商品の中の１つを、画像に含まれる商品として認識する。

そして、処理装置は、上述した信頼度の閾値（以下、単に「信頼度の閾値」という場合がある）を、商品毎に、かつ、物体領域の画像の大きさに基づき画像毎に設定するという特徴を有する。

信頼度の閾値を高く設定することで、誤った認識結果が出力される不都合を抑制できる。しかし、信頼度の閾値を高くし過ぎると、いずれの商品も信頼度が閾値を超えず、画像に含まれる商品を認識できないという不都合が起きやすくなる。特に、物体領域の画像が小さい場合や、そもそも実物が小さい商品が画像に含まれる場合等のように、画像から抽出できる特徴点の数が少なくなるケースにおいては、必然的に、マッチングする特徴点の数も少なくなり、信頼度が低くなる。信頼度の閾値を高くし過ぎると、このような画像から抽出できる特徴点の数が少なくなるケースにおいて、いずれの商品も信頼度が閾値を超えない（商品認識できない）という状況が起きやすくなる。

なお、信頼度の閾値を低めに設定することで、いずれの商品も信頼度が閾値を超えないという状況の発生を抑制できる。しかし、この場合、誤った認識結果が出力される不都合が発生しやすくなる。

商品毎に、かつ、物体領域の画像の大きさに基づき画像毎に信頼度の閾値を設定する処理装置によれば、画像から抽出できる特徴点の数（目安）に応じた適切な信頼度の閾値を設定することができる。このため、当該処理装置によれば、「誤った認識結果が出力される不都合」を抑制しつつ、「信頼度の閾値が適切でないため商品を認識できない（いずれの商品も信頼度が閾値を超えない）という不都合」を抑制することができる。

「ハードウエア構成」
次に、処理装置のハードウエア構成の一例を説明する。処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図１は、処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

「機能構成」
図２に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、物体領域検出部１１と、信頼度算出部１２と、画像パラメータ算出部１３と、閾値設定部１４と、商品決定部１５とを有する。

物体領域検出部１１は、認識対象の商品を含む画像を取得する。物体領域検出部１１が取得する画像は、どのような目的で撮影された画像であってもよい。例えば、顧客が手に取った商品を認識するために撮影された画像であってもよいし、会計対象の商品を認識するために撮影された画像であってもよいし、その他の目的で撮影された画像であってもよい。

ここで、顧客が手に取った商品を認識するために撮影された画像について説明する。この場合、顧客が手にとった商品を撮影できる位置及び向きで１つ又は複数のカメラが店内に設置される。例えば商品陳列棚毎に、各々から取り出された商品を撮影する位置及び向きでカメラが設置されてもよい。カメラは、商品陳列棚に設置されてもよいし、天井に設置されてもよいし、床に設置されてもよいし、壁面に設置されてもよいし、その他の場所に設置されてもよい。なお、商品陳列棚毎にカメラを設置する例はあくまで一例であり、これに限定されない。

カメラは動画像を常時（例えば、営業時間中）撮影してもよいし、動画像のフレーム間隔よりも大きい時間間隔で静止画像を継続的に撮影してもよいし、人感センサー等で所定位置（商品陳列棚の前等）に存在する人を検出している間のみこれらの撮影を実行してもよい。

ここで、カメラ設置の一例を示す。なお、ここで説明するカメラ設置例はあくまで一例であり、これに限定されない。図３に示す例では、商品陳列棚１毎に２つのカメラ２が設置されている。図４は、図３の枠４を抽出した図である。枠４を構成する２つの部品各々には、カメラ２と照明（不図示）とが設けられる。

照明の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。

そしてカメラ２は、直線状に延伸する枠４の部品の一端側に設けられており、照明の光が放射される方向を撮影範囲としている。例えば図４の左側の枠４の部品において、カメラ２は下方及び右斜め下を撮影範囲としている。また、図４の右側の枠４の部品において、カメラ２は上方及び左斜め上を撮影範囲としている。

図３に示すように、枠４は、商品載置スペースを構成する商品陳列棚１の前面フレーム（又は両側の側壁の前面）に取り付けられる。枠４の部品の一方は、一方の前面フレームに、カメラ２が下方に位置する向きに取り付けられ、枠４の部品の他方は、他方の前面フレームに、カメラ２が上方に位置する向きに取り付けられる。そして、枠４の部品の一方に取り付けられたカメラ２は、商品陳列棚１の開口部を撮影範囲に含むように、上方及び斜め上方を撮影する。一方、枠４の部品の他方に取り付けられたカメラ２は、商品陳列棚１の開口部を撮影範囲に含むように、下方及び斜め下方を撮影する。このように構成することで、２つのカメラ２で商品陳列棚１の開口部の全範囲を撮影することができる。結果、商品陳列棚１から取り出されている商品（顧客が手にとった商品）を２つのカメラ２で撮影することが可能となる。

当該例において、カメラが生成した画像は、リアルタイム処理で処理装置１０に入力されてもよいし、バッチ処理で処理装置１０に入力されてもよい。いずれの処理とするかは、例えば認識結果の利用内容に応じて決定することができる。

次に、会計対象の商品を認識するために撮影された画像について説明する。この場合、会計装置にカメラが設置され、当該カメラが当該画像を生成する。カメラは、例えば非特許文献３に開示されているように、台の上に載置された１つ又は複数の商品をまとめて撮影するように構成されてもよい。その他、カメラは、例えば特許文献２に開示されているように、オペレータの作業（カメラの前に商品を位置させる作業）に応じて１つずつ商品を撮影するように構成されてもよい。

物体領域検出部１１は、画像を取得すると、物体が含まれる領域である物体領域を画像から検出する。物体領域検出部１１は、１つの画像から１つ又は複数の物体領域を検出する。物体領域検出部１１は、あらゆる物体検出技術を採用することができる。物体領域検出部１１は、物体及びその周辺を含む領域（例えば矩形領域）を、物体領域として検出してもよい。その他、物体領域検出部１１は、物体のみが存在する物体の輪郭に沿った形状の領域を、物体領域として検出してもよい。後者は、例えば、セマンティックセグメンテーションやインスタンスセグメンテーションと呼ばれる検出対象が存在するピクセル領域を検出する手法を利用して実現することができる。

信頼度算出部１２は、商品毎に、各々が物体領域の画像に含まれる信頼度を算出する。具体的には、信頼度算出部１２は、物体領域の画像から抽出された物体の特徴点と、予め登録されている複数の商品各々の特徴点とを照合することで、商品毎にマッチングする特徴点の数をカウントする。そして、信頼度算出部１２は、マッチングした特徴点の数に基づき、信頼度を算出する。マッチングした特徴点の数が多いほど信頼度が高くなる。特徴点の抽出、特徴点の照合、及び、マッチングした特徴点の数から信頼度を算出する処理のアルゴリズムの詳細は特段制限されない。

以下、各商品が物体領域の画像に含まれる信頼度を、「各商品の信頼度」という場合がある。

画像パラメータ算出部１３は、物体領域の画像に関する画像パラメータを算出する。本実施形態の画像パラメータは、物体領域の画像の大きさである。物体領域の画像の大きさは、領域の面積で示されてもよいし、領域の外周の大きさで示されてもよいし、その他の手法で示されてもよい。領域の面積や外周の大きさはピクセル数で示してもよいし、その他の手法を採用してもよい。

閾値設定部１４は、画像パラメータに基づき、商品毎かつ物体領域の画像毎に信頼度の閾値を設定する。１つの画像から複数の物体領域が検出されている場合、閾値設定部１４は、物体領域の画像毎に信頼度の閾値を設定する。閾値設定部１４は、物体領域の画像が小さいほど小さい閾値を設定し、物体領域の画像が大きいほど大きい閾値を設定する。また、閾値設定部１４は、実物の大きさが小さい商品ほど小さい閾値を設定し、実物の大きさが大きい商品ほど大きい閾値を設定する。

ここで、信頼度の閾値を設定する処理の具体例を説明する。例えば、予め、物体領域の画像の大きさと、その大きさの画像から抽出される特徴点数（目安）との関係を示す関係情報が商品毎に生成される。そして、閾値設定部１４は、画像パラメータ算出部１３が算出した物体領域の画像の大きさ（画像パラメータ）と、当該関係情報とに基づき、商品毎に「その物体領域の画像から抽出される特徴点数（目安）」を求める。次いで、閾値設定部１４は、商品毎に求めた「その物体領域の画像から抽出される特徴点数（目安）」に基づき、商品毎に信頼度の閾値を設定する。閾値設定部１４は、「その物体領域の画像から抽出される特徴点数（目安）」が少ないほど小さい閾値を設定し、「その物体領域の画像から抽出される特徴点数（目安）」が多いほど大きい閾値を設定する。「その物体領域の画像から抽出される特徴点数（目安）」から信頼度の閾値を算出する処理のアルゴリズムの詳細は特段制限されない。

図５に上述した関係情報の一例を示す。横軸が物体領域の画像の大きさであり、縦軸が抽出される特徴点数（目安）である。図示するように、物体領域の画像が小さいほど抽出される特徴点数（目安）は少なくなり、物体領域の画像が大きいほど抽出される特徴点数（目安）は多くなる。図はある１つの商品の関係情報であるが、このような関係情報が商品毎に用意される。そして、実物の大きさが小さい商品ほど抽出される特徴点数（目安）は少なくなり、実物の大きさが大きい商品ほど抽出される特徴点数（目安）は多くなる。

なお、関係情報で示される「抽出される特徴点数（目安）」は、図５に示すように連続的に変化してもよいし、図６に示すように離散的に変化してもよい。また、図示しないが、関係情報で示される「抽出される特徴点数（目安）」は、連続的な変化と離散的な変化とが混じっていてもよい。例えば、物体領域の画像の大きさが第１の数値範囲の間は、抽出される特徴点数（目安）は連続的に変化し、物体領域の画像の大きさが第２の数値範囲の間は、抽出される特徴点数（目安）は離散的に変化するといった具合である。

また、関係情報で示される「物体領域の画像の大きさ」は、図５や図６に示すように連続的に変化してもよいし、離散的に変化してもよい。関係情報で示される「物体領域の画像の大きさ」が離散的に変化する場合、例えば、閾値設定部１４は、関係情報で示される「物体領域の画像の大きさ」の複数の値の中から、画像パラメータ算出部１３が算出した物体領域の画像の大きさに最も近い値を特定し、特定した値に対応する「抽出される特徴点数（目安）」に基づき、信頼度の閾値を設定することができる。

また、連続的な値の変化は、図５及び図６に示すように１次式で変化の態様が示されてもよいし、多項式、指数関数、対数関数等のその他の手法で示されてもよい。

また、上述したように抽出される特徴点数（目安）の表現の仕方は各種手法を採用できるが、どの手法で表現するかは商品毎に異なってもよい。

図２に戻り、商品決定部１５は、第１の物体領域の画像に基づき算出された各商品の信頼度と、第１の物体領域の画像に基づき算出された各商品の信頼度の閾値とに基づき、第１の物体領域の画像に含まれる商品を決定する。商品決定部１５は、商品毎に、各商品の信頼度が各商品の閾値以上であるか判定する。そして、商品決定部１５は、信頼度が閾値以上である商品の中の１つを、物体領域の画像に含まれる商品として決定する。

信頼度が閾値以上である商品が複数ある場合、商品決定部１５はその中から１つを選択し、選択した商品を、物体領域の画像に含まれる商品として決定する。例えば、商品決定部１５は、信頼度が最も高い商品を選択してもよい。その他、商品決定部１５は、信頼度と閾値との乖離の程度が最も大きい商品を選択してもよい。信頼度と閾値との乖離の程度は、閾値に対する信頼度の比率（＝（信頼度）／（閾値））で示されてもよいし、閾値と信頼度との差（＝（信頼度）－（閾値））で示されてもよいし、その他の手法で示されてもよい。

次に、図７のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

まず、物体領域検出部１１は、画像を取得すると（Ｓ１０）と、物体が含まれる領域である物体領域を画像から検出する（Ｓ１１）。

次に、信頼度算出部１２は、検出された物体領域毎に、各物体領域の画像に複数の商品各々が含まれる信頼度を算出する（Ｓ１２）。次いで、画像パラメータ算出部１３は、検出された物体領域毎に、物体領域の画像の大きさを示す画像パラメータを算出する（Ｓ１３）。

次いで、閾値設定部１４は、検出された物体領域毎に、物体領域の画像の大きさに基づき、複数の商品各々の信頼度の閾値を設定する（Ｓ１４）。閾値設定部１４は、物体領域の画像が小さいほど小さい閾値を設定し、物体領域の画像が大きいほど大きい閾値を設定する。また、閾値設定部１４は、実物の大きさが小さい商品ほど小さい閾値を設定し、実物の大きさが大きい商品ほど大きい閾値を設定する。

次いで、商品決定部１５は、検出された物体領域毎に、各商品の信頼度が各商品の閾値以上であるか判定する。

そして、信頼度が閾値以上である商品がある場合（Ｓ１５のＹｅｓ）、商品決定部１５は、信頼度が閾値以上である商品の中の１つの商品識別情報を、その物体領域の画像に含まれる商品の商品識別情報（商品認識結果）として出力する（Ｓ１６）。信頼度が閾値以上である商品が１つだけである場合、商品決定部１５は、その商品の商品識別情報を出力する。一方、信頼度が閾値以上である商品が複数ある場合、商品決定部１５は、その中から１つを選択し、選択した商品の商品識別情報を出力する。当該選択の手法は、上述した通りである。

一方、信頼度が閾値以上である商品がない場合（Ｓ１５のＮｏ）、商品決定部１５はエラー処理を行う（Ｓ１７）。例えば、当該エラー処理において、商品決定部１５は、その物体領域の画像において正しく商品認識できなかった旨をオペレータに通知するエラー通知を行ってもよい。エラー通知は、ディスプレイ、スピーカ、警告ランプ、投影装置等のあらゆる出力装置を介して実現することができる。

次に、図８のフローチャートを用いて、処理装置１０の処理の流れの他の一例を説明する。

まず、物体領域検出部１１は、画像を取得すると（Ｓ２０）と、物体が含まれる領域である物体領域を画像から検出する（Ｓ２１）。

次に、信頼度算出部１２は、検出された物体領域毎に、各物体領域の画像に複数の商品各々が含まれる信頼度を算出する（Ｓ２２）。次いで、画像パラメータ算出部１３は、検出された物体領域毎に、物体領域の画像の大きさを示す画像パラメータを算出する（Ｓ２３）。

次いで、閾値設定部１４は、検出された物体領域毎に、Ｓ２２で算出された信頼度が最も高い商品を特定する（Ｓ２４）。そして、閾値設定部１４は、検出された物体領域毎に、物体領域の画像の大きさに基づき、Ｓ２４で特定された商品の信頼度の閾値を設定する（Ｓ２５）。閾値設定部１４は、物体領域の画像が小さいほど小さい閾値を設定し、物体領域の画像が大きいほど大きい閾値を設定する。また、閾値設定部１４は、実物の大きさが小さい商品ほど小さい閾値を設定し、実物の大きさが大きい商品ほど大きい閾値を設定する。

次いで、商品決定部１５は、検出された物体領域毎に、Ｓ２４で特定された商品のＳ２２で算出された信頼度がＳ２５で設定された閾値以上であるか判定する。

そして、信頼度が閾値以上である場合（Ｓ２６のＹｅｓ）、商品決定部１５は、Ｓ２４で特定された商品の商品識別情報を、その物体領域の画像に含まれる商品の商品識別情報（商品認識結果）として出力する（Ｓ２７）。

一方、信頼度が閾値以上でない場合（Ｓ２６のＮｏ）、商品決定部１５は、特定されていない商品が残っていれば（Ｓ２８のＹｅｓ）、次に信頼度が高い商品を特定する（Ｓ２９）。そして、Ｓ２５に戻って同様の処理を繰り返す。なお、すべての商品を特定の対象としてもよいし、一部の商品を特定の対象としてもよい。特定の対象となる一部の商品は、例えば、Ｓ２２で算出された信頼度が予め設定された下限値（すべての商品に共通の値）以上の商品である。

なお、特定されていない商品が残っていない場合（Ｓ２８のＮｏ）、商品決定部１５はエラー処理を行う（Ｓ３０）。エラー処理は、上述したＳ１７のエラー処理と同様である。

なお、本実施形態では、商品決定部１５が出力した商品認識結果（認識された商品の商品識別情報）に対するその後の処理内容は特段制限されない。

例えば、商品認識結果は店舗での会計処理において利用されてもよい。利用場面としては、非特許文献１乃至３及び特許文献２に開示のような場面が例示されるが、これらに限定されない。

その他、商品認識結果は、顧客の嗜好調査やマーケティング調査等で利用されてもよい。例えば、各顧客が手に取った商品を各顧客に紐づけて登録することで、各顧客が興味を有する商品などを分析することができる。各顧客の認識は、例えば顔認証技術等を利用して実現できる。また、商品ごとに顧客が手に取った旨を登録することで、どの商品が顧客に興味を持たれているかを分析することができる。さらに、従来の画像解析技術を利用して顧客の属性（性別、年代、国籍等）を推定し、各商品を手に取った顧客の属性を登録することで、各商品がどのような属性の顧客に興味を持たれているかを分析することができる。

「作用効果」
以上説明したように、処理装置１０は、画像から抽出された物体の特徴点と予め登録されている複数の商品各々の特徴点とを照合し、マッチングした特徴点の数に基づき複数の商品各々が画像の中に含まれる信頼度を算出し、信頼度が閾値以上である商品の中の１つを、画像に含まれる商品として認識する。なお、信頼度は、マッチングした特徴点の数が多いほど高くなる。

そして、処理装置は、信頼度の閾値を、商品毎に、かつ、物体領域の画像の大きさに基づき画像毎に設定することができる。

このように商品毎に、かつ、物体領域の画像の大きさに基づき画像毎に信頼度の閾値を設定する処理装置１０によれば、画像から抽出できる特徴点の数（目安）に応じた適切な信頼度の閾値を設定することができる。

例えば、処理装置１０は、実物の大きさが小さく、画像から抽出できる特徴点の数が比較的少なくなる商品においては、実物の大きさに応じた比較的小さい信頼度の閾値を設定することができる。また、処理装置１０は、物体領域の画像が小さく、画像から抽出できる特徴点の数が比較的少なくなるケースにおいては、物体領域の画像の大きさに応じた比較的小さい信頼度の閾値を設定することができる。

同様に、処理装置１０は、実物の大きさが大きく、画像から抽出できる特徴点の数が比較的多くなる商品においては、実物の大きさに応じた比較的大きい信頼度の閾値を設定することができる。また、処理装置１０は、画像内の物体領域が大きく、画像から抽出できる特徴点の数が比較的多くなるケースにおいては、物体領域の画像の大きさに応じた比較的大きい信頼度の閾値を設定することができる。

このように画像から抽出できる特徴点の数（目安）に応じた適切な信頼度の閾値を設定することで、「誤った認識結果が出力される不都合」を抑制しつつ、「信頼度の閾値が適切でないため商品を認識できない（いずれの商品も信頼度が閾値を超えない）という不都合」を抑制することができる。

「変形例」
次に、変形例を説明する。当該変形例は、以下のすべての実施形態において適用可能である。

閾値設定部１４は、画像パラメータに基づき、すべての商品に共通の信頼度の閾値を、物体領域の画像毎に設定してもよい。例えば、予め生成される上記関係情報（図５、図６参照）は、すべての商品に共通の情報であってもよい。そして、閾値設定部１４は、すべての商品に共通の関係情報に基づき、すべての商品に共通の信頼度の閾値を設定してもよい。

この変形例の場合、商品毎には信頼度の閾値を設定しないが、物体領域の画像毎に信頼度の閾値を設定するので、上述した本実施形態の処理装置１０と同様の作用効果が実現される。

他の変形例として、閾値設定部１４は、画像パラメータに基づき、商品グループ毎の信頼度の閾値を、物体領域の画像毎に設定してもよい。例えば、商品グループ毎に、上記関係情報（図５、図６参照）が生成されてもよい。そして、閾値設定部１４は、商品グループ毎の関係情報に基づき、商品グループ毎に信頼度の閾値を設定してもよい。商品グループは、商品の形状、大きさ、デザインの中の少なくとも１つが互いに類似しており、抽出される特徴点数が同様となる商品の集まりであり、例えば、同種商品、同一メーカの同種商品、同一シリーズの商品などが例示される。

この他の変形例の場合、上述した本実施形態の処理装置１０と同様の作用効果が実現される。また、商品毎に信頼度の閾値を設定する場合に比べて、設定すべき信頼度の閾値の数が少なくなるので、コンピュータの処理負担を軽減できる。

＜第２の実施形態＞
本実施形態の画像パラメータ算出部１３は、画像パラメータとして、物体領域の画像の輝度を算出する。物体領域の画像の輝度は、物体領域の画像に含まれる複数のピクセルの輝度の統計値（平均値、中央値、最頻値、最大値、最小値等）である。

そして、本実施形態の閾値設定部１４は、このような画像パラメータに基づき、商品毎かつ物体領域の画像毎に信頼度の閾値を設定する。１つの画像から複数の物体領域が検出されている場合、閾値設定部１４は、物体領域毎に信頼度の閾値を設定する。閾値設定部１４は、物体領域の画像の輝度が基準範囲から離れるほど小さい閾値を設定する。

ここで、信頼度の閾値を設定する処理の具体例を説明する。例えば、予め、物体領域の画像の輝度と、そのような輝度状態の画像から抽出される特徴点数（目安）との関係を示す関係情報が商品毎に生成される。そして、閾値設定部１４は、画像パラメータ算出部１３が算出した物体領域の画像の輝度（画像パラメータ）と、当該関係情報とに基づき、商品毎に「その物体領域の画像から抽出される特徴点数（目安）」を求める。次いで、閾値設定部１４は、商品毎に求めた「その物体領域の画像から抽出される特徴点数（目安）」に基づき、商品毎に信頼度の閾値を設定する。閾値設定部１４は、「その物体領域の画像から抽出される特徴点数（目安）」が少ないほど小さい閾値を設定し、「その物体領域の画像から抽出される特徴点数（目安）」が多いほど大きい閾値を設定する。「その物体領域の画像から抽出される特徴点数（目安）」から信頼度の閾値を算出する処理のアルゴリズムの詳細は特段制限されない。

図９に上述した関係情報の一例を示す。横軸が物体領域の画像の輝度であり、縦軸が抽出される特徴点数（目安）である。図示するように、物体領域の画像の輝度が基準範囲（Ｂ以上Ｃ以下）であるときに抽出される特徴点数（目安）は最多となり、基準範囲から離れるほど抽出される特徴点数（目安）は少なくなる。図はある１つの商品の関係情報であるが、このような関係情報が商品毎に用意される。そして、実物の大きさが小さい商品ほど抽出される特徴点数（目安）は少なくなり、実物の大きさが大きい商品ほど抽出される特徴点数（目安）は多くなる。

なお、基準範囲を除く範囲（Ａ以上Ｂ以下、Ｃ以上Ｄ以下）において、「抽出される特徴点数（目安）」は、図９に示すように連続的に変化してもよいし、図示しないが離散的に変化してもよい。また、基準範囲（Ｂ以上Ｃ以下）において、「抽出される特徴点数（目安）」は、図９に示すように一定であってもよいし、図示しないが連続的に又は離散的に変化してもよい。

また、関係情報で示される「物体領域の画像の輝度」は、図９に示すように連続的に変化してもよいし、離散的に変化してもよい。関係情報で示される「物体領域の画像の輝度」が離散的に変化する場合、例えば、閾値設定部１４は、関係情報で示される「物体領域の画像の輝度」の複数の値の中から、画像パラメータ算出部１３が算出した物体領域の画像の輝度に最も近い値を特定し、特定した値に対応する「抽出される特徴点数（目安）」に基づき、信頼度の閾値を設定することができる。

また、連続的な値の変化は、図９に示すように１次式で変化の態様が示されてもよいし、多項式、指数関数、対数関数等のその他の手法で示されてもよい。

処理装置１０のその他の構成は、第１の実施形態と同様である。

本実施形態の処理装置１０によれば、第１の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、物体領域の画像の輝度に起因した抽出できる特徴点数の違いを考慮した適切な信頼度の閾値を設定することができる。結果、物体領域の画像の輝度に起因した抽出できる特徴点数の違いの影響を軽減して、商品認識の精度を高めることができる。

＜第３の実施形態＞
本実施形態の画像パラメータ算出部１３は、画像パラメータとして、物体領域の画像の大きさ及び輝度を算出する。

そして、本実施形態の閾値設定部１４は、このような２つの画像パラメータに基づき、商品毎かつ物体領域の画像毎に信頼度の閾値を設定する。１つの画像から複数の物体領域が検出されている場合、閾値設定部１４は、物体領域毎に信頼度の閾値を設定する。

閾値設定部１４は、物体領域の画像が小さいほど小さい閾値を設定し、物体領域の画像が大きいほど大きい閾値を設定する。また、閾値設定部１４は、物体領域の画像の輝度が基準範囲から離れるほど小さい閾値を設定する。また、閾値設定部１４は、実物の大きさが小さい商品ほど小さい閾値を設定し、実物の大きさが大きい商品ほど大きい閾値を設定する。

ここで、信頼度の閾値を設定する処理の具体例を説明する。例えば、予め、物体領域の画像の大きさと、物体領域の画像の輝度と、そのような大きさかつ輝度状態の画像から抽出される特徴点数（目安）との関係を示す関係情報が商品毎に生成される。そして、閾値設定部１４は、画像パラメータ算出部１３が算出した物体領域の画像の大きさ及び輝度（画像パラメータ）と、当該関係情報とに基づき、商品毎に「その物体領域の画像から抽出される特徴点数（目安）」を求める。次いで、閾値設定部１４は、商品毎に求めた「その物体領域の画像から抽出される特徴点数（目安）」に基づき、商品毎に信頼度の閾値を設定する。閾値設定部１４は、「その物体領域の画像から抽出される特徴点数（目安）」が少ないほど小さい閾値を設定し、「その物体領域の画像から抽出される特徴点数（目安）」が多いほど大きい閾値を設定する。「その物体領域の画像から抽出される特徴点数（目安）」から信頼度の閾値を算出する処理のアルゴリズムの詳細は特段制限されない。

処理装置１０のその他の構成は、第１及び第２の実施形態と同様である。

本実施形態の処理装置１０によれば、第１及び第２の実施形態の処理装置１０と同様の作用効果が実現される。また、本実施形態の処理装置１０によれば、物体領域の画像の大きさ及び輝度に起因した抽出できる特徴点数の違いを考慮した適切な信頼度の閾値を設定することができる。結果、物体領域の画像の大きさ及び輝度に起因した抽出できる特徴点数の違いの影響を軽減して、商品認識の精度を高めることができる。

＜第４の実施形態＞
本実施形態の前処理装置２０は、処理装置１０が使用する関係情報を生成する機能を有する。

前処理装置２０のハードウエア構成の一例は、処理装置１０のハードウエア構成の一例と同様である。

図１０に、前処理装置２０の機能ブロック図の一例を示す。図示するように、前処理装置２０は、商品画像取得部２１と、編集部２２と、特徴点抽出部２３と、関係情報生成部２４とを有する。

図１１のフローチャートは、前処理装置２０の処理の流れの一例を示す。

まず、商品画像取得部２１は、商品が含まれる商品画像を取得する（Ｓ４０）。

次に、編集部２２は、商品画像を編集し、商品が含まれる領域である商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる複数の編集画像を生成する（Ｓ４１）。すなわち、編集部２２は、１つの商品画像から複数の編集画像を生成する。そして、複数の編集画像は、商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる。

次に、特徴点抽出部２３は、複数の編集画像各々に対して、商品の特徴点を抽出する処理を実行する（Ｓ４２）。特徴点を抽出する処理のアルゴリズムの詳細は特段制限されない。

次に、関係情報生成部２４は、Ｓ４２の抽出結果に基づき、画像パラメータと、その画像から抽出される特徴点数との関係を示す関係情報を生成する（Ｓ４３）。画像パラメータは、商品領域の画像の大きさ及び輝度の少なくとも一方である。商品領域の画像の大きさ及び輝度は、第１乃至第３の実施形態で説明した通りである。

関係情報生成部２４が生成する関係情報は、Ｓ４０乃至Ｓ４２の処理により得られた画像パラメータの値と、抽出される特徴点数とを対応付けた情報（テーブルなど）であってもよい。この場合、関係情報で示される画像パラメータの値及び抽出される特徴点数の値は離散的となる。

その他、関係情報生成部２４は、直線近似、多項式近似、指数近似、対数近似等の任意の手法を利用して、得られたデータ群の近似式を求めてもよい。この場合、関係情報で示される画像パラメータの値及び抽出される特徴点数の値は連続的となる。

その他、関係情報生成部２４は、Ｓ４０乃至Ｓ４２の処理により得られた画像パラメータの値と、抽出される特徴点数とを対応付けた情報をオペレータに向けて出力してもよい。そして、関係情報生成部２４は、これらの情報と、オペレータの入力とに基づき関係情報を生成してもよい。

なお、上記処理を商品毎に行うことで、前処理装置２０は、商品毎の関係情報を生成することができる。また、前処理装置２０は、商品毎の関係情報に基づき、第１の実施形態の変形例で説明した商品グループ毎の関係情報や、すべての商品に共通の関係情報等を生成することができる。

以上説明した本実施形態の前処理装置２０によれば、第１乃至第３の実施形態で説明した処理装置１０が処理する関係情報を生成することができる。また、前処理装置２０は、１つの商品画像を編集して商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる複数の編集画像を生成し、当該複数の編集画像に基づき、画像パラメータと抽出される特徴点数との関係を示す関係情報を生成する。このため、画像を用意するオペレータの労力を軽減することができる。

なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等、および、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること、また、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」の少なくともいずれか一方を含む。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１．物体が含まれる領域である物体領域を画像から検出する物体領域検出手段と、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出する信頼度算出手段と、
前記物体領域の画像に関する画像パラメータを算出する画像パラメータ算出手段と、
前記画像パラメータに基づき、前記信頼度の閾値を設定する閾値設定手段と、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する商品決定手段と、
を有する処理装置。
２．前記画像パラメータは、前記物体領域の画像の大きさを示し、
前記閾値設定手段は、前記物体領域の画像が小さいほど小さい前記閾値を設定する１に記載の処理装置。
３．前記閾値設定手段は、前記物体領域の画像の大きさと、抽出される特徴点数との関係を示す関係情報に基づき、前記閾値を設定する２に記載の処理装置。
４．前記画像パラメータは、前記物体領域の画像の輝度を示し、
前記閾値設定手段は、前記物体領域の画像の輝度が基準範囲から離れるほど小さい前記閾値を設定する１から３のいずれかに記載の処理装置。
５．前記閾値設定手段は、前記物体領域の画像の輝度と、抽出される特徴点数との関係を示す関係情報に基づき、前記閾値を設定する４に記載の処理装置。
６．前記閾値設定手段は、抽出される特徴点数が少ないほど小さい前記閾値を設定する３又は５に記載の処理装置。
７．前記閾値設定手段は、前記商品毎に前記閾値を設定し、
前記商品決定手段は、前記商品各々の前記信頼度と、前記商品各々の前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する１から６のいずれかに記載の処理装置。
８前記閾値決定手段は、実物の大きさが小さい前記商品ほど小さい前記閾値を設定する７に記載の処理装置。
９．前記閾値設定手段は、前記物体領域の画像の大きさと抽出される特徴点数との関係、又は、前記物体領域の画像の輝度と抽出される特徴点数との関係を前記商品毎に示す関係情報に基づき、前記閾値を設定する７又は８に記載の処理装置。
１０．前記商品決定手段は、前記信頼度が前記閾値以上である前記商品の中の１つを、前記物体領域の画像に含まれる前記商品として決定する１から９のいずれかに記載の処理装置。
１１．商品が含まれる商品画像を取得する商品画像取得手段と、
前記商品画像を編集し、前記商品が含まれる領域である商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる複数の編集画像を生成する編集手段と、
複数の前記編集画像各々に対して、前記商品の特徴点を抽出する処理を実行する特徴点抽出手段と、
前記抽出結果に基づき、画像パラメータと、抽出される特徴点数との関係を示す関係情報を生成する関係情報生成手段と、
を有する前処理装置。
１２．コンピュータが、
物体が含まれる領域である物体領域を画像から検出し、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出し、
前記物体領域の画像に関する画像パラメータを算出し、
前記画像パラメータに基づき、前記信頼度の閾値を設定し、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する処理方法。
１３．コンピュータを、１から１０のいずれかに記載の処理装置として機能させるプログラム。

Claims

物体が含まれる領域である物体領域を画像から検出する物体領域検出手段と、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出する信頼度算出手段と、
前記物体領域の画像に関し、前記物体領域の画像の大きさを示す画像パラメータを算出する画像パラメータ算出手段と、
前記画像パラメータに基づき、前記信頼度の閾値を設定する閾値設定手段と、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する商品決定手段と、
を有し、
前記閾値設定手段は、前記物体領域の画像の大きさと、抽出される特徴点数との関係を示す関係情報に基づき、前記閾値を設定する処理装置。
前記閾値設定手段は、前記物体領域の画像が小さいほど小さい前記閾値を設定する請求項１に記載の処理装置。
物体が含まれる領域である物体領域を画像から検出する物体領域検出手段と、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出する信頼度算出手段と、
前記物体領域の画像に関し、前記物体領域の画像の輝度を示す画像パラメータを算出する画像パラメータ算出手段と、
前記画像パラメータに基づき、前記信頼度の閾値を設定する閾値設定手段と、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する商品決定手段と、
を有し、
前記閾値設定手段は、前記物体領域の画像の輝度と、抽出される特徴点数との関係を示す関係情報に基づき、前記閾値を設定する処理装置。
前記閾値設定手段は、前記物体領域の画像の輝度が基準範囲から離れるほど小さい前記閾値を設定する請求項３に記載の処理装置。
前記閾値設定手段は、抽出される特徴点数が少ないほど小さい前記閾値を設定する請求項１から４のいずれか１項に記載の処理装置。
物体が含まれる領域である物体領域を画像から検出する物体領域検出手段と、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出する信頼度算出手段と、
前記物体領域の画像に関する画像パラメータを算出する画像パラメータ算出手段と、
前記画像パラメータに基づき、前記商品毎に前記信頼度の閾値を設定する閾値設定手段と、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する商品決定手段と、
を有し、
前記閾値設定手段は、実物の大きさが小さい前記商品ほど小さい前記閾値を設定する処理装置。
物体が含まれる領域である物体領域を画像から検出する物体領域検出手段と、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出する信頼度算出手段と、
前記物体領域の画像に関する画像パラメータを算出する画像パラメータ算出手段と、
前記画像パラメータに基づき、前記商品毎に前記信頼度の閾値を設定する閾値設定手段と、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する商品決定手段と、
を有し、
前記閾値設定手段は、前記物体領域の画像の大きさと抽出される特徴点数との関係、又は、前記物体領域の画像の輝度と抽出される特徴点数との関係を前記商品毎に示す関係情報に基づき、前記閾値を設定する処理装置。
前記商品決定手段は、前記商品各々の前記信頼度と、前記商品各々の前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定する請求項６又は７に記載の処理装置。
前記商品決定手段は、前記信頼度が前記閾値以上である前記商品の中の１つを、前記物体領域の画像に含まれる前記商品として決定する請求項１から８のいずれか１項に記載の処理装置。
商品が含まれる商品画像を取得する商品画像取得手段と、
前記商品画像を編集し、前記商品が含まれる領域である商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる複数の編集画像を生成する編集手段と、
複数の前記編集画像各々に対して、前記商品の特徴点を抽出する処理を実行する特徴点抽出手段と、
前記抽出結果に基づき、画像パラメータと、抽出される特徴点数との関係を示す関係情報を生成する関係情報生成手段と、
を有する前処理装置。
コンピュータが、
物体が含まれる領域である物体領域を画像から検出し、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出し、
前記物体領域の画像に関し、前記物体領域の画像の大きさを示す画像パラメータを算出し、
前記画像パラメータに基づき、前記信頼度の閾値を設定し、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定し、
前記信頼度の閾値の設定では、前記物体領域の画像の大きさと、抽出される特徴点数との関係を示す関係情報に基づき、前記閾値を設定する処理方法。
コンピュータが、
物体が含まれる領域である物体領域を画像から検出し、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出し、
前記物体領域の画像に関し、前記物体領域の画像の輝度を示す画像パラメータを算出し、
前記画像パラメータに基づき、前記信頼度の閾値を設定し、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定し、
前記信頼度の閾値の設定では、前記物体領域の画像の輝度と、抽出される特徴点数との関係を示す関係情報に基づき、前記閾値を設定する処理方法。
コンピュータが、
物体が含まれる領域である物体領域を画像から検出し、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出し、
前記物体領域の画像に関する画像パラメータを算出し、
前記画像パラメータに基づき、前記商品毎に前記信頼度の閾値を設定し、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定し、
前記信頼度の閾値の設定では、実物の大きさが小さい前記商品ほど小さい前記閾値を設定する処理方法。
コンピュータが、
物体が含まれる領域である物体領域を画像から検出し、
商品毎に、前記商品各々が前記物体領域の画像に含まれる信頼度を算出し、
前記物体領域の画像に関する画像パラメータを算出し、
前記画像パラメータに基づき、前記商品毎に前記信頼度の閾値を設定し、
前記商品各々の前記信頼度と、前記閾値とに基づき、前記物体領域の画像に含まれる前記商品を決定し、
前記信頼度の閾値の設定では、前記物体領域の画像の大きさと抽出される特徴点数との関係、又は、前記物体領域の画像の輝度と抽出される特徴点数との関係を前記商品毎に示す関係情報に基づき、前記閾値を設定する処理方法。
コンピュータが、
商品が含まれる商品画像を取得し、
前記商品画像を編集し、前記商品が含まれる領域である商品領域の画像の大きさ及び輝度の少なくとも一方が互いに異なる複数の編集画像を生成し、
複数の前記編集画像各々に対して、前記商品の特徴点を抽出する処理を実行し、
前記抽出結果に基づき、画像パラメータと、抽出される特徴点数との関係を示す関係情報を生成する前処理方法。