JP6729553B2 - システム、画像認識方法、および、プログラム - Google Patents

Description

本発明は、画像認識装置、システム、画像認識方法および記録媒体に関する。

デジタルカメラ等によって撮影された画像を認識する方法が、例えば、特許文献１に記載されている。特許文献１に記載の情報処理システムは、撮影された画像情報がデータベース内の検索用画像情報に一致するか否かを判別することにより、撮影された画像を認識する。

また、認識を行う際に、共起確率等を用いる方法が、特許文献２および３に記載されている。

特開２００３−１６０８６号公報 特開２００９−２６５９０５号公報 特表２００９−５２１６６５号公報

商品を販売する店舗では、商品の売り上げは、商品の陳列状態に依存することが知られている。そのため、商品が陳列されている状態を撮影した撮影画像から陳列されている商品を認識する方法が考えられている。

複数の商品に関する情報を記憶するデータベースは、現時点において、店舗で販売されている商品の有無にかかわらずに、複数の商品に関する情報を格納している場合が多い。そのため、撮影画像から該撮影画像に含まれる商品を認識する場合、撮影画像に含まれる商品と、このデータベースに含まれる商品全部との照合を行うため、例えば、撮影画像に含まれる商品が、類似した商品に認識されてしまい、認識精度が低下してしまう可能性があった。

特許文献１から３には、この課題については何ら言及されていない。

本発明は、上記課題に鑑みてなされたものであり、その目的は、撮影画像に含まれる商品の認識精度を向上させる技術を提供することにある。

本発明の一態様に係る画像認識装置は、店舗で販売される商品に関する商品データに基づいて、複数の商品に関する情報を記憶するデータベースから、照合先のデータである照合先データを限定するデータ決定手段と、前記店舗で撮影された画像を用いて、前記限定された照合先データから前記撮影された画像に含まれる認識対象商品を認識する画像認識手段と、を備える。

本発明の一態様に係るシステムは、店舗で販売される商品を撮影する撮像装置と、前記撮像装置によって撮影された画像を受信する画像認識装置と、複数の商品に関する情報を記憶するデータベースを管理するデータベース管理装置と、を備え、前記画像認識装置は、前記店舗で販売される商品に関する商品データに基づいて、前記データベースから、照合先のデータである照合先データを限定するデータ決定手段と、前記撮像装置から受信した画像を用いて、前記限定された照合先データから前記撮影された画像に含まれる認識対象商品を認識する画像認識手段と、を備える。

本発明の一態様に係るシステムは、店舗で販売される商品を撮影する撮像装置と、前記撮像装置によって撮影された画像を受信する画像認識装置と、複数の商品に関する情報を記憶するデータベースを管理するデータベース管理装置と、を備え、前記データベース管理装置は、前記店舗で販売される商品に関する商品データに基づいて、前記データベースから、照合先のデータである照合先データを限定するデータ決定手段を備え、前記画像認識装置は、前記撮像装置から受信した画像を用いて、前記限定された照合先データから前記撮影された画像に含まれる認識対象商品を認識する画像認識手段、を備える。

本発明の一態様に係るシステムは、店舗で販売される商品を撮影する撮像装置と、前記撮像装置によって撮影された画像を受信する画像認識装置と、複数の商品に関する情報を記憶するデータベースを管理するデータベース管理装置と、を備え、前記データベース管理装置は、前記店舗で販売される商品に関する商品データに基づいて、前記データベースから、照合先のデータである照合先データを限定する第１のデータ決定手段を備え、前記画像認識装置は、前記撮像装置から受信した画像を用いて、前記限定された照合先データから前記撮影された画像に含まれる認識対象商品を認識する画像認識手段、を備える。

本発明の一態様に係る画像認識装置は、店舗で撮影された画像を用いて、複数の商品に関する情報を記憶するデータベースから、前記撮影された画像に含まれる認識対象商品を認識する画像認識手段と、前記店舗で販売される商品に関する商品データに基づいて、該商品の所定の範囲内の商品の総数に対する割合を算出する算出手段と、前記撮影された画像に含まれる認識対象商品に対する認識結果を、前記算出手段によって算出された前記割合に基づいて補正する補正手段と、を備え、前記算出手段は、在庫数が他の商品より多い商品に対する、前記認識結果の確からしさを示す認識スコアが、前記他の商品に対する認識スコアよりも高くなるように、前記割合を算出する。

本発明の一態様に係る画像認識方法は、店舗で販売される商品に関する商品データに基づいて、複数の商品に関する情報を記憶するデータベースから、照合先のデータである照合先データを限定し、前記店舗で撮影された画像を用いて、前記限定された照合先データから前記撮影された画像に含まれる認識対象商品を認識する。

なお、上記各装置、各システムまたは方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体も、本発明の範疇に含まれる。

本発明によれば、撮影画像に含まれる商品の認識精度を向上させることができる。

本発明の第１の実施の形態に係る画像認識装置を含む画像認識システムの全体構成の一例を示す図である。 本発明の第１の実施の形態に係る画像認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第１の実施の形態に係る画像認識装置における照合先データ決定処理の流れの一例を示すフローチャートである。 本発明の第１の実施の形態に係る画像認識装置における画像認識処理の流れの一例を示すフローチャートである。 本発明の第２の実施の形態に係る画像認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第２の実施の形態に係る画像認識装置における画像認識処理の流れの一例を示すフローチャートである。 本発明の第３の実施の形態に係る画像認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第３の実施の形態に係る画像認識装置における事前確率算出処理の流れの一例を示すフローチャートである。 本発明の第３の実施の形態に係る画像認識装置における画像認識処理の流れの一例を示すフローチャートである。 本発明の第４の実施の形態に係る画像認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第４の実施の形態に係る画像認識装置における画像認識処理の流れの一例を示すフローチャートである。 本発明の第５の実施の形態に係る画像認識装置を含む画像認識システムの全体構成の一例を示す図である。 本発明の第５の実施の形態に係る画像認識装置および商品ＤＢ管理装置の機能構成の一例を示す機能ブロック図である。 本発明の第５の実施の形態に係る画像認識装置における画像認識処理の流れの一例を示すフローチャートである。 本発明の第６の実施の形態に係る画像認識装置および商品ＤＢ管理装置の機能構成の一例を示す機能ブロック図である。 本発明の第６の実施の形態に係る画像認識装置における画像認識処理の流れの一例を示すフローチャートである。 本発明の第７の実施の形態に係る画像認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第７の実施の形態に係る画像認識装置における画像認識処理の流れの一例を示すフローチャートである。 本発明の第８の実施の形態に係る画像認識装置の機能構成の一例を示す機能ブロック図である。 本発明の第９の実施の形態に係る画像認識システムの機能構成の一例を示す機能ブロック図である。 本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。

＜第１の実施の形態＞
本発明の第１の実施の形態について、図面を参照して詳細に説明する。まず、図１を参照して、本実施の形態に係る画像認識装置を含む画像認識システムの全体構成について説明する。

図１は、本実施の形態に係る画像認識装置を含む画像認識システムの全体構成の一例を示す図である。図１に示す通り、本実施の形態に係る画像認識システム１は、画像認識装置１０、撮像装置２０、ＰＯＳ（Ｐｏｉｎｔ Ｏｆ Ｓａｌｅ）端末２１、および、商品ＤＢ（ＤａｔａＢａｓｅ）管理装置（データベース管理装置）３０を含んでいる。画像認識装置１０と商品ＤＢ管理装置３０とは、ネットワーク４０を介して通信可能に接続している。また、画像認識装置１０は、撮像装置２０およびＰＯＳ端末２１と通信可能に接続している。なお、図１に示す画像認識システム１は、本実施の形態に特有な構成について示したものであり、図１に示す画像認識システム１が図１に示されていない部材を有していてもよいことは言うまでもない。

商品ＤＢ管理装置３０は、複数の商品に関する情報が格納されたデータベースを管理する。商品ＤＢ管理装置３０は、図１に示す通り、商品ＤＢ３１を備えている。商品ＤＢ３１は、複数の商品に関する情報を記憶するデータベースである。具体的には、商品ＤＢ３１には、画像認識装置１０が商品の認識を行う際に使用する、商品に関する情報が商品毎に格納されている。商品ＤＢ３１には、例えば、商品名毎に商品画像が含まれている。なお、商品ＤＢ３１に含まれるデータは、商品の認識を行う際に使用する情報であればよく、例えば、商品画像内の特徴点を示すデータであってもよい。

撮像装置２０は、１または複数の店舗の夫々に設置された１または複数の監視カメラ等により実現される。なお、図１では、説明の便宜上、１つの店舗のみを記載しているが、店舗の数は１以上である。また、撮像装置２０は、監視カメラに限定されるものではなく、ユーザが所持する携帯可能な装置であってもよいし、その他の撮像装置であってもよい。

撮像装置２０は、店舗に配置（陳列）された商品を撮影する。商品は、店舗に設置された、一般的には商品棚（単に棚とも呼ぶ）に陳列されている。そのため、撮像装置２０は、商品が陳列された商品棚を撮影するとも言える。そして、撮像装置２０は、撮影した画像であって、該画像内に商品が含まれる画像を示す撮影画像データ（単に、画像データとも呼ぶ）を、画像認識装置１０に送信する。

画像認識装置１０は、画像認識装置１０が設置されている店舗と、同じ店舗に設置されている１または複数のＰＯＳ端末２１と通信を行い、該ＰＯＳ端末２１から、店舗で販売されている商品に関する情報である商品データを受信する。画像認識装置１０は、商品データとして、例えば、各商品の売上に関する情報（売上情報）を受信する。ここで、売上情報とは、例えば、ある商品の売上高や売上数など、一般的なＰＯＳデータであるとするが、売上情報はこれに限定されない。また、画像認識装置１０は、商品データとして、例えば、商品の仕入れに関する情報（仕入情報）、商品の発注に関する情報（発注情報）等を受信してもよい。この商品データには、個々の商品を識別する情報が含まれる。個々の商品を識別する情報として、本実施の形態では、商品名を例に挙げ、説明を行うが、個々の商品を識別する情報はこれに限定されるものではなく、例えば、商品ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）であってもよい。また、商品データには、例えば、各商品に対し、該商品の種類（カテゴリー）等の情報が含まれてもよい。

また、画像認識装置１０は、商品データを、ＰＯＳ端末２１以外のその他の装置から取得してもよい。例えば、ユーザが発注情報や受注情報を入力する装置がＰＯＳ端末２１以外の装置である場合、画像認識装置１０は、この発注情報や受注情報を入力する装置から、商品データを受信してもよい。

また、画像認識装置１０は、画像認識装置１０が設置されている店舗と、同じ店舗に設置されている１または複数の撮像装置２０から撮影画像データを受信する。画像認識装置１０の詳細な機能については、図２を参照して説明する。

（画像認識装置１０の機能構成について）
次に、図２を参照して、本実施の形態に係る画像認識装置１０の機能構成について説明する。図２は、本実施の形態に係る画像認識装置１０の機能構成の一例を示す機能ブロック図である。

図２に示す通り、本実施の形態に係る画像認識装置１０は、データ処理部１１０と、照合先データ決定部（データ決定部）１２０と、画像認識部１３０と、記憶部１４０と、を備えている。

データ処理部１１０は、ＰＯＳ端末２１および／またはその他の装置から商品データを受信する。そして、データ処理部１１０は、商品データに含まれる売上情報、仕入情報および発注情報の少なくとも何れかに基づいて、店舗で販売される各商品に関する数量を算出する。具体的には、データ処理部１１０は、商品データに基づいて、各商品の在庫数を算出する。なお、データ処理部１１０は各商品の、売上数（販売数）、仕入数、発注数等を算出してもよい。また、例えば、商品データに、店舗に仕入れた商品のうち、検品を終えた商品を示す情報が含まれる場合、データ処理部１１０は、検品済の各商品の数量（検品済数）を算出してもよい。また、商品データに、店頭に陳列した商品を示す情報が含まれる場合、データ処理部１１０は、商品毎に、店舗に陳列した商品の数量を算出してもよい。また、商品データに、廃棄した商品を示す情報が含まれる場合、データ処理部１１０は、廃棄済の各商品の数量（廃棄数）を算出してもよい。また、データ処理部１１０は、商品毎に、この店舗に陳列した商品の数量の履歴と、売上数とに基づいて、その時点での陳列数を算出してもよい。このように、データ処理部１１０は、商品の売上、仕入、発注、検品済、廃棄、陳列などの履歴に基づいて、各商品に関する数量を算出してもよい。

データ処理部１１０は、算出した、店舗で販売される各商品の数量を、各商品の商品名と共に、照合先データ決定部１２０に出力する。以降、データ処理部１１０が出力する、商品名および該商品名によって示される商品の数量からなるデータを、商品数情報と呼ぶ。

照合先データ決定部１２０は、データ処理部１１０から、商品数情報を受信する。そして、照合先データ決定部１２０は、商品数情報に含まれる、各商品に関する数量に基づいて、商品ＤＢ３１に格納されているデータから、画像認識部１３０が画像認識を行う際に照合先（検索対象）として使用するデータ（照合先データ）を抽出する。具体的には、照合先データ決定部１２０は、商品ＤＢ３１に含まれる商品うち、該照合先データ決定部１２０を備える画像認識装置１０が設置された店舗内において、在庫数がゼロの商品を抽出し、この抽出した商品のデータを削除したデータベースを、新たに作成する。そして、照合先データ決定部１２０は、この新たに作成したデータベースを構成するデータを、画像認識部１３０が画像認識を行う際に照合先として使用する照合先データとする。言い換えれば、照合先データ決定部１２０は、商品ＤＢ３１から、商品の数量が１以上の商品に関するデータを抽出し、抽出したデータに限定されたデータベースを作成する。

画像認識部１３０が、商品ＤＢ３１に含まれる全ての商品に関するデータを用いて認識処理を行った場合、照合先のデータとして用いる照合先データは、上記商品ＤＢ３１内の全ての商品に関するデータとなる。しかし、上述したとおり、照合先データ決定部１２０は、在庫数がゼロの商品のデータを削除したデータベースを作成する。つまり、照合先データ決定部１２０は、商品ＤＢ３１から、画像認識部１３０が照合の際にデータとして用いる照合先データを限定することができる。

ここで、在庫数がゼロの商品とは、例えば、以下の（ａ）および（ｂ）である。
（ａ）商品数情報に含まれる商品の数量がゼロの商品、
（ｂ）商品名が、商品ＤＢ３１に含まれ、且つ、商品数情報に含まれない商品。

照合先データ決定部１２０は、作成したデータベースを、記憶部１４０に格納する。なお、照合先データ決定部１２０は、作成したデータベースを、画像認識部１３０に出力してもよい。

記憶部１４０は、照合先データ決定部１２０によって限定された照合先データを示す情報を格納する。具体的には、記憶部１４０は、照合先データ決定部１２０が作成したデータベースを格納する。記憶部１４０が格納するデータベースを構成するデータは、上述したとおり、画像認識を行う際に照合先として使用する照合先データである。なお、記憶部１４０は、画像認識装置１０内に内蔵されるものであってもよいし、画像認識装置１０とは別個の記憶装置で実現してもよい。記憶部１４０は、照合先データ決定部１２０内に内蔵されるものであってもよい。また、照合先データ決定部１２０が、作成した照合先データを画像認識部１３０に出力した場合、記憶部１４０は、画像認識部１３０内に内蔵されるものであってもよい。

画像認識部１３０は、撮像装置２０から撮影画像データを受信する。この撮影画像データが表す撮影画像は、画像認識を行う対象となる画像（対象画像と呼ぶ）である。画像認識部１３０は、照合先データ決定部１２０によって、照合先のデータが限定された照合先データから、対象画像の画像認識を行う。具体的には、画像認識部１３０は、対象画像と、照合先データとを照合することによって、対象画像に含まれる商品の認識を行う。画像認識部１３０は、画像認識の結果（認識結果と呼ぶ）を、出力する。画像認識部１３０は、例えば、記憶部１４０または図示しない表示装置に出力してもよい。

（画像認識装置１０の処理の流れ）
次に、図３および図４を参照して、画像認識装置１０の処理の流れについて説明する。図３は、本実施の形態に係る画像認識装置１０における照合先データ決定処理の流れの一例を示すフローチャートである。

図３に示す通り、まず、データ処理部１１０が、ＰＯＳ端末２１および／またはその他の装置から商品データを受信する（ステップＳ３１）。

そして、データ処理部１１０が、受信した商品データに基づいて、店舗で販売される各商品の数量（例えば、商品毎の売上数、仕入数、発注数、検品済数、陳列数等）を算出する（ステップＳ３２）。

その後、照合先データ決定部１２０が、各商品に関する数量に基づいて、商品ＤＢ３１の照合先データを限定する（ステップＳ３３）。具体的には、上述したとおり、照合先データ決定部１２０は、商品ＤＢ３１から、ステップＳ３２で算出した各商品に関する数量に基づいて、画像認識部１３０が画像認識を行う際に照合先として使用する照合先データからなるデータベースを作成する。

以上で、画像認識装置１０は、照合先データ決定処理を終了する。

次に、図４を参照して、本実施の形態に係る画像認識装置１０における画像認識処理について説明する。図４は、本実施の形態に係る画像認識装置１０における画像認識処理の流れの一例を示すフローチャートである。

図４に示す通り、まず、画像認識部１３０が、撮像装置２０から撮影画像データを受信する（ステップＳ４１）。

次に、照合先データ決定部１２０がステップＳ３３において限定した照合先データを用いて、画像認識部１３０は、撮影画像データによって表される撮影画像の画像認識を行う（ステップＳ４２）。

そして、画像認識部１３０が、認識結果を出力する（ステップＳ４３）。

以上で、画像認識装置１０は、画像認識処理を終了する。

なお、画像認識装置１０は、上述した照合先データ決定処理と、画像認識処理とを、同期させて実行してもよいし、非同期で実行してもよい。例えば、画像認識装置１０は、照合先データ決定処理を、画像認識処理を行う直前に実行してもよい。

また、例えば、画像認識装置１０は、照合先データ決定処理を、画像認識処理の実行時間に拘らず、予め定められた時間に実行してもよい。予め定められた時間とは、例えば、商品が店舗に陳列される時間、商品を仕入れる時間、商品の検品を行う時間等であるが、これに限定されるものではない。また、このとき、照合先データ決定部１２０は、照合先として用いる照合先データを更新してもよい。例えば、商品が店舗に陳列された際に、ユーザが陳列した商品を示す情報を、図示しない入力装置等を用いて画像認識装置１０に通知すると、画像認識装置１０は、照合先データに該商品が含まれるか否かを確認する。そして、照合先データに該商品が含まれていない場合、画像認識装置１０は、照合先データに、上記商品を含める。

また、画像認識装置１０は、商品が売れるたびに、照合先データ決定処理を行ってもよい。例えば、画像認識装置１０は、商品が売れた際に、該商品の現時点の在庫数を確認し、在庫数がゼロの場合、照合先データから該商品を削除してもよい。このように、照合先データ決定部１２０は、所定のタイミングで、照合先データを更新することができる。

（効果）
本実施の形態に係る画像認識装置１０によれば、撮影画像に含まれる商品の認識精度を向上させることができる。なぜならば、照合先データ決定部１２０が商品ＤＢ３１から、商品データに基づいて、照合先データを限定し、画像認識部１３０がこの限定された照合先データを用いて、撮影画像に含まれる商品の認識を行うからである。このとき照合先データ決定部１２０は、商品ＤＢ３１から、店舗における在庫数がゼロの商品を削除したデータベースを作成することにより、照合先データを限定することが好ましい。

これにより、本実施の形態に係る画像認識装置１０は、照合先データと認識対象商品と照合することにより、認識対象商品を認識することができる。照合を行う照合先のデータ数が多いと、認識結果にばらつきが出てしまい、認識精度が低下してしまう。しかしながら、本実施の形態に係る画像認識装置１０が限定する照合先データに含まれる商品は、商品ＤＢ３１に含まれる商品より数が少ない。したがって、本実施の形態に係る画像認識装置１０は、認識精度を高めることができる。

また、画像認識装置１０は、照合先データ決定部１２０が限定した照合先データのデータのみを商品ＤＢ管理装置３０から取得するため、画像認識装置１０と商品ＤＢ管理装置３０との間の通信量を削減することができる。

また、画像認識装置１０は、在庫数がゼロの商品との照合を行わないため、認識処理に掛かる時間を削減することができる。

（変形例）
なお、上述した第１の実施の形態では、照合先データ決定部１２０が、照合先データによって構成されるデータベースを新たに作成することについて説明を行ったが、照合先データ決定部１２０は、データベースを作成しなくてもよい。本変形例では、照合先データ決定部１２０がデータベースを作成せずに、照合先データを限定する方法について説明する。

本変形例における照合先データ決定部１２０は、商品ＤＢ３１から、照合先データとして使用するデータを決定する。そして、照合先データ決定部１２０は、決定したデータが、画像認識部１３０に画像認識を行う際に照合先データとして用いられるように、制御する。

例えば、照合先データ決定部１２０は、商品ＤＢ３１から、照合先データとして使用するデータに関連付けられた商品名を、記憶部１４０に格納する。そして、画像認識部１３０が画像認識を行う際に、商品ＤＢ３１のうち、記憶部１４０に格納された商品名のデータを用いるように制御する。

また、例えば、照合先データ決定部１２０は、商品ＤＢ３１内のデータのうち、画像認識に使用するデータには１を示すフラグを、使用しないデータには０を示すフラグを生成してもよい。そして、照合先データ決定部１２０は、画像認識部１３０が１のフラグのデータのみを画像認識で使用するように制御してもよい。このとき、照合先データ決定部１２０は、生成したフラグを、限定した照合先データを示す情報として、記憶部１４０に格納してもよい。

また、例えば、照合先データ決定部１２０は、商品ＤＢ３１内に含まれるテーブルから、照合先データとして使用するデータからなるビューを生成するコマンドを発行し、画像認識部１３０に該ビューを用いて画像認識を行うように制御してもよい。このとき、照合先データ決定部１２０は、発行したコマンドを、限定した照合先データを示す情報として、記憶部１４０に格納してもよい。このように、本変形例に係る画像認識装置１０の照合先データ決定部１２０は、どのような方法で商品ＤＢ３１から、照合先データを限定してもよい。

本変形例では、上述した第１の実施の形態に係る画像認識装置１０と同様に、検索に掛かる時間を削減でき、認識精度を高めることができる。また、照合先データ決定部１２０がデータベースを画像認識装置１０内に新たに作成しないため、商品ＤＢ管理装置３０から画像認識装置１０へ送信されるデータ量を少なくすることができる。

また、本変形例においても、照合先データ決定部１２０は、所定のタイミングで、照合先データを更新してもよい。例えば、照合先データ決定部１２０が、商品ＤＢ３１から、照合先データとして使用するデータに関連付けられた商品名を、記憶部１４０に格納する場合、照合先データ決定部１２０は、この商品名を所定のタイミングで更新することにより、照合先データを更新してもよい。

また、例えば、照合先データ決定部１２０が、商品ＤＢ３１内のデータに対してフラグを生成する場合、照合先データ決定部１２０は、このフラグを所定のタイミングで更新することにより、照合先データを更新してもよい。

このように、本変形例に係る照合先データ決定部１２０は、第１の実施の形態における照合先データ決定部１２０と同様に、所定のタイミングで、照合先データを更新することができる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態について、図面を参照して説明を行う。なお、説明の便宜上、前述した第１の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。

上述した第１の実施の形態では、照合先データ決定部１２０が、画像認識装置１０が設けられた店舗における商品データに基づいて、照合先データを限定することについて説明を行った。本実施の形態では、商品データとして、更に、撮影された棚に関する情報を用いることについて説明を行う。

本実施の形態に係る画像認識システム１は、上述した第１の実施の形態に係る画像認識システム１の画像認識装置１０に代えて画像認識装置１１を含む。本実施の形態に係る画像認識システム１のその他の構成は、図１に示す通り、上述した第１の実施の形態に係る画像認識システム１と同様である。

本実施の形態においては、撮像装置２０が撮影した画像を示す撮影画像データには、どの商品棚を撮影した撮影画像データであるかを示す情報（撮影棚情報）を含む。この撮影棚情報は、撮像装置２０が設置された店舗を示す情報および該撮像装置２０が撮影した商品棚の位置を示す情報等であるとするが、撮影棚情報はこれに限定されるものではない。この撮影棚情報は、撮影者によって入力されるものであってもよいし、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等を用いて測位される、撮像装置２０の位置を示す撮影位置情報であってもよい。また、撮影棚情報は、例えば、撮像装置２０の位置を示す情報と該撮像装置２０の向きを示す情報であってもよい。撮像装置２０の位置と、該撮像装置２０の向きとにより、該撮像装置２０がどの商品棚を撮影したものかを判別できる。このように、撮影棚情報は、撮影した商品棚が、どの位置の商品棚かが判別可能な情報であればよい。

（画像認識装置１１の機能構成について）
図５を参照して、本実施の形態に係る画像認識装置１１の機能構成について説明する。図５は、本実施の形態に係る画像認識装置１１の機能構成の一例を示す機能ブロック図である。

図５に示す通り、本実施の形態に係る画像認識装置１１は、データ処理部１１１と、照合先データ決定部１２０と、画像認識部１３０と、記憶部１４１と、を備えている。

記憶部１４１には、第１の実施の形態に係る記憶部１４０と同様に、照合先データ決定部１２０が作成したデータベースが格納される。また、記憶部１４１には、店舗における棚割り情報が格納されている。棚割り情報とは、棚ごとに、各商品に対する該商品が陳列される可能性がある位置（例えば、棚の位置、および、該棚における段の位置）を示す情報である。棚割り情報とは、例えば、商品棚ごとに、推奨される棚割り情報、現時点におけるレイアウト情報、棚割りに関する指示書、棚割りの管理履歴等によって示される情報である。なお、棚割り情報とは、これに限定されるものではなく、例えば、一般的な棚割りソフトウェアから出力された棚割り図等であってもよい。なお、棚割り情報は、例えば、外部装置等から送信されるものであってもよい。また、棚割り情報に含まれる情報には、陳列される商品の種類（カテゴリー）が含まれてもよい。また、棚割り情報は、時間（時間帯、曜日など）によって変化する情報であってもよい。

データ処理部１１１は、撮像装置２０から撮影画像データに含まれる撮影棚情報を受信する。そして、データ処理部１１１は、記憶部１４１から棚割り情報を取得する。なお、棚割り情報が外部装置等から送信される場合、データ処理部１１１は、該外部装置等から棚割り情報を受信する。また、データ処理部１１１は、ＰＯＳ端末２１および／またはその他の装置から商品データを受信する。

そして、データ処理部１１１は、撮影棚情報、商品データおよび棚割り情報に基づいて、各商品の在庫数を算出する。データ処理部１１１は、撮影棚情報が示す商品棚の位置に一致する位置の商品棚に対する棚割り情報から、該商品棚に陳列される可能性がある商品を特定する。

棚割り情報には、上述したとおり、各商品に対する該商品が陳列される可能性がある位置を示している。したがって、撮影棚情報が示す商品棚の位置に一致する位置の商品棚に対する棚割り情報には、該商品棚に陳列される可能性がある商品が含まれる。データ処理部１１１は、この棚割り情報から、該当する商品棚に陳列される可能性がある商品を示す情報を抽出することにより、該商品棚に陳列される可能性がある商品を特定する。

そして、データ処理部１１１は、特定した各商品に対し、商品データに基づいて、各商品に関する数量を算出する。そして、データ処理部１１１は、算出した各商品に関する数量を商品数情報として、照合先データ決定部１２０に出力する。

照合先データ決定部１２０および画像認識部１３０は、第１の実施の形態に係る照合先データ決定部１２０および画像認識部１３０と同様の機能を有するため、説明を省略する。

（画像認識装置１１の処理の流れ）
次に、図６を参照して、画像認識装置１１の処理の流れについて説明する。図６は、本実施の形態に係る画像認識装置１１における画像認識処理の流れの一例を示すフローチャートである。図６に示す画像認識装置１１による画像認識処理は、上述した第１の実施の形態における照合先データ決定処理および画像認識処理を含む。

図６に示す通り、まず、データ処理部１１１が、ＰＯＳ端末２１および／またはその他の装置から商品データを受信する（ステップＳ６１）。また、画像認識部１３０が撮影画像データを受信する（ステップＳ６２）。また、データ処理部１１１が上記撮影画像データの撮影棚情報を受信する（ステップＳ６３）。なお、データ処理部１１１は、撮影画像データ全体を受信してもよい。なお、ステップＳ６１からステップＳ６３は、どのような順番で行われてもよい。また、ステップＳ６１からステップＳ６３は、同時に行われてもよい。

そして、データ処理部１１１が、受信した商品データと、撮影棚情報と、棚割り情報と、に基づいて、店舗で販売される商品であって、撮影された商品棚に陳列される可能性がある各商品に関する数量（例えば、在庫数）を算出する（ステップＳ６４）。

その後、照合先データ決定部１２０が、ステップＳ６４にて算出された各商品の数量に基づいて、商品ＤＢ３１の照合先データを限定する（ステップＳ６５）。具体的には、第１の実施の形態と同様に、照合先データ決定部１２０は、商品ＤＢ３１から、ステップＳ６４で算出した各商品に関する数量に基づいて、図３のステップＳ３３と同様に、画像認識部１３０が画像認識を行う際に照合先として使用する照合先データからなるデータベースを作成する。

そして、照合先データ決定部１２０がステップＳ６５において限定した照合先データを用いて、画像認識部１３０は、撮影画像データによって表される撮影画像の画像認識を行う（ステップＳ６６）。

そして、画像認識部１３０が、認識結果を出力する（ステップＳ６７）。

以上で、画像認識装置１１は、画像認識処理を終了する。

なお、上述した第１の実施の形態における変形例と同様に、照合先データ決定部１２０は、新たなデータベースを作成せずに、照合先データを限定してもよい。

以上のように、本実施の形態に係る画像認識装置１１は、上述した画像認識装置１０と同様の効果を得ることができる。また、更に、本実施の形態に係る画像認識装置１１によれば、データ処理部１１１が、撮影された商品棚に対する棚割り情報から、該商品棚に陳列される可能性がある商品を特定し、特定した商品に関する数量を算出する。そして、照合先データ決定部１２０が、この算出された数量に基づいて、照合先データを限定する。これにより、画像認識装置１１は、店舗内の何れかの棚に陳列された商品であっても、撮影された商品棚には、陳列されない商品を照合先データに含めなくすることができる。したがって、本実施の形態に係る画像認識装置１１によれば、認識精度をより高めることができる。

（変形例）
上述した第２の実施の形態では、照合先データ決定部１２０は、データ処理部１１１が撮影棚情報に基づいて算出した商品数情報を用いて、照合先データを限定したが、照合先データ決定部１２０が照合先データを限定する方法はこれに限定されるものではない。

まず、データ処理部１１１は、第１の実施の形態におけるデータ処理部１１０と同様に、受信した商品データに基づいて、店舗で販売される各商品の数量（第１の商品数情報と呼ぶ）を算出する。照合先データ決定部１２０は、算出された第１の商品数情報に基づいて、照合先データを限定する。この限定した照合先データを第１の照合先データと呼ぶ。この第１の照合先データは、所定のタイミングで更新可能である。

次に、データ処理部１１１は、撮影棚情報を受信すると、撮影された商品棚に陳列される可能性がある各商品に関する数量（第２の商品数情報と呼ぶ）を算出する。そして、照合先データ決定部１２０は、上記第１の照合先データから、第２の商品数情報に基づいて、更に、照合先データを限定する。

以上のようにして、第２の実施の形態の変形例における画像認識装置１１は、照合先データを限定してもよい。これにより、第２の実施の形態における照合先データ決定部１２０が照合先データを限定する場合に比べ、商品ＤＢ管理装置３０に対するアクセス数を削減することができる。なぜならば、本変形例における照合先データ決定部１２０は、第１の照合先データに限定する際に商品ＤＢ管理装置３０に対してアクセスを行い、第２の照合先データに限定する際には、商品ＤＢ管理装置３０に対してアクセスを行わないからである。複数の商品棚を有する店舗において、商品棚を撮影する度に商品ＤＢ管理装置３０に対してアクセスを行うことが無いため、商品ＤＢ管理装置３０に対するアクセス数を削減することができる。

また、撮影された商品棚に対応する商品棚に関する棚割り情報に商品の種類が含まれる場合、データ処理部１１１は、この商品の種類を照合先データ決定部１２０に出力してもよい。この商品の種類は、撮影された商品棚に陳列される可能性がある商品の種類（カテゴリー）を示す。そして、照合先データ決定部１２０は、受信した種類の商品のデータを、照合先データに含めてもよい。このように、照合先データ決定部１２０は、商品ＤＢ３１から、商品の種類に基づいて、照合先データを限定することができる。

また、照合先データ決定部１２０は、照合先データに、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）上で話題となっている商品が含まれていない場合、該商品のデータを照合先データに含めてもよい。また、照合先データに、ＳＮＳ上で話題となっている商品が含まれており、該商品が品切れである等の情報が上記ＳＮＳ上に載っている場合、照合先データ決定部１２０は、照合先データから該商品のデータを削除してもよい。このように、照合先データ決定部１２０は、インターネット等を経由して取得した情報に基づいて、照合先データを更新してもよい。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態について、図面を参照して説明を行う。なお、説明の便宜上、前述した第１および第２の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。

本実施の形態では、認識結果に対し、補正を行うことにより、更に認識精度を高める方法について説明する。

本実施の形態に係る画像認識システム１は、上述した第１の実施の形態に係る画像認識システム１の画像認識装置１０に代えて画像認識装置１２を含む。本実施の形態に係る画像認識システム１のその他の構成は、図１に示す通り、上述した第１の実施の形態に係る画像認識システム１と同様である。

（画像認識装置１２の機能構成について）
図７を参照して、本実施の形態に係る画像認識装置１２の機能構成について説明する。図７は、本実施の形態に係る画像認識装置１２の機能構成の一例を示す機能ブロック図である。図７に示す通り、本実施の形態に係る画像認識装置１２は、データ処理部１１０と、照合先データ決定部１２２と、画像認識部１３２と、記憶部１４０と、を備える。本実施の形態に係る画像認識装置１２は、第１の実施の形態に係る画像認識装置１０の照合先データ決定部１２０に代えて照合先データ決定部１２２を備え、画像認識部１３０に代えて画像認識部１３２を備える構成である。

照合先データ決定部１２２は、データ処理部１１０から、データ処理部１１０が算出した商品数情報を受信する。照合先データ決定部１２２は、図７に示す通り、決定部１２２１と、算出部１２２２とを備える。決定部１２２１は、上述した第１の実施の形態における照合先データ決定部１２０と同様の機能を有する。決定部１２２１は、商品数情報に含まれる、各商品に関する数量に基づいて、商品ＤＢ３１内のデータのうち、画像認識部１３２が画像認識を行う際に照合先として使用する照合先データを限定する。

算出部１２２２は、商品数情報に基づいて、算出部１２２２を含む画像認識装置１２が設置された店舗で販売されている各商品に対する事前確率を算出する。ここで、本実施の形態では、所定の範囲内の商品の総数に対する、ある商品の割合を、事前確率として求める。例えば、商品Ａの在庫数がＮ個（Ｎは自然数）とした場合、算出部１２２２は、商品Ａの事前確率Ｐ＿Ａを、Ｐ＿Ａ＝Ｎ／（所定の範囲内の商品の総数）を用いて算出する。

例えば、所定の範囲内の商品の総数とは、ある商品が販売されている店舗における商品の在庫数の総数であってもよい。つまり、算出部１２２２は、ある商品が販売されている店舗における商品の在庫数の総数をＳ個（Ｓは自然数）とした場合、Ｐ＿Ａ＝Ｎ／Ｓを用いて、商品Ａに対する事前確率を算出する。

また、所定の範囲内の商品の総数は、例えば、ある商品が販売されている店舗における、該ある商品に類似する商品の在庫数の総数であってもよい。また、所定の範囲内の商品の総数は、例えば、ある商品が陳列される可能性がある商品棚と同じ商品棚に陳列される可能性がある商品の在庫数の総数であってもよい。また、所定の範囲内の商品の総数は、所定の時間（例えば、仕入のタイミング）における店舗内または商品棚内等の商品の総数であってもよい。また、所定の範囲内の商品の総数は、このある商品がＳＮＳ上でヒットするヒット数であってもよい。

このように、算出部１２２２は、各商品に対して、事前確率を算出する。このとき、算出部１２２２は、例えば、在庫数が他の商品に比べて多い商品に対する、後述する認識スコアが高くなるように、事前確率を算出してもよい。そして、算出部１２２２は、算出した各商品に対する事前確率を、該事前確率の算出の対象となる商品を示す情報（例えば、商品名）に関連付けて、記憶部１４０に格納する。なお、算出部１２２２は、事前確率を画像認識部１３２に出力してもよい。

画像認識部１３２は、撮像装置２０から撮影画像データを受信する。画像認識部１３２は、図７に示す通り、認識部１３２１と、補正部１３２２とを備える。認識部１３２１は、上述した第１の実施の形態における画像認識部１３０と同様の機能を有する。認識部１３２１は、認識結果（第１の認識結果と呼ぶ）を、補正部１３２２に出力する。この認識部１３２１が出力する第１の認識結果には、撮影画像データによって表される撮影画像に含まれる商品の夫々に対し、商品毎の認識スコアが含まれる。認識スコアとは、認識結果の確からしさを示すものである。本実施の形態では、認識スコアは、１．０を上限とし、１．０に近い値ほど信頼性が高いことを示すとして説明を行う。例えば、認識部１３２１は、ある商品を認識した結果として、「商品Ａの認識スコアが０．８、商品Ｂの認識スコアが０．５」という認識結果を出力する。このように、認識部１３２１は、第１の認識結果として、商品毎に、認識された商品を示す情報（例えば商品名）と、該商品に対する認識スコアとを補正部１３２２に出力する。

補正部１３２２は、認識部１３２１から第１の認識結果を受信する。また、補正部１３２２は、記憶部１４０から商品毎の事前確率を取得する。補正部１３２２は、取得した事前確率を用いて、第１の認識結果を補正し、補正した認識結果（第２の認識結果と呼ぶ）を、画像認識装置１２の認識結果として出力する。

ここで、補正部１３２２が行う補正について説明する。例えば、ある商品に対する第１の認識結果Ｒ１を、Ｒ１＝（Ｓ１＿Ａ，Ｓ１＿Ｂ，・・・）であるとする。ここで、Ｓ１＿Ａは、ある商品が商品Ａと認識された場合の認識スコアを示し、Ｓ１＿Ｂは、ある商品が商品Ｂと認識された場合の認識スコアを示す。ある商品における第１の認識結果が、上述した「商品Ａに対する認識スコアが０．８、商品Ｂに対する認識スコアが０．５」である場合、Ｒ１＝（０．８，０．５）となる。

また、最終的に得られる認識結果（第２の認識結果）Ｒ２を、Ｒ２＝（Ｓ２＿Ａ，Ｓ２＿Ｂ，・・・）とする。ここで、Ｓ２＿Ａは、ある商品が商品Ａと認識された場合の最終的な認識スコアを示し、Ｓ２＿Ｂは、ある商品が商品Ｂと認識された場合の最終的な認識スコアを示す。なお、Ｒ１およびＲ２出力形式は、一例であり、これに限定されるものではない。

補正部１３２２は、例えば、第１の認識結果Ｒ１に含まれる商品Ａに関する認識スコアＳ１＿Ａと事前確率Ｐ＿Ａとを合成することにより、認識スコアＳ１＿Ａを補正した認識スコアＳ２＿Ａを算出する。補正部１３２２は、例えば、所定の係数（αとする）を掛ける、または、掛けない事前確率と、第１の認識結果に含まれる認識スコアとの和を、補正後の認識スコアとしてもよい。

つまり、補正部１３２２は、商品Ａに関する認識スコアを、Ｓ２＿Ａ＝Ｓ１＿Ａ＋αＰ＿Ａ、または、Ｓ２＿Ａ＝Ｓ１＿Ａ＋Ｐ＿Ａを用いて算出してもよい。なお、合成の方法は特に限定されるものではない。例えば、補正部１３２２は、第１の認識結果に含まれる認識スコアと、事前確率とを掛け合わせた結果を、補正後の認識スコアとしてもよい。つまり、補正部１３２２は、商品Ａに関する認識スコアを、Ｓ２＿Ａ＝Ｓ１＿Ａ＊Ｐ＿Ａを用いて算出してもよい。

なお、補正部１３２２は、全ての第１の認識結果に対して補正を行ってもよいし、所定の条件を満たす第１の認識結果に対して補正を行ってもよい。所定の条件とは、例えば、以下の（Ａ）、（Ｂ）等が挙げられるがこれに限定されるものではない。
（Ａ）最も高い値の認識スコアが、所定の閾値より低い、
（Ａ）最も高い値の認識スコアと、次に高い値の認識スコアとの差が、所定の値より小さい。

そして、補正部１３２２は、第２の認識結果のうち、認識スコアが最も高い商品を最終的な認識結果として出力してもよいし、算出した第２の認識結果を、画像認識装置１２の最終的な認識結果として、出力してもよい。

例えば、算出部１２２２が、在庫数が他の商品に比べて多い商品に対する、後述する認識スコアが高くなるように、事前確率を算出した場合について説明する。認識部１３２１が出力した、ある商品に対する第１の認識結果Ｒ１が、Ｒ１＝（Ｓ１＿Ａ，Ｓ１＿Ｂ，Ｓ１＿Ｃ）＝（０．５０，０．４６，０．４０）であるとする。そして、商品Ａの在庫数が商品Ｂおよび商品Ｃの在庫数より多いとし、商品Ｂの在庫数が商品Ｃの在庫数より多いとする。このとき、算出部１２２２は、商品Ａに対する事前確率が、商品Ｂに対する事前確率および商品Ｃに対する事前確率より高くなるように、および、商品Ｂに対する事前確率が商品Ｃに対する事前確率より高くなるように各事前確率を算出する。ここで、算出部１２２２が算出した事前確率が、（Ｐ＿Ａ，Ｐ＿Ｂ，Ｐ＿Ｃ）＝（１．２０，０．５０，０．４５）であるとする。

そして、補正部１３２２が、例えば事前確率と、第１の認識結果に含まれる認識スコアとの積を、補正後の認識スコアとする。したがって、Ｒ２＝（Ｓ２＿Ａ，Ｓ２＿Ｂ，Ｓ２＿Ｃ）＝（０．５０＊１．２０，０．４６＊０．５０，０．４０＊０．４５）＝（０．９６，０．２３，０．１８）が得られる。

そして、補正部１３２２は、この第２の認識結果Ｒ２または、最も認識スコアが高い商品Ａを示す情報を出力する。このように、算出部１２２２が、在庫数が他の商品に比べて多い商品に対する、認識スコアが高くなるように、事前確率を算出する。これにより、補正部１３２２は、この事前確率に基づいて、第１の認識結果を補正することができる。したがって、画像認識装置１２は、認識精度をより高めることができる。

（画像認識装置１２の処理の流れ）
次に、図８および図９を参照して、画像認識装置１２の処理の流れについて説明する。図８は、本実施の形態に係る画像認識装置１２における事前確率算出処理の流れの一例を示すフローチャートである。

図８に示す通り、まず、データ処理部１１０が、ＰＯＳ端末２１および／またはその他の装置から商品データを受信する（ステップＳ８１）。

そして、データ処理部１１０が、受信した商品データに基づいて、店舗で販売される各商品の数量（例えば、商品毎の売上数、仕入数、発注数、検品済数、陳列数等）を算出する（ステップＳ８２）。

その後、照合先データ決定部１２２の決定部１２２１が、各商品に関する数量に基づいて、商品ＤＢ３１の照合先データを限定する（ステップＳ８３）。なお、このステップＳ８１からステップＳ８３は、図３を用いて説明した照合先データ決定処理と同様の処理である。

そして、照合先データ決定部１２２の算出部１２２２が、各商品に関する数量に基づいて、各商品に対する事前確率を算出する（ステップＳ８４）。なお、ステップＳ８４は、ステップＳ８３と同時に実行してもよいし、逆順で実行してもよい。

以上で、画像認識装置１２は、事前確率算出処理を終了する。

次に、図９を参照して、本実施の形態に係る画像認識装置１２における画像認識処理について説明する。図９は、本実施の形態に係る画像認識装置１２における画像認識処理の流れの一例を示すフローチャートである。

図９に示す通り、まず、画像認識部１３２が、撮像装置２０から撮影画像データを受信する（ステップＳ９１）。

次に、照合先データ決定部１２２の決定部１２２１がステップＳ８３において限定した照合先データを用いて、画像認識部１３２の認識部１３２１は、撮影画像データによって表される撮影画像の画像認識を行う（ステップＳ９２）。

次に、照合先データ決定部１２２の算出部１２２２がステップＳ８４で算出した事前確率に基づいて、画像認識部１３２の補正部１３２２は、認識部１３２１がステップＳ９２で認識した結果（第１の認識結果）を、補正する（ステップＳ９４）。

そして、画像認識部１３２の補正部１３２２が、補正した認識結果（第２の認識結果）を、画像認識装置１２の認識結果として出力する（ステップＳ９５）。

以上で、画像認識装置１２は、画像認識処理を終了する。

なお、画像認識装置１２は、上述した事前確率算出処理と、画像認識処理とを、同期させて実行してもよいし、非同期で実行してもよい。例えば、画像認識装置１２は、事前確率算出処理を、画像認識処理を行う直前に実行してもよい。

また、例えば、画像認識装置１２は、事前確率算出処理を、画像認識処理の実行時間に拘らず、予め定められた時間に実行してもよい。予め定められた時間とは、例えば、商品が店舗に陳列される時間、商品を仕入れる時間、商品の検品を行う時間等であるが、これに限定されるものではない。また、このとき、照合先データ決定部１２２の決定部１２２１は、照合先として用いる照合先データを更新してもよい。また、画像認識装置１２は、事前確率算出処理を、商品が売れるたびに行ってもよい。このように、照合先データ決定部１２２は、所定のタイミングで、事前確率を更新することができる。

（効果）
本実施の形態に係る画像認識装置１２によれば、上述した第１の実施の形態に係る画像認識装置１０と同様の効果を得る。また、本実施の形態に係る画像認識装置１２によれば、算出部１２２２が事前確率を算出し、補正部１３２２が、事前確率に基づいて、認識結果を補正するため、認識精度をより高めることができる。

また、照合先データ決定部１２２は、第１の実施の形態の変形例において説明した照合先データ決定部１２０と同様に、データベースを作成せずに、照合先データを限定してもよい。このような場合であっても、照合先データ決定部１２２は、認識精度を高めることができる。

＜第４の実施の形態＞
次に、本発明の第４の実施の形態について、図面を参照して説明を行う。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。

上述した第３の実施の形態では、照合先データ決定部１２２が、画像認識装置１２が設けられた店舗における商品データに基づいて、照合先データを限定することについて説明を行った。本実施の形態では、第２の実施の形態に係る画像認識装置１１と同様に、商品データとして、更に、撮影された棚に関する情報を用いることについて説明を行う。

本実施の形態に係る画像認識システム１は、上述した第１の実施の形態に係る画像認識システム１の画像認識装置１０に代えて画像認識装置１３を含む。本実施の形態に係る画像認識システム１のその他の構成は、図１に示す通り、上述した第１の実施の形態に係る画像認識システム１と同様である。

本実施の形態においては、第２の実施の形態と同様に、撮像装置２０が撮影した画像を示す撮影画像データには、どの商品棚を撮影した撮影画像データであるかを示す撮影棚情報を含む。

（画像認識装置１３の機能構成について）
図１０を参照して、本実施の形態に係る画像認識装置１３の機能構成について説明する。図１０は、本実施の形態に係る画像認識装置１３の機能構成の一例を示す機能ブロック図である。

図１０に示す通り、本実施の形態に係る画像認識装置１３は、データ処理部１１１と、照合先データ決定部１２２と、画像認識部１３２と、記憶部１４１と、を備えている。

記憶部１４１およびデータ処理部１１１は、第２の実施の形態に係る記憶部１４１およびデータ処理部１１１とそれぞれ同様の機能を有する。また、照合先データ決定部１２２および画像認識部１３２は、第３の実施の形態に係る照合先データ決定部１２２および画像認識部１３２とそれぞれ同様の機能を有する。

（画像認識装置１３の処理の流れ）
次に、図１１を参照して、画像認識装置１３の処理の流れについて説明する。図１１は、本実施の形態に係る画像認識装置１３における画像認識処理の流れの一例を示すフローチャートである。図１１に示す画像認識装置１３による画像認識処理は、上述した第３の実施の形態における事前確率算出処理および画像認識処理を含む。

図１１に示す通り、まず、データ処理部１１１が、ＰＯＳ端末２１および／またはその他の装置から商品データを受信する（ステップＳ１１１）。また、画像認識部１３２が撮影画像データを受信する（ステップＳ１１２）。また、データ処理部１１１が上記撮影画像データの撮影棚情報を受信する（ステップＳ１１３）。なお、データ処理部１１１は、撮影画像データ全体を受信してもよい。なお、ステップＳ１１１からステップＳ１１３は、どのような順番で行われてもよい。また、ステップＳ１１１からステップＳ１１３は、同時に行われてもよい。

そして、データ処理部１１１が、受信した商品データに基づいて、店舗で販売される商品であって、撮影された商品棚に陳列される可能性がある各商品に関する数量を算出する（ステップＳ１１４）。

その後、照合先データ決定部１２２の決定部１２２１が、ステップＳ１１４にて算出された各商品の数量に基づいて、商品ＤＢ３１の照合先データを限定する（ステップＳ１１５）。

そして、照合先データ決定部１２２の算出部１２２２が、各商品に関する数量に基づいて、各商品に対する事前確率を算出する（ステップＳ１１６）。なお、ステップＳ１１６は、ステップＳ１１５と同時に実行してもよいし、逆順で実行してもよい。

そして、照合先データ決定部１２２の決定部１２２１がステップＳ１１５において限定した照合先データを用いて、画像認識部１３２の認識部１３２１は、撮影画像データによって表される撮影画像の画像認識を行う（ステップＳ１１７）。なお、ステップＳ１１７は、ステップＳ１１５の後であればよく、ステップＳ１１６より前またはステップＳ１１６と同時に実行してもよい。

次に、照合先データ決定部１２２の算出部１２２２がステップＳ１１６で算出した事前確率に基づいて、画像認識部１３２の補正部１３２２は、認識部１３２１がステップＳ１１７で認識した結果（第１の認識結果）を、補正する（ステップＳ１１８）。

そして、画像認識部１３２の補正部１３２２が、補正した認識結果（第２の認識結果）を、画像認識装置１３の認識結果として出力する（ステップＳ１１９）。

以上で、画像認識装置１３は、画像認識処理を終了する。

なお、上述した各実施の形態と同様に、照合先データ決定部１２２は、新たなデータベースを作成せずに、照合先データを限定してもよい。

また、上述した第２の実施の形態と同様に、データ処理部１１１が、第１の商品数情報を算出し、照合先データ決定部１２２が、算出された第１の商品数情報に基づいて、照合先データを限定してもよい。そして、データ処理部１１１は、撮影棚情報を受信すると、撮影された商品棚に陳列される可能性がある各商品に関する第２の商品数情報を算出してもよい。更に、照合先データ決定部１２２は、上記第１の照合先データから、第２の商品数情報に基づいて、照合先データを限定してもよい。

また、照合先データ決定部１２２は、第２の実施の形態と同様に、商品ＤＢ３１から、商品の種類に基づいて、照合先データを限定してもよい。また、照合先データ決定部１２２の算出部１２２２が事前確率を算出する対象の商品は、撮影棚情報に基づいて、撮影された棚に陳列される可能性が高い各商品であってもよい。

以上のように、本実施の形態に係る画像認識装置１３は、上述した各実施の形態に係る画像認識装置と同様の効果を得ることができる。

＜第５の実施の形態＞
次に、本発明の第５の実施の形態について、図面を参照して説明を行う。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。

上述した各実施の形態では、画像認識装置が、照合先データを限定することについて説明を行ったが、商品ＤＢ３１を有した装置が照合先データを限定してもよい。本実施の形態では、この構成について説明を行う。

まず、図１２を参照して、本実施の形態に係る画像認識システム２の全体構成について説明する。図１２は、本実施の形態に係る画像認識装置を含む画像認識システム２の全体構成の一例を示す図である。図１２に示す通り、本実施の形態に係る画像認識システム２は、画像認識装置１４、撮像装置２０、ＰＯＳ端末２１、商品ＤＢ管理装置３２、および、ＰＯＳシステム５０を含んでいる。画像認識装置１４、ＰＯＳ端末２１、商品ＤＢ管理装置３２およびＰＯＳシステム５０は、ネットワーク４０を介して通信可能に接続している。また、画像認識装置１４は、撮像装置２０およびＰＯＳ端末２１と通信可能に接続している。なお、図１２に示す画像認識システム２は、本実施の形態に特有な構成について示したものであり、図１２に示す画像認識システム２が図１２に示されていない部材を有していてもよいことは言うまでもない。

商品ＤＢ管理装置３２は、上述した商品ＤＢ管理装置３０と同様に複数の商品に関する情報が格納されたデータベース（商品ＤＢ３１）を管理する。また、商品ＤＢ管理装置３２は、ＰＯＳシステム５０から、商品データを受信する。

ＰＯＳシステム５０は、各店舗に設置された１または複数のＰＯＳ端末２１と通信を行い、該ＰＯＳ端末２１から、該ＰＯＳ端末２１が設置されている店舗における、例えば、店舗で販売されている商品に関する情報を受信する。ＰＯＳシステム５０は、店舗で販売されている商品に関する情報として、例えば、各商品の売上に関する情報（売上情報）を受信する。ＰＯＳシステム５０は、この受信した売上情報を商品名毎、店舗毎に管理するシステムである。ここで、売上情報とは、例えば、ある商品の売上高や売上数など、一般的なＰＯＳデータであるとするが、売上情報はこれに限定されない。以降、ＰＯＳシステム５０が管理する情報（商品データ）は、上記各実施の形態において、ＰＯＳ端末２１から各画像認識装置が受信する商品データである。

なお、図１２において、ＰＯＳシステム５０は、ＰＯＳ端末２１が設置されている店舗とは別個に設けられることを示しているが、ＰＯＳシステム５０の設置場所はこれに限定されるものではない。ＰＯＳシステム５０は、店舗毎に設けられるものであってもよい。また、ＰＯＳシステム５０は、ＰＯＳ端末２１と一体となったものであってもよい。また、ＰＯＳシステム５０は、商品ＤＢ管理装置３２内に設けられるものであってもよい。ＰＯＳシステム５０は、管理する商品データを、画像認識装置１４に送信する。

また、画像認識装置１４は、商品データを、ＰＯＳシステム５０およびＰＯＳ端末２１以外のその他の装置から取得してもよい。また、画像認識装置１４は、画像認識装置１４が設置されている店舗と、同じ店舗に設置されている１または複数の撮像装置２０から撮影画像データを受信する。

なお、説明の便宜上、図１２に示す画像認識システム２は、１つの店舗のみを記載したが、店舗の数は複数であってもよい。

（画像認識装置１４および商品ＤＢ管理装置３２の機能構成について）
次に、図１３を参照して、本実施の形態に係る画像認識装置１４および商品ＤＢ管理装置３２の機能構成について説明する。図１３は、本実施の形態に係る画像認識装置１４および商品ＤＢ管理装置３２の機能構成の一例を示す機能ブロック図である。

図１３に示す通り、本実施の形態に係る画像認識装置１４は、画像認識部１３０と、記憶部１４０と、受信部１７０とを備えている。また、商品ＤＢ管理装置３２は、データ処理部３２１と、照合先データ決定部３２２と、商品ＤＢ３１と、を備えている。

商品ＤＢ管理装置３２のデータ処理部３２１は、上述したデータ処理部１１０またはデータ処理部１１１と同様の機能を有する。データ処理部３２１は、ＰＯＳシステム５０から商品データを受信する。そして、データ処理部３２１は、商品データに含まれる売上情報、仕入情報および発注情報の少なくとも何れかに基づいて、店舗ごとに、店舗で販売される各商品に関する数量を算出する。データ処理部３２１は、店舗毎に算出した商品数情報を、照合先データ決定部３２２に出力する。

照合先データ決定部３２２は、上述した照合先データ決定部１２０または照合先データ決定部１２２と同様の機能を有する。照合先データ決定部３２２は、データ処理部３２１から、店舗毎の商品数情報を受信する。そして、照合先データ決定部３２２は、店舗毎に、該店舗の商品数情報に含まれる、各商品に関する数量に基づいて、商品ＤＢ３１内のデータのうち、該店舗の画像認識部１３０が画像認識を行う際に照合先として使用する照合先データを限定する。

照合先データ決定部３２２は、限定した照合先データを示す情報、または、照合先データそのものを、対応する店舗の画像認識装置１４に送信する。

画像認識装置１４の受信部１７０は、商品ＤＢ管理装置３２から、限定された照合先データを示す情報、または、照合先データそのものを、受信する。まず、画像認識装置１４の受信部１７０が、照合先データそのものを受信した場合について説明する。この場合、受信部１７０は、受信した照合先データを、記憶部１４０に格納する。これにより記憶部１４０は、第１の実施の形態に係る記憶部１４０と同様に照合先データからなるデータベースを格納する。

また、画像認識装置１４の受信部１７０が照合先データを示す情報を受信したとする。この場合、受信部１７０は、受信した情報によって示される照合先データが、画像認識部１３０に画像認識を行う際に照合先データとして用いられるために必要な情報を記憶部１４０に格納する。例えば、照合先データを示す情報が、照合先データとして使用するデータに関連付けられた商品名の場合、受信部１７０は、該商品名を記憶部１４０に格納する。

また、例えば、照合先データを示す情報が、商品ＤＢ３１内のデータのうち、画像認識に使用する／しないに応じて生成されたフラグの場合、受信部１７０は、該フラグを記憶部１４０に格納する。

また、例えば、照合先データ決定部３２２が商品ＤＢ３１内に含まれるテーブルから、照合先データとして使用するデータからなるビューを生成し、照合先データを示す情報として、受信部１７０に該ビューの場所を送信したとする。この場合、受信部１７０は、該ビューの場所（ビューの名前）を記憶部１４０に格納してもよい。

なお、本実施の形態では、受信部１７０が照合先データそのものを、受信するとして説明を行う。また、受信部１７０は、受信した照合先データを、画像認識部１３０に直接出力してもよい。

画像認識部１３０は、各実施の形態において説明した画像認識部１３０と同様に、撮像装置２０から受信した画像を用いて、限定された照合先データから撮影された画像に含まれる認識対象商品を認識し、認識結果を出力する。

（商品ＤＢ管理装置３２の処理の流れ）
次に、商品ＤＢ管理装置３２の処理の流れについて説明する。なお、商品ＤＢ管理装置３２の処理の流れは、図３に示すフローチャートと同様であるため、図３を参照して説明する。

まず、商品ＤＢ管理装置３２のデータ処理部３２１が、ＰＯＳシステム５０から商品データを受信する（ステップＳ３１）。

そして、データ処理部３２１が、受信した商品データに基づいて、店舗毎に、店舗で販売される各商品の数量（例えば、商品毎の売上数、仕入数、発注数、検品済数、陳列数等）を算出する（ステップＳ３２）。

その後、照合先データ決定部３２２が、店舗毎に、各商品に関する数量に基づいて、商品ＤＢ３１の照合先データを限定する（ステップＳ３３）。具体的には、照合先データ決定部３２２は、商品ＤＢ３１から、ステップＳ３２で算出した各商品に関する数量に基づいて、画像認識装置１４が画像認識を行う際に照合先として使用する照合先データそのものを画像認識装置１４に送信する。

以上で、商品ＤＢ管理装置３２は、照合先データ決定処理を終了する。

（画像認識装置１４の処理の流れ）
次に、図１４を参照して、本実施の形態に係る画像認識装置１４における画像認識処理について説明する。図１４は、本実施の形態に係る画像認識装置１４における画像認識処理の流れの一例を示すフローチャートである。

図１４に示す通り、まず、画像認識部１３０が、撮像装置２０から撮影画像データを受信する（ステップＳ１４１）。

また、受信部１７０が、商品ＤＢ管理装置３２から、限定された照合先データまたは照合先データを示す情報を受信する（ステップＳ１４２）。

次に、受信した照合先データに基づいて、画像認識部１３０は撮影画像データによって表される撮影画像の画像認識を行う（ステップＳ１４３）。

そして、画像認識部１３０が、認識結果を出力する（ステップＳ１４４）。

以上で、画像認識装置１４は、画像認識処理を終了する。

なお、画像認識装置１４は、上述した照合先データ決定処理と、画像認識処理とを、同期させて実行してもよいし、非同期で実行してもよい。例えば、画像認識装置１４は、照合先データ決定処理を、画像認識処理を行う直前に実行してもよい。

また、例えば、画像認識装置１４は、照合先データ決定処理を、画像認識処理の実行時間に拘らず、予め定められた時間に実行してもよい。

（効果）
以上により、本実施の形態に係る画像認識システム２は、上述した第１の実施の形態に係る画像認識システム１と同様の効果を得ることができる。

＜第６の実施の形態＞
次に、本発明の第６の実施の形態について、図面を参照して説明を行う。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。

本実施の形態では、上述した商品ＤＢ管理装置３２が限定した照合先データを、更に、画像認識装置が、撮影された棚に関する情報を用いて限定することについて説明を行う。

本実施の形態に係る画像認識システム２は、上述した第５の実施の形態に係る画像認識システム２の画像認識装置１４に代えて画像認識装置１５を含む。本実施の形態に係る画像認識システム２のその他の構成は、図１２に示す通り、上述した第５の実施の形態に係る画像認識システム２と同様である。

本実施の形態においては、第２の実施の形態と同様に、撮像装置２０が撮影した画像を示す撮影画像データには、どの商品棚を撮影した撮影画像データであるかを示す撮影棚情報を含む。

（画像認識装置１５および商品ＤＢ管理装置３２の機能構成について）
次に、図１５を参照して、本実施の形態に係る画像認識装置１５および商品ＤＢ管理装置３２の機能構成について説明する。図１５は、本実施の形態に係る画像認識装置１５および商品ＤＢ管理装置３２の機能構成の一例を示す機能ブロック図である。

図１５に示す通り、本実施の形態に係る画像認識装置１５は、データ処理部１１１と、照合先データ決定部（第２のデータ決定部）１２０と、画像認識部１３０と、記憶部１４０と、受信部１７０とを備えている。また、商品ＤＢ管理装置３２は、データ処理部３２１と、照合先データ決定部（第１のデータ決定部）３２２と、商品ＤＢ３１と、を備えている。

なお、本実施の形態に係る商品ＤＢ管理装置３２の機能および動作は、上述した第５の実施の形態に係る商品ＤＢ管理装置３２と同様であるため、説明を省略する。

本実施の形態に係る画像認識装置１５の各部材の動作について、図１６のフローチャートを参照して説明する。図１６は、本実施の形態に係る画像認識装置１５における画像認識処理の流れの一例を示すフローチャートである。

図１６に示す通り、まず、データ処理部１１１が、ＰＯＳ端末２１および／またはその他の装置から商品データを受信する（ステップＳ１６１）。また、画像認識部１３０が撮影画像データを受信する（ステップＳ１６２）。また、データ処理部１１１が上記撮影画像データの撮影棚情報を受信する（ステップＳ１６３）。なお、データ処理部１１１は、撮影画像データ全体を受信してもよい。受信部１７０が、商品ＤＢ管理装置３２から、限定された照合先データまたは照合先データを示す情報を受信する（ステップＳ１６４）。

なお、ステップＳ１６１からステップＳ１６４は、どのような順番で行われてもよい。また、ステップＳ１６１からステップＳ１６４は、同時に行われてもよい。

そして、データ処理部１１１が、受信した商品データに基づいて、店舗で販売される商品であって、撮影された商品棚に陳列される可能性がある各商品に関する数量を算出する（ステップＳ１６５）。なお、このステップＳ１６５は、ステップＳ１６４の前に行われてもよいし、ステップＳ１６４と同時に行われてもよい。

その後、照合先データ決定部１２０が、ステップＳ１６５にて算出された各商品の数量に基づいて、ステップＳ１６４にて受信した限定された照合先データ、または、受信した情報によって示される、限定された照合先データを更に限定する（ステップＳ１６６）。

そして、照合先データ決定部１２０がステップＳ１６６において限定した照合先データを用いて、画像認識部１３０は、撮影画像データによって表される撮影画像の画像認識を行う（ステップＳ１６７）。

そして、画像認識部１３０は、認識結果を出力する（ステップＳ１６８）。

以上で、画像認識装置１５は、画像認識処理を終了する。

なお、照合先データ決定部１２０は、商品ＤＢ３１から、商品の種類に基づいて、照合先データを限定してもよい。

本実施の形態に係る画像認識システム２によれば、上述した画像認識システム１と同様の効果を得ることができる。更に、本実施の形態に係る画像認識システム２によれば、商品ＤＢ管理装置３２が限定した照合先データを更に、画像認識装置１５において限定するため、認識精度をより高めることができる。

＜第７の実施の形態＞
次に、本発明の第７の実施の形態について、図面を参照して説明を行う。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。

本実施の形態に係る画像認識システム１は、上述した第１の実施の形態に係る画像認識システム１の画像認識装置１０に代えて画像認識装置１６を含む。本実施の形態に係る画像認識システム１のその他の構成は、図１に示す通り、上述した第１の実施の形態に係る画像認識システム１と同様である。

上述した各実施の形態に係る画像認識装置では、認識精度を向上させるために、照合先データを限定したが、本実施の形態では、照合先データを限定せずに認識精度を向上させる方法について説明する。

図１７は、本実施の形態に係る画像認識装置１６の機能構成の一例を示す図である。画像認識装置１６は、図１７に示す通り、画像認識部１３６と、算出部１５０と、補正部１６０とを備えている。また、画像認識装置１６は、データ処理部１１０を更に備えていてもよい。また、データ処理部１１０は、算出部１５０に内蔵されていてもよい。

データ処理部１１０は、上述したデータ処理部１１０と同様に、ＰＯＳ端末２１および／またはその他の装置から商品データを受信する。そして、データ処理部１１０は、商品データに含まれる売上情報、仕入情報および発注情報に基づいて、店舗で販売される各商品に関する数量を算出する。データ処理部１１０は、算出した数量（商品数情報）を算出部１５０に出力する。

算出部１５０は、第３の実施の形態における算出部１２２２の機能を有する。算出部１５０は、データ処理部１１０から、データ処理部１１０が算出した商品数情報を受信する。算出部１５０は、受信した商品数情報に基づいて、算出部１５０を備える画像認識装置１６が設置された店舗で販売されている各商品に対する事前確率を算出する。算出部１５０による事前確率の算出方法は、上述した算出部１２２２と同様であるため、説明を省略する。算出部１５０は、算出した事前確率を、補正部１６０に出力する。なお、算出部１５０は、図示しない記憶装置に、算出した事前確率を、該事前確率の算出の対象となる商品を示す情報（例えば、商品名）に関連付けて、格納してもよい。

画像認識部１３６は、撮像装置２０から撮影画像データを受信する。そして、画像認識部１３６は、受信した撮影画像データによって表される画像（対象画像）の画像認識を、複数の商品に関する情報を記憶する商品ＤＢ３１を用いて行う。画像認識部１３６は、認識結果を第１の認識結果として、補正部１６０に出力する。画像認識部１３６が出力する第１の認識結果は、上述した認識部１３２１が出力する第１の認識結果と同様の形式であるとする。つまり、画像認識部１３６が出力する第１の認識結果には、撮影画像データによって表される撮影画像に含まれる商品の夫々に対し、商品毎の認識スコアが含まれる。

補正部１６０は、第３の実施の形態における補正部１３２２の機能を有する。補正部１６０は、画像認識部１３６から第１の認識結果を受信する。また、補正部１６０は、算出部１５０から商品毎の事前確率を取得する。そして、補正部１６０は、取得した事前確率を用いて、第１の認識結果を補正し、補正した認識結果（第２の認識結果）を、画像認識装置１６の認識結果として出力する。

なお、補正部１６０による、認識結果の補正の方法は、上述した補正部１３２２と同様であるため説明を省略する。

（画像認識装置１６の処理の流れ）
次に、図１８を参照して、画像認識装置１６の処理の流れについて説明する。図１８は、本実施の形態に係る画像認識装置１６における画像認識処理の流れの一例を示すフローチャートである。

図１８に示す通り、まず、データ処理部１１０が、ＰＯＳ端末２１および／またはその他の装置から商品データを受信する（ステップＳ１８１）。また、画像認識部１３６が撮影画像データを受信する（ステップＳ１８２）。なお、ステップＳ１８１とステップＳ１８２とは同時に行われてもよしい、逆順で行われてもよい。

そして、データ処理部１１０が、受信した商品データに基づいて、店舗で販売される各商品の数量（例えば、商品毎の売上数、仕入数、発注数、検品済数、陳列数等）を算出する（ステップＳ１８３）。

その後、算出部１５０が、各商品に関する数量に基づいて、各商品に対する事前確率を算出する（ステップＳ１８４）。

また、画像認識部１３６は、撮影画像データによって表される撮影画像の画像認識を行う（ステップＳ１８５）。なお、ステップＳ１８５は、ステップＳ１８２の後であればよい。

次に、算出部１５０がステップＳ１８４で算出した事前確率に基づいて、補正部１６０は、画像認識部１３６がステップＳ１８５で認識した結果（第１の認識結果）を、補正する（ステップＳ１８６）。

そして、補正部１６０が、補正した認識結果（第２の認識結果）を、画像認識装置１６の認識結果として出力する（ステップＳ１８７）。

以上で、画像認識装置１６は、画像認識処理を終了する。

なお、図１８のフローチャートでは、画像認識装置１６の各部の処理を一連の処理として説明を行ったが、画像認識を行う処理（ステップＳ１８２、Ｓ１８５〜ステップＳ１８７）と、事前確率を算出する処理（ステップＳ１８１、Ｓ１８３、Ｓ１８４）とは、異なるタイミングで行われるものであってもよい。

以上のように、本実施の形態に係る画像認識装置１６の算出部１５０は、算出部１２２２と同様に、在庫数が他の商品より多い商品に対する認識スコアが、他の商品に対する認識スコアよりも高くなるように、事前確率を算出する。そして、補正部１６０は、補正部１３２２と同様に、撮影された画像に含まれる認識対象商品に対する認識結果を、事前確率に基づいて補正する。

このように、本実施の形態に係る画像認識装置１６は、画像認識の結果を、事前確率を用いて補正することにより、例えば、在庫数が他の商品より多い商品を認識されやすくすることができる。これにより、本実施の形態に係る画像認識装置１６によれば、在庫が無い商品に認識されることを防ぐことができる。したがって、本実施の形態に係る画像認識装置１６は、認識精度を高めることができる。

＜第８の実施の形態＞
次に、本発明の第８の実施の形態について説明する。本実施の形態では、本発明の課題を解決する最小の構成であって、上述した第１から第４の実施の形態における画像認識装置の基本となる構成について説明を行う。

図１９は、本実施の形態に係る画像認識装置１００の機能構成を示す図である。画像認識装置１００は、図１９に示す通り、データ決定部１０１と、画像認識部１０２とを備えている。

データ決定部１０１は、上述した照合先データ決定部（１２０、１２２）に相当する。データ決定部１０１は、店舗で販売される商品に関する商品データを、例えば、ＰＯＳ端末等から受信する。データ決定部１０１は、複数の商品に関する情報を記憶するデータベース（商品ＤＢ３１）から、受信した商品データに基づいて、照合先のデータである照合先データを限定する。データ決定部１０１は、限定した照合先データを、画像認識部１０２に出力する。

画像認識部１０２は、上述した画像認識部（１３０、１３２）に相当する。画像認識部１０２は、データ決定部１０１から限定された照合先データを受信する。そして、画像認識部１０２は、店舗で撮影された撮影画像を用いて、限定された照合先データから撮影画像に含まれる認識対象商品を認識する。

これにより、本実施の形態に係る画像認識装置１００は、照合先データと認識対象商品と照合することにより、認識対象商品を認識することができる。照合を行う照合先のデータ数が多いと、認識結果にばらつきが出てしまい、認識精度が低下してしまう。しかしながら、本実施の形態に係る画像認識装置１００が限定する照合先データに含まれる商品は、商品ＤＢ３１に含まれる商品より数が少ない。したがって、本実施の形態に係る画像認識装置１００は、認識精度を高めることができる。

また、本実施の形態に係る画像認識装置１００は、複数の商品に関する情報を記憶する商品ＤＢ３１に含まれる商品に関するデータ全部と、認識対象商品とを照合する場合に比べ、照合に掛かる時間を削減することができる。更に、本実施の形態に係る画像認識装置１００によれば、画像認識を行う際に、商品ＤＢ３１を含む装置との通信量を減らすことができる。

＜第９の実施の形態＞
次に、本発明の第９の実施の形態について説明する。本実施の形態では、上述した第５および第６の実施の形態における画像認識システムの基本となる構成について説明を行う。

図２０は、本実施の形態に係る画像認識システム３の機能構成を示す図である。画像認識システム３は、図２０に示す通り、画像認識装置１０３と、データベース管理装置１０５と、撮像装置２０と、を備えている。画像認識装置１０３は、画像認識部１０４を備えている。また、データベース管理装置１０５は、データ決定部（第１のデータ決定部）１０６を備えている。

撮像装置２０は、上述した第５および第６の実施の形態における撮像装置２０と同様の機能を有する。撮像装置２０は、店舗で販売される商品を撮影する。撮像装置２０は撮影した画像（撮影画像）を、画像認識装置１０３に出力する。

データベース管理装置１０５は、複数の商品に関する情報を記憶するデータベース（商品ＤＢ３１）を管理する。データベース管理装置１０５が備えるデータ決定部１０６は、上述した照合先データ決定部３２２に相当する。データ決定部１０６は、店舗で販売される商品に関する商品データを、例えば、ＰＯＳ端末等から受信する。データ決定部１０６は、商品ＤＢ３１から、受信した商品データに基づいて、照合先のデータである照合先データを限定する。データ決定部１０６は、限定した照合先データを、画像認識部１０４に出力する。

画像認識装置１０３は、撮像装置２０によって撮影された撮影画像を受信する。画像認識装置１０３の画像認識部１０４は、上述した画像認識部１３０に相当する。画像認識部１０４は、データ決定部１０６から限定された照合先データを受信する。そして、画像認識部１０４は、撮影画像を用いて、限定された照合先データから撮影画像に含まれる認識対象商品を認識する。

これにより、本実施の形態に係る画像認識システム３は、照合先データと認識対象商品と照合することにより、認識対象商品を認識することができる。照合を行う照合先のデータ数が多いと、認識結果にばらつきが出てしまい、認識精度が低下してしまう。しかしながら、本実施の形態に係る画像認識システム３が限定する照合先データに含まれる商品は、商品ＤＢ３１に含まれる商品より数が少ない。したがって、本実施の形態に係る画像認識システム３は、認識精度を高めることができる。

＜ハードウェアの構成例＞
ここで、上述した各実施の形態に係る画像認識装置（１０〜１６、１００、１０３）、商品ＤＢ管理装置（３０、３２）およびデータベース管理装置１０５を実現可能なハードウェアの構成例について説明する。上述した画像認識装置（１０〜１６、１００、１０３）、商品ＤＢ管理装置（３０、３２）およびデータベース管理装置１０５は、専用の装置として実現してもよいが、コンピュータ（情報処理装置）を用いて実現してもよい。

図２１は、本発明の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示する図である。

図２１に示した情報処理装置（コンピュータ）３００のハードウェアは、以下に示す部材を備える。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１１、
・通信インタフェース（Ｉ／Ｆ）３１２、入出力ユーザインタフェース３１３、
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１４、
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１５、
・記憶装置３１７、及び
・コンピュータ読み取り可能な記憶媒体３１９のドライブ装置３１８。
また、これらはバス３１６を介して接続されている。入出力ユーザインタフェース３１３は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。通信インタフェース３１２は、上述した各実施の形態に係る装置（図２、図５、図７、図１０、図１３、図１５、図１７、図１９および図２０）が、外部装置と、通信ネットワーク２００を介して通信するための一般的な通信手段である。係るハードウェア構成において、ＣＰＵ３１１は、各実施の形態に係る画像認識装置（１０〜１６、１００、１０３）、商品ＤＢ管理装置（３０、３２）およびデータベース管理装置１０５を実現する情報処理装置３００について、全体の動作を司る。

上述した各実施の形態は、例えば、上記各実施の形態において説明した処理を実現可能なプログラム（コンピュータプログラム）を、図２１に示す情報処理装置３００に対して供給した後、そのプログラムを、ＣＰＵ３１１に読み出して実行することによって達成される。なお、係るプログラムは、例えば、上記各実施の形態において説明した各種処理や、或いは、図２、図５、図７、図１０、図１３、図１５、図１７、図１９および図２０に示したブロック図において当該装置内に示した各部（各ブロック）を実現可能なプログラムであってもよい。

また、情報処理装置３００内に供給されたプログラムは、読み書き可能な一時記憶メモリ（３１５）またはハードディスクドライブ等の不揮発性の記憶装置（３１７）に格納されてもよい。即ち、記憶装置３１７において、プログラム群３１７Ａは、例えば、上述した各実施の形態における画像認識装置（１０〜１６、１００、１０３）、商品ＤＢ管理装置（３０、３２）およびデータベース管理装置１０５内に示した各部の機能を実現可能なプログラムである。また、各種の記憶情報３１７Ｂは、例えば、上述した各実施の形態における認識結果、照合先ＤＢ、商品データ、事前確率、商品数情報等である。ただし、情報処理装置３００へのプログラムの実装に際して、個々のプログラムモジュールの構成単位は、ブロック図（図２、図５、図７、図１０、図１３、図１５、図１７、図１９および図２０）に示した各ブロックの区分けには限定されず、当業者が実装に際して適宜選択してよい。

また、前記の場合において、当該装置内へのプログラムの供給方法は、以下のような現在では一般的な手順を採用することができる。
・ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な各種の記録媒体（３１９）を介して当該装置内にインストールする方法、
・インターネット等の通信回線（２００）を介して外部よりダウンロードする方法。
そして、このような場合において、本発明の各実施の形態は、係るコンピュータプログラムを構成するコード（プログラム群３１７Ａ）或いは係るコードが格納された記憶媒体（３１９）によって構成されると捉えることができる。

また、図２、図５、図７、図１０、図１３、図１５、図１７、図１９および図２０に示した各ブロックに示す機能は、一部または全部を、ハードウェアの回路として実現してもよい。

以上、本発明を、上述した模範的な実施の形態に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、請求の範囲に記載した事項から明らかである。

この出願は、２０１５年３月１６日に出願された日本出願特願２０１５−０５２２１６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 画像認識システム
２ 画像認識システム
３ 画像認識システム
１０ 画像認識装置
１１ 画像認識装置
１２ 画像認識装置
１３ 画像認識装置
１４ 画像認識装置
１５ 画像認識装置
１６ 画像認識装置
２０ 撮像装置
２１ ＰＯＳ端末
３０ 商品ＤＢ管理装置
３１ 商品ＤＢ
３２ 商品ＤＢ管理装置
４０ ネットワーク
５０ ＰＯＳシステム
１００ 画像認識装置
１０１ データ決定部
１０２ 画像認識部
１０３ 画像認識装置
１０４ 画像認識部
１０５ データベース管理装置
１０６ データ決定部
１１０ データ処理部
１１１ データ処理部
１２０ 照合先データ決定部
１２２ 照合先データ決定部
１２２１ 決定部
１２２２ 算出部
１３０ 画像認識部
１３２ 画像認識部
１３２１ 認識部
１３２２ 補正部
１３６ 画像認識部
１４０ 記憶部
１４１ 記憶部
１５０ 算出部
１６０ 補正部
１７０ 受信部
３２１ データ処理部
３２２ 照合先データ決定部

Claims (12)

1. 店舗で販売される商品に関する商品データに基づいて、複数の商品に関する情報を記憶するデータベースから、照合先のデータである照合先データを限定するデータ決定手段と、
   前記店舗で撮影された画像を用いて、前記限定された照合先データから前記撮影された画像に含まれる認識対象商品を認識する画像認識手段と、
   を備え、
   前記データ決定手段は、商品の在庫数が他の商品より多い商品に対する、認識結果の確からしさを示す認識スコアが、前記他の商品に対する認識スコアよりも高くなるように制御する
   システム。
2. 前記データ決定手段は、前記店舗で販売される各商品に関する数量に基づいて、前記照合先データを限定する、
   請求項１に記載のシステム。
3. 前記データ決定手段は、前記商品の在庫数に基づいて、該商品の所定の範囲内の商品の総数に対する割合を算出する算出手段を備え、
   前記画像認識手段は、前記撮影された画像に含まれる認識対象商品に対する認識結果を、前記算出手段によって算出された前記割合に基づいて補正する補正手段を備え、
   前記算出手段は、在庫数が他の商品より多い商品に対する前記認識スコアが、前記他の商品に対する認識スコアよりも高くなるように、前記割合を算出する、
   請求項１又は２に記載のシステム。
4. 前記補正手段は、最も高い値の前記認識スコアが所定の閾値より低い場合、および、最も高い値の前記認識スコアと次に高い値の認識スコアとの差が所定の値より小さい場合の少なくとも何れかの場合のとき、前記割合に基づいて前記認識結果を補正する、
   請求項３に記載のシステム。
5. 前記データ決定手段は、前記データベースから、前記店舗における在庫数がゼロの商品を削除したデータベースを作成することにより、前記照合先データを限定し、
   前記画像認識手段は、前記データ決定手段が作成したデータベースを用いて、前記撮影された画像に含まれる商品を認識する、
   請求項１から４の何れか１項に記載のシステム。
6. 前記データ決定手段は、所定のタイミングで前記照合先データを更新する、
   請求項１から５の何れか１項に記載のシステム。
7. 前記商品データを受信するデータ処理手段を更に備え、
   前記データ処理手段は、前記商品データに含まれる売上情報、仕入情報および発注情報の少なくとも何れかに基づいて、前記店舗で販売される各商品に関する前記数量を算出する、
   請求項２に記載のシステム。
8. 前記撮影された画像には、撮影された店舗内の棚の位置が含まれており、
   前記データ決定手段は、前記棚の位置と、該棚に陳列される可能性がある商品を示す情報と、前記商品データとに基づいて、前記照合先データを、該棚に陳列される可能性がある商品に限定する、
   請求項１から７の何れか１項に記載のシステム。
9. 前記データ決定手段によって限定された前記照合先データを示す情報を格納する記憶手段を更に備える、
   請求項１から８の何れか１項に記載のシステム。
10. 店舗で撮影された画像を用いて、複数の商品に関する情報を記憶するデータベースから、前記撮影された画像に含まれる認識対象商品を認識する画像認識手段と、
    前記店舗で販売される商品に関する商品データに基づいて、該商品の所定の範囲内の商品の総数に対する割合を算出する算出手段と、
    前記撮影された画像に含まれる認識対象商品に対する認識結果を、前記算出手段によって算出された前記割合に基づいて補正する補正手段と、を備え、
    前記算出手段は、在庫数が他の商品より多い商品に対する、前記認識結果の確からしさを示す認識スコアが、前記他の商品に対する認識スコアよりも高くなるように、前記割合を算出する、
    システム。
11. 店舗で販売される商品に関する商品データに基づいて、複数の商品に関する情報を記憶するデータベースから、照合先のデータである照合先データを限定し、
    前記店舗で撮影された画像を用いて、前記限定された照合先データから前記撮影された画像に含まれる認識対象商品を認識し、
    商品の在庫数が他の商品より多い商品に対する、認識結果の確からしさを示す認識スコアが、前記他の商品に対する認識スコアよりも高くなるように制御する、
    画像認識方法。
12. 店舗で販売される商品に関する商品データに基づいて、複数の商品に関する情報を記憶するデータベースから、照合先のデータである照合先データを限定するデータ決定処理と、
    前記店舗で撮影された画像を用いて、前記限定された照合先データから前記撮影された画像に含まれる認識対象商品を認識する画像認識処理と、
    商品の在庫数が他の商品より多い商品に対する、認識結果の確からしさを示す認識スコアが、前記他の商品に対する認識スコアよりも高くなるように制御する処理と、をコンピュータに実行させる、プログラム。

Images