JP7340353B2 - 情報処理装置、物品識別装置、及び物品識別システム - Google Patents

Description

本発明の実施形態は、情報処理装置、物品識別装置、及び物品識別システムに関する。

予め生成された識別モデルに基づき、棚を有する什器に置かれた検出対象(商品、物品など）が撮像された画像（識別対象画像）から、検出対象を識別する（ラベル付けする）装置が実用化されている。

識別モデルは、学習用データに基づいて、予め機械学習により生成される。機械学習は、例えば、セグメンテーション用のニューラルネットワークなどの手法である。学習用データは、問題と答えとを含むデータである。例えば、画像から検出対象を識別する識別モデルの生成には、検出対象を含む画像を問題とし、画像中の検出対象の領域と、検出対象を示す情報（ラベル情報）と、を答えとした学習用データが用いられる。学習用データは、例えば、検出対象を含む画像に人手により、検出対象が存在する領域及びラベル情報を付与することにより生成される。このように、学習用データの生成が手間である為、検出対象を含まない背景画像に、検出対象の画像（検出対象画像）を重畳することにより、学習用データを生成する方法がある。

検出対象画像は、検出対象の所定の面（フェイス）の画像である。検出対象のフェイスは、什器に検出対象が配置された際に見える外観のいずれかの面である。例えば、検出対象画像は、検出対象のフェイスに撮像装置が正対した状態で、撮像装置により撮像された画像である。背景画像は、例えば、検出対象が配置されていない什器及びその近傍の画像である。背景画像の撮像時の什器に対する撮像装置の光学系の光軸の角度は、什器に検出対象が配置された場合に検出対象のフェイスに対して正対しない角度である可能性がある。このような状態で撮像された背景画像には、検出対象画像を単純に重畳することができないという課題がある。

特開２００９－１５２９５１号公報

本発明が解決しようとする課題は、識別モデルに用いられる学習用データを生成することができる情報処理装置、物品識別装置、及び物品識別システムを提供することである。

一実施形態に係る情報処理装置は、メモリと、プロセッサと、を具備する。メモリは、検出対象を含まない背景画像、検出対象の画像である検出対象画像、及び前記検出対象画像の検出対象を示すラベル情報を記憶する。プロセッサは、前記背景画像を台形補正し、台形補正された前記背景画像に前記検出対象画像を重畳して前記合成画像を生成し、前記合成画像と前記ラベル情報とに基づいて、学習用データを生成する。

図１は、一実施形態に係る物品識別システムの構成例を概略的に示す図である。 図２は、一実施形態に係る情報処理装置の構成例について説明する為の図である。 図３は、一実施形態に係る背景画像取得時の撮像装置の状態の例について説明する為の説明図である。 図４は、一実施形態に係る背景画像の例について説明する為の説明図である。 図５は、一実施形態に係る識別対象画像の例について説明する為の説明図である。 図６は、一実施形態に係る検出対象画像取得時の撮像装置の状態の例について説明する為の説明図である。 図７は、一実施形態に係る検出対象画像の例について説明する為の説明図である。 図８は、一実施形態に係る情報処理装置の学習フェーズにおける動作の例について説明する為の図である。 図９は、一実施形態に係る背景画像の射影変換の例について説明する為の説明図である。 図１０は、一実施形態に係る背景画像の台形補正の例について説明する為の説明図である。 図１１は、一実施形態に係る合成画像の例について説明する為の説明図である。 図１２は、一実施形態に係る情報処理装置の推論フェーズにおける動作の例について説明する為の図である。 図１３は、一実施形態に係る識別対象画像の射影変換及び台形補正の例について説明する為の説明図である。 図１４は、一実施形態に係る情報処理装置による識別結果の例について説明する為の説明図である。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る物品識別システム１の概略的な構成の例について説明するための説明図である。

まず物品識別システム１の概要について説明する。
物品識別システム１は、店舗、倉庫などの所定の場所に設置された陳列用の什器２と、什器２に置かれた検出対象である商品（物品）３などを撮像し、撮像した画像から検出対象を識別するラベル付け処理を行うシステムである。

什器２は、バックボード１１と、バックボード１１から突出した棚１２とを備える。

バックボード１１は、棚１２を支持する支持部材である。バックボード１１は、例えば、垂直方向に起立した板状に構成される。

棚１２は、商品３を支持する棚板である。棚１２は、例えばバックボード１１から水平方向に突出するように構成される。

物品識別システム１は、商品棚撮像装置２１と、ネットワーク２２を介して接続された情報処理装置２３とを備える。

商品棚撮像装置２１は、光学系と、撮像素子とを備えるカメラである。商品棚撮像装置２１は、光学系により結像された光を、撮像素子により画像（画像データ）に変換する。商品棚撮像装置２１は、取得した画像を情報処理装置２３に供給する。商品棚撮像装置２１は、例えば、什器２が配置される店舗や倉庫などに設けられた監視カメラとして構成される。また、商品棚撮像装置２１は、什器２近傍に設けられた商品撮像用のカメラであってもよい。また、商品棚撮像装置２１は、店舗や倉庫内を移動する移動機構と、移動機構に設置されたカメラとを備える装置として構成されていてもよい。

情報処理装置２３は、機械学習を用いた物体検出を行う。図２は、情報処理装置２３の構成例について説明する為の説明図である。情報処理装置２３は、システムコントローラ３１、表示部３２、操作インタフェース３３、及び通信インタフェース３４を備える。

システムコントローラ３１は、情報処理装置２３の制御を行う。システムコントローラ３１は、例えば、プロセッサ４１及びメモリ４２を備える。

プロセッサ４１は、演算処理を実行する演算素子である。プロセッサ４１は、例えばＣＰＵである。また、プロセッサ４１は、例えばＣＰＵとＧＰＵとを含む構成であってもよい。プロセッサ４１は、メモリ４２に記憶されているプログラムなどのデータに基づいて種々の処理を行う。プロセッサ４１は、メモリ４２に格納されているプログラムを実行することにより、種々の動作を実行可能な制御部として機能する。

メモリ４２は、プログラム及びプログラムで用いられるデータなどを記憶する記憶媒体である。また、メモリ４２は、ワーキングメモリとしても機能する。すなわち、メモリ４２は、プロセッサ４１の処理中のデータ、及びプロセッサ４１が実行するプログラムなどを一時的に格納する。

表示部３２は、システムコントローラ３１または図示されないグラフィックコントローラなどの表示制御部から入力される映像信号に応じて画面を表示するディスプレイを備える。例えば、表示部３２のディスプレイには、情報処理装置２３の種々の設定の為の画面（例えば後述する合成パラメータの設定画面）が表示される。

操作インタフェース３３は、図示されない操作部材に接続されている。操作インタフェース３３は、操作部材の操作に応じた操作信号をシステムコントローラ３１に供給する。操作部材は、例えば、タッチセンサ、テンキー、電源キー、用紙フィードキー、種々のファンクションキー、またはキーボードなどである。タッチセンサは、ある領域内において指定された位置を示す情報を取得する。タッチセンサは、表示部３２と一体にタッチパネルとして構成されることにより、表示部３２に表示された画面上のタッチされた位置を示す信号をシステムコントローラ３１に入力する。

通信インタフェース３４は、他の機器と通信する為のインターフェースである。通信インタフェース３４は、例えば、商品棚撮像装置２１、及び上位装置（外部機器）などとの通信に用いられる。通信インタフェース３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－ｆｉ（登録商標）などの規格に従って他の機器と無線通信を行う。また、例えば、通信インタフェース３４は、ＬＡＮコネクタなどとして構成されてもよい。

次に、商品棚撮像装置２１が取得する画像について説明する。
商品棚撮像装置２１は、一般的に、広範囲を撮像することが要求される。この為、商品棚撮像装置２１の光学系は、対角画角が極力大きな（焦点距離が極力短い）光学系が用いられる。例えば、商品棚撮像装置２１の光学系は、第１の射影方式（例えば等距離射影方式、立体射影方式、等立体角射影方式、または正射影方式などの所謂魚眼射影方式）であり、且つ焦点距離の短い光学系が用いられる。なお、以下の説明では、商品棚撮像装置２１の光学系は、等距離射影方式の光学系であるとして説明する。

図３は、背景画像撮像時の商品棚撮像装置２１の状態について説明するための説明図である。商品棚撮像装置２１は、図３に示されるように、商品３が什器２に配置されていない状態で、什器２及びその近傍を撮像することにより、背景画像を取得する。背景画像の撮像時の什器２に対する商品棚撮像装置２１の光学系の光軸の角度は、図３に示されるように、什器２に検出対象の商品３が配置された場合に、商品３の上面（棚１２と接している面と逆側の面）に対して正対しない角度である。即ち、商品棚撮像装置２１の光学系は、什器２の棚１２の商品が配置される面に対して角度を成す。

図４は、図３に示される状態で商品棚撮像装置２１により撮像された背景画像の例を示す。背景画像は、第１の射影方式（本例では等距離射影方式）の光学系を有する撮像装置により撮像された画像である。即ち、背景画像は、等距離射影方式の画像である。

なお、背景画像を取得する撮像装置は、商品棚撮像装置２１とは異なる撮像装置であってもよい。また、背景画像は、立体射影方式、等立体角射影方式、または正射影方式などの射影方式の光学系を有する撮像装置により撮像された画像であってもよい。

また、商品棚撮像装置２１は、商品３が什器２に配置された状態で、什器２及びその近傍を撮像することにより、識別対象画像を取得する。

図５は、図３の状態で商品３が什器２に配置された場合に、商品棚撮像装置２１により撮像された識別対象画像の例を示す。識別対象画像は、第１の射影方式（本例では等距離射影方式）の光学系を有する撮像装置により撮像された画像である。即ち、識別対象画像は、等距離射影方式の画像である。

次に、情報処理装置２３において用いられる画像、及び学習用データについて説明する。
情報処理装置２３は、予め生成された識別モデルに基づき、画像中の物体を推論する推論フェーズと、学習用データ（教示データ）に基づき、識別モデルの生成及び更新を行う学習フェーズとを有する。

情報処理装置２３は、推論フェーズにおいて、予め生成された識別モデルに基づき、商品棚撮像装置２１により取得した識別対象画像から、検出対象である商品３を識別するラベル付け処理を行う。即ち、情報処理装置２３は、識別モデルに基づきラベル付け処理を行うことにより、識別対象画像中の「どこに」、「何が」あるかを検出する。

また、情報処理装置２３は、学習フェーズにおいて、学習用データに基づいて、機械学習により識別モデルを生成及び更新する機械学習処理を行う。

学習用データは、問題と答えとを含むデータである。例えば、画像から検出対象を識別する識別モデルの生成には、検出対象を含む画像を問題とし、画像中の検出対象の位置と、検出対象を示す情報（ラベル情報）と、を答えとした学習用データが用いられる。

例えば、ラベル付け処理は、「SSD: Single Shot MultiBox Detector（ https://arxiv.org/abs/1512.02325 参照）」などに記載されている手法である。この手法では、画像と、画像中の位置を示すバウンディングボックス情報と、有限個のクラスの中から選択されたラベル情報と、を含む学習用データに基づいて、機械学習により識別モデルが生成される。

情報処理装置２３は、予め取得した背景画像に、検出対象の画像（検出対象画像）を重畳することにより、学習用データを生成する。

検出対象画像は、検出対象である商品の所定の面の画像である。この所定の面を、フェイスと称する。フェイスは、什器２に商品が配置された際に見える外観のいずれかの面である。本例では、什器２の棚１２に並べられた商品３の上面（棚１２と接している面と逆側の面）がフェイスであると仮定して説明する。

図６は、検出対象画像撮像時の撮像装置の状態について説明するための説明図である。
撮像装置は、商品３のフェイスに撮像装置が正対した状態で、第２の射影方式（例えば中心射影方式）の光学系を有する撮像装置により商品３を撮像することにより、検出対象画像を取得する。より具体的には、検出対象画像は、図６に示されるように、撮像装置の光学系の光軸が商品３のフェイスに直交した状態で、撮像装置により撮像された画像である。

図７は、図６に示される状態で撮像装置により撮像された検出対象画像の例を示す。検出対象画像は、第２の射影方式（本例では中心射影方式）の光学系を有する撮像装置により撮像された矩形状の画像である。即ち、背景画像は、中心射影方式の画像である。また、検出対象画像は、商品３のフェイスの領域がトリミングされ、フェイスの外側の領域が除去された画像である。また、検出対象画像には、ラベル情報が付与される。ラベル情報は、検出対象画像の撮像時に検出対象画像に付与される。また、ラベル情報は、撮像されて保存された検出対象画像に対して一括して、または個別に付与されてもよい。

例えば、検出対象画像を取得する撮像装置は、商品棚撮像装置２１とは異なる撮像装置である。なお、検出対象画像を取得する撮像装置は、商品棚撮像装置２１であってもよい。

次に、情報処理装置２３の学習フェーズにおける動作について説明する。
上記したように、情報処理装置２３は、学習フェーズにおいて、学習用データに基づいて、機械学習により識別モデルを生成及び更新する機械学習処理を行う。この為に、まず情報処理装置２３は、学習用データの生成を行う。

上記のような条件で撮像された背景画像には、検出対象画像を単純に重畳することができない。これは、背景画像と検出対象画像との射影方式の違い、及び撮像面における光軸からの距離の差に起因する像高の差の為である。この為、情報処理装置２３は、背景画像を画像処理により変換し、変換した背景画像に検出対象画像を重畳することにより、学習用データを生成する。

情報処理装置２３のシステムコントローラ３１のプロセッサ４１は、予め背景画像を複数取得し、メモリ４２に記憶する。また、プロセッサ４１は、ラベル情報が付与された検出対象画像を予め複数取得し、メモリ４２に記憶する。また、プロセッサ４１は、検出対象画像に対する画像処理に用いられるパラメータ（合成パラメータ）を予め取得し、メモリ４２に記憶する。

図８は、情報処理装置２３における機械学習処理について説明する為の説明図である。
まず、プロセッサ４１は、メモリ４２から背景画像を読み出す（ＡＣＴ１１）。プロセッサ４１は、メモリ４２から検出対象画像を読み出す（ＡＣＴ１２）。プロセッサ４１は、ランダムで背景画像及び検出対象画像をメモリ４２から読み出す構成であってもよいし、操作インタフェース３３によって選択された背景画像及び検出対象画像をメモリ４２から読み出す構成であってもよい。また、プロセッサ４１は、１つの背景画像と、複数の検出対象画像をメモリ４２から読み出す構成であってもよい。

プロセッサ４１は、読み出した背景画像の射影方式を変換する射影変換を行う（ＡＣＴ１３）。例えば、プロセッサ４１は、第１の射影方式（等距離射影方式）の背景画像を、検出対象画像の射影方式である第２の射影方式（中心射影方式）の画像に変換する。これにより、プロセッサ４１は、図４に示された背景画像を、図９に示される背景画像に変換する。

プロセッサ４１は、中心射影方式に変換された背景画像を台形補正する（ＡＣＴ１４）。例えば、プロセッサ４１は、中心射影方式に変換された背景画像において、１つの消失点に向かって伸びる複数の直線を検出する。プロセッサ４１は、複数の直線検出結果に基づいて、図９に示された背景画像を、図１０に示される背景画像に変換する。また、プロセッサ４１は、予め設定されたパラメータに基づいて、背景画像に対する台形補正を行う構成であってもよい。

プロセッサ４１は、メモリ４２から合成パラメータを読み出す（ＡＣＴ１５）。合成パラメータは、検出対象画像への画像処理（拡大縮小、回転、色相補正、明るさ補正、コントラスト補正、及びぼかしなどの処理）に用いられるパラメータである。プロセッサ４１は、検出対象画像を合成パラメータに基づき補正（ＡＣＴ１６）。即ち、プロセッサ４１は、メモリ４２から読み出した合成パラメータに基づいて、ＡＣＴ１２で読み出した検出対象画像に対して、拡大縮小、回転、色相補正、明るさ補正、コントラスト補正、及びぼかしなどの画像処理を行う。

またさらに、合成パラメータは、背景画像への画像処理（色相補正、明るさ補正、コントラスト補正、及びぼかしなどの処理）に用いられるパラメータを含んでいてもよい。また、プロセッサ４１は、メモリ４２から読み出した合成パラメータに基づいて、図１０の背景画像に対して、色相補正、明るさ補正、コントラスト補正、及びぼかしなどの画像処理を行ってもよい。

次に、プロセッサ４１は、検出対象画像を背景画像に重畳して合成画像を生成する（ＡＣＴ１７）。即ち、プロセッサ４１は、ＡＣＴ１４で補正された背景画像に対して、ＡＣＴ１６で補正された検出対象画像を重畳することにより、図１１に示される合成画像を生成する。背景画像に重畳する検出対象画像の数は、１つであってもよいし、複数であってもよい。また、背景画像に重畳する検出対象画像の数は、予め設定された数であってもよいし、ランダムであってもよい。また、検出対象画像を重畳する背景画像上の位置は、予め設定された位置であってもよいし、ランダムであってもよい。また、プロセッサ４１は、複数の種類の検出対象画像を背景画像上に重畳してもよい。

またさらに、合成パラメータは、背景画像に検出対象画像を重畳する位置（合成位置）、背景画像に検出対象画像を重畳する数（合成数）、検出対象画像同士の重なりを許容するか否か、などを示す情報であってもよい。この場合、プロセッサ４１は、合成パラメータに基づいて、検出対象画像を重畳する合成位置、合成数、重なりが許容されているか否かを判断する。

プロセッサ４１は、学習用データを生成する（ＡＣＴ１８）。プロセッサ４１は、合成画像、合成画像上の検出対象画像の位置、及び検出対象画像に対応するラベル情報に基づいて、学習用データを生成する。即ち、学習用データにおける問題は、背景画像に検出対象画像が重畳されて生成された合成画像であり、学習用データにおける答えは、背景画像上の検出対象画像が重畳された位置、及び検出対象画像に対応するラベル情報である。プロセッサ４１は、合成画像上に検出対象画像を重畳した位置、及び重畳した検出対象画像に付与されていたラベル情報を学習用データにおける答えとして、学習用データを生成する。プロセッサ４１は、生成した学習用データをメモリ４２に生成する（ＡＣＴ１９）。

次に、プロセッサ４１は、識別モデルを更新するか否か判断する（ＡＣＴ２０）。プロセッサ４１は、識別モデルを更新しないと判断した場合（ＡＣＴ２０、ＮＯ）、ＡＣＴ１１の処理に移行し、学習用データの収集を継続して行う。また、プロセッサ４１は、識別モデルを更新すると判断した場合（ＡＣＴ２０、ＹＥＳ）、収集した学習用データに基づいて、識別モデルを更新し（ＡＣＴ２１）、処理を終了する。例えば、プロセッサ４１は、メモリ４２に識別モデルが保存されておらず、且つ任意の数の学習用データが収集された場合、識別モデルを生成し、メモリ４２に保存する。また、プロセッサ４１は、任意の数の学習用データが収集される毎に、メモリ４２に保存されている識別モデルを更新する。また、プロセッサ４１は、メモリ４２に保存されている識別モデルを更新した後、ＡＣＴ１１の処理に移行し、学習用データの収集を継続して行う構成であってもよい。

上記したように、情報処理装置２３は、検出対象を含まない背景画像、検出対象の画像である検出対象画像、及び検出対象画像の検出対象を示すラベル情報を記憶したメモリ４２と、プロセッサ４１とを備える。プロセッサ４１は、背景画像を台形補正し、台形補正された背景画像に検出対象画像を重畳して合成画像を生成する。またプロセッサ４１は、合成画像と背景画像に重畳した検出対象画像に対応するラベル情報とに基づいて、学習用データを生成する。これにより、撮像時の角度が異なる場合であっても、背景画像及び検出対象画像に基づいて、学習用データを生成することができる。これにより、機械学習に用いる学習用データを容易に収集することができる。この結果、容易に精度の高い識別モデルを生成することが可能になる。

また、プロセッサ４１は、背景画像を検出対象画像と同じ射影方式に射影変換し、射影変換した背景画像に対して台形補正を行い、合成画像の生成に用いる。これにより、撮像時の射影方式が異なる場合であっても、背景画像及び検出対象画像に基づいて、学習用データを生成することができる。これにより、機械学習に用いる学習用データを容易に収集することができる。

また、プロセッサ４１は、予め設定された合成パラメータに基づいて検出対象画像を補正し、補正した検出対象画像を背景画像に重畳して合成画像を生成する。これにより、検出対象画像と背景画像との間の向き、画像サイズ、色相、明るさ、及びコントラストなどの差が補正された合成画像を生成することができる。これにより、機械学習に用いる学習用データを容易に収集することができる。

次に、情報処理装置２３の推論フェーズにおける動作について説明する。
上記したように、情報処理装置２３は、推論フェーズにおいて、予め生成された識別モデルに基づき、商品棚撮像装置２１により取得した識別対象画像から、検出対象である商品３を識別するラベル付け処理を行う。

図１２は、情報処理装置２３におけるラベル付け処理について説明する為の説明図である。
まず、プロセッサ４１は、メモリ４２から識別モデルを読み出す（ＡＣＴ３１）。また、プロセッサ４１は、カメラ、即ち商品棚撮像装置２１を起動させる（ＡＣＴ３２）。プロセッサ４１は、商品棚撮像装置２１により撮像を実行させるか否か判断する（ＡＣＴ３３）。プロセッサ４１は、商品棚撮像装置２１により撮像を実行させると判断した場合（ＡＣＴ３３、ＹＥＳ）、商品棚撮像装置２１により撮像を実行させ、例えば図５に示される識別対象画像を取得する（ＡＣＴ３４）。また、プロセッサ４１は、商品棚撮像装置２１により撮像を実行させないと判断した場合（ＡＣＴ３３、ＮＯ）、後述するＡＣＴ４０の処理に移行する。

例えば、プロセッサ４１は、予め設定された時間に、商品棚撮像装置２１により撮像を実行させると判断する。また、プロセッサ４１は、予め設定された時間間隔毎に、商品棚撮像装置２１により撮像を実行させると判断する構成であってもよい。また、プロセッサ４１は、他のセンサ（例えば人感センサなど）の検出結果に基づいて、商品棚撮像装置２１により撮像を実行させると判断する構成であってもよい。また、プロセッサ４１は、商品棚撮像装置２１により連続的に撮像を行わせ、連続して取得した画像の一部を識別対象画像として用いる構成であってもよい。

プロセッサ４１は、取得した識別対象画像を射影変換する（ＡＣＴ３５）。プロセッサ４１は、取得した第１の射影方式（等距離射影方式）の識別対象画像を、識別モデルの生成に用いられた画像の射影方式である第２の射影方式（中心射影方式）の画像に変換する。

プロセッサ４１は、中心射影方式に変換された識別対象画像を台形補正する（ＡＣＴ３６）。例えば、プロセッサ４１は、中心射影方式に変換された識別対象画像において、１つの消失点に向かって伸びる複数の直線を検出する。プロセッサ４１は、複数の直線検出結果に基づいて、台形補正を行う。また、プロセッサ４１は、予め設定されたパラメータに基づいて、背景画像に対する台形補正を行う構成であってもよい。

上記のＡＣＴ３５及びＡＣＴ３６の処理により、プロセッサ４１は、図５に示された等距離射影方式の識別対象画像を、中心射影方式に変換され、且つ台形補正が施された図１３に示される識別対象画像に変換する。図１３に示される識別対象画像には、検出対象である商品３のフェイスが検出対象画像と同様の状態で写っている。

プロセッサ４１は、射影変換及び台形補正が施された識別対象画像を、識別モデルに入力する（ＡＣＴ３７）。これにより、識別対象画像上の検出対象である商品３のフェイスが写った領域毎に、ラベル情報が付与された図１４に示されるような識別結果を取得する（ＡＣＴ３８）。図１４の識別結果では、検出された商品３のフェイスの領域毎に、１つのラベル情報が付与されている。また、識別結果は、検出された商品３のフェイスの領域毎に、ラベル情報毎の信頼度を示す情報が付与されたものであってもよい。即ち、ある領域Ａのラベル情報毎の信頼度が「ラベルＡ＝０．８」、「ラベルＢ＝０．０５」、「ラベルＣ＝０．０２」のように構成され、領域Ｂのラベル情報毎の信頼度が「ラベルＡ＝０．０１」、「ラベルＢ＝０．０５」、「ラベルＣ＝０．９」のように構成されていてもよい。

プロセッサ４１は、取得した識別結果を出力し（ＡＣＴ３９）、ラベル付け処理を終了するか否か判断する（ＡＣＴ４０）。プロセッサ４１は、ラベル付け処理を終了しないと判断した場合（ＡＣＴ４０、ＮＯ）、ＡＣＴ３３の処理に移行し、新たに識別対象画像を取得し、ラベル付け処理を継続する。プロセッサ４１は、ラベル付け処理を終了すると判断した場合（ＡＣＴ４０、ＹＥＳ）、ラベル付け処理を終了する。

上記したように、物品識別装置として機能する情報処理装置２３は、検出対象を含まない背景画像、検出対象の画像である検出対象画像、及び検出対象画像の検出対象を示すラベル情報を記憶したメモリ４２と、プロセッサ４１とを備える。プロセッサ４１は、背景画像を台形補正し、台形補正された背景画像に検出対象画像を重畳して合成画像を生成する。またプロセッサ４１は、合成画像と背景画像に重畳した検出対象画像に対応するラベル情報とに基づいて、学習用データを生成する。さらに、プロセッサ４１は、学習用データに基づいて識別モデルを生成する。これにより、情報処理装置２３は、容易に精度の高い識別モデルを生成することが可能になる。

また、プロセッサ４１は、検出対象が写った識別対象画像と、識別モデルとに基づいて、識別対象画像中の検出対象である商品３を識別する。このように生成された識別モデルを用いて、識別対象画像中の検出対象である商品３を識別することにより、高い精度で検出対象を識別対象画像から検出することができる。

なお、上記した情報処理装置２３は、カウント可能であり、且つ所定の時間内に数が増減するものであれば如何なるものを検出対象とする構成であってもよい。例えば、情報処理装置２３は、店舗における商品のチェックアウト及び補充の状況などを確認する為のシステム（棚管理システム）に適用可能である。例えば、情報処理装置２３は、スーパーマーケットにおいて青果、パッケージ商品（箱または袋）、飲料（缶、ボトル、または箱）、買い物客、店員などを画像から検出するシステムに適用可能である。また、例えば、情報処理装置２３は、専門店において、商品、買い物客、店員などを画像から検出するシステムに適用可能である。また、例えば、情報処理装置２３は、飲食店において、飲食物、食器(皿、グラス、箸)、飲食客、店員などを画像から検出するシステムに適用可能である。

また、情報処理装置２３は、物流倉庫における物品の出入りを確認する為のシステム（検品システム）に適用可能である。例えば、情報処理装置２３は、物流倉庫において、ダンボール、コンテナ（かご）、車両（リフトまたはトラック）、人物などを画像から検出するシステムに適用可能である。

また、情報処理装置２３は、製造現場におけるピッキングシステムに適用可能である。例えば、情報処理装置２３は、製造現場において、部品、工具、ロボット（組み立てまたはピッキング）、車両（リフトまたはトラック）、人物などを画像から検出するシステムに適用可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…物品識別システム、２…什器、３…商品、１１…バックボード、１２…棚、２１…商品棚撮像装置、２２…ネットワーク、２３…情報処理装置、３１…システムコントローラ、３２…表示部、３３…操作インタフェース、３４…通信インタフェース、４１…プロセッサ、４２…メモリ。

Claims (10)

1. 検出対象を含まない背景画像、検出対象の画像である検出対象画像、及び前記検出対象画像の検出対象を示すラベル情報を記憶したメモリと、
   前記背景画像を台形補正し、台形補正された前記背景画像に前記検出対象画像を重畳して合成画像を生成し、前記合成画像と前記ラベル情報とに基づいて、学習用データを生成するプロセッサと、
   を具備する情報処理装置。
2. 前記プロセッサは、前記背景画像を前記検出対象画像と同じ射影方式に射影変換し、射影変換した前記背景画像を台形補正する請求項１に記載の情報処理装置。
3. 前記プロセッサは、予め設定された合成パラメータに基づいて前記検出対象画像を補正し、補正した前記検出対象画像を前記背景画像に重畳して前記合成画像を生成する請求項１または２に記載の情報処理装置。
4. 前記プロセッサは、前記合成画像における前記検出対象の領域と、前記検出対象に対応するラベル情報とを対応付けて、前記学習用データを生成する請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 検出対象を含まない背景画像、検出対象の画像である検出対象画像、及び前記検出対象画像の検出対象を示すラベル情報を記憶したメモリと、
   前記背景画像を台形補正し、台形補正された前記背景画像に前記検出対象画像を重畳して合成画像を生成し、前記合成画像と前記ラベル情報とに基づいて、学習用データを生成し、生成した学習用データに基づいて識別モデルを生成し、前記検出対象が写った識別対象画像と、前記識別モデルとに基づいて、前記識別対象画像中の前記検出対象を識別するプロセッサと、
   を具備する物品識別装置。
6. 前記プロセッサは、前記背景画像を前記検出対象画像と同じ射影方式に射影変換し、射影変換した前記背景画像を台形補正する請求項５に記載の物品識別装置。
7. 前記プロセッサは、前記識別対象画像を前記検出対象画像と同じ射影方式に射影変換し、射影変換した前記識別対象画像を台形補正し、台形補正した前記識別対象画像と、前記識別モデルとに基づいて、前記識別対象画像中の前記検出対象を識別する請求項６に記載の物品識別装置。
8. 前記プロセッサは、予め設定された合成パラメータに基づいて前記検出対象画像を補正し、補正した前記検出対象画像を前記背景画像に重畳して前記合成画像を生成する請求項５乃至７のいずれか１項に記載の物品識別装置。
9. 前記プロセッサは、前記合成画像における前記検出対象の領域と、前記検出対象に対応するラベル情報とを対応付けて、前記学習用データを生成する請求項５乃至８のいずれか１項に記載の物品識別装置。
10. 撮像装置と物品識別装置とを具備する物品識別システムであって、
    前記撮像装置は、検出対象が写った識別対象画像を撮像し、前記識別対象画像を前記物品識別装置に供給し、
    前記物品識別装置は、
    検出対象を含まない背景画像、検出対象の画像である検出対象画像、及び前記検出対象画像の検出対象を示すラベル情報を記憶したメモリと、
    前記背景画像を台形補正し、台形補正された前記背景画像に前記検出対象画像を重畳して合成画像を生成し、前記合成画像と前記ラベル情報とに基づいて、学習用データを生成し、生成した学習用データに基づいて識別モデルを生成し、前記検出対象が写った識別対象画像と、前記識別モデルとに基づいて、前記識別対象画像中の前記検出対象を識別するプロセッサと、
    を具備する物品識別システム。